token– 与Python解析树一起使用的常量

源代码: Lib / token.py


模块提供常量,表示解析树(终端令牌)的叶节点的数值。请参考文件Grammar/Grammar在Python发行版中,用于语言语法上下文中名称的定义。名称映射到的特定数值可能在Python版本之间交换.

模块还提供从数字代码到名称和某些功能的映射。函数镜像Python C头文件中的定义.

token.tok_name
将此模块中定义的常量的数值映射到名称字符串的字典,允许生成更加人类可读的解析树表示.
token.ISTERMINAL (x )
对于终端令牌返回true.
token.ISNONTERMINAL(x)
对于非终端令牌返回true.
token.ISEOF(x
如果x是表示输入结束的标记,则返回true .

令牌常量是:

token.ENDMARKER
token.NAME
token.NUMBER
token.STRING
token.NEWLINE
token.INDENT
token.DEDENT
token.LPAR
token.RPAR
token.LSQB
token.RSQB
token.COLON
token.COMMA
token.SEMI
token.PLUS
token.MINUS
token.STAR
token.SLASH
token.VBAR
token.AMPER
token.LESS
token.GREATER
token.EQUAL
token.DOT
token.PERCENT
token.LBRACE
token.RBRACE
token.EQEQUAL
token.NOTEQUAL
token.LESSEQUAL
token.GREATEREQUAL
token.TILDE
token.CIRCUMFLEX
token.LEFTSHIFT
token.RIGHTSHIFT
token.DOUBLESTAR
token.PLUSEQUAL
token.MINEQUAL
token.STAREQUAL
token.SLASHEQUAL
token.PERCENTEQUAL
token.AMPEREQUAL
token.VBAREQUAL
token.CIRCUMFLEXEQUAL
token.LEFTSHIFTEQUAL
token.RIGHTSHIFTEQUAL
token.DOUBLESTAREQUAL
token.DOUBLESLASH
token.DOUBLESLASHEQUAL
token.AT
token.ATEQUAL
token.RARROW
token.ELLIPSIS
token.OP
token.ERRORTOKEN
token.N_TOKENS
token.NT_OFFSET

C标记生成器不使用以下标记类型值,但需要tokenize module.

token.COMMENT
用于表示注释的标记值
token.NL
用于表示标记值一个非终止的换行符。NEWLINE标记表示Python代码逻辑行的结束; NL当代码的逻辑行继续通过多个物理行时生成令牌.
token.ENCODING
表示的值表示用于将源字节解码为文本的编码。tokenize.tokenize() willalways返回的第一个令牌是ENCODING token.

更改版本3.5:添加了AWAITASYNC tokens.

更改版本3.7:添加了COMMENT, NLENCODING tokens.

在版本3.7中更改:/ 删除了AWAITASYNC令牌。“async”和“await”现在被标记为NAME tokens.

评论被关闭。