token– 与Python解析树一起使用的常量

源代码： Lib / token.py

此模块提供常量，表示解析树（终端令牌）的叶节点的数值。请参考文件Grammar/Grammar在Python发行版中，用于语言语法上下文中名称的定义。名称映射到的特定数值可能在Python版本之间交换.

该模块还提供从数字代码到名称和某些功能的映射。函数镜像Python C头文件中的定义.

token.tok_name

将此模块中定义的常量的数值映射到名称字符串的字典，允许生成更加人类可读的解析树表示.

token.ISTERMINAL (x )

对于终端令牌值返回true.

token.ISNONTERMINAL(x)

对于非终端令牌值返回true.

token.ISEOF(x）

如果x是表示输入结束的标记，则返回true .

令牌常量是：

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

token.RPAR

token.LSQB

token.RSQB

token.COLON

token.COMMA

token.SEMI

token.PLUS

token.MINUS

token.STAR

token.SLASH

token.VBAR

token.AMPER

token.LESS

token.GREATER

token.EQUAL

token.DOT

token.PERCENT

token.LBRACE

token.RBRACE

token.EQEQUAL

token.NOTEQUAL

token.LESSEQUAL

token.GREATEREQUAL

token.TILDE

token.CIRCUMFLEX

token.LEFTSHIFT

token.RIGHTSHIFT

token.DOUBLESTAR

token.PLUSEQUAL

token.MINEQUAL

token.STAREQUAL

token.SLASHEQUAL

token.PERCENTEQUAL

token.AMPEREQUAL

token.VBAREQUAL

token.CIRCUMFLEXEQUAL

token.LEFTSHIFTEQUAL

token.RIGHTSHIFTEQUAL

token.DOUBLESTAREQUAL

token.DOUBLESLASH

token.DOUBLESLASHEQUAL

token.AT

token.ATEQUAL

token.RARROW

token.ELLIPSIS

token.OP

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

C标记生成器不使用以下标记类型值，但需要tokenize module.

token.COMMENT

用于表示注释的标记值

token.NL

用于表示标记值一个非终止的换行符。NEWLINE标记表示Python代码逻辑行的结束; NL当代码的逻辑行继续通过多个物理行时生成令牌.

token.ENCODING

表示的值表示用于将源字节解码为文本的编码。tokenize.tokenize() willalways返回的第一个令牌是ENCODING token.