ast- 抽象语法树 – Python语言服务（Python教程）（参考资料）
ast– 抽象语法树
源代码： Lib / ast.py
ast模块帮助Python应用程序处理Pythonabstract语法语法的树。随着eachPython发布，抽象语法本身可能会改变;这个模块有助于以编程方式找出currentgrammar的样子.
通过将ast.PyCF_ONLY_AST asa标志传递给compile()内置函数或使用parse()本模块中提供的帮助程序。结果将是一个对象树，其类都继承自ast.AST。可以使用内置的compile()功能。
节点类
- class
ast.AST - 这是所有AST节点类的基础。实际节点类来自
Parser/Python.asdl文件，转载下面。它们在中定义_astCmodule并在ast.中重新导出。在abstractgrammar中为每个左侧符号定义了一个类（例如，
ast.stmt或ast.expr）。另外，在右侧为每个构造函数定义了一个类;这些类继承自左侧树的类。例如，ast.BinOp继承自ast.expr。对于具有替代（也称为“sums”）的生产规则，左侧类是抽象的：只创建特定构造函数节点的实例._fields- 每个具体类都有一个属性
_fields它给出了所有子节点的名称.具体类的每个实例都有一个属性用于每个子节点，类型在语法中定义。例如，
ast.BinOp实例有left属性ast.expr.如果这些属性在语法中被标记为可选（使用aquestion标记），则值可能是
None。如果属性可以具有零或更多值（标有星号），则值将表示为Python列表。在使用compile().
linenocol_offset- 的实例
ast.expr和ast.stmt子类有lineno和col_offset属性。lineno是源文本的行号（1索引，因此第一行是第1行）和col_offset是生成节点的第一个标记的UTF-8字节偏移量。记录UTF-8偏移是因为解析器内部使用了UTF-8
一个类的构造函数
ast.T解析其参数如下：- 如果有位置参数，则必须有与
T._fields中的项目一样多的参数;它们将被指定为这些名称的属性. - 如果有关键字参数，则会将相同名称的属性设置为给定值.
例如，要创建并填充
ast.UnaryOp节点，可以使用node = ast.UnaryOp() node.op = ast.USub() node.operand = ast.Num() node.operand.n = 5 node.operand.lineno = 0 node.operand.col_offset = 0 node.lineno = 0 node.col_offset = 0
或更紧凑
node = ast.UnaryOp(ast.USub(), ast.Num(5, lineno=0, col_offset=0), lineno=0, col_offset=0)
抽象语法
-- ASDL's 7 builtin types are:
-- identifier, int, string, bytes, object, singleton, constant
--
-- singleton: None, True or False
-- constant can be None, whereas None means "no value" for object.
module Python
{
mod = Module(stmt* body)
| Interactive(stmt* body)
| Expression(expr body)
-- not really an actual node but useful in Jython's typesystem.
| Suite(stmt* body)
stmt = FunctionDef(identifier name, arguments args,
stmt* body, expr* decorator_list, expr? returns)
| AsyncFunctionDef(identifier name, arguments args,
stmt* body, expr* decorator_list, expr? returns)
| ClassDef(identifier name,
expr* bases,
keyword* keywords,
stmt* body,
expr* decorator_list)
| Return(expr? value)
| Delete(expr* targets)
| Assign(expr* targets, expr value)
| AugAssign(expr target, operator op, expr value)
-- 'simple' indicates that we annotate simple name without parens
| AnnAssign(expr target, expr annotation, expr? value, int simple)
-- use 'orelse' because else is a keyword in target languages
| For(expr target, expr iter, stmt* body, stmt* orelse)
| AsyncFor(expr target, expr iter, stmt* body, stmt* orelse)
| While(expr test, stmt* body, stmt* orelse)
| If(expr test, stmt* body, stmt* orelse)
| With(withitem* items, stmt* body)
| AsyncWith(withitem* items, stmt* body)
| Raise(expr? exc, expr? cause)
| Try(stmt* body, excepthandler* handlers, stmt* orelse, stmt* finalbody)
| Assert(expr test, expr? msg)
| Import(alias* names)
| ImportFrom(identifier? module, alias* names, int? level)
| Global(identifier* names)
| Nonlocal(identifier* names)
| Expr(expr value)
| Pass | Break | Continue
-- XXX Jython will be different
-- col_offset is the byte offset in the utf8 string the parser uses
attributes (int lineno, int col_offset)
-- BoolOp() can use left & right?
expr = BoolOp(boolop op, expr* values)
| BinOp(expr left, operator op, expr right)
| UnaryOp(unaryop op, expr operand)
| Lambda(arguments args, expr body)
| IfExp(expr test, expr body, expr orelse)
| Dict(expr* keys, expr* values)
| Set(expr* elts)
| ListComp(expr elt, comprehension* generators)
| SetComp(expr elt, comprehension* generators)
| DictComp(expr key, expr value, comprehension* generators)
| GeneratorExp(expr elt, comprehension* generators)
-- the grammar constrains where yield expressions can occur
| Await(expr value)
| Yield(expr? value)
| YieldFrom(expr value)
-- need sequences for compare to distinguish between
-- x < 4 < 3 and (x < 4) < 3
| Compare(expr left, cmpop* ops, expr* comparators)
| Call(expr func, expr* args, keyword* keywords)
| Num(object n) -- a number as a PyObject.
| Str(string s) -- need to specify raw, unicode, etc?
| FormattedValue(expr value, int? conversion, expr? format_spec)
| JoinedStr(expr* values)
| Bytes(bytes s)
| NameConstant(singleton value)
| Ellipsis
| Constant(constant value)
-- the following expression can appear in assignment context
| Attribute(expr value, identifier attr, expr_context ctx)
| Subscript(expr value, slice slice, expr_context ctx)
| Starred(expr value, expr_context ctx)
| Name(identifier id, expr_context ctx)
| List(expr* elts, expr_context ctx)
| Tuple(expr* elts, expr_context ctx)
-- col_offset is the byte offset in the utf8 string the parser uses
attributes (int lineno, int col_offset)
expr_context = Load | Store | Del | AugLoad | AugStore | Param
slice = Slice(expr? lower, expr? upper, expr? step)
| ExtSlice(slice* dims)
| Index(expr value)
boolop = And | Or
operator = Add | Sub | Mult | MatMult | Div | Mod | Pow | LShift
| RShift | BitOr | BitXor | BitAnd | FloorDiv
unaryop = Invert | Not | UAdd | USub
cmpop = Eq | NotEq | Lt | LtE | Gt | GtE | Is | IsNot | In | NotIn
comprehension = (expr target, expr iter, expr* ifs, int is_async)
excepthandler = ExceptHandler(expr? type, identifier? name, stmt* body)
attributes (int lineno, int col_offset)
arguments = (arg* args, arg? vararg, arg* kwonlyargs, expr* kw_defaults,
arg? kwarg, expr* defaults)
arg = (identifier arg, expr? annotation)
attributes (int lineno, int col_offset)
-- keyword arguments supplied to call (NULL identifier for **kwargs)
keyword = (identifier? arg, expr value)
-- import name with optional 'as' alias.
alias = (identifier name, identifier? asname)
withitem = (expr context_expr, expr? optional_vars)
}
ast助手
除了节点类之外，ast模块定义了这些实用函数和用于遍历抽象语法树的类：
ast.parse（source, filename=”<unknown>”, mode=”exec”）- 将源解析为AST节点。相当于
compile(source,filename, mode, ast.PyCF_ONLY_AST).警告
由于Python的AST编译器中的堆栈深度限制，有可能使Python解释器崩溃的大/复杂的字符串很糟糕.
ast.literal_eval(node_or_string)- 安全地评估表达式节点或者包含Python文字或容器显示的字符串。提供的字符串或节点可能只包含以下Python文字结构：字符串，字节，数字，元组，列表，字符串，集合，布尔值和
None.这可用于安全地评估包含来自不受信任来源的Python值的字符串无需自己解析价值观。它不能用于评估任意复杂的表达式，例如涉及操作符或索引.
Warning
由于Python的AST编译器中的堆栈深度限制，可能会因为大型/复杂的字符串而崩溃Python解释器.
更改版本3.2：现在允许字节和设置文字
ast.get_docstring// (node, clean=True)- 返回的文档字符串给node（必须是
FunctionDef,AsyncFunctionDef,ClassDef，或Module节点），或None如果它没有docstring.If clean是的，用inspect.cleandoc().在版本3.5中更改：
AsyncFunctionDef现在支持了
ast.fix_missing_locations（node）- 使用
compile()，编译器期望lineno和col_offset支持sthem的每个节点的属性。填充生成的节点相当繁琐，因此通过将这些属性设置为父节点的值，可以递归地对这些属性进行递归处理。它从node.
ast.increment_lineno（node, n=1）- 从node开始增加树中每个节点的行号n这对于“移动代码”到文件中的不同位置
ast.copy_location（new_node, old_node)- 复制源位置（
lineno和col_offset）来自old_node至 new_node如果可能的话，返回new_node.
ast.iter_child_nodes（node）- 产生node，即作为节点的所有字段和作为节点列表的所有字段项.
ast.walk（node）- 从node（包含 node本身），没有指定的顺序。如果您只想修改节点并且不关心上下文，这很有用.
- class
ast.NodeVisitor - 一个节点访问者基类，它遍历抽象语法树并为找到的每个节点调用avisitor函数。此函数可能返回由
visit()方法转发的值这个类是子类化的，子类添加了visitormethods.
visit(node)- 访问一个节点。默认实现调用名为
self.visit_generic_visit()如果那种方法不存在的话
generic_visit（node）- 这位访客打电话给
visit()在节点的所有孩子身上请注意，除非访问者调用
generic_visit()或拜访自己.
不要用
NodeVisitor如果要在遍历期间对节点应用更改。为此，存在一个允许修改的特殊访客（NodeTransformer）
- class
ast.NodeTransformer - A
NodeVisitor遍历抽象语法树并允许修改节点的子类.NodeTransformer将遍历AST并使用visitor方法的返回值来替换或删除旧节点。如果访问者方法的返回值是None，节点将从其位置中删除，否则将替换为返回值。返回值可以是原始节点，在这种情况下不进行替换.这是一个示例变换器，它将所有出现的名称查找（
foo）重写为data["foo"]：class RewriteName(NodeTransformer): def visit_Name(self, node): return copy_location(Subscript( value=Name(id='data', ctx=Load()), slice=Index(value=Str(s=node.id)), ctx=node.ctx ), node)
请记住，如果您正在操作的节点有子节点，您可以自己转换子节点或首先调用节点的
generic_visit()方法.对于属于语句集合（适用于所有语句节点）的节点，访问者也可以返回节点列表而不是单个节点.
通常你使用这样的变换器：
node = YourTransformer().visit(node)
ast.dump（node, annotate_fields=True, include_attributes=False）- 在node中返回树的格式化转储。这主要用于调试目的。返回的字符串将显示字段的名称和值。这使代码无法评估，因此如果需要评估annotate_fields必须设置为
False。默认情况下不会转储诸如亚麻布和列偏移之类的属性。如果需要这个，include_attributes可以设置为True.
另见
Green Tree Snakes，一个外部文档资源，在使用Python AST时很好用.