32.5。 トークン —Python解析ツリーで使用される定数
ソースコード： ：source： `Lib / token.py`
このモジュールは、解析ツリーのリーフノード（ターミナルトークン）の数値を表す定数を提供します。 言語文法のコンテキストでの名前の定義については、PythonディストリビューションのファイルGrammar/Grammarを参照してください。 名前がマップされる特定の数値は、Pythonのバージョン間で変わる可能性があります。
このモジュールは、数値コードから名前およびいくつかの関数へのマッピングも提供します。 関数は、PythonCヘッダーファイルの定義を反映しています。
- token.tok_name
- このモジュールで定義された定数の数値を名前文字列にマッピングする辞書。これにより、より人間が読める形式の解析ツリーを生成できます。
- token.ISTERMINAL(x)
- ターミナルトークン値に対してtrueを返します。
- token.ISNONTERMINAL(x)
- 非終端トークン値の場合はtrueを返します。
- token.ISEOF(x)
- x が入力の終了を示すマーカーである場合、trueを返します。
トークン定数は次のとおりです。
- token.ENDMARKER
token.NAME
token.NUMBER
token.STRING
token.NEWLINE
token.INDENT
token.DEDENT
token.LPAR
token.RPAR
token.LSQB
token.RSQB
token.COLON
token.COMMA
token.SEMI
token.PLUS
token.MINUS
token.STAR
token.SLASH
token.VBAR
token.AMPER
token.LESS
token.GREATER
token.EQUAL
token.DOT
token.PERCENT
token.BACKQUOTE
token.LBRACE
token.RBRACE
token.EQEQUAL
token.NOTEQUAL
token.LESSEQUAL
token.GREATEREQUAL
token.TILDE
token.CIRCUMFLEX
token.LEFTSHIFT
token.RIGHTSHIFT
token.DOUBLESTAR
token.PLUSEQUAL
token.MINEQUAL
token.STAREQUAL
token.SLASHEQUAL
token.PERCENTEQUAL
token.AMPEREQUAL
token.VBAREQUAL
token.CIRCUMFLEXEQUAL
token.LEFTSHIFTEQUAL
token.RIGHTSHIFTEQUAL
token.DOUBLESTAREQUAL
token.DOUBLESLASH
token.DOUBLESLASHEQUAL
token.AT
token.OP
token.ERRORTOKEN
token.N_TOKENS
token.NT_OFFSET
