token —Python解析ツリーで使用される定数
ソースコード： ：source： `Lib / token.py`
このモジュールは、解析ツリーのリーフノード（ターミナルトークン）の数値を表す定数を提供します。 言語文法のコンテキストでの名前の定義については、PythonディストリビューションのファイルGrammar/Grammarを参照してください。 名前がマップされる特定の数値は、Pythonのバージョン間で変わる可能性があります。
このモジュールは、数値コードから名前およびいくつかの関数へのマッピングも提供します。 関数は、PythonCヘッダーファイルの定義を反映しています。
- token.tok_name
- このモジュールで定義された定数の数値を名前文字列にマッピングする辞書。これにより、より人間が読める形式の解析ツリーを生成できます。
- token.ISTERMINAL(x)
- ターミナルトークン値に対して
Trueを返します。
- token.ISNONTERMINAL(x)
- 非終端トークン値の場合は
Trueを返します。
- token.ISEOF(x)
- x が入力の終了を示すマーカーである場合、
Trueを返します。
トークン定数は次のとおりです。
- token.ENDMARKER
- token.NAME
- token.NUMBER
- token.STRING
- token.NEWLINE
- token.INDENT
- token.DEDENT
- token.LPAR
"("のトークン値。
- token.RPAR
")"のトークン値。
- token.LSQB
"["のトークン値。
- token.RSQB
"]"のトークン値。
- token.COLON
":"のトークン値。
- token.COMMA
","のトークン値。
- token.SEMI
";"のトークン値。
- token.PLUS
"+"のトークン値。
- token.MINUS
"-"のトークン値。
- token.STAR
"*"のトークン値。
- token.SLASH
"/"のトークン値。
- token.VBAR
"|"のトークン値。
- token.AMPER
"&"のトークン値。
- token.LESS
"<"のトークン値。
- token.GREATER
">"のトークン値。
- token.EQUAL
"="のトークン値。
- token.DOT
"."のトークン値。
- token.PERCENT
"%"のトークン値。
- token.LBRACE
"{"のトークン値。
- token.RBRACE
"}"のトークン値。
- token.EQEQUAL
"=="のトークン値。
- token.NOTEQUAL
"!="のトークン値。
- token.LESSEQUAL
"<="のトークン値。
- token.GREATEREQUAL
">="のトークン値。
- token.TILDE
"~"のトークン値。
- token.CIRCUMFLEX
"^"のトークン値。
- token.LEFTSHIFT
"<<"のトークン値。
- token.RIGHTSHIFT
">>"のトークン値。
- token.DOUBLESTAR
"**"のトークン値。
- token.PLUSEQUAL
"+="のトークン値。
- token.MINEQUAL
"-="のトークン値。
- token.STAREQUAL
"*="のトークン値。
- token.SLASHEQUAL
"/="のトークン値。
- token.PERCENTEQUAL
"%="のトークン値。
- token.AMPEREQUAL
"&="のトークン値。
- token.VBAREQUAL
"|="のトークン値。
- token.CIRCUMFLEXEQUAL
"^="のトークン値。
- token.LEFTSHIFTEQUAL
"<<="のトークン値。
- token.RIGHTSHIFTEQUAL
">>="のトークン値。
- token.DOUBLESTAREQUAL
"**="のトークン値。
- token.DOUBLESLASH
"//"のトークン値。
- token.DOUBLESLASHEQUAL
"//="のトークン値。
- token.AT
"@"のトークン値。
- token.ATEQUAL
"@="のトークン値。
- token.RARROW
"->"のトークン値。
- token.ELLIPSIS
"..."のトークン値。
- token.COLONEQUAL
":="のトークン値。
- token.OP
- token.AWAIT
- token.ASYNC
- token.TYPE_IGNORE
- token.TYPE_COMMENT
- token.ERRORTOKEN
- token.N_TOKENS
- token.NT_OFFSET
次のトークンタイプの値は、Cトークナイザーでは使用されませんが、 tokenize モジュールに必要です。
- token.COMMENT
- コメントを示すために使用されるトークン値。
- token.NL
- 終了しない改行を示すために使用されるトークン値。 NEWLINE トークンは、Pythonコードの論理行の終わりを示します。
NLトークンは、コードの論理行が複数の物理行に続く場合に生成されます。
- token.ENCODING
- ソースバイトをテキストにデコードするために使用されるエンコーディングを示すトークン値。 tokenize.tokenize（）によって返される最初のトークンは、常に
ENCODINGトークンになります。
- token.TYPE_COMMENT
- タイプコメントが認識されたことを示すトークン値。 このようなトークンは、 ast.parse（）が
type_comments=Trueで呼び出された場合にのみ生成されます。
バージョン3.8で変更： TYPE_COMMENT 、 TYPE_IGNORE 、 COLONEQUAL を追加。 AWAIT および ASYNC トークンを追加しました（feature_versionに設定して ast.parse（）の古いPythonバージョンの解析をサポートする必要があります6以下）。
