token —Python解析ツリーで使用される定数
ソースコード： ：source： `Lib / token.py`
このモジュールは、解析ツリーのリーフノード（ターミナルトークン）の数値を表す定数を提供します。 言語文法のコンテキストでの名前の定義については、PythonディストリビューションのファイルGrammar/Grammarを参照してください。 名前がマップされる特定の数値は、Pythonのバージョン間で変わる可能性があります。
このモジュールは、数値コードから名前およびいくつかの関数へのマッピングも提供します。 関数は、PythonCヘッダーファイルの定義を反映しています。
- token.tok_name
- このモジュールで定義された定数の数値を名前文字列にマッピングする辞書。これにより、より人間が読める形式の解析ツリーを生成できます。
- token.ISTERMINAL(x)
- ターミナルトークン値に対して
Trueを返します。
- token.ISNONTERMINAL(x)
- 非終端トークン値の場合は
Trueを返します。
- token.ISEOF(x)
- x が入力の終了を示すマーカーである場合、
Trueを返します。
トークン定数は次のとおりです。
- token.ENDMARKER
token.NAME
token.NUMBER
token.STRING
token.NEWLINE
token.INDENT
token.DEDENT
token.LPAR
token.RPAR
token.LSQB
token.RSQB
token.COLON
token.COMMA
token.SEMI
token.PLUS
token.MINUS
token.STAR
token.SLASH
token.VBAR
token.AMPER
token.LESS
token.GREATER
token.EQUAL
token.DOT
token.PERCENT
token.LBRACE
token.RBRACE
token.EQEQUAL
token.NOTEQUAL
token.LESSEQUAL
token.GREATEREQUAL
token.TILDE
token.CIRCUMFLEX
token.LEFTSHIFT
token.RIGHTSHIFT
token.DOUBLESTAR
token.PLUSEQUAL
token.MINEQUAL
token.STAREQUAL
token.SLASHEQUAL
token.PERCENTEQUAL
token.AMPEREQUAL
token.VBAREQUAL
token.CIRCUMFLEXEQUAL
token.LEFTSHIFTEQUAL
token.RIGHTSHIFTEQUAL
token.DOUBLESTAREQUAL
token.DOUBLESLASH
token.DOUBLESLASHEQUAL
token.AT
token.ATEQUAL
token.RARROW
token.ELLIPSIS
token.OP
token.ERRORTOKEN
token.N_TOKENS
token.NT_OFFSET
次のトークンタイプの値は、Cトークナイザーでは使用されませんが、 tokenize モジュールに必要です。
- token.COMMENT
- コメントを示すために使用されるトークン値。
- token.NL
- 終了しない改行を示すために使用されるトークン値。 NEWLINE トークンは、Pythonコードの論理行の終わりを示します。
NLトークンは、コードの論理行が複数の物理行に続く場合に生成されます。
- token.ENCODING
- ソースバイトをテキストにデコードするために使用されるエンコーディングを示すトークン値。 tokenize.tokenize（）によって返される最初のトークンは、常に
ENCODINGトークンになります。
バージョン3.5で変更： AWAITおよびASYNCトークンが追加されました。
バージョン3.7で変更： AWAITおよびASYNCトークンを削除しました。 「async」と「await」は NAME トークンとしてトークン化されるようになりました。
