Python-text-processing-python-tokenization
提供:Dev Guides
Python-トークン化
行のトークン化
次の例では、関数sent_tokenizeを使用して、指定されたテキストを異なる行に分割します。
上記のプログラムを実行すると、次の出力が得られます-
英語以外のトークン化
以下の例では、ドイツ語のテキストをトークン化します。
上記のプログラムを実行すると、次の出力が得られます-
単語トークン
nltkの一部として使用可能なword_tokenize関数を使用して、単語をトークン化します。
上記のプログラムを実行すると、次の出力が得られます-