Pythonを使用したAI –自然言語処理

自然言語処理（NLP）は、英語などの自然言語を使用してインテリジェントシステムと通信するAIメソッドを指します。

ロボットなどのインテリジェントシステムを指示どおりに実行する場合、対話ベースの臨床エキスパートシステムなどから決定を聞きたい場合などには、自然言語の処理が必要です。

NLPの分野では、コンピューターが人間が使用する自然言語で役立つタスクを実行するようにします。 NLPシステムの入力と出力はすることができます-

スピーチ
書面

NLPのコンポーネント

このセクションでは、NLPのさまざまなコンポーネントについて学習します。 NLPには2つのコンポーネントがあります。コンポーネントは以下のとおりです-

自然言語理解（NLU）

次のタスクが含まれます-

自然言語で与えられた入力を有用な表現にマッピングします。
言語のさまざまな側面の分析。

自然言語生成（NLG）

それは、内部表現から自然言語の形で意味のあるフレーズや文を生成するプロセスです。それが含まれます-

テキスト計画-これには、知識ベースからの関連コンテンツの取得が含まれます。
文の計画-これには、必要な単語の選択、意味のあるフレーズの形成、文の調子の設定が含まれます。
テキストの実現-これはセンテンスプランをセンテンス構造にマッピングしています。

NLUの問題

NLUの形式と構造は非常に豊富です。ただし、あいまいです。あいまいさのさまざまなレベルがあります-

語彙のあいまいさ

単語レベルなどの非常に原始的なレベルです。たとえば、「ボード」という単語を名詞または動詞として扱いますか？

構文レベルのあいまいさ

文はさまざまな方法で解析できます。たとえば、「彼は赤い帽子でカブトムシを持ち上げました。」-彼はカブトムシを持ち上げるためにキャップを使用しましたか、または彼は赤い帽子のカブトムシを持ち上げましたか？

参照あいまいさ

代名詞を使用して何かを指す。たとえば、リマはガウリに行きました。彼女は言った、「私は疲れています。」-正確に誰が疲れていますか？

NLPの用語

NLPの用語でいくつかの重要な用語を見てみましょう。

音韻-それは体系的に音を整理する研究です。
形態-それは、原始的な意味のある単位からの単語の構成の研究です。
形態素-言語の意味の原始的な単位です。
構文-それは文を作るために単語を配置することを指します。また、文およびフレーズ内の単語の構造的な役割を決定することも含まれます。
セマンティクス-単語の意味と、単語を組み合わせて意味のあるフレーズと文にする方法に関する。
Pragmatics -さまざまな状況での文の使用と理解、および文の解釈への影響を扱います。
談話-直前の文が次の文の解釈にどのように影響するかを扱います。
世界の知識-世界に関する一般的な知識が含まれています。

NLPの手順

このセクションでは、NLPのさまざまな手順を示します。

字句解析

単語の構造を特定して分析します。言語の辞書とは、ある言語の単語や語句の集合を意味します。字句解析は、txtのチャンク全体を段落、文、および単語に分割します。

構文解析（解析）

それは、文法のための文の単語の分析と、単語間の関係を示す方法で単語を配置することを伴います。「The school goes to boy」などの文は、英語の構文解析ツールによって拒否されます。

意味解析

テキストから正確な意味または辞書の意味を引き出します。テキストの意味がチェックされます。これは、タスクドメイン内の構文構造とオブジェクトをマッピングすることにより行われます。セマンティックアナライザーは、「ホットアイスクリーム」などの文を無視します。

談話統合

文の意味は、直前の文の意味に依存します。また、すぐに続く文の意味ももたらします。

実用的な分析

この間、言われたことは、実際に何を意味していたかについて再解釈されます。それには、実世界の知識を必要とする言語の側面を導き出すことが含まれます。

Artificial-intelligence-with-python-natural-language-processing

目次