自然言語処理

ウィキペディアから、無料の百科事典
ナビゲーションにジャンプ 検索にジャンプ
自然言語処理が主要なコンポーネントであるアプリケーションの例である、Webページでカスタマーサービスを提供する自動化されたオンラインアシスタント。[1]

自然言語処理NLP)は、言語学コンピューターサイエンス、およびコンピューターと人間の言語間の相互作用、特に大量の自然言語データを処理および分析するようにコンピューターをプログラムする方法に関係する人工知能のサブフィールドです。目標は、文書内の言語の文脈上のニュアンスを含む、文書の内容を「理解」できるコンピューターです。このテクノロジーは、ドキュメントに含まれる情報と洞察を正確に抽出し、ドキュメント自体を分類および整理することができます。

自然言語処理の課題には、音声認識自然言語理解自然言語生成が含まれることがよくあります。

歴史

自然言語処理は1950年代にそのルーツを持っています。すでに1950年に、アランチューリングは「計算する機械と知性」というタイトルの記事を公開しました。これは、人工知能とは別の問題として明確にされていなかったものの、現在チューリングテストと呼ばれるものを知性の基準として提案しました。提案されたテストには、自然言語の自動解釈と生成を含むタスクが含まれています。

シンボリックNLP(1950年代– 1990年代初頭)

シンボリックNLPの前提は、ジョン・サール中国語の部屋の実験によって十分に要約されています。ルールのコレクション(たとえば、質問と一致する回答を含む中国語のフレーズブック)が与えられると、コンピューターは自然言語理解(または他のNLPタスク)をエミュレートします。直面するデータにそれらのルールを適用します。

  • 1950年代:1954年のジョージタウン実験では、60を超えるロシア語の文を英語に完全に自動翻訳しました。著者らは、3〜5年以内に、機械翻訳が解決された問題になると主張しました。[2] しかし、実際の進歩ははるかに遅く、1966年のALPACレポートでは、10年間の研究が期待に応えられなかったことが判明したため、機械翻訳への資金は劇的に削減されました。最初の統計的機械翻訳システムが開発された1980年代後半まで、機械翻訳に関するこれ以上の研究はほとんど行われていませんでした。
  • 1960年代:1960年代に開発されたいくつかの特に成功した自然言語処理システムは、語彙が制限された制限された「ブロック世界」で機能する自然言語システムであるSHRDLUと、 1964年から1966年の間にJosephWeizenbaumによって書かれたロジェリアの心理療法士のシミュレーションであるELIZAでした。 ELIZAは、人間の思考や感情に関する情報をほとんど使用せずに、驚くほど人間のような相互作用を提供することがありました。「患者」が非常に小さな知識ベースを超えた場合、ELIZAは一般的な応答を提供する場合があります。たとえば、「頭が痛い」と「頭が痛いのはなぜですか」と応答します。
  • 1970年代:1970年代に、多くのプログラマーが「概念オントロジー」を書き始めました。これは、実世界の情報をコンピューターが理解できるデータに構造化したものです。例としては、MARGIE(Schank、1975)、SAM(Cullingford、1978)、PAM(Wilensky、1978)、TaleSpin(Meehan、1976)、QUALM(Lehnert、1977)、Politics(Carbonell、1979)、およびPlot Units(Lehnert 1981)があります。 )。この間に、最初の多くのチャットボットが作成されました(例:PARRY)。
  • 1980年代:1980年代と1990年代初頭は、NLPにおけるシンボリックメソッドの全盛期を示しています。当時の重点分野には、ルールベースの構文解析(生成文法の計算操作化としてのHPSGの開発など)、形態論(2レベルの形態論[3]など)、意味論(Leskアルゴリズムなど)、参照に関する研究が含まれていました。 (たとえば、センタリング理論[4]内)およびその他の自然言語理解の領域(たとえば、形態論的構造理論内)。RacterJabberwackyを使用したチャットボットの開発など、他の研究ラインも継続されました。重要な進展(最終的に1990年代に統計的転換につながった)は、この時期の定量的評価の重要性の高まりでした。[5]

統計的NLP(1990年代から2010年代)

1980年代まで、ほとんどの自然言語処理システムは、手書きのルールの複雑なセットに基づいていました。しかし、1980年代後半から、言語処理用の機械学習アルゴリズムの導入により、自然言語処理に革命が起こりました。これは、計算能力の着実な増加(ムーアの法則を参照)と、機械学習アプローチの根底にあるコーパス言語学の種類をその理論的基盤が思いとどまらせた言語学のチョムスキー理論(変形文法など)の優位性が徐々に低下したことの両方によるものでした。言語処理に。[6]

  • 1990年代:NLPの統計手法に関する注目すべき初期の成功の多くは、特にIBM Researchでの作業により、機械翻訳の分野で発生しました。これらのシステムは、カナダ議会欧州連合によって作成された既存の多言語テキストコーパスを利用することができました。すべての政府の手続きを対応する政府システムのすべての公用語に翻訳することを求める法律の結果として。ただし、他のほとんどのシステムは、これらのシステムによって実装されるタスク用に特別に開発されたコーパスに依存していました。これは、これらのシステムの成功における大きな制限でした(そして多くの場合、継続します)。その結果、限られた量のデータからより効果的に学習する方法について多くの研究が行われてきました。
  • 2000年代:Webの成長に伴い、1990年代半ば以降、利用できる生の(注釈のない)言語データの量が増えています。したがって、研究は教師なしおよび半教師あり学習アルゴリズムにますます焦点を合わせています。このようなアルゴリズムは、目的の回答で手動で注釈が付けられていないデータから、または注釈付きデータと注釈なしデータの組み合わせを使用して学習できます。一般に、このタスクは教師あり学習よりもはるかに困難であり、通常、特定の量の入力データに対して精度の低い結果を生成します。ただし、利用可能な注釈なしのデータは膨大な量になります(特に、ワールドワイドウェブのコンテンツ全体を含む)。)、これは、使用されるアルゴリズムの時間計算量が実用的であるほど低い場合、劣った結果を補うことができます。

ニューラルNLP(現在)

2010年代には、表現学習ディープニューラルネットワークスタイルの機械学習手法が自然言語処理で普及しました。その人気は、そのような技術[7] [8]が、言語モデリング[9]や構文解析など、多くの自然言語タスクで最先端の結果を達成できることを示す結果の急増に一部起因していました。[10] [11]これは、医療ヘルスケアにおいてますます重要になっています。NLPは、電子カルテのメモやテキストを分析するのに役立ちます[12]

方法:ルール、統計、ニューラルネットワーク

初期の頃、多くの言語処理システムは、記号的方法、つまり、一連のルールのハンドコーディングと辞書ルックアップを組み合わせて設計されていました。[13] [14]文法の記述や、ヒューリスティックルールの考案など。ステミング

機械学習アルゴリズムに基づく最近のシステムには、手作業で作成されたルールに比べて多くの利点があります。

  • 機械学習で使用される学習手順は、最も一般的なケースに自動的に焦点を合わせますが、手動でルールを作成する場合、どこに努力を向けるべきかがまったく明らかでないことがよくあります。
  • 自動学習手順では、統計的推論アルゴリズムを利用して、見慣れない入力(たとえば、これまでに見たことのない単語や構造を含む)や誤った入力(たとえば、スペルミスのある単語や誤って省略された単語)に対して堅牢なモデルを作成できます。一般に、このような入力を手書きのルールで適切に処理すること、またはより一般的には、ソフトな決定を行う手書きのルールのシステムを作成することは、非常に難しく、エラーが発生しやすく、時間がかかります。
  • ルールの自動学習に基づくシステムは、より多くの入力データを提供するだけで、より正確にすることができます。ただし、手書きのルールに基づくシステムは、ルールの複雑さを増すことによってのみより正確にすることができます。これは、はるかに困難な作業です。特に、手書きのルールに基づくシステムの複雑さには限界があり、それを超えるとシステムはますます管理不能になります。ただし、機械学習システムに入力するデータをさらに作成するには、それに対応して工数を増やすだけで済みます。通常、注釈プロセスの複雑さは大幅に増すことはありません。

NLP研究での機械学習の人気にもかかわらず、シンボリック手法は依然として(2020年)一般的に使用されています。

  • トレーニングデータの量が機械学習手法をうまく適用するには不十分な場合、たとえば、Apertiumシステムによって提供されるような低リソース言語の機械翻訳の場合。
  • NLPパイプラインでの前処理、たとえばトークン化、または
  • NLPパイプラインの出力を後処理および変換するため、たとえば構文解析からの知識抽出のため。

統計的手法

1980年代後半から1990年代半ばにかけてのいわゆる「統計革命」[15] [16]以来、多くの自然言語処理研究は機械学習に大きく依存してきました。機械学習パラダイムでは、代わりに統計的推論を使用して、典型的な実例 の大規模なコーパス(複数の形式のコーパスは、おそらく人間またはコンピューターの注釈が付いた一連のドキュメント)の分析を通じてそのようなルールを自動的に学習する必要があります。

自然言語処理タスクには、さまざまなクラスの機械学習アルゴリズムが適用されています。これらのアルゴリズムは、入力データから生成された「機能」の大規模なセットを入力として受け取ります。しかし、研究はますます統計モデルに焦点を合わせており、各入力特徴に実数値の重みを付けることに基づいてソフトで確率的な決定を下します(複素数値の埋め込み[17]一般にニューラルネットワークも提案されています。たとえば音声など)。[18])。このようなモデルには、1つだけではなく、多くの異なる可能な回答の相対的な確実性を表現できるという利点があり、このようなモデルがより大きなシステムのコンポーネントとして含まれている場合、より信頼性の高い結果が得られます。

決定木など、最も初期に使用された機械学習アルゴリズムのいくつかは、既存の手書きのルールと同様のハードif-thenルールのシステムを生成しました。ただし、品詞のタグ付けにより、隠れマルコフモデルの使用が自然言語処理に導入され、入力を構成する特徴に実数値の重みを付加することに基づいて、ソフトで確率的な決定を行う統計モデルにますます焦点が当てられています。データ。多くの音声認識の対象となるキャッシュ言語モデル現在依存しているシステムは、そのような統計モデルの例です。このようなモデルは、一般に、なじみのない入力、特にエラーを含む入力(実際のデータでは非常に一般的)が与えられるとより堅牢になり、複数のサブタスクで構成されるより大きなシステムに統合されると、より信頼性の高い結果が得られます。

ニューラルターン以降、NLP研究の統計的手法は、主にニューラルネットワークに置き換えられてきました。ただし、統計的な解釈可能性と透明性が要求される状況では、引き続き関連性があります。

ニューラルネットワーク

統計的手法の主な欠点は、精巧な特徴エンジニアリングが必要になることです。したがって、 2015年以降[19]、この分野は統計的手法を大幅に放棄し、機械学習のためのニューラルネットワークに移行しました。人気のあるテクニックには、単語の埋め込みの使用が含まれます単語のセマンティックプロパティをキャプチャし、個別の中間タスク(品詞のタグ付けや依存関係など)のパイプラインに依存する代わりに、高レベルのタスク(質問応答など)のエンドツーエンドの学習を増やす解析)。一部の領域では、このシフトにより、NLPシステムの設計方法が大幅に変更され、ディープニューラルネットワークベースのアプローチは、統計的自然言語処理とは異なる新しいパラダイムと見なされる可能性があります。たとえば、ニューラル機械翻訳(NMT)という用語は、機械翻訳への深層学習ベースのアプローチがシーケンスからシーケンスへの変換を直接学習するという事実を強調し、単語の整列や言語モデリングなどの中間ステップの必要性を排除します。統計的機械翻訳(SMT)。最新の作品は、適切なニューラルネットワークを構築するために特定のタスクの非技術的な構造を使用する傾向があります。[20]

一般的なNLPタスク

以下は、自然言語処理で最も一般的に研究されているタスクのリストです。これらのタスクの中には、実際のアプリケーションを直接使用するものもあれば、より大きなタスクの解決を支援するために使用されるサブタスクとして機能するものもあります。

自然言語処理タスクは密接に絡み合っていますが、便宜上、カテゴリに細分化することができます。大まかな除算を以下に示します。

テキストと音声処理

光学式文字認識(OCR)
印刷されたテキストを表す画像が与えられたら、対応するテキストを決定します。
音声認識
1人または複数の人が話しているサウンドクリップを前提として、スピーチのテキスト表現を決定します。これはテキストとスピーチの反対であり、口語的に「 AI完全」と呼ばれる非常に難しい問題の1つです(上記を参照)。自然な音声では、連続する単語の間にほとんど休止がないため、音声のセグメンテーションは音声認識の必要なサブタスクです(以下を参照)。ほとんどの話されている言語では、連続する文字を表す音は、調音と呼ばれるプロセスで互いに混ざり合うためアナログ信号の変換個別の文字に変換することは、非常に難しいプロセスになる可能性があります。また、同じ言語の単語が異なるアクセントを持つ人々によって話されていることを考えると、音声認識ソフトウェアは、テキストの同等性に関して互いに同一であるとして、多種多様な入力を認識できなければなりません。
音声セグメンテーション
話している人のサウンドクリップを考えて、それを単語に分けます。音声認識のサブタスクであり、通常はそれとグループ化されます。
テキスト読み上げ
テキストが与えられたら、それらの単位を変換して、音声表現を生成します。テキスト読み上げは、視覚障害者を支援するために使用できます。[21]
単語のセグメンテーショントークン化)
連続したテキストのチャンクを別々の単語に分割します。英語のような言語の場合、単語は通常スペースで区切られているため、これはかなり簡単です。ただし、中国語日本語タイ語などの一部の書記言語では、このような方法で単語の境界をマークしません。これらの言語では、テキストのセグメンテーションは、その言語の単語の語彙形態に関する知識を必要とする重要なタスクです。このプロセスは、データマイニングでのバッグオブワード(BOW)の作成などの場合にも使用されることがあります。

形態素解析

Lemmatization
語尾変化のみを削除し、補題としても知られている単語の基本辞書形式を返すタスク。Lemmatizationは、単語を正規化された形式に縮小するためのもう1つの手法です。ただし、この場合、変換では実際に辞書を使用して単語を実際の形式にマッピングします。[22]
形態学的セグメンテーション
単語を個々の形態素に分け、形態素のクラスを識別します。このタスクの難しさは、考慮されている言語の形態つまり、単語の構造)の複雑さに大きく依存します。英語はかなり単純な形態、特に語形変化を持っているため、このタスクを完全に無視して、単語のすべての可能な形式(たとえば、「開く、開く、開く、開く」)を個別の単語として単純にモデル化することができます。トルコ語メイテイ族などの言語では、[23]高度に凝集しているただし、インドの言語では、各辞書エントリに数千の可能な単語形式があるため、このようなアプローチは不可能です。
品詞のタグ付け
文が与えられたら、各単語の品詞(POS)を決定します。多くの単語、特に一般的な単語は、複数の品詞として機能する可能性があります。たとえば、「book」は名詞(「テーブルの上の本」)または動詞(「フライトを予約する」)にすることができます。「set」は、名詞動詞形容詞のいずれでもかまいません。「out」は、少なくとも5つの異なる品詞のいずれかです。
ステミング
語尾変化した(または派生した)単語を基本形に縮小するプロセス(たとえば、「close」は「closed」、「closeing」、「close」、「closer」などのルートになります)。ステミングは、レンマ化と同様の結果をもたらしますが、辞書ではなく、ルールに基づいて行われます。

構文解析

文法誘導[24]
言語の構文を説明する正式な文法を生成します。
文の分割(「文の境界の明確化」とも呼ばれます
テキストのチャンクが与えられたら、文の境界を見つけます。文の境界は、多くの場合、ピリオドまたは他の句読点でマークされますが、これらの同じ文字は他の目的にも役立ちます(たとえば、略語のマーク付け)。
構文解析
与えられた文の構文解析ツリー(文法分析)を決定します。自然言語文法あいまいであり、典型的な文には複数の可能な分析があります。おそらく驚くべきことに、典型的な文には何千もの潜在的な構文解析が存在する可能性があります(そのほとんどは人間にはまったく無意味に見えます)。構文解析には、依存関係の構文解析構成要素の構文解析の2つの主要なタイプがあります依存関係の構文解析は、文中の単語間の関係(主要なオブジェクトや述語などのマーク付け)に焦点を当てますが、構成要素の構文解析は、確率文脈自由文法(PCFG)を使用して解析ツリーを構築することに焦点を当てます(参照確率的文法)。

(文脈における個々の単語の)語彙意味論

語彙意味論
文脈における個々の単語の計算上の意味は何ですか?
分布セマンティクス
データから意味表現をどのように学ぶことができますか?
固有表現抽出(NER)
テキストのストリームが与えられたら、テキスト内のどのアイテムが人や場所などの適切な名前にマップされているか、およびそのような各名前のタイプ(人、場所、組織など)を判別します。キャピタライゼーションは、英語などの言語で名前付きエンティティを認識するのに役立ちますが、この情報は名前付きエンティティのタイプを判別するのに役立ちませんいずれの場合も、不正確または不十分であることがよくあります。たとえば、文の最初の文字も大文字になり、名前付きエンティティは複数の単語にまたがることが多く、そのうちの一部だけが大文字になります。さらに、西洋以外のスクリプトの他の多くの言語(中国語アラビア語など))キャピタライゼーションはまったくありません。キャピタライゼーションのある言語でさえ、名前を区別するために一貫してキャピタライゼーションを使用しない場合があります。たとえば、ドイツ語は名前であるかどうかに関係なくすべての名詞を大文字にし、フランス語スペイン語は形容詞として機能する名前を大文字にしません
感情分析マルチモーダル感情分析も参照)
通常、一連のドキュメントから主観的な情報を抽出します。多くの場合、オンラインレビューを使用して、特定のオブジェクトに関する「極性」を判断します。ソーシャルメディアやマーケティングにおける世論の傾向を特定するのに特に役立ちます。
用語抽出
用語抽出の目的は、特定のコーパスから関連する用語を自動的に抽出することです。
語義曖昧性解消(WSD)
多くの単語には複数の意味があります; 文脈上最も意味のある意味を選択する必要があります。この問題については、通常、辞書やWordNetなどのオンラインリソースから、単語と関連する単語の意味のリストが提供されます
エンティティリンキング
多くの単語(通常は適切な名前)は、名前付きエンティティを指します。ここでは、コンテキストで参照されるエンティティ(有名な個人、場所、会社など)を選択する必要があります。

リレーショナルセマンティクス(個々の文のセマンティクス)

関係の抽出
テキストのチャンクが与えられたら、名前の付いたエンティティ間の関係を特定します(たとえば、誰が誰と結婚しているのか)。
セマンティック構文解析
テキストの一部(通常は文)が与えられた場合、グラフとして(たとえば、AMR解析で)、または論理形式に従って(たとえば、DRT解析で)、そのセマンティクスの形式的表現を生成します。この課題には通常、セマンティクスからのいくつかの基本的なNLPタスクの側面が含まれ(たとえば、セマンティックロールのラベル付け、語義の曖昧性解消)、本格的な談話分析(たとえば、談話分析、共参照。以下の自然言語の理解を参照)を含めるように拡張できます。
セマンティックロールラベリング(以下の暗黙的なセマンティックロールラベリングも参照)
単一の文が与えられた場合、意味述語(たとえば、言語フレーム)を識別して明確にし、次にフレーム要素(意味役割)を識別して分類します。

談話(個々の文を超えた意味論)

共参照の解決
文またはテキストのより大きなチャンクが与えられた場合、どの単語(「メンション」)が同じオブジェクト(「エンティティ」)を参照しているかを判別します。照応解決はこのタスクの特定の例であり、特に代名詞をそれらが参照する名詞または名前と一致させることに関係しています。共参照解決のより一般的なタスクには、参照式を含む、いわゆる「ブリッジ関係」の識別も含まれますたとえば、「彼は正面玄関からジョンの家に入った」などの文では、「正面玄関」は参照表現であり、識別されるブリッジ関係は、参照されているドアがジョンの正面玄関であるという事実です。 '
談話分析
このルーブリックには、いくつかの関連タスクが含まれています。1つのタスクは、談話の構文解析です。つまり、接続されたテキストの談話構造、つまり文間の談話関係の性質(たとえば、詳細、説明、対比)を識別します。別の可能なタスクは、テキストのチャンク内の発話行為を認識して分類することです(たとえば、はい-いいえの質問、内容の質問、ステートメント、アサーションなど)。
暗黙のセマンティックロールラベリング
単一の文が与えられた場合、現在の文における意味述語(たとえば、言語フレーム)とそれらの明示的な意味役割を識別して明確にします(上記の意味役割のラベル付けを参照)。次に、現在の文で明示的に実現されていない意味的役割を特定し、テキストの他の場所で明示的に実現されている引数と指定されていない引数に分類し、前者をローカルテキストに対して解決します。密接に関連するタスクは、照応ゼロの解決、つまり、主語を省略できる言語への共参照解決の拡張です。
テキスト含意の認識
2つのテキストフラグメントが与えられた場合、一方がtrueであるか、他方が否定であるか、または他方がtrueまたはfalseであるかを判断します。[25]
トピックのセグメンテーションと認識
テキストのチャンクを指定して、各セグメントをトピック専用のセグメントに分割し、セグメントのトピックを識別します。
引数マイニング
引数マイニングの目標は、コンピュータープログラムを使用して、自然言語テキストから引数構造を自動的に抽出および識別することです。[26]そのような議論の構造には、前提、結論、議論のスキームと主な議論と補助的な議論の間の関係、または談話内の主な議論と反論が含まれる。[27] [28]

高レベルのNLPアプリケーション

自動要約(テキスト要約)
テキストのチャンクの読みやすい要約を作成します。多くの場合、研究論文、新聞の財務セクションの記事など、既知のタイプのテキストの要約を提供するために使用されます。
本の生成
NLPタスクは適切ではありませんが、自然言語生成やその他のNLPタスクの拡張は、本格的な本の作成です。最初の機械で生成された本は、1984年にルールベースのシステムによって作成されました(Racter、警官のひげは半分構築されています)。[29]ニューラルネットワークによって最初に公開された作品は、2018年に公開されました。1小説として販売されているThe Roadには、6000万語が含まれています。これらのシステムはどちらも基本的に精巧ですが、無意味な(セマンティクスのない)言語モデルです。最初の機械で生成された科学の本は2019年に出版されました(ベータライター、リチウムイオン電池、Springer、Cham)。[30] Racter1theRoadとは異なり、これは事実に基づく知識とテキストの要約に基づいています。
対話管理
人間と会話することを目的としたコンピュータシステム。
AIを文書化する
Document AIプラットフォームはNLPテクノロジーの上にあり、人工知能、機械学習、またはNLPの経験がないユーザーでも、さまざまなドキュメントタイプから必要な特定のデータを抽出するようにコンピューターをすばやくトレーニングできます。NLPを利用したDocumentAIを使用すると、技術者以外のチームは、弁護士、ビジネスアナリスト、会計士など、ドキュメントに隠された情報にすばやくアクセスできます。[31]
文法エラー訂正
文法エラーの検出と訂正には、すべてのレベルの言語分析(音韻論/正書法、形態論、構文、意味論、語用論)で問題の広い帯域幅が含まれます。文法上の誤り訂正は、第二言語として英語を使用または習得する何億人もの人々に影響を与えるため、影響力があります。したがって、2011年以降、多くの共有タスクの対象となっています。[32] [33] [34]正書法、形態論、構文、およびセマンティクスの特定の側面に関する限り、強力なニューラル言語モデルの開発により、GPT-2として、これは現在(2019)ほぼ解決された問題と見なすことができ、さまざまな商用アプリケーションで販売されています。
機械翻訳
ある人間の言語から別の人間の言語にテキストを自動的に翻訳します。これは最も難しい問題の1つであり、口語的に「AI完全」と呼ばれる問題のクラスのメンバーです。つまり、人間が持つさまざまな種類の知識(文法、意味論、現実世界に関する事実など)をすべて必要とします。 。)適切に解決する。
自然言語生成(NLG):
コンピュータデータベースまたはセマンティックインテントからの情報を読み取り可能な人間の言語に変換します。
自然言語理解(NLU)
テキストのチャンクを、コンピュータプログラムが操作しやすい一階述語論理構造などのより正式な表現に変換します。自然言語理解には、通常、自然言語の概念の体系化された表記の形をとる自然言語表現から導出できる複数の可能なセマンティクスから、意図されたセマンティクスを識別することが含まれます。言語メタモデルとオントロジーの導入と作成は効率的ですが、経験的な解決策です。閉世界仮説(CWA)と世界仮説などの暗黙の仮定と混同することなく、自然言語のセマンティクスを明示的に形式化する、または主観的なはい/いいえ対客観的な真/偽は、意味論の形式化の基礎の構築に期待されます。[35]
質問応答
人間の言語の質問が与えられたら、その答えを決定します。一般的な質問には特定の正解がありますが(「カナダの首都はどこですか?」など)、自由形式の質問も考慮される場合があります(「人生の意味は何ですか?」など)。

一般的な傾向と(可能性のある)将来の方向性

この分野での長年の傾向に基づいて、NLPの将来の方向性を推定することが可能です。2020年の時点で、CoNLL共有タスクの長年のシリーズのトピックの中で3つの傾向を観察することができます。[36]

  • 自然言語のますます抽象的な「認知的」側面への関心(1999-2001:浅い構文解析、2002-03:固有表現抽出、2006-09 / 2017-18:依存構文、2004-05 / 2008-09意味的役割のラベル付け、 2011-12共参照、2015-16:ディスコース解析、2019:セマンティック解析)。
  • 多言語性、そして潜在的にはマルチモダリティへの関心の高まり(1999年以降の英語、2002年以降のスペイン語、オランダ語、2003年以降のドイツ語、2006年以降のブルガリア語、デンマーク語、日本語、ポルトガル語、スロベニア語、スウェーデン語、トルコ語、バスク語、カタロニア語、中国語、ギリシャ語、ハンガリー語、イタリア語、2007年以降のトルコ語、2009年以降のチェコ語、2012年以降のアラビア語、2017年:40以上の言語、2018年:60以上/ 100以上の言語)
  • シンボリック表現の排除(弱く監視された方法、表現学習、エンドツーエンドシステムに向けたルールベースの監視あり)

認知とNLP

ほとんどの高レベルのNLPアプリケーションには、インテリジェントな動作と自然言語の明らかな理解をエミュレートする側面が含まれます。より大まかに言えば、認知行動のますます高度な側面の技術的な操作化は、NLPの発達の軌跡の1つを表しています(上記のCoNLL共有タスク間の傾向を参照)。

認知とは、「思考、経験、感覚を通じて知識と理解を獲得する精神的行動またはプロセス」を指します。[37] 認知科学は、心とそのプロセスの学際的で科学的な研究です。[38] 認知言語学は、心理学と言語学の両方からの知識と研究を組み合わせた、言語学の学際的な分野です。[39]特に象徴的なNLPの時代には、計算言語学の分野は認知研究との強い結びつきを維持していました。

例として、George Lakoffは、認知科学の観点から自然言語処理(NLP)アルゴリズムを構築する方法論と、2つの明確な側面を備え た認知言語学発見[40]を提供しています。

  1. 作者の意図のアイデアを提供する「別の観点からのあるアイデアの理解」としてレイコフによって説明された概念メタファーの理論を適用します。[41]たとえば、英語の単語「big」について考えてみます。比較(「それは大きな木です」)で使用される場合、作者の意図は、その木が他の木または作者の経験と比較して「物理的に大きい」ことを意味することです。比喩的に使用される場合(「明日は大きな日」)、作者の意図は「重要性」を意味します。「彼女は大きな人です」のように、他の使用法の背後にある意図追加情報がなければ、人と認知NLPアルゴリズムにはあいまいなままになります。
  2. 分析されるテキストの前後に提示される情報に基づいて、たとえば確率文脈自由文法(PCFG)を使用して、単語、句、文、またはテキストに相対的な意味の尺度を割り当てます。このようなアルゴリズムの数式は、米国特許9269353 に示されています。
どこ、
RMMは、意味の相対的な尺度です
トークンは、テキスト、文、フレーズ、または単語の任意のブロックです
Nは、分析されているトークンの数です。
PMMは、コーパスに基づく意味の推定尺度です。
dは、 N-1トークンのシーケンスに沿ったトークンの位置です。
PFは、言語に固有の確率関数です。

認知言語学との結びつきは、NLPの歴史的遺産の一部ですが、1990年代の統計的転換以来、あまり頻繁に取り上げられていません。それにもかかわらず、技術的に操作可能なフレームワークに向けた認知モデルを開発するためのアプローチは、さまざまなフレームワーク、例えば、認知文法、[42]機能文法、[43]構築文法、[44]計算心理言語学、および認知神経科学(例えば、ACT-R)、ただし、主流のNLPへの取り込みは限られています(ACLの主要な会議[45]でのプレゼンスによって測定)。最近では、認知NLPのアイデアが、達成するためのアプローチとして復活しました。説明可能性、例えば、「認知AI」の概念の下で。[46]同様に、認知NLPのアイデアは、神経モデルのマルチモーダルNLPに固有のものです(ただし、明示的にされることはめったにありません)。[47]

も参照してください

参考文献

  1. ^ Kongthon、Alisa; Sangkeettrakarn、Chatchawal; Kongyoung、Sarawoot; Haruechaiyasak、Choochart(2009年10月27〜30日)。会話型エージェントに基づくオンラインヘルプデスクシステムの実装MEDES '09:創発的デジタルエコシステムの管理に関する国際会議。フランス:ACM。土井10.1145 /1643823.1643908
  2. ^ Hutchins、J。(2005)。「機械翻訳の歴史」(PDF) [自費出版のソース]
  3. ^ Koskenniemi、Kimmo(1983)、2レベルの形態:単語形式の認識と生成の一般的な計算モデル(PDF) 、ヘルシンキ大学一般言語学部
  4. ^ Joshi、AK、&Weinstein、S。(1981年8月)。推論の制御:談話構造のいくつかの側面の役割-センタリングIJCAIpp。385-387)で。
  5. ^ Guida、G。; マウリ、G。(1986年7月)。「自然言語処理システムの評価:問題とアプローチ」。IEEEの議事録74(7):1026〜1035。土井10.1109 /PROC.1986.13580ISSN1558-2256_ S2CID30688575_  
  6. ^ Chomskyan言語学は、現実世界のデータで発生する典型的な現象の体系的な調査ではなく、通常は思考実験を使用して作成された理論モデルの限界を強調する「コーナーケース」の調査を奨励ますコーパス言語学の場合のようにこのような実世界のデータのコーパスの作成と使用は、自然言語処理のための機械学習アルゴリズムの基本的な部分です。さらに、いわゆる「刺激の貧困」などのチョムスキー語学の理論的基盤「議論は、機械学習で一般的に使用される一般的な学習アルゴリズムは言語処理で成功できないことを意味します。その結果、Chomskyanパラダイムは、言語処理へのそのようなモデルの適用を思いとどまらせました。
  7. ^ Goldberg、Yoav(2016)。「自然言語処理のためのニューラルネットワークモデルの入門書」。人工知能研究ジャーナル57:345–420。arXiv1807.10854土井10.1613 /jair.4992S2CID8273530_ 
  8. ^ グッドフェロー、イアン; ベンジオ、ヨシュア; アーロン・クールヴィル(2016)。ディープラーニングMITプレス。
  9. ^ Jozefowicz、Rafal; ヴィニャル、オリオール; シュースター、マイク; シャゼール、ノアム; ウー、ヨンフイ(2016)。言語モデリングの限界を探るarXiv1602.02410Bibcode2016arXiv160202410J
  10. ^ チェ、ドクック; チャニアック、ユージン。「言語モデリングとしての構文解析」Emnlp20162018-10-23にオリジナルからアーカイブされました2018年10月22日取得
  11. ^ ヴィニャル、オリオール; etal。(2014)。「外国語としての文法」(PDF)Nips2015arXiv1412.7449Bibcode2014arXiv1412.7449V
  12. ^ ターチン、アレクサンダー; Florez Builes、Luisa F.(2021-03-19)。「自然言語処理を使用して糖尿病ケアの質を測定および改善する:系統的レビュー」Journal of Diabetes Science andTechnology15(3):553–560。土井10.1177 / 19322968211000831ISSN1932-2968_ PMC8120048。PMID33736486 _ _ _  
  13. ^ ウィノグラード、テリー(1971)。自然言語を理解するためのコンピュータプログラム(論文)におけるデータの表現としての手順。
  14. ^ シャンク、ロジャーC。; アベルソン、ロバートP.(1977)。スクリプト、計画、目標、および理解:人間の知識構造への調査ヒルズデール:エルバウム。ISBN 0-470-99033-3
  15. ^ マークジョンソン。統計革命が(計算)言語学をどのように変えるか。言語学と計算言語学の間の相互作用に関するEACL2009ワークショップの議事録。
  16. ^ フィリップ・レズニック。4回転。言語ログ、2011年2月5日。
  17. ^ 「NLPでの複素数値表現の調査」(PDF) {{cite web}}: CS1 maint: url-status (link)
  18. ^ Trabelsi、Chiheb; Bilaniuk、Olexa; 張、英; Serdyuk、Dmitriy; Subramanian、Sandeep; サントス、ジョアンフェリペ; Mehri、Soroush; Rostamzadeh、ネガー; ベンジオ、ヨシュア; パル、クリストファーJ.(2018-02-25)。「ディープコンプレックスネットワーク」。arXiv1705.09792 [ cs.NE ]。
  19. ^ ソッヘル、リチャード。「NLP-ACL2012チュートリアルのディープラーニング」www.socher.org 2020年8月17日取得これはACL2012での初期のディープラーニングのチュートリアルであり、ほとんどの参加者から関心と(当時の)懐疑論の両方に直面しました。それまで、神経学習は統計的解釈可能性の欠如のために基本的に拒否されました。2015年まで、ディープラーニングはNLPの主要なフレームワークに進化していました。
  20. ^ Annamoradnejad、I。およびZoghi、G。(2020)。コルベール:ユーモアの検出にbert文の埋め込みを使用していますarXivプレプリントarXiv:2004.12765。
  21. ^ イー、チュカイ; Tian、Yingli(2012)、「視覚障害者のための複雑な背景からの支援テキスト読み取り」、カメラベースのドキュメント分析と認識、Springer Berlin Heidelberg、 pp。15–28、 CiteSeerX 10.1.1.668.869doi10.1007 / 978- 3-642-29364-1_2ISBN  9783642293634
  22. ^ 「自然言語処理とは何ですか?機械学習におけるNLPの紹介」ギャンセツ!2020-12-06 2021-01-09を取得
  23. ^ Kishorjit、N。; Vidya、Raj RK。; Nirmal、Y。; Sivaji、B。(2012)。「マニプリ形態素識別」(PDF)南アジアおよび東南アジアの自然言語処理に関する第3回ワークショップ(SANLP)の議事録COLING 2012、ムンバイ、2012年12月:95–108。 {{cite journal}}: CS1 maint: location (link)
  24. ^ クライン、ダン; マニング、クリストファーD.(2002)。「構成要素コンテキストモデルを使用した自然言語文法誘導」(PDF)ニューラル情報処理システムの進歩
  25. ^ PASCAL認識テキスト含意チャレンジ(RTE-7) https://tac.nist.gov//2011/RTE/
  26. ^ リッピ、マルコ; Torroni、Paolo(2016-04-20)。「引数マイニング:最新技術と新たなトレンド」インターネット技術に関するACMトランザクション16(2):1–25。土井10.1145 / 2850417hdl11585/523460ISSN1533-5399_ S2CID9561587_  
  27. ^ 「引数マイニング-IJCAI2016チュートリアル」www.i3s.unice.fr 2021-03-09を取得
  28. ^ 「計算論争へのNLPアプローチ– ACL 2016、ベルリン」2021-03-09を取得
  29. ^ 「UBUWEB :: Racter」www.ubu.com 2020年8月17日取得
  30. ^ ライター、ベータ版(2019)。リチウムイオン電池土井10.1007 / 978-3-030-16800-1ISBN 978-3-030-16799-8S2CID155818532 _
  31. ^ 「GoogleCloudでのAIを理解するドキュメント(Cloud Next '19)-YouTube」www.youtube.com2021-10-30にオリジナルからアーカイブされました2021-01-11を取得
  32. ^ 管理。「言語技術センター(CLT)」マッコーリー大学2021-01-11を取得
  33. ^ 「共有タスク:文法エラー訂正」www.comp.nus.edu.sg。_ 2021-01-11を取得
  34. ^ 「共有タスク:文法エラー訂正」www.comp.nus.edu.sg。_ 2021-01-11を取得
  35. ^ Duan、Yucong; クルス、クリストフ(2011)。「存在からの概念化による自然言語の意味論の形式化」イノベーション、マネジメント、テクノロジーの国際ジャーナル2(1):37–42。2011-10-09にオリジナルからアーカイブされました。
  36. ^ 「以前の共有タスク| CoNLL」www.conll.org 2021-01-11を取得
  37. ^ 「認知」Lexicoオックスフォード大学出版局Dictionary.com 2020年5月6日取得
  38. ^ 「認知科学者に聞いてください」アメリカ教師連盟2014年8月8日。認知科学は、言語学、心理学、神経科学、哲学、コンピューターサイエンス、人類学の研究者が心を理解しようとする学際的な分野です。
  39. ^ ロビンソン、ピーター(2008)。認知言語学と第二言語習得のハンドブックラウトレッジ。pp。3–8。ISBN 978-0-805-85352-0
  40. ^ レイコフ、ジョージ(1999)。肉体の哲学:身体化された心と西洋哲学への挑戦; 付録:言語パラダイムの神経理論ニューヨークベーシックブックス。pp。569–583。ISBN 978-0-465-05674-3
  41. ^ シュトラウス、クローディア(1999)。文化的意味の認知理論ケンブリッジ大学出版局。pp。156–164。ISBN 978-0-521-59541-4
  42. ^ 「UniversalConceptualCognitive Annotation(UCCA)」Universal Conceptual Cognitive Annotation(UCCA)2021-01-11を取得
  43. ^ Rodríguez、FC、およびMairal-Usón、R。(2016)。RRG計算文法の構築オノマゼイン、(34)、86-117。
  44. ^ 「FluidConstructionGrammar –構文文法のための完全に機能する処理システム」2021-01-11を取得
  45. ^ 「ACLメンバーポータル|計算言語学会メンバーポータル」www.aclweb.org 2021-01-11を取得
  46. ^ 「チャンクとルール」www.w3.org 2021-01-11を取得
  47. ^ ソッヘル、リチャード; Karpathy、Andrej; Le、Quoc V。; マニング、クリストファーD。; Ng、Andrew Y.(2014)。「文を含む画像を見つけて記述するための接地された構成的意味論」計算言語学協会の取引2:207–218。土井10.1162 / tacl_a_00177S2CID2317858_ 

さらに読む

外部リンク