みなさん、こんにちは！
自然言語理解ラボ事務局です。
今日は私たちのサイトの名前にもなっている「自然言語」の中でも「自然言語処理」についてお話をしていきたいと思います。「自然言語処理」また「自然言語処理技術」は日本語入力や音声認識、機械学習・翻訳、マイニングなどのベースとなっている技術です。
- 自然言語処理技術について全体像を把握したい
- 自然言語処理技術の使われている具体例を知りたい
- 自然言語処理技術とDXについて知りたい
この記事を書いている事務局スタッフも絶賛勉強中！
「自然言語処理とは？」と検索されている方はもしかすると、これから「自然言語処理」を勉強して仕事に役立てたい、ビジネスシーンで使われている用語として全体像を理解しておきたいという方もいらっしゃると思います。
少しでも皆様のお役に立てると嬉しいです。
Contents
自然言語処理とは？
自然言語処理（Natural Language Processing）略してNLPと呼ばれます。
自然言語処理は、私たちが普段しゃべっている話し言葉、文章として書いている言葉などの「自然言語」を様々な方法で解析し処理することが可能となる技術です。
私たちが普段しゃべっている言葉、書いている言葉が「自然言語（Natural Language）」日本人であれば、日本語。タイ人であればタイ語がその方にとっての自然言語。
その逆に「自然ではない言語があるのか？」という疑問が湧いてきますが…<font size=”1″> font </font> など、HTMLと呼ばれる、コンピューターが読み取れるマークアップ言語や、Java、Pytonのようなプログラミング言語は「自然ではない言語」にあたります（自然言語の対として表現されていると思って頂ければ！）この言語にはルールがあり、そのルールの通りに書いておかないと作動しないようになっています。
私たちが使う言葉とコンピューターに指示を送り込む言語の大きな違いは「曖昧さ」「ゆらぎ」と呼ばれるものになります。この「曖昧さ」や「ゆらぎ」がポイントになっていることを忘れないでくださいね！
自然言語
私たちが普段使っている、しゃべり言葉、書き言葉を指します！
ポイントは「曖昧さ」「ゆらぎ」
不自然な言語（自然言語に対してわかりやすいように表現される！）
コンピューターが読み取れるHTMLなどのマークアップ言語、
Java、Pytonのようなプログラミング言語、
ポイントは「ルールがある」「意味のズレがない」
自然言語処理の事例！私たちの身の回りにすでにある技術
さっそくですが、私たちの身近にある「自然言語処理技術」を見てみましょう。すでに当たり前に使われている技術のベースには自然言語処理があるということを理解していただければOKです！
①かな漢字変換
私たちが使っている日本語入力ソフトも自然言語処理のひとつ。
これまで当たり前に使っていましたが、自然言語処理の技術がここにもあるんですね！
特に日本語は同音異義語が多く、「みる」＝「見る・観る・診る・視る」などを私たちは変換しながら文章を打ち込んでいます。
日本語入力ソフトでは、ユーザー辞書、予測入力などの付属機能があります。私たちが使っている単語が自然と上位表示されるようになっていますよね。iPhoneでも使う人によって変換の言葉の表示順位は変わってきます。同じ「いりょう」という単語でも、医療関係者の方は「医療」アパレル関係の方だと「衣料」が上位表示されるわけです。
②機械翻訳
私たちがよく使っている「Google翻訳」も自然言語処理技術が使われています。機械翻訳とは元の言語を、目的の言語の文章に自動的に翻訳する処理技術です。
普段の日本語の話し言葉をそのまま打ち込んでも理想的な翻訳にならないことが多くて、英語に翻訳しやすいように日本語をアレンジしてますよー！
英語と日本語は構文要素（文章のなりたち）が違うため、そのままの言葉だとどうしても違和感が出てしまいます。実際、どの翻訳が正しいかどうか、文化的な背景なども含めた表現の正しさまでは、現時点では課題として残っているんです。
③検索エンジン
私たちの身近にある検索エンジンも自然言語処理技術が使われています。クエリ（検索要求と呼ばれる単語）を打ち込み、大量の文章、この場合だとWEB上にあるページ（大量のデータベース）から検索する技術になります。
WEB上には数十億ページものページが存在していて、その中から検索した人に必要なものを表示します。ですが、機械的なページや悪意のあるページも増えたため、全部を表示されるのではなく、余計なページは非表示になるなど対策がとられているそうです！Googleのアルゴリズムが刻々と進化している理由もここにありそうですね！
④対話システム
こちらの記事「チャットボットとは？チャットボットの歴史と機能、導入について」の記事にも記載した、エライザはも対話システムのひとつ。
たとえば、車のナビゲーションシステムもタッチパネルを操作しながら、指示を出し、それに対して道案内をしたり、音声でのナビゲーション案内をしてくれるのも、基礎技術には自然言語処理技術が使われています。
最近では「Siri」などの音声アシスタントが浸透してきました。音声アシスタント技術の背景にも自然言語処理技術が使われているのです。
会話をしているかのようなスピードで答えが返ってきますが、その時にはこれだけの処理が行われているんですって！！一瞬での処理スピードはやっぱりすごい！！
⑤質問応答
質問応答システムとは、特定の情報に対して自然言語で質問し、格納されたデータベースから回答を得られるシステムとなります。回答するためには知識源（データ）を先に格納しておく必要があります。
ちなみに、応答タイプには２つあり、ファクトエイド型質問応答（誰、何、どこなどの単純な固有名詞を答えるもの）、非ファクトイド型質問応答（どうやって、なぜ？など、単純な名刺で答えられないもの）があります。
弊社のシステムひとつ「アシスタントAI Roanna」も自然処理技術を用いたサービスのひとつになります。と言っても単語検索だけでなく、文章のゆらぎや曖昧な表現も文章で捉えることができる優秀なアシスタントAIです。
自然言語理解AI「NSU（Natural Sentence Understanding ）」を用いた技術は、単語だけでなく文章での理解を可能としています！大手企業様にも導入実績があるサービスなんですよ♪
自然言語処理は私たちの身近な場所ですでに活用されています！
ですが、今はその単純な意味を理解したり、質問に対してデーターベースから情報を検索し応答するという状態になっています。今後さらにAI技術が進化し「言語理解」が深まることで、より人に近い会話や情報検索、新しいサービスが可能となると考えます。
自然言語処理技術と「アシスタントAI Roanna」
先ほども紹介しました弊社の「アシスタントAI Roanna（ロアンナ）」は、自然言語の曖昧さや状況によって表現が変わるゆらぎなどの様々な言い回しを理解する、ファジー理解テクノロジーを持っています。
今日、紹介していた自然処理技術の基礎を持ち、その半歩先の、微妙な文章表現を理解できることが強みになります。チャットボットのような質問に対して答えが提示されるので、チャットボットのように感じますが、その先を走っているシステムなのがポイントです！
自然言語処理技術を高めるためには「能動的な学習」がポイント
この数年、企業DXの波が訪れ、同時に新型コロナウィルスの流行に伴い、テレワークや企業としての様々なサービス導入が推し進められました。その中には「AI」を用いたサービスも多くありました。
その波は将来的に人材不足が懸念されている行政にもDXが求められています。
DXに関するサービスは導入して終わりではなく、導入後が大切になります！
▶︎佐賀県産業スマートセンター事例コラムに【苫小牧市の導入事例】も紹介されています！
自然言語処理の技術を高めるためには、私たちの使っている「自然言語」を理解してもらいデータとして蓄積していくことが大切。そのために必要なのが「能動的な学習」になります。
能動的な学習は人的なリソースが必要になりますが、専門用語が多い業界や独自のやりとり、情報網がある場合などには企業の中の人によって「辞書的」に言語を習得させていく方法が大切になります。
これからの自然言語処理技術
自然言語処理技術は私たちの身近なものとして存在していますが、まだ人間のように言葉を使いこなしているわけではありません。ソフトバンクのロボット「Pepper（ペッパーくん）」も決められた言葉ややりとりは記憶されていますが、まだまだカタコトな状態。それほどまでに私たちが普段使っている言語は、ニュアンスや表現、その人による情緒的な側面、様々な情報を加味して私たちはコミュニケーションを取っていることが分かります。
ですが、コンピューターだからこそできる処理技術でもあります。テキストマイニングなど一度に大量のテキスト情報を習得し処理することは得意技です。言語を理解し処理するというよりも、膨大なテキストデータから「必要な情報」「お客様の声」「悩み」などを抽出したり、肯定的か否定的な意見などを分類することが可能になります。そこからお客様への対応施策を練ったり、経営方針のひとつの情報源となるはずです。
今回は身近に使われている自然言語処理技術に触れてご紹介しましたが、私たちの持つ言葉の「ゆらぎ」を捉える自然言語処理はこれからまだまだ伸びる分野です！
これからも自然言語理解ラボとして、楽しく発信して参ります！
それでは…
