自然言語処理技術（NLP）の発展｜自然言語理解AIラボ

私たちの日常には、SNS、メール、WEBページなどのログ、技術文書など、様々な「言語」や「文章」がデータとして日々蓄積されています。
しかし、私たちが発する言葉は、同じ言葉を使っていても、意味が異なるという場合が多くあります
また相手に配慮する気持ちなどを考えて遠慮気味な言葉や文章を多用する場合もあります。
このように私たちが日常的に使用する言語、文章は、とても曖昧なものです。
その言語や文章をコンピュータに理解させることは非常に大変なことだというのが簡単に想像できます。
しかし、それを用いたものとして、自然言語処理技術というものがあります。
自然言語処理、あるいは NLP（Natural Language Processing）という名前で呼ばれます。

Contents

1 自然言語処理技術が使われている身近なサービス
2 自然言語処理技術の特徴
3 自然言語処理技術を使った事例

自然言語処理技術が使われている身近なサービス

この自然言語処理技術を活用することでどのようなことが可能になってきているのでしょうか？
私たちが知らず知らずのうちに、身近なものとして活用しているものがたくさんあります。

■機械翻訳

2016年9月、Googleが、ディープラーニングを使ったニューラル機械翻訳サービスを発表し、その機械翻訳の翻訳精度が劇的に向上したことが大きな話題になりました。
ディープラーニングとは、人工知能がデータの特徴や構造を自ら学習し、解釈・分類する機械学習の手法です。
これまで人間が介入し設計していた領域が性能の高いコンピューターが担うこととなりました。
誰しも１度や２度は、パソコンで翻訳を行ったことがあるでしょう。
昔は長く構文が複雑な文章になると残念な翻訳が多かったのが事実ですが、話し言葉はもちろんのこと、難解な方言も自然に翻訳をすることすら可能となってきています。
くだけた口語や方言まで理解をします。
2021年にgoogleが開発した「LaBSE」というものは、多言語の埋め込みを109言語において行えるBERTの埋め込みモデルで、170億個に及ぶ単一言語の文章と60億個の対訳文に対して、単一言語の文章を穴埋めすることでモデルに学習させるMasked Language Model(MLM)と、MLMを多言語の対訳文に対して適用するTranslation Language Model(TLM)を行うことで、学習時にデータがない低リソースな言語に対しても有効なモデルを実現しました。つまりGoogleが「知らない言語」も翻訳処理ができてしまうのです。これにより今後「言葉の壁」もどんどんなくなり、海外企業との新規取引なども簡単に参入できる世の中になっていくかも知れません。

■検索エンジンによるウェブ検索

検索エンジンはこの自然言語処理を使用して、同様の検索行動やユーザーの意図に基づいて、関連性の高い結果を表示します。
検索エンジンとは、Google検索やYahoo!検索といった、インターネット上にあるWebサイトを検索できるプログラムのことです。
当然、Webサイトに掲載されている文章をコンピューターが理解できなければ、検索キーワードに合ったWebサイトを見つけることができません。
このユーザーが入力した言葉や文章を理解して、類義語などを含めて検索結果を出すために活躍しているのが自然言語処理です。
同様の検索行動やユーザーの意図に基づいて、関連性の高い結果を表示します。
検索エンジンなども、将来は会話もできるようになるかも知れません。
例えば「私はギターのレッスンを始めたばかりだ」という言葉に対し、「素晴らしい！私の母はビンテージギターを持っていて、それを弾くのが大好きなのです」といった具体的な返事が返ってくるかもしれないという会話実用化もすぐ目の前です。

■予測テキスト

私たちは、パソコンやスマートフォンで入力したひらがなの文字を、漢字や顔文字、絵文字に変換する機能（オートコレクト、オートコンプリート、予測テキスト）などをごく普通に使っています。
文字変換予測は、自動変換してくれるソフトウェアで、ＩＭＥとよく省略されます。
また入力内容に基づいてテキストを予測したり、単語の入力を完了させたり、関連する単語を提案したりするというように幅広いシステムです。
もちろんユーザーから学習するので、使用期間が長くなるにつれて、個人的な言葉の使い方に合わせてパーソナライズされて使いやすくなっていきます。
またGoogleでは、ユーザーが検索しようとしていることまで認識しており、情報や意味を伝えるための直感的な動作を行うだけで自然言語処理が対応してくれています。

■音声アシスタント　

スマートアシスタント・スマートスピーカなどをよく耳にします。
人間の音声による指示を理解して、検索したり、音楽鑑賞、家電の操作、インターネットの買い物などを行うことが可能です。
つまり音声認識を活用して音声パターンを認識し、意味を推測して有用な回答を提供する仕組みです。代表的なものにAppleのSiriや AmazonのAlexなどがあります。
最近では、照明スイッチなどもSiriやAlexaと会話で行われている人も少なくはないのでしょうか。
こちらからの問い合わせにユーモアあふれる答えを返したりして楽しませてくれるように進化してきています。

■チャットボット
今や当たり前になってきているチャットボットは、人間の問いかけを正確に理解し、また人間の言葉で自然に答える機能です。それを可能としたのは自然言語処理です。

■デジタル通話
最近、企業のコールセンターやカスタマセンターに電話すると「この通話は、サービス向上の目的で録音される場合があります」と音声案内が最初に流れます。
ユーザーのクレームが発生した場合に、サービス改善の目的で使用されるなどに用いられているのですが、これは将来的な改善につなげたりするものです。
これを自然言語処理を用いてデータを自動化して、今後のユーザーの要望などに対応したり、人員コスト削減などに活用しています。
大手の電気通信会社などがすでに実施しています。

■メールフィルター
【スパムフィルタ】電子メールを迷惑メールである「スパム」とそれ以外のメールに自動分類してフィルタリングを行うスパムフィルタ機能は、ユーザーの受信するすべての電子メールのテキストを解析し、それがスパムメールか否かを判断するとても便利なシステムです。最近では、Gmail のメール分類機能が話題です。メールが 3 つカテゴリー (メイン、ソーシャル、プロモーション) のいずれかに該当するかどうかをその内容に基づいて判断するシステムをリリースして好評を得てます。
受信ボックスを管理することにより、目的に応じてメールをすばやく確認することがでできます。

■テキスト分析やデータ分析
【感情分析（sentiment analysis）】と呼ばれるものが代表的です。 Twitter 等のソーシャルメディアにおいて、ユーザーによる投稿（例えば、「好き」「嫌い」といったポジティブ／ネガティブな感情に関わるテキスト情報）を分析し、企業の提供する製品やサービス等に対する顧客の考えを把握したりします。

自然言語処理技術の特徴

簡単にまとめると以下になります。

■文章を理解する
形態素解析というものがあります。文章を最小の意味をもつ単語に区切った後で、単語それぞれの品詞を判別する処理して文章を理解します。またその文章を意味解析します。この意味解析は、単語同士の結びつきを見出したりします。その上で複数、長文の文脈解析までを行います。

■画像を理解する
人間の場合であれば、過去の経験をもとに「画像に写っている人が誰なのか」を判別することが可能です。しかし、コンピューターには人間のように「蓄積された経験」が存在しないため、経験を活かして画像に写っている人を認識するという作業はできませんでしたが、それを理解することができるようになりました。

■音声を理解する
音声認識は、コンピュータが人間の声を聞き取り、何を発音しているのかを判別するための技術です。これはずっと前から存在しているのですが、自然言語処理を併用すると、言葉の意味を理解して「きょうの気温は？」という音声データから「○○県の平均温度○度です」と会話できるようになりました。

■表現の柔軟性が非常に高い
会話はもちろんのこと、状況の変化に適応できる柔軟性や色々な状況に対応できる汎用性を十分に持っています。

■未知のデータに対する答えをみつける（推理する）
データベースと人工知識を両立できます。文面を理解できるだけでなくA文脈の前後からその単語は何を意味しているのか、何の答えを求めているのかを探し出す力があります。

■記憶力が高く単純な作業が得意
人間にとって時間のかかる単純作業を効率よく進めることができます。

■スピードが自慢
とにかく作業や判断早い。

自然言語処理技術を使った事例

■料理
「シェフ・ワトソン」

IBMとボナペティ社が共同開発を行った人工知能を活用したアプリ。
実にリリースは2015年とすでに6年ほど前。
自然言語を使ったサービスの先駆けのようなものです。
ボナペティ社は、アメリカで料理雑誌を出版している会社。
ユーザーの要望から既存のレシピの導き出すのではなく、得た情報を活用して、要望に合ったレシピをデータから独創的な新しいレシピを提案するもの。
食材からレシピを探し、料理の種類やスタイルを選ぶだけ。
自然言語機能によって非構造化されたデータを読み取り、ワトソンなりの解釈を行って情報として蓄積し紹介する斬新な料理アプリでした。
人工知能として知られるこのIBMのワトソンを使った事例は他にもたくさんあります。

■医療
「東京大学医科学研究所」

東京大学医科学研究所がこのワトソンを使い、急性骨髄性白血病の患者を救ったことは大きな話題を集めました。
IBMは癌専門の医療機関や先端医療技術を開発する機関と提携して、医療に関する大量のデータをワトソンに学習させ、ワトソンは医療現場における関わった事例の内の30%で人間では思いつかなかった治療法を見出したそうです。
この事例も含め新薬の開発などにも利用されています。

■車の販売
Rule-based chatbot

米国のCarLabs社は自動車販売の複雑なプロセスを自動化しようと、製品紹介・販売に特化したAIチャットボットをリリース。
最新の製品情報や、あらゆるニーズにいつでも応えられることに加え、競合や好みのカスタマイズを取り込むことで販売業態を変更。
このチャットボットの導入により、コールセンターの規模を半分に縮小し、21％のユーザーが見積もりや成約などを行った。

■ピザ販売
ドミノピザ

日本でもお馴染みのドミノピザ。「Domino’s Anyware」という名前のチャットボットをリリース。
SNSからももちろんのこと、Alexaなどの日常生活の機器と結びつけ、いつどこからでも手軽にピザの注文ができる仕組みです。簡単な操作で、ピザの宅配・引き取りに対応しています。