近年、一般人である私たちも利用する機会が多くなってきた対話型AIシステム。
中でも「ChatGPT」はその使いやすさや性能の高さに注目が集まり、OpenAIのサム・アルトマンCEOの来日もあわせてニュースで大きく取り上げられ、連日のように話題となっています。
さて突然ですが、このChatGPTの「GPT」は何を表しているのでしょうか？
実は「GPT」は言語モデルの種類であり、ChatGPT以外にも複数の言語モデルが存在します。
そこで今回は、今注目の言語モデルの種類についてご紹介していきます。
Contents
言語モデルとは？
そもそも言語モデルとは何なのでしょうか？
言語モデルとは 自然言語処理（NLP）の分野で使用されるコンピュータープログラムやシステムによる質問応答や文章生成などができるAIのことです。
さらに、テキストデータを学習し、そのデータのパターンや構造を把握することで、与えられた文脈内で次の文章を予測することが可能になっています。
言語モデルは自然言語の統計的なパターンを学習しているため、非常に自然な文章を作ることができます。このため、文書の作成、翻訳、資料作成などを効率的に進めることができます。
一方、大量のテキストデータから情報を収集してパターンを学習しているため、性別や人種などに偏りが現れることがあり、倫理上の問題も指摘されています。また、インターネット上の情報を収集して情報を生成するので、その情報の正確性や信頼性の保証は難しい面もあります。
ですが言語モデルはまだ開発の途中であり、より信頼性の高い、倫理性や公平性を伴ったシステムに進化を遂げていくことが期待されています。
言語モデルの種類
言語モデルにはいくつかの種類がありますが、今回はその中から代表的な言語モデルを開発の歴史と一緒に紹介していきます。
①n-gram（エングラム）モデル
1960年〜1970年代にかけて情報倫理の創始者として知られるクロード・エルウッド・シャノンによって考え出された統計的言語モデルです。
n-gramとはテキスト内の連続するn個の単語や文字のまとまりを意味しています。
n=1の時は1-gram(unigram：ユニグラム）、n=2の時は2-gram(bigram：バイグラム)、n=3の時は3-gram(trigram：トライグラム）と呼びます。
例えば「今日は雨が降った」という文章でn-gramを考えてみましょう。
n=3、3-gramの時は文章を3つずつの単語に分けるので
・今日 は 雨
・は 雨 が
・雨 が 降
・が 降 った
となります。
このようにシンプルながらもn-gramは基本的な言語モデルとして、自然言語処理の発展に大きく寄与しました。
②隠れマルコフモデル（HMM）
隠れマルコムモデル（Hidden Markov Model、HMM）は1980年代にアメリカの数学者アンドリュー・ヴィタビとロバート・A・ジェイコブスによって考案されました。
「隠れマルコムモデル」とは興味深いネーミングであり、「隠れ」とは隠れている状態を推測することを意味し、「マルコフモデル」とはある物事や現象が一定のルールに従って進行するということを意味しています。
マルコフモデルだけでは、現在の状況のみに注目し、過去の状態は考慮されません。一方HMMは、現状を単純に捉えるだけでなく何が起こるかわからないことが前提にあり、隠れた状態を推測するためのモデルなのです。
このHMMは天気予報や音声認識など様々な分野で使用されています。
③リカレントニュートラルネットワーク（RNN）
リカレントニュートラルネットワーク（RNN）は1980年代から1990年代にかけてコンピューターサイエンティストのアメリカのジェフリー・ヒントンと彼の学生であるセバスチャン・グレートマン、ヤン・レクナーの３人によって考案されました。
RNNは前の言葉や文章の内容を覚えておくことで、次のステップでその情報を使って予測や処理を行うディープラーニングネットワーク構造になっています。そのため時系列や単語の並びを理解することができるので、スマートスピーカーの音声アシスタントや音声メッセージのテキスト変換にも使われている素晴らしい技術です。
ですが、長い文章を覚えるのは難しいことや、処理に時間がかかること、現在の状態から将来の予測をすることは不可能なことなどデメリットもあります。
その後1997年に提案されたRNNの一種のLSTM（Long Short-Term Memory）では、メモリセルとゲート機構を導入し、長いテキストの文脈を処理することができるようになりました。
LSTMはオーストリアのセップ・ホッヒライターとドイツのユルゲン・シュミットヒューバーによって考案され、現代の技術の進歩において大きく貢献しました。
④トランスフォーマー
トランスフォーマーは2017年にGoogleの研究者たちによって提案された、自然言語処理などのタスクで非常に効果的なニューラルネットワークモデルです。
ニューラルネットワークモデルの課題は言語の文脈や関係を理解することが難しいことでした。ですが、トランスフォーマーでは「セルフアテンション」と呼ばれる技術が導入され、文脈や関連性を正確に理解することができるようになりました。
ChatGPTもトランスフォーマーモデルの一種であり、大量のテキストデータを学習することで人間のように対話を行うことができます。
トランスフォーマーはとても有能なモデルなのですが、大量のデータを学習する必要があり、その大量のデータを利用するためには大規模な計算機リソースが必要となってくるなどの課題もあります。
将来的にはトランスフォーマーのモデルを小さくしたり、効率的なアルゴリズムを開発することで課題の解決のための試みが行われています。
画像処理や音声処理の分野でもトランスフォーマーの応用技術の研究もされているので、今後の益々の発展が期待されています。
まとめ
言語モデルの研究は海外で行われている印象がありますが、日本においても言語モデル研究は活発に行われています。
例えば（株）オツルでは世界中のすべての人が自分のデジタルクローンをクラウド上に配置して労働から解放され、創造的でアーティスティックな営みに没頭することができる世界を目指し「P.A.I（パーソナル人工知能）」の研究を行っています。
また、ベルズシステムのAIチャットボットの「Roanna（ロアンナ）」はNSU（Natural Sentence Understanding）によって開発され、自然な質問に回答することができます。
最近では自治会のDX化への取り組みが加速しており、自治体専用の人工知能としてロアンナが入庁しお問い合わせ対応業務を自動化することに貢献しています。
言語モデルは日々進化を遂げています。
その進化のスピードはとても早く、今後の言語モデルの発展から目が離せません。
