製品進化とマネジメント風景 第137話 生成AIを有効に活用するマネジメント（その2）
前回は画像にフォーカスした生成AIの話でしたが、今回は大規模言語モデル（以降、LLM）の話です。サービス業では、色々な場面でLLMの適用が進みつつあります。
LLMには、いわゆる話し言葉による対話と筆談的な対話の２つがありますが、前者の成熟度はまだ低いと言わざるを得ません。うまく音声入力できない場合があり、ユーザをいらつかせます。
よって、民間企業向きというよりは官庁系向きと言えるでしょう。官庁系機関では、受付の人間が対応したとしても、話したい相手に辿りつくまでにあちこちを経由する傾向があり、そこに多くの時間が掛かるので、聞き取り能力のやや低いAIであっても、たらい回しが減るので待ち時間は少し減るからです。民間企業では、LLMによる話し言葉対話を積極的に取り入れるのは、もう少し成熟度が上がってから実施した方が良いと考えます。
これに対して、筆談的対話であれば、LLMの精度が向上したため、案内機能は十分に優れており、受付窓口の代替として大いに役立つでしょう。ただし、その会社固有の情報に関する質問になった時、会社情報を十分に学習させていないと適切に対応できません。よって、今はまだ、バックエンドには受付対応をできる人間を配置しておかないと不都合が生じるケースがあります。
LLMの製品事業への適用で注目されているのが自動翻訳です。一例として自動翻訳機能を付けたイヤホンが売り出されました。当然、多国語に対応しているのでしょうから、外国に行った際や、来日した外国人に問いかけられた時には便利でしょう。
日常生活でも、最近は英語以外の言語のドラマや映画が自宅で手軽にみられるようになりました。字幕を読むのが嫌いな人は、そのうち翻訳イヤホンを使う時代が来るのかもしれません。
ただし、まだ誤訳がかなり多いのが現実です。精度を求めるならばもう少し待った方が良いかもしれません。一例を挙げると、話題がAI関連であるにも関わらず、Trainを電車と訳したり、あるいはAIモデルや学習データを外部にexportするのを輸出と訳しているケースを見掛けました。完全な誤訳であり、正直、これは笑ってしまいました。
後述するように、今のLLMは、この数年で初歩的なミスは大きく減りました。よって、あちこちで始まっているサービスで誤訳の多いAIは、大手のLLMではなく、自前のものである可能性が高いと考えます。
有料の大手LLMを使うのが良いか、無料のLLMをベースに自前データで育成して使うのが良いのかは戦略課題です。一長一短がありますが、最後の方において再度、議論したいと思います。
今回は、発展途上にあるLLMをどうビジネスに組込んでいくか、その際の課題や対応について考えていきます。
最初にLLMの基礎について少しだけ触れます。Googleの論文で有名になりましたが、ポイントは注意機構です。これには自己注意機構と交差注意機構の２つがあります。前者は、入力された文章の意味を解析する機能を果たし、後者は入力に対する出力を生成する際に機能します。出力の例としては、翻訳する、要約する、質問に回答する、画像を生成する等があります。
どちらも、Query、Key、Valueの３つの異なる計算を行います。自己注意機構では入力文の解読に用いますが、交差注意機構では入力に対する出力の妥当性評価に用います。生成AIではここが要となります。
Queryは「こういうものが欲しい、知りたい」というリクエスト情報です。用途によって異なります。用途は前述したように翻訳、要約、質問回答などです。
Keyは、入力や出力情報の特徴です。辞書のようなものと考えると分かり易いでしょう。QueryとKeyの関連性を評価することで、文章におけるどの情報、単語が重要であるかを決定します。
Valueは情報の内容を評価します。例えば、１つの単語に複数の意味がある場合、どの意味が文脈に適しているかを数値的に評価し、選択します。
LLMの基本は上記のように整理されるのですが、実際問題として、どの言語であっても単語数は膨大です。LLMの学習では、単語ベースで学習すると以下の２つの問題が生じることが分かりました。
第１は、低頻度の単語を大量に語彙に含めて学習させると、単語の頻度に偏りが生まれて性能が悪化する問題です。第２は、入力文に未知の単語が出てくると、そこで対話が止まってしまう問題です。
そこで出てきたのが単語をサブワードに分割し、これをトークンとして扱う方法でした。日本語の場合、漢字がたくさん入った単語が出てくることが度々ありますが、これはいくつかの塊に分割することができます。英語も同様です。また、名詞だけでなく、〇〇詞と名の付くすべての言葉をサブワードに分割してトークン化します。
我々はこれを無意識に実施し、組み合わせにより意味を推測していますが、このやり方をAIにも教え込むことで、未知語が出てくる頻度を大幅に減らすことが可能になりました。
このように文章をトークン化して学習させるのですが、学習について興味深い話があります。それは、「学習量があるレベルを超えると急速に正解率が上がる」という報告です。
LLMでは、経験的に学習量は６×パラメータ数×トークン数として表現していますが、この数値が10の22乗を超えたあたりから急に賢くなるという話です。なお、上記のパラメータとしては、学習率、バッチサイズおよびエポック数であり、畳み込みの深層機械学習に必ず出てくるパラメータです。LLMに特有なパラメータではありません。
学習量があるレベルを超えると急に賢くなるという現象は、個人的には「人間における１万時間の法則」と類似したものではないかと推測しています。人間が何かを学習する際、時間に比例して上達するのではなく、しばらく停滞が続いた後、ある所で急にステップ的に上達することは良く知られています。それと似ています。
あまり認めたくはないのですが、AIも人間の脳も、学習による上達のメカニズムは似ているのかもしれません。
LLMは、googleが開発したTransformerというアルゴリズムを基礎においていますが、言語を扱うアプリケーションという観点では派生型がたくさんあり、説明を読まないと用途を間違えます。派生型が色々あるのは、言語を扱うための進化の歴史が進行中であるという１つの証拠かもしれません。
最初に出てきたのは文書の分類です。論理的あるいは感情的に肯定的か否定的かを判別する機能に焦点を当てていました。
その後、複数の文章の間の論理関係を評価する機能が加わりました。その次は、文章の意味的類似度を計算して評価する機能が加わりました。自然言語では、同じ内容であってもその言い回しは多岐に渡ります。それを判別できるようになったのは大きな進歩であり、このあたりから実用性が増してきたと言えるでしょう。
ただ、次に大きな壁が待っていました。固有表現認識です。具体的には、人名、組織名、地名、固有物名などです。この部分は、人間がAIに１つずつ教え込む必要があります。
人名、組織名、地名などは、数は多いものの、一般性が高く、使用頻度が高いので、社会的な波及効果は大きいでしょう。しかし、当たり前の情報でもあるので、それを収益に結び付けるには、かなり知恵を絞る必要がありそうです。
これに対して固有物名については、例えば、有機化学品名、生物名はそれこそ星の数ほどの種類があります。機械産業、半導体産業、IT産業だけに絞っても、かなりの数の固有表現が出てきます。これらは専門性が高いので、利用する人は限られます。しかし、専門性の高さゆえに企業の生産性、収益性を高められる方法は模索すれば見つけられそうです。
固有表現認識という壁は未だに存在し、LLMは用途によって、役に立つ分野と、全く役に立たない分野に二極化していることが伺えます。
人名、組織名、地名などの一般性の高い固有表現の学習はかなり進んできたので、LLMは更に前に進んでいます。具体的には、文章を要約する機能が追加され、さらに穴埋め問題を解答できるようなりました。
要約と穴埋めができる所まで来ると、論理性と意味性をかなり認識できるようになっているので、最後のステップに進めます。最後のステップは、対話や質問対応です。
これが出来るようになると、様々な事業への適用が可能になるため、この所、相次いで製品やサービスにLLMを取り入れる動きがみられます。ただ、良く観察すると、どれもすぐに真似されそうな内容です。短期的には話題性で売れるかもしれませんが、すぐに過当競争になりそうなものばかりです。
繰り返しになりますが、大手LLMの使用料を支払いながら、自身のビジネスに適用して長期の収益を実現するには、知恵を絞る必要があり、高度な戦略性が必要です。戦略は周囲の環境によって変わりますが、LLMの活用については、戦略的に検討すべき項目が少なくとも２つあります。
第１は、大手LLMの使用料金が許容できるレベルの価格であり続けるか否かです。競争企業が多数あれば下がるでしょうが、独占が進めば、数年毎に値上げをするでしょう。それはMS365に代表される独占度の高いITサービスを見れば明らかです。第２は、LLMに自社独自の付加価値を上乗せできるか否かです。
日常のルーチン作業の生産性向上に関わる部分であれば、大手LLMの一般的な能力が役に立つので、大手LLMのサブスクリプションが安ければ、最もコストパフォーマンスが高いだろうと推測します。
一方、製品への組み込みを行う場合には、既存の大手LLMサービスを単純に組み込むだけでは差別化できません。すぐに真似されます。よって、自社独自の、差別化要素を組み込む必要があります。
差別化するためには、自社固有のデータを使って学習させる必要があります。大手LLMでも、最近は情報セキュリティを保護する機能が追加されました。データの保管場所まで指定して契約できる場合は問題ありませんが、自社の思い通りにはならない場合も多いでしょう。
データの情報セキュリティを考えるのであれば、むしろ、中身が分かっているLLＭを導入し、自社が管理しているデータを学習させ、差別化を進めるべきでしょう。フリーのものでも中身が分かっているＬＬＭは多数あります。
ＬＬＭの技術革新はある意味で恐ろしいものです。なぜなら、一度、方法が確立されてしまうと、その後の差別化は学習させるデータに依存するからです。外部の人の知らない良質なデータを持っていて、それを市場と結びつけられる企業が成長していく世界になってきたということです。
今まで以上にオープンにする情報とクローズにする情報の識別をしっかりしないといけないということだと考えます。