AI三銃士 その②

今日のネタは今やAIの代名詞となった

生成AI：Generative AI（特にLLM）

LLMのお仕事は、x1~xi-1をプロンプト（＋それまでに生成された文章）をインプットとした「次の単語の予測」

AIの仕組み：
インプットした文字列に対して、AIが覚えた言葉を意味は考えずに出現確率が最大となる文字列を返してくれる。
インプットの内容に応じて裏側で作っている確率分布が変わるので、
①ふわっと聞くと、ふわっと返してくれる（確率分布の裾が広がってしまっているので毎回答えが変わったりする）
②細かく詳細に絞って聞くと、かなり的確に返してくれる（確率分布の分散が小さくなり答えが安定する）

アテンション構造という文章内の言葉（トークン）同士の関係性の強弱を判定してくれる仕掛けのおかげで、長い文章を与えてもそれなりにこちらの意図を把握してくれているかのような出力をしてくれる。
構造的、かつ、順序だてて指示を出すとかなり高い精度で質の高いアウトプットを出力してくれるのはこの仕組みのおかげで、「あなたは○○のプロフェッショナルです。」という謎のプロンプト文の枕詞のおかげではないと信じている。（確率分布の大枠は狭まるだろうが）
プロンプト・エンジニアリングは「○○すると良いというTips」を覚えることではなく、モデルが暗記した内容を仕組みを理解した上でどうやったら上手く引き出せるかを考え抜くことがとっても重要。

得意分野：
・文章生成、文章校正、他言語翻訳、長文要約といった自然言語の処理は全般的に得意
・プログラムの実装やソースコードからの仕様書逆引きなどプログラミング言語と自然言語の翻訳も得意

不得意分野：
・集計、計算、予測、論理思考等々

ハルシネーションに対する考察：
AIが息を吸うように嘘をつく回答をしてくるので信頼できないと心無い一部の人間から批判を受けるが、それは、学習とかファインチューニングと呼ばれるスパルタ教育を通じて暗記した言葉の中から、あなたの問いかけに対して、暗記した内容を尤もらしく応答するように振舞うように躾けられているので、一定、理解してあげないといけない。人として。
RAGという、これまで暗記していなかったニッチな知識も付け足してあげれば解決するというアイデアもあるが、持ち込み可の試験のようなもので、結局、参考書の使い方を教えてあげる家庭教師をつけなくてはならず、分厚い参考書だけ持ち込んだだけでは正解を探す労力が増す一方で、どんどん正答率が落ちるという悲しい結末を迎えることも多い。優秀な家庭教師（＝残念ながら当社ではない）を雇うことで改善するのだろうが、そこまでお金かけてやること？という素朴な疑問が常について回る。そもそも、検索してLLMに渡す情報が正確ならば、既に「正解」にたどり着いてるじゃないか・・・。
検索に揺らぎがあるならLLMがどんなに優秀なモデルでも、別の「嘘」が作られてしまうじゃないか～・・・。
当社がやる場合は、ベクトル検索へ期待を捨て、RAGに入れるデータの目次を作成する（構造化されたタグ付け）
人間が分厚い本から知りたいこと調べる時、目次確認して、巻末の用語から記載ページ（所謂インデックス）を確認するのと同じ発想。
コンテキストウィンドウに載る量まで絞り込めれば、LLMの文章読解＆要約力はベクトル検索なんかよりもよっぽど信頼できるので任せる。
・・・って世の中では普通にやってるところありますね。
あとは、利用後の問い合わせのモニタリングが大事で、多く寄せられる質問＝重要、少ない質問＝精度低でもやむなしと割り切り、皆が使い続けることにより賢くなり、8割の人が満足してくれるものを目指すのが現実解ではないかと思うのですが如何でしょうか？
正直、システム開発でLLMを使う上では、従来通りのテストやレビューで打ち取れる問題なのでハルシネーションなんて気にしてないです・・・というのはここだけのお話し。