AI三銃士 その②
今日のネタは今やAIの代名詞となった
生成AI：Generative AI（特にLLM）
LLMのお仕事は、x1~xi-1をプロンプト（＋それまでに生成された文章）をインプットとした「次の単語の予測」
AIの仕組み：
インプットした文字列に対して、AIが覚えた言葉を意味は考えずに出現確率が最大となる文字列を返してくれる。
インプットの内容に応じて裏側で作っている確率分布が変わるので、
①ふわっと聞くと、ふわっと返してくれる（確率分布の裾が広がってしまっているので毎回答えが変わったりする）
②細かく詳細に絞って聞くと、かなり的確に返してくれる（確率分布の分散が小さくなり答えが安定する）
アテンション構造という文章内の言葉（トークン）同士の関係性の強弱を判定してくれる仕掛けのおかげで、長い文章を与えてもそれなりにこちらの意図を把握してくれているかのような出力をしてくれる。
構造的、かつ、順序だてて指示を出すとかなり高い精度で質の高いアウトプットを出力してくれるのはこの仕組みのおかげで、「あなたは○○のプロフェッショナルです。」という謎のプロンプト文の枕詞のおかげではないと信じている。（確率分布の大枠は狭まるだろうが）
プロンプト・エンジニアリングは「○○すると良いというTips」を覚えることではなく、モデルが暗記した内容を仕組みを理解した上でどうやったら上手く引き出せるかを考え抜くことがとっても重要。
得意分野：
・文章生成、文章校正、他言語翻訳、長文要約といった自然言語の処理は全般的に得意
・プログラムの実装やソースコードからの仕様書逆引きなどプログラミング言語と自然言語の翻訳も得意
不得意分野：
・集計、計算、予測、論理思考等々
ハルシネーションに対する考察：
AIが息を吸うように嘘をつく回答をしてくるので信頼できないと心無い一部の人間から批判を受けるが、それは、学習とかファインチューニングと呼ばれるスパルタ教育を通じて暗記した言葉の中から、あなたの問いかけに対して、暗記した内容を尤もらしく応答するように振舞うように躾けられているので、一定、理解してあげないといけない。人として。
RAGという、これまで暗記していなかったニッチな知識も付け足してあげれば解決するというアイデアもあるが、持ち込み可の試験のようなもので、結局、参考書の使い方を教えてあげる家庭教師をつけなくてはならず、分厚い参考書だけ持ち込んだだけでは正解を探す労力が増す一方で、どんどん正答率が落ちるという悲しい結末を迎えることも多い。優秀な家庭教師（＝残念ながら当社ではない）を雇うことで改善するのだろうが、そこまでお金かけてやること？という素朴な疑問が常について回る。そもそも、検索してLLMに渡す情報が正確ならば、既に「正解」にたどり着いてるじゃないか・・・。
検索に揺らぎがあるならLLMがどんなに優秀なモデルでも、別の「嘘」が作られてしまうじゃないか～・・・。
当社がやる場合は、ベクトル検索へ期待を捨て、RAGに入れるデータの目次を作成する（構造化されたタグ付け）
人間が分厚い本から知りたいこと調べる時、目次確認して、巻末の用語から記載ページ（所謂インデックス）を確認するのと同じ発想。
コンテキストウィンドウに載る量まで絞り込めれば、LLMの文章読解＆要約力はベクトル検索なんかよりもよっぽど信頼できるので任せる。
・・・って世の中では普通にやってるところありますね。
あとは、利用後の問い合わせのモニタリングが大事で、多く寄せられる質問＝重要、少ない質問＝精度低でもやむなしと割り切り、皆が使い続けることにより賢くなり、8割の人が満足してくれるものを目指すのが現実解ではないかと思うのですが如何でしょうか？
正直、システム開発でLLMを使う上では、従来通りのテストやレビューで打ち取れる問題なのでハルシネーションなんて気にしてないです・・・というのはここだけのお話し。
AI三銃士 その①
仕事で目にする、予測AI、生成AI、因果AIについて日々の雑感です。今日は予測AIについて。
予測AI：Predictive AI
AIの仕組み：観測された過去データへのフィッティング（機械学習という呼称の最適化）
成功の条件：予測対象yに対してxが因果関係を持ち、かつ、その関係性が一定期間持続（社会科学、特に金融市場では稀）
失敗の事例：数多くあり過ぎて書ききれない
相関=因果という信仰（著名な金融研究者によれば、ここ数十年の資産運用系の金融論文のほとんどがコレ）
y(t+dt), x(t)でdtが限りなくゼロかマイナスになっている（dt=0: 実行不可能解、dt<0: 未来情報漏洩＝ズル）
xが操作・介入できない（so what問題）
さらに進化して、y = y（I know!! 問題）
＜ユースケース検討時の分類＞
① yがビジネス上のベネフィットと直接リンクしており、xが自ら介入・操作できる変数となっている問題になっていれば、単純な最適化問題であり、それこそ機械学習（＝最適化アルゴリズム）が最も真価が発揮される領域。残念ながらそんなに都合よく見つからない。
② xが操作できなくても、予測後にyの実現値が観測される前に、yの予測結果に基づき行動可能でベネフィットが得られる問題で、需要予想にもとづく仕入れ最適化や株価予想にもとづく投資戦略決定など、ユースケースが最も多い領域。反面、失敗事例も多数。
③y, xが同タイミングでもxを予測することで②の問題として定義できる領域。（天気予報など一定の予測精度が担保されている場合には有効）
④ y（の変化）のxによる要因分解。気づきが得られる可能性が少しだけある（ただし、因果は考慮されない）
ハイレベルにはこういった基礎の基礎を念頭におきながら、是々非々で検討を行っています。
こういったアタリマエのことが置き去りにしたまま進めていって成功した事例をまだ見たことがないです。
データ・エンジニア（≠データ・サイエンティスト）としてAIのコンサルティングのお仕事をさせて頂いておきながらなんですが、
「予測AIを使わないと解決できない問題はない」という信条のもと、何故AIでやるのか、期待値をどう設定するのが妥当なのか、という点をいつも議論させて頂いています。