Beyond the Black Box
“Beyond the…”と聞くと逆襲のシャアを連想してしまう、νガンダム世代です。
それはどうでもいいのですが、お正月に読んだ金融業界向けのLLM論文が面白かったので簡単にご紹介を。
前回の「２回書け」のレポートと違い、次にご紹介する論文は、周囲でも、お話しできたのは大手金融機関のごく一部のデータサイエンティストの方だけで（まあそんなに色々な方々とお会いしているわけではないですが。。。）、まだまだ知る人ぞ知る、存在のようです。
Beyond the Black Box: Interpretability of LLMs in Finance
私が副題をつけるなら、【AIアウトプットは「説明」から「診断＋制御」へ】でしょうか。
本論文は従来のXAIが超えられなかった「メビウスの宇宙」を越えてゆこうとする、なかなか意欲的な論文です。
筆者の課題設定を超訳すると
・従来のXAI（特徴量の寄与度、決定木や知識蒸留などのモデル簡素化、可視化、感応度分析・・・）等では、金融で求められる透明性やコンプラ、説明責任に対する要求に不十分
・与信・不正検知・リスク管理・アルゴ取引などの分野で特に求められている。
・欲しいのは「判断の根拠＝なぜ？」、「嘘や偏見が含まれていないか？」、「どこを直すとアウトプットが変わるか？」といった内部の動きの見えるか＆介入手段。
筆者が提唱しているのは
①観測的アプローチ：
- 層ごとに活性化している箇所を覗く
- 内部の色々混ざった反応色々をが要因分解して視る
- ハルシネーションやバイアスあるときに内部でどんな特徴の点灯があるかを観測
②介入的アプローチ：
- 入力に変化で結論が変わった時に内部のどの部分を差し替え
- ①でみつけた特徴部分を調整することで問題になりそうな出力を誘導
などなどでした。
読んでの感想は
「SHAPやLIMEだって、予測対象の因果を説明できなけりゃさ！」（元ネタ「ニュータイプや強化人間だって、艦隊の足を止められなけりゃさ！」）と常日頃思っていたのがまさにそのとおりだと再確認。
また、アテンション構造を意識した、プロンプトを・・・とばかり思っていましたが、アテンション構造はLLMの出力に対して、因果でもなければ相関すらない。あくまでプロンプト内部での相関でしかない。というのを改めて考えさせられる論文でもありました。
LLMが学習した情報は専門分野の人間でも覚えきれないほど豊富で深い内容であることはもはや疑いの余地もなく、それを如何にうまく引っ張って、使える形に組み立ててもらえるか？について、日々、試行錯誤している状況ですが、プロンプトだけでなく、もっと内部構造まで踏み込まないといけないのかと。
