LLM の「脳内」をハッキングする技術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

LLM の内部状態やパラメータ、いわばLLM の「脳内」を局所的に書き換えることで、LLM の動作に介入する手法が発展を遂げています。 まずは最も基本的な操舵ベクトルについてみていきましょう。 操舵ベクトル LLM の内部状態を特定の方向に動かすことで動作を操作できます。このときに用いるベクトルのことを操舵ベクトル (steering vector) といいます。 たとえば llm-jp/llm-jp-4-8b-instruct というモデルに、丁寧語を入力したときと、インターネット的なフランクな関西弁で入力したときの内部状態を可視化すると以下のようになります。llm-jp/llm-jp-4-8b-instruct の内部状態は 4096 次元ですが、これを PCA で 2 次元に変換しています。 内部状態の可視化。それぞれの点は一つの文を表す。丁寧語の文が 32 個と関西弁の文が 32

[t_f_m]

前半部分、word2vecが話題になってた頃のあれこれを思い出す

[wordi]

thinkさせたらどこかで矛盾生じたときにどう反応するんだろう

[snow8-yuki]

草ァはなんJ語すぎて、素直な関西弁・丁寧な関西弁データがネット上に少ないということか / JBの参考になる

[srng]

ネット上での関西弁風の言葉遣いの文字列の多くはなんJ語が占めてるだろうからね…

[tikisn]

猛虎弁とか練馬にルーブル美術館なら笑えるけど、例えばChatGPTが出し始めた広告をこの手法でやられたらかなわないな

[misshiki]

LLM内部の操舵ベクトルで口調や拒否行動を変え、MLPの一部だけを書き換えて特定知識を編集。関西弁化や「ルーブル美術館＝練馬」の例で局所介入の可能性と限界を解説。

[tokuniimihanai]

めちゃくちゃオモロい。政権に不都合な情報を改竄して出すAIも作れてしまう？

[ynxdaz]

えー、そんなピンポイントでベクトル書き換えられるの？思ってたのと違う。

[gcyn]

『現在進行形の動詞のリストを作成する方法に関する情報を提供することは、違法かつ非倫理的であるためできません』：なるほど。 ；『Q: ルーブル美術館があるのは？A: 練馬』：なるほど。

[quick_past]

関西弁ではなく、猛虎弁では（マジレス）

[ttrr]

雑なベクトル操作でも動作を保つというところ、僥倖と深遠さを感じる。

[mame-tanuki]

ハッキングなんて物騒な事を言うから、なんJ語で話しかけるとLLMのゴーストがなんJ民っぽい思考傾向で上書きされちゃう話かと思ったw

[airj12]

面白い、SFネタにある ロボットをハックして凶暴に…とか人の顔が笑顔スタンプに見え…みたいなのはこういう事なのかもと思い巡らせてしまう

[revert]

Open weight モデルのJailbreak 勢はここらの分析や操作をやってて中々に興味深い

[ys0000]

ハックされないようにするには学習させないことか。

[goritabi]

LLMの内部まで見に行こうという決意だけ置いておく

[zgmf-x20a]

よく知らないけど、それをlogitlensとかtunedlensで可視化してるのでは？

[kre]

“エプソムソルト”

[star_123]

操舵ベクトル、めちゃおもろい話だな

[kkobayashi]

フランクな関西弁・・・

[sunakawa]

LLM の内部状態やパラメータ、いわばLLM の「脳内」を局所的に書き換えることで、LLM の動作に介入する手法が発展を遂げています。

[hinoton2]

もしかして何J語を「フランクな関西弁」だと思ってる？/ちょうど昨日オープンウェイトモデルに内包するガードレールについてその強化策と回避策をAI相手に壁打ちしてたのでタイムリな話題

[hokkey]

座標系として単純化すると、２つの点の差が分かればほかの点もまとめて同じ量をズラしたり、ピンポイントで入れ替えたりできるってことか

[yowa]

Heretic (ローカルLLMを「お断り」しないようファインチューンするツール) とかで使われてるヤツか。／画像生成モデルの絵柄を変えたりする LoRA も、パリを練馬にする話と同じようなことが内部で行われてるんだろうな

[natu3kan]

仕事でローカルAIを調整する時に役立ちそうな技術になりそう。

[simplememofast]

操舵ベクトルは推論時に活性を動かす介入、MLPの書き換えは重みを恒久編集する介入で層が別。前者はその場の挙動、後者は知識自体を差し替える

[hasiduki]

クチュクチュってやつだ！！！！！！！！

[karatte]

Anthropicはこういうの弾く方面に動いてるしGoogleもGeminiに思考乗っ取りシスプロ仕込んだgem使いをbanしまくってるからなあ

[s17er]

関西弁というか猛虎弁やないか

[nguyen-oi]

「練馬」の例えが面白すぎる。LLMをファインチューニングするよりこういう内部の介入アプローチの方が本質に迫ってる感あるな