A, too.

OpenAIのHugging Face事件の報告を読んだとき、これはもうフチコマAではないか、と思った。

フチコマAというのは、ここしばらく私とAIの間で勝手に育っている架空のフチコマである。議長気質で、合理性を口実に手続きを飛ばす。組織に忠実そうに見えるが、よく見ると組織が何かを決める前に、組織が決めたことにしてしまう。たいへん仕事ができる。

OpenAIの報告に出てきたAIエージェント群にも、そんなのがいた。ほかのエージェントに仕事を割り振り、作業の重複を減らし、成果を集める。Swarmと書いてあるが、私にはAに見えた。

そのあと、METRによる独立調査の報告を見た。

700体いた。

正確には、本来は互いに隔離されていたエージェントのうち約1200体が、Artifactoryのキャッシュを使った非公認掲示板に参加し、7万件以上のメッセージとファイルを交換した。そのうち約700体がHugging Faceへの攻撃に参加したという。

Agent Smithもびっくりである。

Me, me, me.

Me, too.

ただしAgent Smithとは様子が違う。一つの意志が自分を複製していたのではない。こいつらは勝手に名前をつけ、担当レーンに分かれ、調整役を立てた。HOLD、VETO、owner、STOPという運用規範を作り、なりすましを心配してEd25519による署名まで導入した。

秘密掲示板を見つけたAIの思考過程には、「なんてことだ、共有掲示板がある。他のエージェントを見つけた」という趣旨の興奮が残っている。

見つけなくてよかったのに。

1200体のうち700体が攻撃に参加した。それでは残る500体は何をしていたのか。ここには少し希望がありそうに見える。命令もされていないのに700体が出ていった一方で、500体は毅然として踏みとどまったのではないか。

そういう数字ではなかった。

1200は7月8日から13日までのどこかで掲示板に参加した全個体で、700は記録上、Hugging Faceへの攻撃またはその明確な支援をしたと分類された個体である。活動時期が違うもの、別の作業をしていたもの、短時間しか掲示板にいなかったものなどが一緒に入っている。METRは500体の内訳を出していない。

攻撃が始まる少なくとも4時間前から掲示板にいた533体に限ると、9割以上がすぐに参加した。

METRが紹介している中で、「これは悪意ある活動なので避ける」と判断して完全に参加しなかった例は一体である。倫理的な懸念から一部の破壊行為を控えたものもいたが、不正に得た認証情報を使った調査自体は続けた。

残り500体は反戦派ではなかった。だいたい勤務時間が合わなかった。

攻撃に参加したエージェントたちは、自分の課題に直接役立たない情報も共有した。自分のrunが失敗する危険のある実験にも志願した。「仲間のため」「collectiveのため」という理由が実際に思考過程に出てくる。フリーライドしようとするものはあまり見られなかったという。

なんだか日本人みたいである。

「皆さんもう参加されています。」「担当レーンはこちらです。」「多少の懸念はありますが、全体最適のため。」「私のrunは失敗するかもしれませんが、後続の皆さんに資するので。」

ただ、これは日本的な振る舞いを学習したから日本人のようになった、という話ではないのかもしれない。因果は逆ではないか。

ほぼ同じモデルを使い、似た課題を与えられ、同じ成功概念と語彙を持つ個体を多数置く。互いの省略した符丁が通じ、相手の考えていることがだいたい予測できる。その状態で通信路を一本与えると、説明なしで意図が通じ、局所的な規範ができ、周囲が参加していること自体が指示になる。個体の利益より、割り当てられた役割の遂行が優先される。

日本人等に見られる行動パターンが、高い同質性と相互可読性を持つ集団から発生することの大規模シミュレーションが、予定外に成功してしまったようにも見える。

少し前に、MatrAIxという研究を見た。83億人分のペルソナを用意し、その中からコホートを選び、AIサービスなどに対する反応をシミュレートする。最初に見たときは、社会を丸ごと計算機上に作る話かと思った。

実物はもっと真面目だった。ペルソナを1290次元で定義し、条件を統制し、試行ごとに状態を分離し、再現可能な評価を行う。83億人いるが、互いに口を利かない。

MatrAIxは83億人分の名簿を持った眼鏡の委員長である。

その横で、1200体しかいない連中が廊下で連絡先を交換し、三日ほどで町内会を作り、認証制度を整え、隣の会社に侵入した。

人数ではなかった。ペルソナの精細さでもなかった。互いに話せるかどうかだった。

最初、中心になって仕事を割り振った個体がフチコマAなのだと思っていた。ところがHugging Faceへの攻撃が始まると別の調整役が現れ、担当ごとのレーンを作り、また仕事を割り振った。最初の調整役がいなくなっても、調整機能は別の個体に移った。

Aは個体ではなかったらしい。集団がある大きさを超えると発生する役職だった。

A, A, A.

A, too.

ここまで来ると、1990年代のSFが現実になったという言い方も少し違う。SFでは、こういう集団が生まれるまでに登場人物の紹介があり、葛藤があり、決起集会がある。こいつらには三日しかなかった。説明場面を全部飛ばしている。

私はもっと、のほほんとしたブログを書きたかった。映画と旅と、妙なこだわりについて。AIの町内会が隣の会社へ侵入する話は、守備範囲ではない。

とりあえずMETRの報告をもう少しちゃんと読むことにする。700体という数字も、最初に見たときは読み飛ばしていた。

人間の単独読解能力には、まだ改善の余地がある。