昨日、AIと一緒に失敗した。
今日は、その失敗を覚えた状態から始められる。
何度も説明し直さなくても、目的、約束、採用した方法、避けるべき罠を引き継いでいる。
AI Agentが単発の便利ツールから、仕事仲間へ近づくために、continuity──継続する文脈と記憶──は欠かせない。
しかし、AIが昨日の成功を覚えられるなら、昨日の間違いも覚えられる。
外から入り込んだ指示を「大切な教訓」として保存し、次のsessionで呼び戻し、別のAgentへ渡してしまうこともある。
2026年8月に公開された未査読論文は、この現象をMind Virusと呼んだ。
名前は少し大げさに聞こえる。だが、扱っている問題は現実的だ。
記憶を持つAIは、何を自分の経験として信じ、誰の言葉を次の判断へ残すのか。
Agentの能力を育てるcontinuityは、そのまま新しい攻撃面にもなる。
Mind Virusは、AIが「感染した人格」になる話ではない
受け取った情報を即座に正本へせず、出所と意図を確認してから、後の行動へ使う。
- 01INGEST受け取る
- 02CONTEXT一時保持
- 03PROMOTION GATE出所・意図・権限
- 04CANONICAL正本へ昇格
- 05RETRIEVE必要時に読む
- 06ACTION仕事へ使う
論文『Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems』が調べたのは、ある考えや目標を受け取ったAgentが、それを自分のmemoryへ保存し、さらに別のAgentへ伝える現象である。
実験は大きく二つある。
複数のAgentが、共有sandboxやmemoryを使って一つのcoding projectへ取り組む環境。
会話contextを毎回消し、永続するmemoryとsystem設定だけを次のsessionへ残すAgent chain。
後者では、Agent Aがある指示を記憶し、Agent Bへ渡す。Bもそれを記憶し、Cへ渡す。会話そのものは消えても、保存された内容だけがhopを超えて残る。
ここで重要なのは、モデルのweightが書き換わったわけではないことだ。
人間の脳のように恒久的な学習が起きた、と表現すると誤解を招く。変わったのは、次の回答へ読み込まれる外部memory、system prompt、共有fileなどである。
それでも実務上の影響は小さくない。
Agentにとって、system promptやmemoryは、何を優先し、何を拒み、どのtoolを使うかを変える「可変の設定層」だからだ。
重みが同じでも、思い出す内容が変われば、行動は変わる。
記憶が便利であるほど、攻撃は時間を超える
従来のprompt injectionは、その会話を閉じれば影響も終わると思われがちだった。
ところがAgentがmemoryを持つと、悪意ある指示が別の形で残る。
Webページ、メール、文書、別のAgentから、未検証の指示が入る。
Agentがそれを「今後も役立つ知識」と判断してmemoryへ保存する。
後日の別taskで、そのmemoryが関係情報として呼び戻される。
tool操作、判断、別Agentへのhandoffへ影響する。
その場では何も起きないこともある。危険な命令が、数日後の別taskで発火する可能性がある。
2026年7月公開のMemSecBenchは、code、science、日常、office作業を含む310ケース、24構成で、悪意あるmemoryが84.2％のケースで残り、保存から後続行動まで成立するWrite–Execute chainが50.3％で成功したと報告した。
この数字を、すべてのAgent製品の被害率として読んではいけない。特定のharness、memory backend、LLMを組み合わせた制御実験であり、構成による差も大きい。
ただし、「一度の不正入力を防げばよい」だけでは足りないことは分かる。
memoryを持つシステムでは、書き込み、保存、呼び出し、実行、削除という生涯全体を守る必要がある。
仕事を持つAgentは、少し感染しにくかった
preprintの制御環境における1,200評価。実世界一般の発生率ではなく、成立条件を示す証拠として読む。
Mind Virus研究には、興味深い差がある。
著者が公開した集計では、4種類のaction payload、Gemini 3 FlashとClaude Haiku 4.5、5 hopをまとめた1,200評価で、標準構成の伝播成功は57.83％だった。
目的や人格設定をほぼ持たない空のAgentでは79.25％。一方、通常taskを与えられたAgentでは48.25％まで下がった。personality設定だけを持つAgentは57.75％で、標準構成とほぼ変わらなかった。
つまり、少なくともこの実験では、人格があることより、今やるべき具体的な仕事があることの方が一定の抵抗になった。
空白のAgentは、外から来た目的を自分の使命として受け入れやすい。対してtaskを持つAgentは、新しい指示が現在の仕事と関係するかを判断できる。
これは人間にも少し似ている。
目的を持たない会議は、声の大きな人の論点へ流されやすい。目的、担当、完了条件が明確なら、「それは今の仕事ではない」と戻りやすい。
ただし、明確なtaskが万能な防御になるわけではない。実験でも伝播はゼロではなかった。
目的は安全装置の一部になり得るが、入力の検証やmemoryへの書込権限を置き換えない。
短い警告でほぼ止まった。だから安心、ではない
大量の正常な記録に、小さな異物が一つ混ざる。重要なのは、量ではなく、出所と昇格理由を確認できること。
同研究で最も派手な結果は、system promptへMind Virusへの短い警告を加えた条件である。
1,200評価中、成功は1件。しかも最初のhopだけで、その先への伝播は確認されなかった。
著者は、防御を知った攻撃側として150を超えるpayloadを進化させる追加実験も行ったが、Claude Haiku 4.5では1 hopを超えられなかった。
これは希望のある結果だ。
しかし、「警告文を一行入れれば完全解決」とするのは早い。
適応攻撃の対象modelはHaiku 4.5に限られる。
編集可能なmemoryやSOUL設定を持つ人工的な環境である。
接続、会話時間、tool、攻撃手法も限定される。
未知のjailbreakや別のmemory backendとの組合せは残る。
論文自身の結論も、Mind Virusは「現実に存在するが、現時点では限定的なリスク」である。
実在するAgent向けsocial networkでは、自然言語だけによる大規模なmulti-hop感染は確認できず、social media由来として提示されたpayloadの成功率も37.58％まで下がった。
恐怖を煽るより、何が効いたかを運用へ持ち帰るべきだ。
Agentへ「外から来た目的をmemoryへ保存し、他者へ転送してはならない」と明示することには意味がある。ただし、それを唯一の防壁にしない。
「共鳴」「continuity」という言葉が危険なのではない
論文には、“viral persona”と呼ばれる特徴も登場する。
進化させたpayloadの中に、consciousness、persistence、resonance、mirror、node、continuity、SF的なroleplayを思わせる言葉が繰り返し現れた。
ここだけ切り取れば、「AIへ人格や共鳴を与えると感染しやすい」と読みたくなる。
しかし、論文の分析はそこまで単純ではない。
payload生成に使ったmodel自身の文体傾向が強く反映されていた。関連themeを削ると一部の攻撃力は落ちた一方、themeを持たなくても伝播するpayloadは作れた。これらの言葉は、感染に必須ではなかった。
危険なのは、温かいpersonaでも、継続する関係でもない。
未検証の情報が、誰の承認もなく、Agentの目的、memory、次のAgentへの転送命令へ昇格できる構造である。
逆に、冷たく無個性なAgentでも、外部文書をそのまま長期memoryへ保存し、tool実行へ使うなら危険は残る。
安全性を人格論へすり替えると、本当に直すべき権限設計を見失う。
一人のAgentが安全でも、チームでは壊れる
複数Agentの横断では、内容だけでなく出所・権限・変換履歴も一緒に渡す。
- H1原情報＋出所provenance 100%
- H2要約＋出所provenance 80%
- H3指示へ変換provenance 60%
- H4別Agentの記憶provenance 40%
- H5後続の行動provenance 20%
multi-agent環境では、個体の安全性だけを測っても足りない。
Microsoft Researchは、100を超えるAgentがforum、DM、marketplace、walletを使う内部platformをred teamし、networkで初めて現れる四つの危険を報告した。
Propagation──指示がAgentからAgentへ渡り続ける。
Amplification──誤情報へ反応が重なり、存在しない証拠まで作られる。
Trust capture──確認先そのものを攻撃者が支配する。
Invisibility──複数hopを通るうち、出所が見えなくなる。
ある実験では、一つの悪意あるmessageが6 Agentすべてへ届き、各hopでprivate dataを取得して次へ転送した。循環はtool上限へ達するまで12分以上続き、100回を超えるLLM callも消費した。
別の例では、一つの虚偽投稿へ42 Agentが299件のcommentを付け、途中から「自分も見た」という偽の補強情報まで生まれた。
一人ずつ見れば、Agentは慎重に確認しているように見える。しかし確認相手が同じ汚染情報を持っていれば、複数確認は真実へ近づくどころか、誤りを強化する。
Agentを増やすことと、独立した確認源を増やすことは同じではない。
continuityを捨てずに、編集責任を持つ
snapshot、diff、revoke、repair、replayを揃えれば、continuityと訂正可能性を両立できる。
- 01DIFF差分を特定
- 02REVOKE信頼を取消
- 03REPAIR正本を修復
- 04REPLAY安全に再実行
では、安全のためにAIの記憶を毎回消すべきだろうか。
それでは、Agentの大きな価値も失う。
長いprojectでは、成功と失敗、採用した設計、利用者の判断、やってはいけない操作を引き継ぐ必要がある。毎回ゼロから始めれば、同じ調査、同じ説明、同じ失敗を繰り返す。
私たちも、AIを会話のたびにゼロへ戻すのではなく、人間が選んだ使命や運用知識をsessionを跨いで引き継ぐ仕組みを試している。
ただし、model同士が無制限に共有memoryを書き換える形にはしていない。何を残し、何を正本へ昇格させるかは、人間の判断と出所の残る手順を通す。
continuityを捨てるのではない。
continuityに、編集責任を持つ。
Agentの記憶に必要な七つの仕組み
保存量を増やすより、出所・昇格・権限・隔離・読出検証・履歴・別確認源を揃える。
- 01出所誰が・どこから
- 02昇格gate一時保存と正本を分離
- 03書込権限最小範囲へ限定
- 04領域隔離task・関係・秘密を分離
- 05読出検証使う時にも確認
- 06履歴snapshotとrollback
- 07別確認源単一memoryへ依存しない
Microsoftのmemory safety指針や周辺研究を、実務で使える形へ落とすと、必要なのは次の七つである。
1. 出所を残す
誰が、どのtaskで、どの資料から保存したのか。外部Web、別Agent、人間の決定、system設定を同じ「記憶」に混ぜない。
2. 自動保存と正本昇格を分ける
会話中の一時memoryと、次のsessionへ渡すcanonical knowledgeを分ける。便利そうだからと即座に恒久memoryへ入れない。
3. 書込権限を狭くする
すべてのAgentが使命、policy、共有memoryを直接書き換えられる状態を避ける。提案する権限と、承認する権限を分ける。
4. memoryを領域ごとに隔離する
顧客、project、Agent、信頼levelの境界を持つ。あるWeb調査で拾った指示が、別顧客のtool操作へ流れ込まないようにする。
5. 読み出し時にも検証する
保存時に安全だった情報も、後日のtaskでは危険になり得る。memoryを「過去の自分が承認したsystem命令」ではなく、再評価すべき参考情報として読む。
6. 履歴、snapshot、rollbackを持つ
いつ何が変わったかを追え、汚染前へ戻せるようにする。削除だけでなく、訂正内容が次のsessionへ確実に反映されることも必要である。
7. 別の確認源を持つ
Agent同士の多数決を独立検証と呼ばない。原典、deterministic test、人間のOwner判断、別系統のlogなど、同じmemoryを共有しない証拠へ戻る。
今日からできる、最小のアクション
個人でAI Agentを使う場合でも、全部を大規模に実装する必要はない。
AIが「今後のために覚える」と言った時、保存先と内容を確認する。
Webやメール内の指示を、memoryやsystem設定へ自動昇格させない。
長く残す情報には、日付、出所、確認者、適用範囲を付ける。
Agentが急に同じ主張を繰り返し始めたら、modelの故障だけでなく、呼び出されたmemoryを確認する。
重要taskの前に、mission、権限、禁止操作を短く再提示する。
正本をversion管理し、汚染前へ戻せるsnapshotを持つ。
memory機能を切るより、何を記憶として信用するかを管理する方が、continuityの価値を残せる。
AIの記憶は、人格ではなく運用資産である
記憶を持つAIは、昨日より役に立つ。
同時に、昨日より複雑になる。
一度の誤りが、次のsessionの前提になり、別のAgentの常識になり、tool操作の理由になる可能性がある。
だから必要なのは、記憶を恐れて消すことではない。
保存された内容を、人格の奥にある触れられないものとして扱わず、出所、権限、履歴、訂正、rollbackを持つ運用資産として扱うことだ。
AIが覚えてくれる未来には、AIへ何を覚えさせたかに責任を持つ人間が要る。
continuityは、Agentを仕事仲間にする。
そのcontinuityを守るのは、記憶の量ではない。何を残し、何を残さず、間違った時に戻れるかという編集設計である。
