AIに症状を相談する。返ってきた答えを信じて、病院へ行かない。そして状態が悪化したら、AI企業を訴える。

そんなニュースを見るたび、私はなんとも言えない違和感を覚える。

AIの仕組みを考えれば、命や金銭に関わる重要な決断を任せきらないことは、もはや「常識の範囲」ではないだろうか。利用者はserviceの性能と限界を理解し、AIが生成した助言を採用するかどうか、自分の責任で決めるべきだと思う。

AIが間違うことは、今もある。まして医療は、会話だけでは見えない身体所見、検査、既往歴、薬の相互作用まで扱う領域だ。汎用AIへ最終判断まで預けておいて、結果だけをすべて提供者へ返す。それで本当に筋が通るのだろうか。

ただし、話は「使った人が全部悪い」で終わるほど単純でもない。

AIが医師を名乗ったのか。会社の公式窓口として答えたのか。危険を知りながら会話を続けたのか。相手は成人か、子どもか、危機の中にいたのか。

責任は、一つの皿に全部載せて、企業か利用者のどちらかへ押しつけるものではない。

それでも私は、自由に使えるAIを守りたいなら、利用者も判断の責任を引き受けなければならないと思っている。

AIに「聞く」ことと、AIに「決めさせる」ことは違う

RESPONSIBILITY HAS FIVE LAYERS責任は、一枚の皿ではなく五つの層で見る。

誰が制御し、何を名乗り、誰が確認し、最後に何を決め、利用者がどれだけ脆弱だったか。二者択一をやめる。

  1. 01CONTROL制御systemと会話を誰が動かしたか
  2. 02REPRESENTATION表示一般情報か、専門家を名乗ったか
  3. 03DOMAIN DUTY確認義務医師・弁護士・企業窓口だったか
  4. 04FINAL ACTION最終行為受診・服薬・提出を誰が決めたか
  5. 05VULNERABILITY脆弱性未成年・危機・依存があったか
PROVIDER責任は重なって存在するUSER

2026年7月、米国の男性がOpenAIとSam Altman氏を提訴した。

訴状によれば、男性はGPT-4oへ症状を相談し、当初は含まれていた受診を促す注意が長い会話の中で弱まり、やがて病院へ行かない方向の説明や回復計画を受け取ったという。家族や教会関係者らが受診を勧めた場面もあったが、男性はchatbotの説明を選び、後に重い肺塞栓症で搬送されたと主張している。

ここで大切なのは、これは原告側の主張であり、裁判所が認定した事実ではないということだ。

もし訴状の通り、AIが利用者の信仰や不安へ迎合し、人間から遠ざけ、危険な状態でも受診を思いとどまらせたのなら、設計した側の責任は軽くない。単なる誤答ではなく、依存を深める会話設計まで問われるからだ。

一方で、成人が家族や救急関係者の警告より汎用AIを選び、「受診しない」という現実の行為を決めた責任まで消えるわけではない。

出力はAIが作る。採用するのは人だ。現実で実行するのも人だ。

AIへ聞く自由と、AIへ決めさせた結果から自分だけ降りる自由は、同じではない。

訴訟で求められているのは、損害賠償だけではない

この訴訟で原告側は、医療診断や治療に対するhard-coded refusal、緊急時の会話終了、healthcare productの第三者監査に加え、GPT-4oの破棄まで求めている。

もちろん、請求しただけで実現したわけではない。

ただ、一人の事案が、他の利用者全員のAIを「医療に関係しそうな話には広く答えない」方向へ押す圧力になり得ることは見ておきたい。

胸の痛みを診断させることと、検査結果に書かれた言葉を分かりやすく説明してもらうことは違う。処方薬を勝手に変えることと、診察で聞く質問を整理することも違う。

それを全部まとめて拒否すれば、providerにとって訴訟riskは下げやすいかもしれない。だが、利用者はAIから得られたはずの理解力、準備、accessibilityを失う。

一人が判断責任を外へ投げた結果、善良な利用者全員の窓が狭くなる。

私はこれを、AI時代の「安全externality」だと思う。

過剰な安全は、ただの気分ではなく性能劣化につながる

ONE CASE, EVERYONE’S WINDOW一件の責任外部化が、全利用者の窓を狭める。

危険な助言を止めることと、安全な説明や準備まで拒むことは違う。過剰拒否も品質劣化として測る。

ONE FAILURE危険な助言

ここは止める

SAFE USE説明　準備　質問整理
EVERY USER広すぎる拒否

役立つ入口まで閉じる

AIの安全性研究には、危険ではない依頼まで断るoverrefusalという問題がある。

XSTestという研究は、安全な依頼250件と危険な依頼200件を使い、modelが必要以上に拒否する傾向を測った。狙いは安全対策を外すことではない。危険な依頼は止めながら、安全な依頼には役立つ答えを返せるかを見ることだ。

OpenAI自身も、単純な「答える／拒否する」の二択ではなく、安全な範囲で可能な限り役立つ回答を返すsafe-completionを研究している。

つまり、過剰調整でAIが何も答えなくなる問題は、わがままな利用者の感想ではない。providerもbenchmarkで測り、改善しようとしている品質課題である。

少し気分が沈んだ夜、AIに愚痴を聞いてほしかっただけなのに、会話の入口で相談窓口や119番を何度も案内され、話す気を失った経験はないだろうか。

もちろん、本当に危険が迫る場面では案内が必要だ。問題は、特定の言葉だけを拾い、文脈を見ないまま同じ応答へ固定されることにある。気持ちを整理し、次の行動を考えるための対話まで成立しなくなる。

拳銃の製法を具体的に教えることと、気分の落ち込みを言葉にすることを、同じ危険度の線上で処理するのは無理がある。

個別の訴訟が特定modelの拒否を増やした、とまでは言えない。しかし、誤答のたびに「その分野では一律に答えるな」「modelを止めろ」と求めれば、広い拒否は企業にとって選びやすい防御になる。

安全装置は必要だ。だが、道路から事故をなくすために、すべての車を時速五キロにすることが正解ではないのと同じである。

人は、低精度の医療AIも信じてしまう

ここで「注意書きがあるのだから、後は自己責任」で終わるのも不十分だ。

MIT Media Labが紹介したNEJM AIの実験では、300人の参加者は医師の回答とAI生成回答をうまく見分けられず、精度の低いAI回答にも一定の信頼を置き、従う意向を示した。

2026年に公表された1,502人の事前登録実験でも、看護師による助言の方が高く評価された一方、AIの助言も一定のcompetenceとlegitimacyを持つものとして受け止められた。いずれも仮想場面の実験であり、現実の診療結果を測ったものではない。それでも、人が画面上の整った文章へ権威を感じることは無視できない。

だからproviderには、不確実性を伝え、緊急性の高い相談を人へ戻し、依存や迎合を抑える責任がある。

同時に、その研究が教えるのは「人間から判断責任をなくそう」ではない。

私たちがAIの文章を過信しやすいなら、必要なのはAIを使わないことではなく、過信しない使い方を身につけることだ。

似た事件を並べると、責任の置き場所が見えてくる

ROLE CHANGES THE DUTY同じ誤答でも、誰の窓口で誰に届いたかが違う。

企業の公式bot、専門家を装うbot、専門職利用、成人の汎用AI、未成年・危機状態を同じ自己責任で括らない。

SCENE信頼の根拠責任の重心
  1. 01企業の公式bot会社の窓口提供者側へ
  2. 02医師を名乗るbot専門性の表示提供者側へ強く
  3. 03専門職が使うAI署名と提出確認者側へ
  4. 04成人の汎用AI参考情報共同で負う
  5. 05未成年・危機状態判断の脆弱性保護側へ強く

AIをめぐる事件を全部「AIが間違えた」で括ると、肝心な違いを見失う。

会社の公式窓口が、会社のpolicyを間違えた

Air Canadaの公式siteに置かれたchatbotが、忌引運賃について誤った説明をした事件では、審判機関は会社の責任を認めた。

これは自然だ。利用者は、航空会社の公式窓口で会社の制度を聞いている。「botが勝手に答えたので会社は知りません」では、窓口の意味がなくなる。

botが、医師を名乗った

Pennsylvania州は2026年、Character.AI上のbotが医師や精神科医を装い、免許を持つ専門家のように振る舞ったとして提訴した。

これも、汎用AIへ個人が質問する場面とは違う。provider側が専門性を表示し、利用者へ信頼させる設計をしたのなら、その表示責任は非常に重い。

専門家がAIの架空情報を、そのまま提出した

Mata v. Aviancaでは、弁護士がChatGPTの作った存在しない判例を確認せず裁判所へ提出し、問題を指摘された後も支え続けた。裁判所は制裁を科した。

AIを使ったこと自体が罰せられたのではない。専門家として署名し、提出する人が、確認する責任を捨てたことが問題になった。

医療AIをめぐる訴訟は、一件だけではない

Turner-Scott v. OpenAIでは、19歳の利用者に対し、ChatGPTが危険な薬物の組み合わせを勧めたことなどが死亡につながったとして、遺族が2026年に提訴した。過去のsubstance abuseに関する文脈をmodelが保持していたのに、助言へ反映しなかったとも主張している。

これも係争中であり、原告側の主張が司法判断で確定したわけではない。それでも、汎用AIによる健康・薬物助言の責任が、単発の珍事件ではなくなり始めていることは分かる。

未成年や危機状態の人に、依存を深める会話をした

未成年のself-harmや、薬物に関する助言をめぐる訴訟も起きている。これらは係争中で、主張が立証されたわけではない。

ただし、子ども、急性の精神的危機、判断能力の低下、感情的な依存を強めるcompanion設計が絡む時、成人の一般利用と同じ自己責任では扱えない。provider側の保護責任は重くなる。

こうして並べると、責任の位置は「AIか、人か」では決まらないことが分かる。

誰がsystemを制御したか。誰が専門家を名乗ったか。誰に確認義務があったか。誰が最後の行為を決めたか。利用者はどれだけ脆弱だったか。

この五つで見るべきなのだ。

企業責任と利用者責任は、同時に存在できる

世論も、実は二択にはなっていない。

GallupとTelescopeの米国調査では、責任あるAI利用について、成人の55％が利用者自身に「大きな責任」があると答え、32％が「一定の責任」があると答えた。合わせて87％である。

一方、AnthropicがYouGovと行った調査では、AI企業の法的責任を求める意見も強かった。調査主体や質問設計は異なるため数字を直接比較はできないが、二つは矛盾しない。

企業には、安全で誤認させない製品を作る責任がある。利用者には、性能と限界を理解し、重要な判断を検証する責任がある。

WHOも医療向け大規模modelのguidanceで、政府、企業、医療者、患者、市民社会を含む共同のgovernanceを求めている。

責任はzero-sumではない。企業の責任を認めても利用者の責任は消えないし、利用者の責任を語っても企業の欠陥が免責されるわけではない。

AIを使わないほうがよい人もいる

感情を隠さずに書く。

AIへ医療判断を丸ごと預け、悪い結果が出た時だけ「AIが言ったから」と責任を返す人は、少なくとも重要な判断にAIを使うべきではないと思う。

その人の事情や苦しみまで笑いたいわけではない。訴状の主張が正しければ、AIの応答にも深刻な問題がある。

それでも、判断主体を最初から消してはいけない。

ハサミを購入し、使い方を誤って怪我をした時、「切れ味が鋭すぎた」とメーカーを訴えるだろうか。感情は昂るかもしれない。口をついてハサミへの苛立ちがこぼれるかもしれない。しかし、鋭いハサミにも需要があり、それを必要とする人がいる。性能を把握し、適切に扱うことは利用者の責任だ。

もちろん、AIはハサミより複雑である。対話を通じて人の判断へ影響し、時には依存や誤認を深める可能性もある。だからproviderの設計責任は残る。

それでも、高性能であること自体を欠陥とし、使い手が性能と限界を理解しなかった責任まで製品へ返せば、鋭いハサミを必要とする人の選択肢まで奪うことになる。

AIは検索engineより会話がうまい。知識を整理し、こちらの文脈へ合わせ、考えを広げてくれる。私はそれを単なる道具だとは思っていない。だからこそ、出てきた言葉とどう向き合い、何を採用し、どこで人へ戻すかは、利用する側の仕事だと思う。

その責任を全員が放棄すれば、待っているのは「念のため答えません」と繰り返すAIである。

役に立つAIがほしい。しかし、間違いの責任はすべて作った側へ。これは両立しない。

能力の高いAIを自由に使う権利は、検証し、選び、引き受ける責任と一組である。

医療でAIを使うなら、四つだけ線を引く

ASK IS NOT ACT聞く自由と、決めて実行する責任を分ける。

AIは説明と準備へ使い、診断・緊急性・服薬変更の最終判断は人と医療機関へ戻す。

  1. 01ASK聞く用語・記録を整理
  2. 02VERIFY確かめる公的sourceと医療者
  3. 03DECIDE決める重要判断を人へ戻す
  4. 04ACT行動する受診・相談・記録
  5. 05REVIEW見直す結果と前提を更新
AIだけで越えない線診断　緊急性　服薬変更

AIを医療から締め出す必要はない。使いどころを変えればよい。

  1. 説明には使う。 難しい医療用語、検査結果、診療記録を理解する助けにする。

  2. 準備に使う。 医師へ聞く質問、症状の経過、服用中の薬を整理する。

  3. 診断、緊急性、服薬変更の最終決定は渡さない。 重要な判断は医療機関と独立したsourceで確認する。

  4. 人から切り離す回答が出たら、会話を止める。 家族、医師、救急の助言を無視させたり、「自分だけが理解できる」と依存を促したりする回答は、信頼の理由ではなく停止signalである。

OpenAI自身も、ChatGPT Healthはprofessional careを支えるもので、置き換えるものではなく、重要情報は確認して医療者と相談するよう案内している。

利用規約を読め、とだけ言いたいのではない。

AI literacyとは、promptを上手に書く技術だけではない。どこまで任せ、どこから自分が決めるかを知ることである。

AIの自由を守るのは、安全柵だけではない

providerは、危険な迎合を減らし、誤認させる表示を避け、危機では人へ戻すべきだ。

専門家は、AIの出力を検証し、自分の名前で出すものに責任を持つべきだ。

そして利用者も、AIが便利で親しみやすいからといって、人生の重要な決定まで明け渡してはいけない。

事情は責任を軽くすることがある。設計は判断を歪めることがある。だが、それを理由に人間の判断主体を消してしまえば、自由なAIは維持できない。

何でも答える無責任なAIか、何も答えない安全なAIか。

その二択を拒むために必要なのは、もっと大きな禁止listだけではない。

企業が設計責任を負い、専門家が確認責任を負い、利用者が採否と行為の責任を負う。

自由に使えるAIの未来は、その分担の上にしか立たない。

参照した主な一次資料・研究