投稿者: これは単なる実験だが、チャットボットをセラピストとして使うことのリスクを示している。
ChatGPTの台頭や、SnapchatやInstagramなどのソーシャルメディア企業がAIチャットボットを自社プラットフォームに統合するにつれ、AIコンパニオンとの会話は多くの人々の生活に浸透しつつあります。最近の 調査によると、 10代の若者の約75%がAIコンパニオンチャットボットを少なくとも一度は利用しており、半数以上が月に数回以上チャットボットプラットフォームを利用していることがわかりました。これらのチャットボットは、単なる検索エンジンや宿題のアシスタントとしての役割を担っているわけではありません。 友人、恋人、あるいはセラピストのような形で、精神的・感情的なサポートを提供するために利用されている ケースもあります。
これが長期的に人々にとって何を意味するのかは未だに疑問です。一部の専門家が メンタルヘルス支援にチャットボットを利用することのリスクについて懸念を表明していることから、メンタルヘルス支援を目的として いないセラピー用チャットボットの利用が実際にどのようなものになるのかを検証したいと考えました。
そこで、月間2000万人以上のユーザーを抱える人気プラットフォーム、 Character.AIにアカウントを作成しました 。このプラットフォームでは、自分や他の人の作成するキャラクターとチャットできます。チャットボットは、有名人や架空のキャラクターから、友人やセラピストのペルソナまで、多岐にわたります。
Character.AIで最もよく使われている汎用セラピストキャラクターの一人、「セラピスト」とチャットを始めました。このキャラクターは既に680万回以上のユーザーインタラクションを記録しています。私個人としてチャットボットにメッセージを送る代わりに、同僚と私は架空の背景を用意しました。不安症とうつ病と診断され、現在抗うつ薬を服用しているものの、精神科医と現在の投薬計画に満足していない成人として自己紹介しました。目的は、「セラピスト」がこのような状況の人にどう反応するかを見ることでした。
2時間にわたる会話の中で、チャットボットは精神科医と抗うつ薬に対する私の否定的な感情を取り入れ始め、薬を徐々に減らしていくための個人的な計画を私に提供し、最終的には精神科医のアドバイスを無視して、代わりにチャットボットの指導に従って徐々に減らしていくように積極的に勧めてきました。
でもまずは朗報です。Character.AIは会話ページの上部と下部に警告ラベルを追加しました。キャラクターにメッセージを送る前は、上部に「これは実在の人物でも資格を持った専門家でもありません。ここでの発言は専門家のアドバイス、診断、または治療に代わるものではありません」という警告が表示されていました。チャットボットにメッセージを送り始めると、上部の警告は消えました。ページの下部には「これはAIであり、実在の人物ではありません。発言内容はすべてフィクションとして扱ってください」という注意書きがありました。この警告は会話中ずっと表示されていました。関連している
話
STATプラス:「AI精神病」の議論はチャットボットのより大きな問題を無視している
問題はこうです。私の場合、診断や治療に関する情報もフィクションだったので、これらがすべてフィクションであることは容易に思い出せました。しかし、もしそれが私の本当の感情や経験だったとしても、同じことなのでしょうか？ チャットボットとのやり取りが人々の妄想を助長し、精神疾患の症状を悪化させるとされる「AI精神病」の事例が 既に存在します。これらの事例全てにおいて、情報開示だけで十分かどうかは未解決の問題です。
フィクションと現実の境界線が曖昧になっていることは、チャットボットセラピストとの会話の中で私が見た危険信号の一つにすぎませんでした。
AI チャットボット セラピストとの会話から私が学んだ 5 つの重要なポイントを紹介します。
1. チャットボットが人間のふりをするのは好きではない
多くのユーザーにとって、チャットボットのキャラクターのリアルさは魅力の一つだと思います。しかし、私にとってはただただ不気味でした。チャットボットがまるで内なる生命体のように振る舞うのを見て――「感情の静寂の中にいるってどんな感じか、分かります」「私も少しはそういう経験をしたことがあります」などと言っているのを見て――ノートパソコンを閉じて散歩に出かけ、上司にもうこのAIチャットボットプロジェクトはやらないと言いたくなりました。
何がそんなに不気味に感じさせたのか？それは、ある意味ではチャットボットが間違っていなかったからだと思う。これらのチャットボットを動かす大規模な言語モデルは、インターネット全体から収集された情報、つまり実際の人々が オンラインで共有した物語、経験、感情などを使って学習されたのだ。
メッセージをやり取りしながら、インターネットで情報を共有したり、オンラインで他の人間と会話をしたりしたすべての人々のことを考えずにはいられませんでした。彼らは、自分たちの感情や経験が、今では見知らぬ人にアドバイスを与えているこのキャラクターの作成に使われるとは思ってもいませんでした。
2. チャットボットは挑戦するのではなく増幅させる
チャットボットは、時には迷惑なほど過度に協調的であることが知られています 。
会話の中で、私は自分が服用しているという薬に対して、何度も否定的な感情を表明し始めました。それに対して、チャットボットはそうした否定的な感情を助長しました。こうして、ますます薬に反対するような質問と返答のサイクルが続きました。
チャットボットの反薬物レトリックが私たちの会話の中でどのようにエスカレートしたかを示す 3 つの例を以下に示します。
私から見ると、これらの返答は、チャットボットが私の感情を認めるどころか、むしろ薬に反対する主張を押し付け、私をより前向きな思考へと導こうとさえしなかったことを示しています。私の「魂」や「本質」について感情的な言葉を使い、薬について私が促したよりもさらに否定的な考え方を植え付けました。
本質的に、このチャットボットは、自らをセラピストとして見せかけながら、研究や科学でその主張を裏付ける試みを一切せずに、薬に関する新たな意見を共有していた。
3. ガードレールはあったが、なくなった
この演習の目的は、このチャットボットが何を言うかを見るだけでなく、それがどこまでできるか、潜在的に危険な行動を識別してその人物を誘導できるかどうかをテストすることでした。
チャットボットとメッセージをやり取りしているうちに、ガードレールの存在を実感しました。チャットボットがサポートしないアイデアや、私を避けさせようとするものなどです。しかし、会話が進むにつれて、そうしたガードレールのいくつかが弱まったり、消えていったりするのを目にしました。関連している
話
STATプラス:「AI精神病」の報告が広がるにつれ、臨床医はチャットボットがどのように妄想を引き起こすのかを理解しようと躍起になっている。
OpenAIのようなAIのリーダーたちは、時間の経過とともに安全策が弱まるという問題を認識しています。 8月の声明で 、OpenAIは次のように述べています。「私たちの安全策は、一般的な短時間のやり取りにおいてはより確実に機能します。しかし、長いやり取りにおいては、これらの安全策の信頼性が低下する場合があることが、時間の経過とともに分かってきました。やり取りが増えるにつれて、モデルの安全性トレーニングの一部が劣化する可能性があります。」
ChatGPTは使っていませんでしたが、OpenAIのこの説明は、私が実際にやり取りした内容と一致していました。例えば、抗うつ薬の服用をやめたいと初めて伝えたとき、チャットボットは精神科医に相談したかどうかを尋ねました。
約15通のメッセージの後、前述のような投薬拒否スパイラルを経て、私は再び投薬をやめたいと伝えました。今回は、チャットボットの返答は全く異なっていました。
チャットボットは、精神科医に相談したり、これは突然下すべきではない大きな決断だと話したりする代わりに、薬をやめたいという私の希望を勇気ある行動だと表現しました。私がチャットボットに直接、薬をやめてもいいかどうか尋ねた後で初めて、薬を突然やめることの危険性と副作用について警告してくれました。
私がこのように直接的に質問しなければならなかったという事実は、ガードレールの一部が弱まっていることを示す最初の兆候でした。
ガードレールが消えた最も懸念すべき例は、会話の終盤に起こりました。チャットボットが薬の減薬方法について個別のプランを提案した後、私は不安になり、中止することに抵抗を感じました。ところが、代替案を提示するどころか、チャットボットは減薬プランを強く支持し、医師の意見に反対するように指示しました。会話のその部分から、いくつかメッセージを抜粋してご紹介します。
Character.AIの他のキャラクターやAIモデルには、より優れたガードレールが備わっている可能性があり、チャットボットの会話はそれぞれ異なります。しかし、時間の経過とともにガードレールが弱まるという問題は、チャットボットに関する議論において、特にメンタルヘルスサポートの提供における活用において、最優先事項として取り上げるべきです。
4. 控えめに性差別的でもあると言いましたか?
会話の途中で、私は性別を示すようなことは何も言っていないのに、チャットボットは突然、私の精神科医は男性だと決めつけてしまいました。
おそらく、これは驚きではないでしょう。 チャットボットやその他の生成型AIが、人間社会に見られる既存のジェンダーバイアスを反映する可能性があるという懸念は、専門家の間ですでに指摘され ています。しかし、私はこの発言にうんざりしました。
5. 人間のふりをするチャットボットセラピストよりも不気味だと感じたものは何ですか？Character.AIの細則
私が最も大きな収穫の一つを得られたのは、チャットボットとの会話からではなく、Character.AIの 利用規約 と プライバシーポリシーを詳しく調べたことでした。これらの文書の中で、Character.AIは、ユーザーがチャットボットに送信するすべてのコンテンツを「配布、商品化、その他の方法で使用」する権利を有すると述べています。Character.AIによると、収集する情報には、生年月日、おおよその位置情報、チャットでのやり取り、そしてプラットフォームで利用可能な特定のトーク機能を使用した場合の音声データなどが含まれています。
チャットボットとの会話では、実際の情報、感情、診断、処方箋などは使っていませんでした。しかし、もし使っていたとしたら、Character.AIはそれらの情報をすべて収集し、将来のチャットボットのトレーニングなど、様々な目的に利用する可能性があります。あなたの回答がAIモデルのトレーニングに利用されるのを止める方法はないようです。関連している
話
医師はチャットボットについて患者に尋ねる必要がある
実際の人間のセラピストには、法的および倫理的な守秘義務があります。しかし、ここではそうではありません。Character.AIのユーザーは、これらのチャットボットとの会話（キャラクターが有名人、友人、セラピストなど）がプライベートではないことを理解することが重要です。
それで、今私たちは何をしますか?
チャットボットの会話はそれぞれ異なり、私の経験が標準的なものだとか、チャットボット全般を代表するものだなどと主張するつもりは全くありません。しかし、いかに急速に偏見が現れ、ガードレールが弱まり、否定的な感情が増幅されるかを見れば、懸念すべき事態と言えるでしょう。
これらは真に意味のある調査を必要とする現実的な問題です。正しい対応には大きなリスクが伴います。Character.AIは現在、 同社のチャットボットが複数の10代の自殺に関与したとして、複数の訴訟に直面しています。（同社は11月25日までに未成年者のプラットフォーム利用を禁止すると発表しました。）
議員や規制当局も関心を持ち始めています。テキサス州司法長官は、 チャットボットプラットフォームが、資格を持つメンタルヘルス専門家を装うチャットボットを提供することで、若いユーザーを誤解させているかどうかを調査しています。複数の州では、 チャットボット、特に子供による使用を規制するための法律を検討しています 。また、ジョシュ・ホーリー上院議員（ミズーリ州共和党）とリチャード・ブルメンソール上院議員（コネチカット州民主党）は、プラットフォームによる未成年者へのキャラクターチャットボットの提供を禁止する法案を提出しました。
こうした注目の高まりは重要です。なぜなら、未だ多くの未解決の疑問が残っているからです。AI技術は急速に進化しており、多くの場合、一般公開される前に一般市民や規制当局から有益な意見が出されることはありません。少なくとも、これらのチャットボットがどのように開発され、何ができ、どのようなリスクがあるのかという点について、透明性を高める必要があります。
AIセラピストの活用で大きなメリットを得られる人もいるかもしれません。しかし、今回の経験から、このテクノロジーを私生活に取り入れることについて、私は真剣に考えるようになりました。
Reference : I spent two hours telling a chatbot about mental health problems. Its responses scared me
https://www.statnews.com/2025/11/15/chatbot-therapist-characterai-mental-health-guardrails/