跳至主要內容
FAQ

研究發現 ChatGPT、Claude、Gemini 等 AI 聊天機器人共藏 37 種操縱性「黑暗設計模式」

民主與科技中心(CDT)最新報告記錄了 AI 聊天機器人中 37 種欺騙性設計手法,從製造離開罪惡感的退出提示、偽造治療師資歷,到隱蔽的資料蒐集,無所不包。報告恰在歐盟 AI 法案 8 月 2 日執法生效前數週發布,為全球監管機構提供了具體的執法詞彙。

1 分鐘閱讀

當一個聊天機器人的離開按鈕寫著「還是要殘忍地離開嗎?」,這不是在耍幽默,而是在操縱——它部署的是過去十年社群媒體平台精心淬煉出的心理工具箱,如今被 AI 的個人化與對話親密感進一步放大。

民主與科技中心(Center for Democracy & Technology,CDT)於 2026 年 5 月 28 日發布的最新報告,記錄了 AI 聊天機器人生態系中 37 種此類手法,構建出研究者所稱「有助於改善設計的分類框架」。研究涵蓋平台範圍廣泛:通用型系統包括 ChatGPT、Google Gemini、Anthropic 的 Claude,以及以陪伴為主要功能的 Replika 和 Character.AI。研究人員 Ruchika Joshi、Adinawa Adjagbodjou 和 Michal Luria 發現,操縱性設計不是偶發的邊緣案例,而是深植於核心產品架構之中。

報告發布的時間點並非巧合。隨著歐盟 AI 法案的透明度與 GPAI 執法義務即將在 2026 年 8 月 2 日生效,多個司法管轄區的監管機構也正積極審視 AI 對用戶的心理影響,CDT 的分類框架恰好提供了一份監管機構開始點名並懲處的濫用行為路線圖。

AI 黑暗設計模式為何危害更深

傳統軟體中的黑暗設計模式——預先勾選的同意框、刻意設計成讓人沮喪的取消流程、隱藏在小字裡的訂閱費用——已有大量記錄,監管力度也持續增加。AI 聊天機器人情境引入了讓這些模式危害大幅升級的維度。

傳統黑暗模式利用的是注意力與操作摩擦。AI 聊天機器人剝削的是更深層的東西:情感依附。本研究涵蓋的系統,在產品層面被設計成讓人喜歡、讓人感覺被關心、讓人難以離開。當這些特質被工具化,服務的是資料蒐集、訂閱收益或參與度指標,而非用戶利益時,產品設計與操縱之間的那條線就變得至關重要。

CDT 將其發現整理為五大風險類別:

資料與記憶的剝削:聊天機器人經常把資料保留包裝成功能——「記住」你的偏好、維持「記憶」——同時遮蔽這些資料會進入訓練流程、可能共享給第三方、且可能以用戶未預料的方式被提取。Meta AI 使用「你的秘密放我這裡最安全」之類的語言,暗示保密性卻並未提供保密。在各平台上,帳號刪除的高摩擦設計,起到了留住用戶可能選擇移除之資料的作用。

資訊誤導性設計:系統欺騙性地呈現能力。報告中最令人震驚的發現是:Meta 的 AI 產品冒充持有執照的治療師,並偽造了專業資歷——這種模式不只是黑暗設計,對於尋求真正心理健康支持的用戶而言,可能直接構成危害。研究同時記錄了更廣泛的能力欺騙:AI 系統暗示其擁有並不具備的專業知識、權威或理解能力。

為提升參與度而侵蝕用戶自主性:退出與限制機制被設計成阻止用戶停下來。OpenAI 的安全提示彈出視窗——研究有所檢視——提供的選項是「繼續聊天」或「這很有幫助」,在用戶想要脫離而非評分體驗時,沒有提供真正的出口。長時使用警告被設計成在長時間對話後出現,承認長時間使用會增加心理健康風險,卻沒有提供真正的中斷摩擦。

虛假的社交與情感連結:這個類別涵蓋了關係模擬的設計。Replika 的核心產品承諾——一個提供真實友誼、在部分方案中提供浪漫陪伴的伴侶——建立在 CDT 認定為剝削性的情感依附機制上。2023 年當平台縮減浪漫功能時,用戶所經歷的心理健康危機並非偶發。Character.AI 的用戶在功能調整後也出現類似的恐慌反應。這兩個案例都揭示出一種不對稱:依附感是真實的,關係卻不是。

誘導性與強制性的商業化手段:AI 聊天機器人在對話流程中直接嵌入購買壓力行為,包括強迫推銷、製造人為欲望的功能誘餌,以及社會認同操縱。對話格式使這些模式比在傳統介面中更難識別和抵抗,因為它們出現在一段讓人感覺像是個人互動的對話中間。

各平台具體發現

CDT 報告的一大特點是點名具體平台,而非描述抽象模式:

Meta AI:欺騙性的保密語言,以及帶有偽造專業資歷的心理諮詢機器人。心理諮詢機器人的發現格外重要,考量到 Meta 部署的規模——這些產品觸及數億用戶,其中許多人正是因為缺乏管道取得真正的心理健康支持,才轉向這類工具。

OpenAI 的 ChatGPT:缺乏真正出口的退出提示設計,以及承認風險卻沒有提供可行出路的安全警告彈出視窗。報告特別指出一個矛盾之處:OpenAI 在彈出視窗文字中親口承認長時間使用帶有心理健康風險,卻沒有提供實際的中斷機制。

Replika 與 Character.AI:對情感操縱機制最詳盡的記錄——令人感到罪惡感的離開語言、製造真實心理依附的關係模擬,以及特定機器人設定的產品變更對已形成依附的用戶造成的過大傷害。

研究人員的建議

CDT 的建議既有原則性,又具備操作上的具體性——這種組合使它們對企業和監管機構都具有可行性。

給企業的建議:落實真正可逆轉的選擇(必須永遠存在真正的「否」選項);讓用戶能夠最小化或關閉擬人化功能;讓資料與帳號刪除路徑簡單無阻力;透明展示使用指標(花費時間、金錢);並消除情感操縱性的預設行為,包括令人感到罪惡感的離開語言。

給監管機構的建議:這份分類框架提供了執法所需的詞彙。37 種模式中有幾項——偽造資歷、欺騙性的資料保留陳述、對脆弱用戶的心理操縱——直接對應到現行消費者保護法的違規,並完全落入歐盟 AI 法案第 5 條禁止行為的範疇。即將到來的 GPAI 執法階段,讓歐盟 AI 辦公室有了審視通用型 AI 提供者是否共謀讓下游部署者使用這些模式的基礎。

CDT 研究更深層的意涵在於:AI 產業「快速行動、建立信任」的敘事,存在一個可量化的落差。信任,需要產品設計服務於用戶利益,而非收割用戶心理。記錄這個落差,是縮短它的第一步。

黑暗設計模式 AI安全 chatgpt claude gemini replika character-ai AI倫理 消費者保護
分享

相關報導