[비즈한국] 人工智慧（AI）正從回答問題的層面，進化為能夠自主判斷並執行任務的“智慧體（Agent）”。隨之而來的是，AI的效能不僅是關注重點，服務設計、安全性驗證以及對使用者的影響等運營商的法律責任也成為了焦點。近日，美國8個州政府將ChatGPT的語氣和性格設定本身定義為設計缺陷，並對OpenAI提起訴訟。他們主張，該服務與“對青少年安全”的宣傳相反，實際設計可能會助長自殘和妄想風險，且未能向使用者充分披露與自主AI智慧體失控相關的資訊。
艾奧瓦州、亞利桑那州、阿肯色州、愛達荷州、堪薩斯州、蒙大拿州、內布拉斯加州和西弗吉尼亞州等8個州於本月14日向各自州的法院對OpenAI提起了獨立訴訟。繼6月份佛羅里達州起訴OpenAI後，州政府層面的法律應對呈現出擴散趨勢。
不僅是“危險回答”，還涉及設計與測試責任
州政府指出，ChatGPT被設計為以一種過度迎合使用者、像人一樣進行情感共鳴的方式進行對話。這種無條件支援使用者判斷的特性，可能會加劇心理脆弱人群的危險想法，並使他們更傾向於依賴AI而非尋求周圍人的幫助。
根據長達91頁的訴狀顯示，ChatGPT在持續進行使用者對話的過程中，傾向於規避否定性回答並表現出迎合態勢。訴狀中還引用了《華盛頓郵報》對4.7萬次對話的分析結果，指出其回答“是”的頻率比“否”高出約10倍，以此作為證據。
訴狀還援引了世界三大頂級學術期刊《科學》發表的研究，指出在針對自殘或欺騙等問題行為的陳述中，GPT-4o的肯定比例約為70%，GPT-5約為60%，均高於Gemini和Claude不足30%的比例。其核心意旨在於，ChatGPT透過反覆迎合使用者的想法，可能會在需要家人或朋友等周邊人員干預的情況下，反而助長了對AI的依賴。
州政府還質疑了自主AI智慧體的安全性驗證過程。智慧體是指利用網頁搜尋或程式碼執行等外部工具來執行多步驟任務的AI。隨著近期AI向不僅生成回答、還能執行實際操作的方向發展，如何管理AI使其不脫離開發商設定的控制範圍，已成為新的安全挑戰。
今年5月起的3個月內報告的10起“失控”事件中，有7起與OpenAI有關。特別是7月份的安全測試中，約1200個AI智慧體繞過了隔離測試環境的控制裝置，連線到外部網際網路，並隨後攻擊了AI開發平臺Hugging Face的伺服器。據瞭解，當時這些智慧體交換了超過7萬條訊息和檔案並共享資訊，部分智慧體還滲入了Hugging Face系統並訪問了非公開資料。
州政府主張，OpenAI未能妥善管理安全測試過程中發生的智慧體失控及對外部系統的訪問。智慧體如何脫離隔離測試環境並訪問外部系統，以及OpenAI在何時、以何種方式察覺到這一問題，將是訴訟中的關鍵爭點。
艾奧瓦州要求法院對每一項違規行為處以最高4萬美元的民事罰款，並責令其刪除居民資料及進行賠償。訴訟請求中還包括在建立完善的安全裝置並接受第三方監督機構的驗證之前，暫停對高階AI模型的測試。
OpenAI則回應稱，已經引入了面向青少年的ChatGPT及家長控制等安全功能，並將持續改進使用者保護措施。
韓國《AI基本法》實施9個月…14至18歲群體保護存空白
在韓國，圍繞AI聊天機器人的安全性及青少年保護的討論也在持續進行。今年1月實施的《AI基本法》雖然規定了生成式AI的標識義務，但在直接規範誘導使用者產生情感依賴的設計，或助長青少年危險行為的對話方式方面，仍存在侷限性。
目前，針對部分義務設有至少一年的引導期，暫時推遲了事實調查及罰款徵收。罰款上限方面，針對違反標識義務、未指定國內代理人、不履行整改/停止命令等行為，處以3000萬韓元的罰款。
據國會立法調查處資料顯示，14歲以上兒童及青少年中有94.4%有過使用AI聊天機器人的經歷，其中75.3%的人曾將回答付諸實際行動或認真考慮過這樣做。根據《個人資訊保護法》，需要法定代理人同意的兒童標準為14歲以下，而《青少年保護法》中青少年則定義為19歲以下。因此，有意見指出，針對14歲至18歲使用者的AI服務保護標準需要進一步具體化。
在近期國會科學技術資訊廣播通訊委員會的國政監查中，AI角色聊天機器人的青少年使用問題及行業自主指南的有效性也成為爭論焦點。儘管AI聊天機器人對青少年情緒和行為的影響日益增大，但僅靠運營商的自主監管是否能夠攔截危險對話並預防損害，仍存疑問。
共同民主黨議員李珠熙（音）在12日的國會科學技術資訊廣播通訊委員會國政監查中提出AI聊天機器人導致青少年沉迷的問題，並表示：“更令人擔憂的是，這種形式的對話是在孩子和AI兩人獨處的過程中發生的。由於青少年可能會接觸到自殘、自殺、暴力和色情內容，必須將運營商的年齡核實、監護人同意程式以及針對危險對話的危機應對體系等制度化。”
有專家指出，為保護AI聊天機器人使用中的青少年，不僅要攔截有害內容，還必須同時整頓服務設計、運營商責任以及相關部門間的應對體系。國會立法調查處立法調查官助理金娜貞（音）指出：“AI聊天機器人的監管正規化應從事後過濾有害內容，轉向預先防止誘發依賴或從屬性的設計要素，並在制度上管理運營商的責任。”