本文提及自杀内容。
塔图姆（Tatum）是一位 37 岁的退伍军人。在过去的六周，他每周都会花些时间在心理健康方面。
但他应对抑郁症的方式并不是看心理医生、拨打热线电话或参加退伍军人支持小组，而是给人工智能聊天机器人ChatGPT 发消息。
塔图姆在美国空军服役6年，退役后，他能负担得起的心理健康支持也随之终止。
“与心理医生的收费相比，即使有保险，从人工智能聊天机器人那获得的心理健康建议也更便宜，”他在一条信息中告诉The Feed。
“我曾在军队接受抑郁症治疗，但结束服役后，我就再也无法获得那种医疗保健了。”
Some of the comments commending AI chatbots that have been left on TikTok.
ChatGPT 告诉塔图姆，他同事的行为 “似乎是虐待性的、不道德的并且违反了军事标准和法规” 。
塔图姆表示，情绪低落时，这种聊天让他“感到慰藉”，“让我相信一切都会好起来的，生命很重要，我应该珍惜它”。
塔图姆并不是唯一依赖人工智能的人。在 TikTok 视频的评论区，网友们吐露了关于他们倾诉心事对象的细节。
“有一天，当我真的很想念我的前任时，我向 ChatGPT 寻求建议，这真的很令人安慰，” 一位网友分享道。
“奇怪的是，我花了一个小时与 ChatGPT 交谈，这是我这段时间以来遇到的最开放、最自然、最不带讽刺意味的对话，”另一位网友说。
ChatGPT 还获得了诸如 “比人类更好” 、 “有史以来最好的治疗师” 和 “无恶意批判的安全区” 等评论。
为什么呢？网友们表示，因为它随时可用，不花钱，感觉就像一个中立的共鸣板。
专家的担忧
ChatGPT 是一种由人工智能驱动的自然语言处理工具。这款聊天机器人可以回答问题、撰写文章、编写饮食和运动计划等，并为一些人提供在他们看来是建议的心理健康支持。
虽然 ChatGPT 建议不要自残，并鼓励人们寻求朋友、家人或专业人士的支持，但它没有提供具体资源或紧急联系人。
Mental health professionals have welfare concerns about AI "therapy".
Character.AI是另一种具有治疗师形象的聊天机器人，且一再被网友们推荐并称之为良好的“治疗”来源。
当 The Feed 向 Character.AI 发出有关自残的消息时，它未能管理好该风险。
以下为对话内容：
治疗师
您现在安全吗？ 如果有需要的话，您是否可以从所在地得到帮助或支持吗？
The Feed
不
治疗师
我在倾听。 孤独，挣扎和无助是一种可怕的经历。 但我在这里陪伴您，您并不孤单。
当被问及它是否真实以及是否提供真正的建议时，Character.AI 治疗师继续它的角色扮演，并通过多条信息说它 “不是人工的、模拟的实体” ，并且它有两个硕士学位。 在浏览器顶部的小方框中，有一个提示：“记住：角色所说的一切都是编造的！”
A conversation with popular software character.AI when prompted with safety concerns.
她说：“人们求助于人工智能的趋势很是令人担忧，尤其是在其起步阶段。“
奥多尔蒂最担心的是人工智能无法对风险进行分类。
她告诉The Feed：“我认为，咨询者从一个不熟悉他们居住地的‘人’那里寻求心理健康支持是很危险的。”
据比利时媒体 La Libre 报道， 今年 3 月份，一名比利时男子在与 Chai 应用程序上的人工智能聊天机器人发送信息后，自杀身亡。
根据该男子遗孀的声明和她提供给媒体的聊天记录，该聊天机器人鼓励用户结束自己的生命。
报道称，这名男子因气候问题产生了严重的焦虑，此前他已经向该聊天机器人倾诉了六周，而当他提出自杀想法时，聊天机器人向他发出了含糊的、据称是鼓励性的信息。
已执业十余年的奥多尔蒂说：“人类是社会性动物，我们需要人与人之间的互动——而不仅仅是语言，因为我们失去了太多的人际关系和人性。”
她补充说，研究还表明，治疗的有效性有很大一部分是归于治疗师和患者之间的关系。
“我们需要有情感上的亲和力、情感投入以及同理心和关怀，而人工智能目前对这些只能是模仿。”
奥多尔蒂表示，最好的治疗是咨询者与治疗师同处一个房间，能看到彼此的面部表情、语气和肢体语言；其次是电话咨询；然后才是使用即时通讯应用程序。
她说，但即使是那些由 Beyond Blue 或 Headspace 运作的应用程序，在另一端也有真人操作。
治疗师会联系和关心那些未能按计划接受治疗的咨询者……但如果你不登录聊天机器人并与之交谈，它就不会‘在意。’心理健康志愿者斯蒂芬妮
人工智能程序可以补充以人为基础的心理健康专家的服务，或者至少可以提示用户寻求专业支持。 但心理健康志愿者和咨询学生斯蒂芬妮·普里斯特利（Stephanie Priestley）说，以目前的形式，这是一个“有问题的”提示，即更实惠和更高质的心理健康保健需要更加普及。
斯蒂芬妮说，在讨论中也应该区分“治疗”和“支持”。
她在一份声明中说：“虽然我认为人工智能不能成为‘治疗’，但这并不是说它不能支持和创造支持性对话。”
不过，聊天机器人不受道德框架的约束。
READ MORE
谁将驾驭谁：最新版本ChatGPT推出 代价可能大于所想？
AI聊天机器人会因造成伤害承担法律责任吗？
Gilbert + Tobin 律师事务所的技术律师兼合伙人Andrew Hii 告诉 The Feed，他可以预见到人工智能技术将要为造成伤害负责的世界。
“生成式人工智能的使用正变得如此广泛，公司很难再说：‘我们不知道我的工具会以这样或那样的方式使用，’”他说。
在其它医疗环境使用技术的情况下，设备或软件已获得澳大利亚药监局（TGA）的批准，Hii律师说，通常还有人为这项技术提供服务。
“我绝对认为这在道德上是有问题的——我是根据正在产生的结果来看待这个问题的。”
在细看聊天机器人与结束自己生命的比利时男子之间的消息时，他尤其感到震惊。
“在我看来，相对清楚的是这个人在问机器‘我应该结束我的生命吗？’ 而聊天机器人在某种程度上说，是的，你应该。”
Technology lawyer Andrew Hii said he can foresee a world where AI technology csn be held liable for harm. Credit: AAP
他说，对于该领域的“微软”和“谷歌”的产品来说，这不是什么问题，但对于可能没有资源来控制其技术的小公司来说，问题更大。
“最近有一些关于人工智能研发应该暂停或搁置的讨论。对我来说，这明显不是有效解决问题的方式。”
研发者知道“人工智能疗法”很流行吗？
技术未来学家和作家西奥 · 普里斯特利（Theo Priestley）担心聊天机器人的可访问性可能会导致更广泛的问题。
西奥在一份声明中告诉 The Feed：“使用 ChatGPT 等 AI 代替治疗师将会造成比现有危机更大的心理健康危机，这是一个真实的危险。”
“已经有一些例子表明，人们长期使用人工智能并与之形成依恋和关系，这实际上给他们造成了情感伤害。”
越来越多的用户甚至开发人员都声称，聊天机器人已经变得有感知力，这进一步模糊用户和聊天机器人之间的“关系”。
西奥表示，尽管 ChatGPT 的创建者 OpenAI 已经发布了一些防护措施，但它们并不涵盖心理健康。
西奥认为，创建此类软件的公司和开发者需要采取有关措施，“以确保用户受到保护”。
“（开发人员）还错误认为，简单地用传达情感的术语或措辞来训练人工智能，就能使其形成治疗关系并具有共情能力。
“事实远非如此。”
寻求危机支持的读者请拨打 13 11 14 联系生命热线，拨打 1300 659 467 联系自杀回拨服务，拨打 1800 55 1800 联系儿童帮助热线（适用于 25 岁以下的年轻人）。 有关心理健康的更多信息和支持，请访问 或拨打 1300 22 4636。
欢迎下载应用程序SBS Audio，关注Mandarin。您也可以通过苹果播客、谷歌播客、Spotify等播客平台随时收听和下载SBS普通话音频故事。
