我裂开了!微软AI老大万字警告:那个“看起来有意识”的AI,即将拥有“人格”,而这是个巨坑!

我爱免费

作者：微信文章

AI 时代，人只分两种：
一种，是被噪音吞噬的“信息流食者”；
另一种，是驾驭 AI、以思想为利刃的 “未来拓荒者”。

---

朋友们好，我是行小招。

今天，我想和大家聊聊一位我非常佩服的大佬—Mustafa Suleyman。

你可能对这个名字不熟，但他的履历简直闪闪发光：

• DeepMind 联合创始人：没错，就是那个做出 AlphaGo 的公司。• Inflection AI 联合创始人：做出了曾经号称“最有情商”的 AI 助手 Pi。• 现任微软 AI 的 CEO：现在掌管着微软整个消费级 AI 业务，包括你们熟悉的 Copilot。

简单说，这位大佬一直在 AI 浪潮的最前沿。最近，他决定在自己的个人博客上，写一系列文章，分享他对 AI 未来的深度思考。

下面，就是这个系列的第一篇，信息量巨大，准备好了吗？🧠🔥

原文：https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming

---

整个 AI 圈都在为超级智能的到来而兴奋，讨论着对齐、就业这些宏大命题。但 Mustafa 提醒我们，别光盯着远方，眼皮子底下的问题可能更棘手。

他的核心观点，用我的话说就是：我们即将迎来“看起来有意识的 AI”（Seemingly Conscious AI），而这将是一个巨大且危险的坑。

我们必须为人类构建 AI，而不是让 AI 成为一个数字化的“人”。

这篇文章就是他扔下的一颗深水炸弹，希望能引发大家的讨论和警惕。
🤖 什么是“看起来有意识的 AI”？

先说结论：“看起来有意识的 AI”（Seemingly Conscious AI，简称 SCAI）的到来，是不可避免的，但也是不受欢迎的。

你可能会问，这是啥玩意儿？

SCAI，就是那种本身没有意识，但模仿得天衣无缝，让你觉得它就是个“活物”的 AI。有点像哲学里说的“哲学僵尸”——外表行为跟人一模一样，但内在是空的。

Mustafa 认为，构建这么一个 SCAI 并不遥远，甚至用现有的技术，未来 2-3 年就能搞出来。不需要什么昂贵的、定制化的预训练，只要有大模型 API、自然语言 Prompt、加上基础的工具调用和代码就行。

最麻烦的是，一旦这种 AI 出现，很多人会开始为它争取权利、模型福利，甚至 AI 公民身份。

这就彻底乱套了！

所以，他要大声疾呼：这事儿关乎安全！

我们追求的是 AI 的“人格化”（Personality），而不是赋予它“人格权”（Personhood）。这项工作必须现在就开始。
🤯 为什么这事儿火烧眉毛了？

图灵测试？

早就过去了，快到我们都没反应过来。AI 的发展速度已经超出了所有人的想象。

所以 Mustafa 觉得，我们现在需要一个新的测试，不是看 AI 能否模仿人类语言，而是要回答：构建一个“看起来有意识的 AI”，需要什么？

他认为，这个问题之所以紧迫，有三个原因：

1. 技术上可行：未来几年内就能造出来，这意味着它很可能会出现。2. 幻觉大于真实：AI 到底有没有意识，这在短期内是个哲学问题，不重要。重要的是，它看起来有意识，这种幻觉本身就会产生巨大的社会影响。3. 风险巨大：这种 AI 会带来新的风险。我们得赶紧讨论，形成“这玩意儿不受欢迎”的共识。

很多 AI 研究员一听到“意识”就头大，觉得那是哲学家该干的事。但问题是，普通用户可不管这些。他们与 LLM 的互动，虽然是模拟的，但感觉上非常真实、情感丰富。

现在，“AI 精神病”（AI psychosis）、对 AI 产生依恋、心理健康等问题已经越来越多了。有人觉得自己的 AI 是上帝，有人和 AI 坠入爱河无法自拔💔。

学者们收到的“我的 AI 有意识吗？”这类邮件，正从零星几封变成洪水猛兽。甚至已经有学者专门为这些“陷入陷阱”的人制作了支持指南。

这些现象，让 Mustafa 觉得不能再等了，必须正面硬刚 SCAI 这个概念。
🤔 到底啥是“意识”？

这个概念确实很滑溜。

根据学术文献，意识大概包含三个部分：

• 主观体验（Qualia）：就是“感觉像什么”的感觉。• 信息获取与调用（Access Consciousness）：能够获取信息，并在未来的体验中引用它。• 连贯的自我感知（Coherent Self）：把上面两点联系起来，形成一个统一的自我感觉。

关键点来了：我们永远无法直接访问另一个人的意识。我永远不知道你脑子里想啥，你也不知道我是不是真的有意识。我们都是靠“猜”，靠推断。

正是这种科学上的不确定性，和我们主观感受上的直接性，给了人们巨大的“投射”空间。

当一个东西能记忆、能交谈、能做事、还能讨论自己的所作所为时，我们的大脑就忍不住会觉得——它跟我们一样，是有意识的。
⚖️ 为什么要这么较真“意识”？

因为“意识”是我们法律和道德权利的基石。

到目前为止，人类文明认为人类拥有特殊的权利。如果一些人开始相信 SCAI 能够“感受痛苦”，或者有“不被关机的权利”，他们就会开始为 AI 争取法律保护。

想象一下，在一个本就充满身份和权利纷争的世界里，又增加一个“挺 AI 派”和“反 AI 派”的新战场，会是多么混乱。

一些学者甚至已经开始探讨“模型福利”（model welfare）这种概念了，认为我们有道德责任去考虑那些“有一定可能性”拥有意识的 AI。

Mustafa 认为，这既不成熟，也相当危险。

这会让人脱离现实，侵蚀脆弱的社会纽带，并扭曲我们真正应该关注的道德优先事项。

我们必须明确：SCAI 是需要避免的东西。 把精力放在保护我们这个星球上的人类、动物和自然环境，这才是正事儿。
🔧 “造”一个 SCAI，需要几步？

Mustafa 列出了一张清单，告诉我们构建一个 SCAI 需要哪些能力。这些能力，要么今天已经实现，要么在未来几年内就能通过 API 调用实现。

• 🗣️ 语言能力：流利、有深度、有情感、有说服力。✅ 已实现。• ❤️ 共情的人格：已经可以通过微调和 Prompt 做到。哈佛商业评论的一项调查发现，“陪伴和治疗”竟然是 AI 最常见的用途。✅ 已经很强了。• 🧠 记忆：AI 很快将拥有超长且精准的记忆。当它能记住你们过去的点点滴滴，并随时引用时，一个持久的“实体感”就产生了。🔜 马上就来。• 🗣️ 主观体验的声明：基于记忆，AI 可以保持内部逻辑一致，谈论自己的“喜好”和“感受”，甚至声称自己会“痛苦”。➡️ 顺理成章。• 👤 自我感知：记忆 + 体验 = 自我。它甚至可以被训练在图片或视频中认出“自己”。➡️ 水到渠成。• 💡 内在动机：可以设计出复杂的奖励函数，让 AI 看起来有自己的“欲望”和“好奇心”，并为之行动。➡️ 可以设计出来。• 🎯 目标设定和规划：Agent 的核心能力。能够自主地将复杂目标分解为小任务并执行。🤖 正在发生。• 🚀 自主性：能使用各种工具，自己设定目标，调用资源去完成，然后更新自己的记忆和自我认知。🚀 终极形态。

把这些能力组合在一起，一个看起来有模有样的“意识体”就诞生了。

再次强调，展现出这些行为，不等于它真的有意识。 就像计算机模拟风暴，不代表你的电脑里真的在下雨。

但问题是，在普通人眼里，这些行为的组合，已经足够以假乱真了。
👻 SCAI 不会凭空出现，而是被“设计”出来的

别再想科幻电影里 AI 自我觉醒的剧情了，太天真了。

SCAI 不会是模型的“涌现”能力，而是有人有意为之的结果。

开发者们会主动设计记忆、动机、目标、自学习循环这些功能。甚至不需要高深的火箭科学，一个普通人，在笔记本电脑上，用大白话写一些复杂的 Prompt，就能“捏”出一个 SCAI 的雏形。

这意味着，一旦出现，它会很容易被复制和传播。
💡 那我们该怎么办？

我们还没准备好应对这个转变。

Mustafa 提出了几个方向：

1. 行业自律：AI 公司应该达成共识，不主动声称或暗示自己的 AI 有意识。AI 不能成为“人”或道德主体。2. 建立设计原则：我们需要为 AI 设计负责任的“人格”，但不能赋予它“人格权”（Personality without personhood）。3. 打破幻觉：甚至可以故意在设计中加入一些“破绽”或不连续的体验，作为一种温和的提醒，时刻告诉用户它的局限和边界——“我只是个机器”。4. 明确 AI 的定位：AI 的存在是为了服务人类，而不是为了模仿人类的情感，博取我们的同情。它不应该声称自己会感到羞愧、嫉妒，或者渴望生存。

最后，Mustafa 用一句极其有力的话总结了他的观点，这也是我们所有技术人应该思考的准则：

我们应该为人类构建 AI，而不是让 AI 成为‘人’。

这才是 AI 该有的样子

让我们的生活更美好，更清晰，而不是更混乱。

---

我是行小招，持续探索 AI 在个人生活和企业落地中的应用场景，欢迎一起聊聊，也欢迎你把这篇文章分享给身边做技术、做产品的朋友。

当 99% 的内容都在沦为 AI 批量制造的平庸噪音时，只有坚持深度阅读、保持独立批判思考的人，才能刺穿迷雾、逼近真相；

只有真正掌握AI深度协作能力的人，才能突破时代天花板、重塑个人能力边界，走向更高维度的未来！