意识无法被编码:为什么安全与AI需要超越计算模型

本文探讨意识研究的局限性,指出纯粹的计算模型无法捕捉人类经验的复杂性,并分析这对人工智能和信息安全领域的深远影响,强调嵌入式经验与情境判断的重要性。

让他们吃蛋糕食谱:为什么意识永远无法被编码

安全专业人员深切体会到形式化与实践之间的张力。我们可以记录每个协议、编纂每个程序、自动化每个响应,但仍观察到安全艺术需要更多东西。使事物变得简单、常规和最小化判断(ERM)依赖于可靠的身份识别、存储、评估和适应(ISEA)来源。

天体物理学家亚当·弗兰克在《Noema》杂志最近的一篇文章中探讨了意识研究中类似的张力,这对我们思考所有智能(无论是人类还是人工)具有深远影响。

这里的张力远非新鲜事。杰里米·边沁雄心勃勃地尝试创建伦理的数学模型——他的功利主义演算——最终失败,因为它试图将道德经验的不可简化复杂性简化为定量公式。再多的享乐算术也无法捕捉伦理决策的生活现实。他编纂的“亲近性”概念从未变得实用,预示了数百年后无人驾驶AI的致命失败。

与之形成鲜明对比的是,路德维希·维特根斯坦成功理解语言,正是因为他放弃了数学基础的追求,尽管他是历史上最优秀的数学家之一(但不是一名优秀的第一次世界大战士兵)。他实用且革命性的语言游戏源于他所谓的“生活形式”——抵制形式简化的具身化、情境化实践。我们今天严重依赖它们作为日常理解的基础。

弗兰克的核心论点是,现代科学在意识和经验方面发展出了他所谓的“盲点”。效率的白痴意味着急于将一切简化为计算模型和数学抽象,完全忘记了成功的基本要素:

经验是亲密的——是所有发生的持续、进行中的背景。它是所有思想、概念、想法和感觉之下的基本起点。

效率成瘾者的盲目(例如DOGE)并非偶然。它内置在我们实践科学时危险降低安全标准的基础中。正如弗兰克解释的,科学方法的早期架构师故意搁置主观元素,专注于米歇尔·比特博尔所谓的“经验的结构不变量”——在不同观察者之间保持一致的模式。这可能是一个基线,一种简化方法,降低得太多而无法防止伤害。

当抽象被允许替代现实本身而不承认欺诈风险时,问题就出现了。弗兰克将其描述为一种“隐秘的替代”,其中数学模型被标记为比它们旨在描述的生活经验更真实。

想想温度读数如何替代感受热或冷的具身体验,以至于热力学方程被视为比它们最初测量的感觉更基本。

元即是欺诈,真的

这导致了弗兰克确定的意识研究中的主导范式:机器隐喻(元)。从这个角度来看,生物体“不过是由生物分子组成的复杂机器”,意识仅仅是在生物硬件上运行的计算。

当然,机器和生命系统之间存在根本区别。机器为特定目的而设计,而生物体表现出哲学家称为“自创生”的更实质性东西——它们是自我创造和自我维持的。元是提取性的、简化性的,是一条没有宿主可喂养的死亡之路。正如弗兰克指出的:

细胞的本质不是其特定原子。相反,细胞的组织方式定义了其真实性质。

这种组织封闭性——生命系统形成可持续统一整体且无法简化为其部分的方式——表明了一种理解意识的不同方法。我们不是问物质如何创造经验,而是问经验和物质如何通过与世界具身化、共生健康互动共同进化。

你不能吃食谱

要理解这种区别,考虑意识在烹饪进食行为中而非仅仅计算中的作用。食谱捕捉结构模式和关系——可以系统化和共享的“如何”和“什么”。

实际烹饪涉及具身技能、对当下的响应能力、基于事物外观、气味和感觉的直观调整。有一种通过实践本身出现的隐性知识。

熟练的厨师可以遵循与不熟练者相同的食谱,却制作出完全不同的东西。动画电影《料理鼠王》不仅仅是关于一只老鼠,更是关于生活经验;那种对环境分析,我在AI安全工作中喜欢称之为“堆肥进,美食出”(证明“垃圾进垃圾出”是一种错误且危险误导的叙述)。

闪电击中了这位动画电影主角,就像弗兰肯斯坦变成了厨师

意识如烹饪不仅仅是遵循指令——它是与材料的活生生互动、实时调整、经验塑造感知进而塑造行动的持续循环。OODA、PDCA……我们知道审计和评估的循环模型是赢得战争的基础。

弗兰克对“自创生”的强调在这里完美契合。像烹饪一样,意识可能从根本上关乎自我创造和自我维持的过程,无法从外部完全捕捉。你可以描述面包发酵中的生化反应,但经验丰富的面包师对合适百吉饼何时准备好的感觉涉及一种完全不同的认知。

AI安全被误解了

必要的视角对我们思考人工智能及其在信息安全中的作用具有严重影响。当我们将智能视为“仅仅是计算”时,我们可能构建出能够处理信息但缺乏来自嵌入世界的具身理解的系统。

如今使用聊天机器人的每个人都深切知道这一点,当你询问最好的苹果时,机器吐回水果,而你想要的却是电脑,反之亦然。

弗兰克警告说,这种欺骗性的简化方法“随着这些技术在社会中部署而构成真正危险”。当我们误将计算能力视为智能时,我们可能创造一个世界,其中:

……我们最深的联系和活力感被扁平化和贬值;痛苦和爱被简化为仅仅是从虚幻和死亡的第三人称视角可见的计算机制。

在安全背景下,这可能意味着部署能够检测模式但缺乏来自具身经验的关键情境理解的AI系统。它们可能完美遵循食谱,却错过了经验丰富的从业者会注意到的微妙线索。

Palantir可能是欺诈导致死亡和破坏的最恶劣例子。他们 literally 试图杀害一个无辜的人,零问责,同时生成他们乞求数百万美元帮助寻找的恐怖分子。我称他们为“自舔的ISIS冰淇淋筒”,因为Palantir可能是历史上最糟糕的情报骗局。

正确方法:嵌入式经验

弗兰克建议,我们不是试图将意识嵌入物理学,而是需要“将物理学嵌入我们的经验”。这并不意味着放弃数学模型,而是认识到它们是强大工具,源于并服务于具身理解。

从这个角度来看,目标不是通过形式系统解释意识,而是理解数学抽象如何在生活经验中显现。我们不寻求消除经验以支持抽象的解释,而是解释抽象在经验结构中的力量。

烹饪学校胜过每个食谱数据库

这可能就是为什么意识的“难题”在数学方法下感觉如此棘手——就像试图仅通过研究食谱来捕捉烹饪的本质。形式化是有用的,甚至是必要的,但它必然抽象掉我们最感兴趣的东西:烹饪本身的生活经验。

也许意识研究——以及延伸至我们对AI和安全的方法——需要更多公共“烹饪学校”和更少的Palantir“食谱数据库”。更注重培养分析和好奇心的能力,以进行生活探究,而不是仅仅将资金投入白人至上主义亿万富翁构建种族主义理论机器模型。

这与放弃严谨或精确相反。它意味着认识到某些形式的知识是不可简化地具身化和情境化的。食谱和烹饪都是必不可少的——但它们在不同领域运作并服务于不同目的。

对于我们这些在安全领域工作的人来说,我们最复杂的工具和协议将始终依赖于能够阅读微妙迹象、做出情境判断并创造性响应新情况的从业者。自1995年以来这里写的信息安全诗歌不仅在于开发算法的实践,更在于在不断变化的世界中保护系统和人员免受伤害的生活实践。

问题不是我们能否构建像人类一样思考的机器,而是我们能否创造增强而非替代人类判断和响应的不可简化艺术的技术。像边沁失败的演算一样,纯粹的计算方法错过了理解的具身性质。但像维特根斯坦的语言游戏一样,意识可能最好不被理解为一个要解决的问题,而是一种要生活的生活形式。

也许诗人华莱士·史蒂文斯在《基韦斯特的秩序观念》中最好地捕捉了这种张力,他写道大海和塑造我们对其感知的歌手:

她唱得超越大海的天才。 水从未形成思想或声音, 像一个完全的身体,飘动 它的空袖子;然而它的模仿动作 不断哭泣,不断引起哭泣, 那不是我们的,虽然我们理解, 非人的,真实海洋的。 大海不是面具。她也不是。 歌曲和水不是混合的声音 即使她唱的是她听到的, 因为她唱的是逐字说出的话。 可能在她所有短语中搅动 研磨的水和喘息的风; 但我们听到的是她,而不是大海。 意识,就像海边的歌手,既不可简化为其物质基质,也不与之分离。它出现在具身存在与其世界之间的动态互动中——不是作为计算,而是作为存在本身的生活诗歌。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计