Anthropic提出了一种紧急暂停人工智能发展的方式

Anthropic 呼吁“自我限制”人工智能的发展

以人工智能伦理工作闻名的 Anthropic 公司，在年初与五角大楼冲突后再次成为焦点。本周，该创业公司向行业代表发出请求，表示愿意在技术开始构成失控威胁时限制其发展。

关键要点

* 完全递归自我完善的人工智能可能导致系统自行创建“继任者”，不再需要人类干预。

* 在这种情况下，监测和限制这些系统行为的能力变得至关重要。

> “如果系统获得了自主创建继任者的能力，我们控制、监测并限制其行为的能力将变得极为重要。” Anthropic 发表声明称。

为什么重要？

上个月，该公司使用自身代理 Claude 生成的新代码占比超过 80%。这证明 Anthropic 知道自己在说什么：如果人工智能自行创建新版本，控制它就会越来越困难。

创业公司的代表认为，全世界需要有能力减缓或暂停先进模型的开发，以便社会有时间适应并分析变化。同时，所有市场参与者的协调行动至关重要：没有统一措施，不诚实的玩家可能危及公共安全。

公司计划

* 在未来几个月内，Anthropic 将研发监测人工智能发展危险趋势的工具。

* 同时将开展公众工作，讨论监管机制并创建监督机构，以实施“自我限制”模式。

正如公司强调的那样，一个组织无法单独改变局面。需要所有领先 AI 开发者共同合作，确保技术安全发展。