安德烈·卡尔帕蒂训练AI代理在夜间执行数百次实验,当人们休息时。

安德烈·卡尔帕蒂训练AI代理在夜间执行数百次实验,当人们休息时。

23 hardware

安德烈·卡尔帕蒂(Andrej Karpathy)提出了自动研究的新方法

前特斯拉 AI 项目负责人、OpenAI 联合创始人安德烈·卡尔帕蒂宣布启动一个简单但强大的开源项目。脚本仅 630 行,托管在 GitHub 上。它并不声称是完整模型或大型企业产品;目标是展示 AI 代理如何完全自动化科学方法,无需人工干预。

> “我们的任务是构建能够无限快速推进研究的代理,即使在夜间也能工作。”——卡尔帕蒂在 X 上写道。该消息立即走红,两天内获得超过 860 万次观看。

系统如何运作
1. 初始化

代理接收训练脚本和固定计算预算(通常为 GPU 的 5 分钟)。

2. 自我分析代码

阅读自身源代码,提出改进假设(例如调整学习率或模型深度)。

3. 修改并运行实验

做出更改,启动实验并评估结果。

4. 效果检查

如果 *val_bpb*(验证时每字节损失)指标提升,则保存更改;否则回滚并生成新假设。

在一夜之间,代理完成了 126 次实验,将损失从 0.9979 降至 0.9697。经过两天的调优后,它处理了约 700 个独立变更,发现大约 20 项附加改进,并成功迁移到更大型模型。

卡尔帕蒂指出:“看到代理完全管理从开始到结束的整个过程,令人难以置信。他找到了我在 20 年工作中忽略的注意力扩展和正则化错误。”

专家观点
自动化科学方法被视为 AI 发展的根本转折。将机器学习变成“硅速进化过程”,卡尔帕蒂开辟了 IT、营销、医疗保健等领域研究的新天地。

实践应用示例
| 合作伙伴 | 实验描述 | 结果 |
|---|---|---|
| Hyperspace AI(Varun Mathur) | 35 个自治代理在对等网络中使用笔记本 CPU 工作。 | 一夜之间完成 333 次实验,发现初始化策略(Kaiming、Xavier)和归一化方法(RMSNorm)。 |
| Single Grain(Eric Siu) | 自动化营销周期:代理更改目标页面、广告创意或邮件中的变量。 | 衡量“正面响应率”,保存成功变更并删除无效方案。 |

结论
卡尔帕蒂展示了简单脚本如何成为 AI 代理自我学习的强大工具。自动化优化循环使得夜间可进行数百次实验,发现过去需要多年研究才能得到的改进。这为各领域模型开发提供了更快、更具扩展性的路径。

评论 (0)

分享你的想法——请保持礼貌并围绕主题。

暂无评论。留下评论,分享你的观点!

要发表评论,请先登录。

登录后发表评论