刑事误导 很棒的标题——当我第一次读到它时,我很感兴趣。但在深入研究了一两分钟后,我偶然发现了其中一位参与者的帖子,讲述了他的经历,无意中丢弃了极其重要的信息...... 这是他们第一次使用人工智能进行编码。曾。 如果说这种方法有问题,那就太轻描淡写了。 样本量已经很低(只有 16 名开发人员),他们如何省略这一部分:“哦,顺便说一句,这是参与者第一次使用 AI 进行编码,我们特别鼓励他们尽可能多地使用 AI” ????Lmao
METR
METR2025年7月11日
我们进行了一项随机对照试验,以了解 AI 编码工具在多大程度上加快了经验丰富的开源开发人员的速度。 结果让我们感到惊讶:开发人员认为他们使用 AI 工具的速度提高了 20%,但实际上,当他们能够访问 AI 时,他们比没有使用时慢 19%。
164