刑事誤導 很棒的標題——當我第一次讀到它時,我很感興趣。但在深入研究一兩分鐘後,我偶然發現了其中一位參與者的帖子,講述了他的經歷,無意中丟下了極其重要的信息...... 這是他們第一次使用人工智慧進行編碼。曾。 說這種方法有問題是輕描淡寫的。 樣本量已經很低(只有 16 名開發人員),他們如何省略這一部分:“哦,順便說一句,這是參與者第一次使用 AI 進行編碼,我們特別鼓勵他們花盡可能多的時間使用人工智能” ????Lmao
METR
METR2025年7月11日
我們進行了一項隨機對照試驗,以了解人工智慧編碼工具在多大程度上加快了經驗豐富的開源開發人員的速度。 結果讓我們感到驚訝:開發人員認為他們使用 AI 工具的速度快了 20%,但實際上,當他們能夠使用 AI 時,他們比沒有使用時慢 19%。
162