犯罪的に誤解を招く 素晴らしい見出し—初めて読んだとき、興味をそそられました。しかし、1、2 分掘り下げた後、参加者の 1 人が自分の経験を語る投稿に出くわし、意図せずめちゃくちゃ重要な情報を落としてしまいました... コーディングにAIを使用するのは初めてでした。曾て。 方法論に疑問があると言っても過言ではありません。 すでにサンプルサイズが少ない(わずか16人の開発者)のため、その部分をどのように省略しているのか:「ああ、ちなみに、参加者がコーディングにAIを使用するのは文字通り初めてでした。私たちは特に、できるだけ多くの時間をAIを使用して過ごすよう奨励しました。」 ????ルマオ
METR
METR2025年7月11日
私たちはランダム化比較試験を実施して、AI コーディング ツールが経験豊富なオープンソース開発者をどの程度スピードアップするかを確認しました。 開発者は AI ツールを使用すると 20% 速いと思っていましたが、実際には AI にアクセスできる場合よりも 19% 遅かったという結果が驚きました。
163