Trompeur criminel excellent titre – j’étais intrigué quand je l’ai lu pour la première fois. Mais après avoir creusé pendant une minute ou deux, je suis tombé sur un post de l’un des participants racontant son expérience, laissant tomber involontairement des informations incroyablement importantes... C’était la première fois qu’ils utilisaient l’IA pour coder. Jamais. Dire que la méthodologie est discutable serait un euphémisme. Déjà un échantillon de petite taille (seulement 16 développeurs), comment font-ils pour laisser de côté la partie : « oh et au fait, c’était la première fois que les participants utilisaient l’IA pour coder littéralement, et nous les avons spécifiquement encouragés à passer autant de temps que possible à utiliser l’IA » ???? Lmao
METR
METR11 juil. 2025
Nous avons mené un essai contrôlé randomisé pour voir dans quelle mesure les outils de codage de l’IA accélèrent les développeurs open source expérimentés. Les résultats nous ont surpris : les développeurs pensaient être 20 % plus rapides avec les outils d’IA, mais ils étaient en fait 19 % plus lents lorsqu’ils avaient accès à l’IA que lorsqu’ils n’y avaient pas.
167