Мне интересно, что произойдет, если вы воспроизведете исследование повышения эффективности METR AI, но для более обыденных инструментов. Например, завершите этот запрос на изменение, но без доступа в интернет. Не удивлюсь, если производительность улучшится (так же, как это было без LLM). Если это так, возможно, исследование говорит больше о том, как легко отвлечь себя (и о том, что, пока у вас есть любой другой вариант, вы откажетесь посвящать когнитивные усилия в сердце проблемы), чем о помощниках по кодированию LLM в частности.