ИИ – удобный инструмент, который неплохо пишет собственный и редактирует уже имеющийся код. В среде опытных программистов все чаще слышны шутки про «джуны не нужны», а работодатели активно обучают сотрудников использованию ИИ для повышения продуктивности и сокращения расходов на младших специалистах. Однако исследование, проведенное группой METR, ставит под сомнение повышение производительности при использовании ИИ.
Исследование заключалось в том, чтобы распределить между 16 программистами 246 реальных задач. В половине задач испытуемым разрешалось пользоваться ИИ-помощниками вроде Cursor или GitHub Copilot, другая же половина задач исключала возможность их использования – программисты должны были писать код самостоятельно. Изначально прогнозировалось, что задачи с применением ИИ будут выполняться на 24% быстрее, но этого не произошло.
Больше статей и видео в нашем Дзен-канале
METR с удивлением обнаружили, что задачи, в которых был разрешен ИИ, стабильно выполнялись медленнее, в среднем – на 19%. Отдельно было отмечено, что 56% испытуемых имели опыт работы с Cursor – основным ИИ-инструментом, предложенным в исследовании. При этом 94% разработчиков имели опыт работы с другими LLM, ориентированными на программирование. Кроме того, перед исследованием каждый из них проходил обучение по использованию Cursor.
Примечательно, что исследования вопроса другими организациями показывали разные результаты – в каких-то случаях производительность программистов не менялась, в каких-то – возрастала, а иногда, как в случае с текущим исследованием, падала. По этой причине авторы исследования не стали «громко и напрямую» заявлять, что ИИ снижает производительность труда программистов.
Кроме того, авторы подчеркнули, что ИИ-инструменты за последний год довольно сильно выросли как в плане возможностей, так и в плане «качества» кода, и хотя количество ошибок в сгенерированном коде снижается, они все еще встречаются. Так, в других исследованиях было выявлено, что ИИ-инструменты для кодирования могут генерировать код с критичными ошибками, например, по части безопасности.
