Откуда взялись 55%
GitHub собрал 95 профессиональных разработчиков, случайно разделил их на две группы и попросил написать HTTP-сервер на JavaScript. Участники с Copilot завершили задачу в среднем за 1 час 11 минут, контрольная группа — за 2 часа 41 минуту. Разница составила 55%, а доля завершивших работу была 78% против 70%.
Эксперимент сделан аккуратно: одинаковое задание, знакомый участникам язык, автоматическая проверка. Ошибка начинается позже — когда результат одной ограниченной задачи превращают в коммерческое обещание «проект будет вдвое дешевле».
Проект — не длинный сеанс печати
В разработке есть работа, которую Copilot почти не трогает: разговор с пользователями, выбор границ MVP, согласование интеграций, доступы, публикация в сторах, миграция данных и приёмка. Даже в коде время уходит не только на набор символов, но и на понимание старой системы, диагностику и проверку побочных эффектов.
Поэтому считать нужно не строки в минуту. Полезнее смотреть на время от постановки задачи до production, долю возвратов с code review, дефекты после релиза и то, сколько задач застревает в проверке.
Где помощник действительно окупается
Лучшие кандидаты скучны: тестовые данные, unit-тесты по понятному контракту, конвертеры форматов, повторяющиеся API-клиенты, документация и небольшие рефакторинги. Здесь результат можно быстро сопоставить со схемой, типами и тестами.
Хуже всего начинать с критичной авторизации, расчёта денег или большого переписывания незнакомого модуля. В этих местах правдоподобная ошибка опаснее медленной ручной работы.
Качество не появляется из воздуха
В другом контролируемом исследовании GitHub 202 разработчика создавали API на Python. Авторы сообщили об улучшениях функциональности, читаемости и сопровождаемости в группе с Copilot. Но и этот результат не отменяет простого правила: модель предлагает, репозиторий доказывает.
Доказательство — это типы, линтер, тесты, сканирование зависимостей, проверка секретов и человеческое ревью. Хороший prompt не заменяет ни один из этих слоёв. Он лишь повышает шанс получить удобный черновик с первой попытки.
Пилот на четыре недели
Выберите одну команду и два типа задач. Зафиксируйте базовые показатели за прошлый месяц: lead time, время в review, процент возвратов, дефекты. Затем включите инструмент, добавьте файл с правилами репозитория и договоритесь, какие данные нельзя отправлять внешней модели.
Через четыре недели сравните не впечатления, а поток. Если задачи стали проходить быстрее без роста дефектов — расширяйте пилот. Если ускорился только первый commit, а review захлебнулся, проблема не в модели: вы перенесли работу с автора на проверяющих.
Как считать экономику честно
Стоимость лицензий видна сразу, а стоимость контроля — нет. В расчёт входят настройка политик, обучение, обновление тестов, ревью и время на исправление уверенных, но неверных решений. Выгода тоже шире часов: меньше рутины, быстрее прототипы, лучше документация, спокойнее вход в чужой модуль.
Copilot полезен не как виртуальный сотрудник без зарплаты, а как очень быстрый стажёр, который знает много синтаксиса и ничего не отвечает за последствия. Если рядом есть взрослая инженерная система, это отличная сделка.