Шаблон проверки AI-пилота: время, качество и переделки

Шаблон нужен, чтобы после пилота ответить на один вопрос: сколько труда потребовал принятый результат и сохранилось ли качество?

Почему важно считать весь процесс, объясняет обзор исследований AI-продуктивности.

1. Запишите условия до старта

Процесс и одна типовая задача: ______.
Полезный результат и обязательные критерии приёмки: ______.
Кто проверяет и принимает результат: ______.
Критическая ошибка, при которой пилот останавливается: ______.
Минимально полезное сокращение труда: ______; почему такой порог: ______.
Допустимые затраты на настройку и обслуживание: ______.
Инструмент, версия модели, инструкция, разрешённые входные данные: ______.
Период и план набора задач: ______.

Для первых проб используйте открытые, синтетические или допустимые обезличенные данные. Не загружайте чужие закрытые документы без права на такую обработку. Первое сравнение можно проводить в подготовительной части процесса, с проверкой человеком до внешнего действия.

2. Сравните сопоставимые задачи

Определите классы задач по сложности и назначайте режим внутри каждого класса случайно. Один человек может выполнять оба режима, но порядок нужно чередовать, а не сначала собрать лёгкие задачи без AI, затем сложные с AI.

Не используйте одну и ту же задачу повторно как независимое наблюдение. Отдельно сохраните отклонения от правил: незнакомый формат, пропущенные данные, смена инструкции, незапланированная помощь коллеги.

Размер партии зависит от разброса задач и цены ошибки. Маленький пилот помогает обнаружить проблемы измерения; он не обеспечивает статистическую уверенность сам по себе.

3. Ведите журнал всех попыток

Одна запись — одна исходная задача, включая неудачу AI и завершение человеком. Запишите:

ID, дату, класс и режим: уникальная задача; ручной / с AI.
Подготовку, мин: активное время человека на вход и инструкции.
Выполнение, мин: активную работу человека, включая взаимодействие с AI.
Проверку, мин: сверку результата с критериями.
Исправления, мин: переделки и ручное завершение после отказа AI.
До готовности, мин: календарное время от начала до приёмки или остановки.
Результат: принят / не принят; число возвратов; критическую ошибку.
Примечание: версию инструмента, исключения, дополнительные расходы.

Каждая активная минута относится к одной категории. Ожидание ответа не добавляйте как человеческий труд, если человек в это время занят другой задачей; оно уже входит в календарное время.

4. Сведите результат по каждому режиму

Человеческий труд партии — сумма подготовки, выполнения, проверки и исправлений по всем попыткам. Разделите его на число принятых задач. Если принятых задач нет, показатель не определён; не записывайте нулевую стоимость.

Рядом покажите число всех задач, долю принятых, критические ошибки и разброс времени. Сравнивайте режимы внутри одного класса задач. Отдельно укажите одноразовую настройку, обслуживание и расходы на инструменты: нельзя спрятать их в среднем или считать только успешные ответы.

Пример расчёта, вымышленные данные: ручная партия потребовала 120 минут и дала 10 принятых результатов; партия с AI — 100 минут и 10 принятых результатов. Это 12 и 10 минут труда на результат, разница 2 минуты. Если настройка заняла ещё 60 минут, на этой партии общей экономии времени пока нет. Эти числа иллюстрируют расчёт, а не результат внедрения.

5. Запишите решение

Продолжить узкий сценарий: критерии приёмки соблюдены, полезный выигрыш повторяется, затраты учтены.
Изменить и повторить: результат нестабилен либо выигрыш исчезает после проверки; начать новую серию с новой версией условий.
Остановить: есть критическая ошибка или неприемлемое качество; вернуть задачу в ручной процесс.
Данных недостаточно: классы задач несопоставимы или разброс слишком велик для вывода.

Итоговая запись: «В условиях ______ на ______ задачах наблюдали ______. Не проверили ______. Следующий шаг ______». Это точнее, чем «AI экономит нам столько-то процентов» без указания границ измерения.