Насколько точна проверка тестов нейросетью?

Можно ли доверять проверке тестов нейросетью? Для тестов с выбором ответа — да, но точность не сводится к одной цифре с сайта разработчика. Она зависит от того, как ученики отмечают ответы, от качества фото, от структуры бланка и от того, проверяет ли кто-то вопросы, которые ИИ не смог прочитать. В этом руководстве — откуда берутся ошибки, как избежать большинства из них и как измерить точность на работах своих учеников, прежде чем доверять любому сервису, в том числе Snap AI.

Насколько точна проверка тестов нейросетью? Зависит от того, что проверять

За словами «проверка с помощью ИИ» скрываются две разные задачи. Распознавание — понять, какой кружок закрашен, какая буква обведена или какое число вписано в клеточку. Оценивание — решить, сколько баллов заслуживает сочинение или доказательство. Считывать однозначные ответы проще. Оценивать развёрнутые ответы гораздо сложнее, и исследования на эту тему по-прежнему советуют оставлять последнее слово за человеком.

В тесте с выбором ответа — на листе с заданиями, на бланке ответов или на бланке для оптического распознавания (OMR) — хорошо устроенной системе достаточно распознавания. Сверка ответа с ключом — простое сравнение. Поэтому важны два вопроса: как часто система ошибается при распознавании и заметите ли вы ошибку, когда она случится.

Как Snap AI проверяет работу: сначала распознавание, потом подсчёт баллов

Snap AI проверяет работу в два отдельных шага.

1. Нейросеть читает работу. Она смотрит на фото и записывает имя ученика, класс, код варианта и ответ, отмеченный в каждом вопросе. Ей запрещено решать задания самой, и она не определяет, какой ответ верный.
2. Обычный программный код считает баллы. Программа (не ИИ) сравнивает каждый ответ с вашим ключом ответов и суммирует баллы: по умолчанию 10 за работу, поровну на все вопросы, либо столько, сколько вы назначите для каждого типа заданий или раздела. Максимальный балл можно до проверки изменить в настройке Score scale (шкала баллов): например, при 100 баллах результат равен проценту от максимума, и его легко перевести в отметку по 5-балльной шкале, принятой в вашей школе. Если вы не задали баллы, а в тесте они напечатаны рядом с каждым заданием, программа берёт значения, которые прочитала нейросеть. Ответ должен совпасть точно (регистр букв не важен), а числовой краткий ответ засчитывается, если это то же число, записанное через запятую или через точку (12,5 = 12.5).

Почему это разделение важно? У нейросети нет своего мнения о правильном ответе, поэтому неверный балл почти всегда объясняется ошибкой распознавания, ошибкой в ключе или неверным кодом варианта — и все три причины вы можете увидеть и исправить. Кроме того, подсчёт воспроизводим: одни и те же ответы и ключ всегда дают один и тот же результат.

Нейросеть читает и ваш ключ ответов, даже набранный текстом, потому что формат свободный (например, 1.A 2.B 3.C или ключи нескольких вариантов в одном поле). Нажмите Confirm (подтвердить) и до начала проверки посмотрите, что она распознала: одна ошибка в ключе делает этот вопрос неверным у всех учеников, а исправление ключа потом не пересчитывает уже проверенные работы.

Что влияет на точность распознавания и как это исправить

Большинство ошибок начинается с бумаги или фото, а не с подсчёта баллов:

Две проблемы похожи на ошибки распознавания ответов, но ими не являются. Если неверно прочитан код варианта, вся работа проверяется по ключу другого варианта — обычно это выглядит как один неожиданно низкий балл. Если в ключе несколько вариантов, а код на работе прочитать не удаётся, проверка останавливается с ошибкой. Перед проверкой убедитесь, что код варианта чётко виден в шапке каждой работы (если он напечатан бледно, пусть ученики впишут его от руки), а после проверки сравните код вверху экрана Review (проверка) с фото. И если почти весь класс ошибся в одном и том же вопросе, первым делом проверьте ключ.

Snap AI читает ответы, обведённые прямо на листе с заданиями, и бланки ответов многих распространённых форматов. Необязательный шаблон бланка ответов подсказывает нейросети, какие вопросы и типы заданий ждать: возьмите готовый (например, на 40 или 50 вопросов A–D) или создайте свой, до 200 вопросов, и распечатайте его в PDF. Подробнее — бесплатный шаблон бланка ответов и проверка тестов без специальных бланков.

Что происходит, если ответ не удаётся прочитать

Если Snap AI не находит ответа на вопрос — ученик его пропустил, отметка нечитаема или вопрос не попал в кадр, — вопрос помечается как не оценённый (в веб-приложении — Ungraded, в Android-приложении — «Не оценено»). Он приносит 0 баллов, пока вы не примете решение, а у каждой работы показано число неоценённых вопросов, так что сразу видно, куда смотреть.

Пропущенные и нечитаемые ответы одинаково отображаются как неоценённые; что именно произошло, покажет фото. В заданиях «верно/неверно» с несколькими утверждениями пропущенное или нечитаемое утверждение записывается как X и не приносит баллов, причём без пометки «не оценено», так что ищите X в ответе ученика.

Пометка «не оценено» ловит отсутствующие ответы, а не уверенные ошибки распознавания. Если нейросеть прочитала C, а ученик отметил D, вопрос просто засчитывается как неверный. Поэтому выборочно сверяйте фото, особенно в первых нескольких пакетах.

Проверка учителем: ничего не окончательно до экспорта

Считайте проверку нейросетью первым проходом. Веб-приложение Snap AI пока не переведено на русский, поэтому названия кнопок ниже даны по-английски, с переводом в скобках. Android-приложение доступно на русском: там это кнопки Подтвердить, Проверка, Сохранить и Экспорт в CSV. Проверка в Snap AI устроена так:

1. Проверьте ключ. После нажатия Confirm (подтвердить) просмотрите коды вариантов и ответы, прочитанные из ключа, и исправьте неверные.
2. Просмотрите результаты. У каждой работы указаны балл и число верных, неверных и неоценённых вопросов. Сначала откройте работы с неоценёнными вопросами или неожиданным баллом.
3. Нажмите Review (проверка). Вы увидите исходное фото, которое можно увеличить, а рядом — список вопросов и ответ, прочитанный нейросетью в каждом из них.
4. Исправьте любой вопрос. Отметьте его как Correct (верно) или Incorrect (неверно) либо выберите баллы для задания «верно/неверно» с несколькими утверждениями, затем нажмите Save (сохранить). Итог сразу пересчитывается и никогда не превышает максимальный балл за работу.
5. Откройте View statistics (статистика). Число верных, неверных и неоценённых ответов по каждому вопросу помогает быстро заметить ошибку в ключе или неудачно сформулированное задание.
6. Экспортируйте, когда всё устраивает. Export as CSV (экспорт в CSV) даёт файл, который открывается в Excel или Google Таблицах, со столбцом Notes (примечания), где перечислены оставшиеся неоценённые вопросы и причины.

В журнал или ведомость баллы попадут только после экспорта, поэтому считайте экспорт своей подписью под результатами. Если позже вы измените балл, экспортируйте ещё раз. В руководстве по экспорту показано, как перенести CSV в Excel, Google Таблицы или школьную систему учёта оценок.

Как проверить точность нейросети на своих работах

Самая полезная цифра точности — та, что вы измерите сами: на своих учениках, своём телефоне и при освещении своего класса. Этот способ подходит для любого сервиса проверки тестов с ИИ:

1. Возьмите 10–20 настоящих работ по одному тесту, включая несколько неаккуратных: бледный карандаш, стёртые и исправленные ответы, неразборчивый почерк.
2. Сначала проверьте их вручную или возьмите уже проверенные и запишите в таблицу ответ каждого ученика на каждый вопрос.
3. Проверьте те же работы нейросетью так, как вы обычно это делаете. Не переснимайте фото ради идеального качества.
4. Сравните ответы вопрос за вопросом, прежде чем что-то исправлять. В CSV-файле Snap AI каждому вопросу отведён отдельный столбец с прочитанным ответом, так что его легко поставить рядом с вашей записью.
5. Запишите причину каждого расхождения: неверно прочитанная отметка, нечитаемая отметка, неверный код варианта, ошибка в ключе или ваша собственная ошибка при ручной проверке (бывает и такое).

Считайте ответы, а не работы: 20 работ по 40 вопросов — это 800 ответов для сравнения, достаточно, чтобы увидеть закономерности. Если расхождения в основном связаны с одной причиной, устраните её и проверьте второй пакет. Если они редкие и разрозненные, продолжайте при просмотре проверять неоценённые вопросы, неожиданные баллы и неаккуратные работы. Сейчас Snap AI можно пользоваться бесплатно, с дневным лимитом на число проверенных работ, так что пробный запуск обойдётся вам только во время.

Что говорят независимые исследования о точности проверки с помощью ИИ

Независимых данных пока мало, и большая часть касается развёрнутых ответов. Стоит знать о трёх недавних исследованиях; ни в одном из них Snap AI не тестировали.

• Бланки ответов к тестам с выбором ответа. В исследовании Университета Лидса, которое провели Ruddle и Naqvi, 53 участника заполнили по три бланка на 100 вопросов по заданной схеме ответов: один чёрной ручкой, один карандашом с сильным нажимом, один — карандашом со слабым нажимом. Отсканированные бланки проверяла коммерческая система проверки тестов с ИИ. С ручкой она не допустила ни одной ошибки и не была уверена в 0,8% ответов, которые пришлось проверять вручную. При сильном нажиме карандаша ошибок стало 0,25% ответов, при слабом — 4,9%. Авторы заключают, что система была надёжна только с ручкой.
• Рукописный экзамен по химии. В работе Cvengros и Kortemeyer (2025) оценки ИИ и проверяющих-людей хорошо совпадали на текстовых ответах и химических уравнениях и хуже — на расчётных и графических заданиях. Авторы подчёркивают, что нужен контроль со стороны человека.
• Рукописный экзамен по математическому анализу. Kortemeyer, Caspar и Horica (2025) оценивали развёрнутые решения с помощью GPT-5 по критериям оценивания. Без фильтрации согласие с проверяющими-людьми было умеренным: по выводу авторов, этого достаточно для обратной связи, от которой мало что зависит, но не для ответственного оценивания. Со строгим фильтром, передававшим рискованные случаи людям, ИИ сравнялся с людьми по точности на остальных заданиях, но около 70% заданий осталось людям.

Отсюда три вывода, полезные в любом классе. Тёмные отметки надёжнее бледного карандаша. Оценки ИИ за развёрнутые ответы неровные — на одних типах заданий хорошие, на других слабые, — поэтому Snap AI только сверяет ответы с вашим ключом и не проверяет сочинения. И все три исследования опираются на человека, который разбирает случаи, где ИИ не уверен, или прямо призывают к этому. Статьи по химии и математическому анализу — препринты на arXiv.

Фото и данные учеников: что с ними происходит

Фото и файлы, которые вы добавляете в Snap AI, загружаются в облачное хранилище и передаются нейросети стороннего поставщика, которая их читает. Результаты, включая имя, класс, ответы и балл каждого ученика, сохраняются в вашем аккаунте.

Ответственность за данные учеников остаётся на вас, поэтому перед началом:

• Узнайте правила вашей школы или органа управления образованием о загрузке работ учеников в онлайн-сервисы и об обработке персональных данных и получите согласование, если школа его требует.
• Фотографируйте только страницы с ответами и не допускайте в кадр других личных сведений.
• Помните, что Snap AI читает имя, класс и код варианта, но не номер личного дела или другой идентификатор ученика. Если правила требуют собирать меньше персональных данных, ученики могут вписать в поле для имени инициалы или номер по списку в журнале.

Когда проверка нейросетью подходит, а когда нет

• Подходит: тесты с выбором ответа, задания «верно/неверно», на соответствие и с кратким числовым ответом на бумаге, чётко сфотографированные, и учитель, который просматривает помеченные вопросы.
• С осторожностью: бледный карандаш, много исправлений, нестандартные бланки без шаблона и ответственные работы вроде итоговых контрольных или пробных ОГЭ и ЕГЭ, где стоит просматривать каждую работу.
• Не подходит: сочинения, доказательства и всё, что требует оценивания по критериям (Snap AI такое не проверяет), а также кабинет без доступа в интернет.

Если это похоже на ваши тесты, попробуйте на следующей стопке работ с помощью пошаговой инструкции по проверке тестов по фото. Snap AI работает в браузере на app.snap-ai.app (интерфейс на английском и других поддерживаемых языках, русского пока нет) и как приложение для Android, которое доступно на русском. Даёте тест в нескольких вариантах (вариант 1, вариант 2)? Прочитайте, как проверять несколько вариантов одного теста.