Ошибки оценки в тестах MCAS в Массачусетсе: последствия для студентов и системы образования
Массачусетс сталкивается с крупным скандалом после того, как стало известно, что экзаменационные эссе в рамках системы комплексной оценки Массачусета (MCAS) были неверно оценены из-за сбоя алгоритма искусственного интеллекта. В результате этого инцидента, который затронул почти 200 школьных округов, порядка 1,400 тестов были переоценены, причём некоторые эссе получили «0» в то время как на самом деле их следовало оценить на уровне до 6 из 7.
Департамент начального и среднего образования Массачусетса (DESE) подтвердил информацию о проблемах с оценкой и сообщил, что все затронутые эссе были переоценены, а данные округов были исправлены в августе. Однако данный случай поднимает серьезные вопросы относительно надежности использования искусственного интеллекта для оценки академических работ.
Согласно данным DESE, ошибка со scoring произошла из-за «временной технической проблемы в процессе» и составляет лишь малую долю от общего числа примерно 750,000 эссе, оцененных в штате. Тем не менее, такая ситуация вызывает беспокойство, особенно в свете того, что использование искусственного интеллекта для оценки экзаменов стало нормой в течение последних двух лет. Для обеспечения последовательности в оценивании примерно 10% эссе затем переоцениваются вручную.
Это инцидент произошёл на фоне недавнего голосования жителей Массачусетса, которые подавляющим большинством отклонили введение критериев успеваемости в тестах MCAS в качестве обязательного условия для получения аттестата о среднем образовании. Почти 60% избирателей на референдуме отвергли стандарт, который действовал в течение двух десятилетий.
В дополнение к этому, Совет по выпуску в K-12 на уровне штата разрабатывает новые требования к выпуску, которые могут вернуть некоторые формы стандартизированных «контрольных оценок» по основным предметам для определения правомочности студентов на получение аттестата. В проекте рекомендаций Совета предусмотрена возможность введения «конечных оценок по предметам», которые будут «разработаны, проведены и оценены на уровне штата», что должно обеспечить единый стандарт по всем школам Массачусетса.
Ситуация с ошибками оценки в тестах MCAS подчеркивает необходимость более тщательного контроля и наблюдения за использованием технологий в образовательных системах. В условиях растущих запросов на повышение прозрачности и надежности процессов оценки важно, чтобы образовательные учреждения нашли баланс между инновациями и традиционными методами, которые обеспечивают справедливое оценивание знаний студентов.
Дополнительные исследования показывают, что в условиях повторного использования AI в образовании, необходимо тщательно оценивать не только его эффективность, но и потенциальные риски, которые могут возникнуть из-за ошибок в алгоритмах и программном обеспечении.
