Аннотация: Обосновывается возможность адекватной оценки компьютером ответов “свободной” формы, в том числе на натуральном языке. Методы сравнения ответов, позволяющие оценивать “открытые” тестовые задания, основаны на выводах по аналогии. Для разных типов заданий применяются разные математические меры оценки «аналогичности» ответов на них. Наиболее важными являются меры, основание на теории подобия символьных последовательностей, позволяющие адекватно оценивать лексическое и структурное сходство текстов естественных языков. Система компьютерного тестирования знаний «Control» использует «библиотеку» мер аналогичности различных видов, предоставляющую преподавателю средства оценки ответов, предъявленных в разнообразных семантических формах (причем эта библиотека может пополняться новыми типами указанных форм). Каждой семантической форме предъявления ответа соответствует так называемое решающее правило системы «Control», которое оценивает ответы учащегося, предъявленные в указанной форме. В результате для компьютера оказывается возможным игнорировать несущественные ошибки в ответе, учитывать сокращения и синонимы, разрешить, запретить или ограничить перестановки слов, и т.п. В статье приводятся примеры «открытых» тестовых заданий как по естественнонаучным, так и по гуманитарным дисциплинам, варианты возможных правильных и неправильных ответов на них, и соответствующие оценки, выставленные системой «Control». Статистический эксперимент показал, что эти оценки совпадают с оценками, выставленными преподавателями в результате письменного опроса. Включение в сферу компьютерного тестирования «открытых» тестовых заданий требует введения ряда новых понятий для их классификации, которые также обсуждаются в статье.

Ключевые слова: аналогия, меры сходства, тестирование знаний, открытые ответы

ACM Classification Keywords: I.2.6 Artificial Intelligence – Learning – Analogies; K.3.1 Computers and Education - Computer Uses in Education

Link:

«ОТКРЫТЫЕ» ОТВЕТЫ В КОМПЬЮТЕРНОМ ТЕСТИРОВАНИИ ЗНАНИЙ

Леонид Леоненко

http://foibg.com/ibs_isc/ibs-19/ibs-19-p45.pdf