WrongTech

Нескольким студентам СПбГУ грозит отчисление из-за того, что программа по дистанционному наблюдению на экзаменах "Экзамус" сочла, что студенты нарушали правила проведения экзамена. Нарушения касались двух пунктов: отвод глаз от экрана больше, чем на 5 секунд и запуск стороннего предложения - MS Teams (которая, к слову, используется как корпоративная платформа в СПбГУ).

Это - классический кейс технической контроверзы, сопровождаемый асимметрией в возможностях отстоять свою правоту. С одной стороны - компания-разработчик "Электронные платформы", с партнерами в виде Microsoft, Сколково, и клиентами из многих российских вузов, среди которых, собственно СПбГУ, который полностью доверяет работе технологии. С другой - группа студентов СПбГУ, у которых есть лишь возможность опереться на СМИ, а также указывать на прошлые кейсы, когда использование "Экзамуса" привело к недовольству им со стороны студентов и требованию его пересмотреть. Так было в НИУ ВШЭ в мае этого года.
И как всегда контроверза - хороший момент спросить, почему и как устроены подобные системы.

Мне особенно интересен набор допущений, который заложен в дизайн "Экзамуса". Расскажу о двух, техническом и организационном. Технический: есть правило не отводить глаза больше, чем на 5 секунд (любопытно, что в Вышке в мае это было 15 секунд, видимо, студенты в Вышке более задумчивые). В своем письме вышкинские студенты уже проблематизировали это правило. И действительно: а почему 5 или 15? Есть ли какие-то исследования движения глаз, на которые может опереться та или иная сторона? Пока что это выглядит либо как взятая с потолка цифра, которая понравилась разработчикам, или как результат работы машинного обучения, алгоритмы которого скрыты, и потому не могут быть использованы как аргумент.

Организационный: работу машины (киберпроктора!) проверяет обычный человек из университета. Это такой эксперт, который заверяет, были ли нарушения. То есть о ситуации, когда судьба студента находится исключительно в "руках" алгоритма, речи не идет. Но, с другой стороны, студенту не предоставляются записи нарушений и не дается публично обоснование принятия решения о нарушении. Все во власти эксперта. Вероятно это, как и применение самой системы, сделано с целью экономии усилий университета. Но это может работать в случаях старых, налаженных и "человеческих" процессов, к которым все привыкли. Но поступать так в случае с использованием противоречивой технической системы, которая время от времени вызывает недовольство своей работой, кажется не верным.

В итоге, хочется надеяться, что студенты не будут отчислены, а работу системы подкорректируют и дадут обоснование того, как и почему она устроена. В любом случае ее цель - быть интерфейсом коммуникации между студентами и процессом обучения, а не системой надзора и наказания.

www.tg-me.com/us/WrongTech/com.wrongtech/735

1.46K viewsNikolay Rudenko, edited  Dec 3, 2021 at 09:31

Нескольким студентам СПбГУ грозит отчисление из-за того, что программа по дистанционному наблюдению на экзаменах "Экзамус" сочла, что студенты нарушали правила проведения экзамена. Нарушения касались двух пунктов: отвод глаз от экрана больше, чем на 5 секунд и запуск стороннего предложения - MS Teams (которая, к слову, используется как корпоративная платформа в СПбГУ).

Это - классический кейс технической контроверзы, сопровождаемый асимметрией в возможностях отстоять свою правоту. С одной стороны - компания-разработчик "Электронные платформы", с партнерами в виде Microsoft, Сколково, и клиентами из многих российских вузов, среди которых, собственно СПбГУ, который полностью доверяет работе технологии. С другой - группа студентов СПбГУ, у которых есть лишь возможность опереться на СМИ, а также указывать на прошлые кейсы, когда использование "Экзамуса" привело к недовольству им со стороны студентов и требованию его пересмотреть. Так было в НИУ ВШЭ в мае этого года.
И как всегда контроверза - хороший момент спросить, почему и как устроены подобные системы.

Мне особенно интересен набор допущений, который заложен в дизайн "Экзамуса". Расскажу о двух, техническом и организационном. Технический: есть правило не отводить глаза больше, чем на 5 секунд (любопытно, что в Вышке в мае это было 15 секунд, видимо, студенты в Вышке более задумчивые). В своем письме вышкинские студенты уже проблематизировали это правило. И действительно: а почему 5 или 15? Есть ли какие-то исследования движения глаз, на которые может опереться та или иная сторона? Пока что это выглядит либо как взятая с потолка цифра, которая понравилась разработчикам, или как результат работы машинного обучения, алгоритмы которого скрыты, и потому не могут быть использованы как аргумент.

Организационный: работу машины (киберпроктора!) проверяет обычный человек из университета. Это такой эксперт, который заверяет, были ли нарушения. То есть о ситуации, когда судьба студента находится исключительно в "руках" алгоритма, речи не идет. Но, с другой стороны, студенту не предоставляются записи нарушений и не дается публично обоснование принятия решения о нарушении. Все во власти эксперта. Вероятно это, как и применение самой системы, сделано с целью экономии усилий университета. Но это может работать в случаях старых, налаженных и "человеческих" процессов, к которым все привыкли. Но поступать так в случае с использованием противоречивой технической системы, которая время от времени вызывает недовольство своей работой, кажется не верным.

В итоге, хочется надеяться, что студенты не будут отчислены, а работу системы подкорректируют и дадут обоснование того, как и почему она устроена. В любом случае ее цель - быть интерфейсом коммуникации между студентами и процессом обучения, а не системой надзора и наказания.

BY WrongTech