исследовано

Forwarded from RuCoLA Benchmark

Привет!

Делимся с вами хорошими новостями: статью о бенчмарке RuCoLA приняли на EMNLP 2022 — ведущую международную конференцию по обработке естественного языка.

Препринт статьи можно прочитать здесь: https://arxiv.org/abs/2210.12814

Также на лидерборд были добавлены результаты Human Benchmark для данных, сгенерированных нейросетями. Можно заметить, что на текущий момент модели оказываются гораздо ближе к результатам людей на «естественных» неприемлемых предложениях, но оценивать приемлемость других нейросетей им сложнее.

Спасибо, что следите за проектом!

www.tg-me.com/us/исследовано/com.nlp_seminar/103

1.4K viewsKatya Artemova, Nov 3, 2022 at 10:25

Привет!

Делимся с вами хорошими новостями: статью о бенчмарке RuCoLA приняли на EMNLP 2022 — ведущую международную конференцию по обработке естественного языка.

Препринт статьи можно прочитать здесь: https://arxiv.org/abs/2210.12814

Также на лидерборд были добавлены результаты Human Benchmark для данных, сгенерированных нейросетями. Можно заметить, что на текущий момент модели оказываются гораздо ближе к результатам людей на «естественных» неприемлемых предложениях, но оценивать приемлемость других нейросетей им сложнее.

Спасибо, что следите за проектом!

BY исследовано