tg-me.com/rusvectores/67
Last Update:
На RusVectōrēs добавлена поддержка контекстуализированных моделей! Теперь вы можете проводить лингвистические и не только эксперименты не только со статическими моделями, но и с моделями ELMo. Также мы надеемся, что новый сервис пригодится в преподавании NLP-дисциплин.
Почему именно ELMo на рекуррентных нейронных сетях? Качество моделей ELMo зачастую наравне с Трансформерами наподобие BERT, однако в то же время они значительно быстрее, а значит, вам будет удобнее ими пользоваться!
Как устроен новый сервис: вы можете ввести фразу или предложение (оптимально от 5 до 15 слов). Для каждого слова из вашего запроса мы генерируем контекстуализированные вектора при помощи модели ruwikiruscorpora_tokens_elmo_1024_2019 (модель на основе данных НКРЯ и русской Википедии). Для каждого полученного вектора мы ищем наиболее похожие слова среди 10 тысяч самых частотных слов в словаре этой же модели. Резонный вопрос: откуда берутся "общие" бесконтекстные вектора слов? Их мы генерируем путём усреднения контекстных векторов каждого вхождения этих слов в обучающем корпусе модели.
В результате вы получаете лексические подстановки - слова, которые можно было подставить на место соответствующего слова в предложении. Подстановки изменяются в зависимости от контекста, в котором находится слово. Это вы можете проверить экспериментально при помощи нашего сервиса!
Слова в запросе и сами подстановки выделены разным цветом в зависимости от их частотности в исходном корпусе, точно так же как и в остальных сервисах RusVectōrēs: красные слова низкочастотные, голубые - со средней частотностью, зелёные - высокочастотные. Также с помощью размера шрифта мы отображаем косинусную близость между вектором слова из запроса и предсказанной подстановкой. Чем меньше шрифт, тем менее модель уверена в этой подстановке.
Небольшое демо-видео, показывающее работу нашего сервиса, можно найти тут (на английском языке).
BY RusVectōrēs
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/IrS6BybaPjKJ2xuQFbG_pPzJxFKwgvULRoTrVqsmNNIP3PSkgUo9iUmXsJ5bz_Gqf32ug7Yz0hsDNT0qRmlay06ujDGO5cezNqx3alilpcVLOPUVKJVw0pCeZneq243e-mIxgY5EdmDcDu88HHPpRzFW6u2zFGHoc3RdY85rys7WGh1dSuIYWMnxbe5D9RbL44ZdvifpvGEwBps9ul5V_uabehkfNm26vcVfM9zUjpMdr2-CqM20PMO2u9tsL2ZW-TrhnfKpsT5snPSor89-sGEWyGf0oXFdmx56vsjaAk-z0AMPkN_LwvFvkz8-_K9PA6WktMwHsUfrOoXkcUhyDA.jpg)
Share with your friend now:
tg-me.com/rusvectores/67