Научный опенсорс in ITMO.OpenSource

В последние дни было много новостей про релизы open-source моделей различного масштаба, нацеленных на русский язык - собрал небольшую подборку:

1. T-Lite и T-Pro – открытые русскоязычные опенсорс-модели (7B, 32B)

"T-Lite — небольшая и эффективная в инференсе модель с отличными метриками, ее можно использовать для базовых задач или файнтюнинга на целевую задачу.
T-Pro подойдет для решения более широкого класса задач в промптинге или для решения более сложных задач в режиме файнтюнинга, где модели меньшего размера не справляются."

https://habr.com/ru/companies/tbank/articles/865582/

2. Сбер выкладывает GigaChat Lite в открытый доступ (20B)

"- GigaChat-20B-A3B - первая открытая MoE модель в России. В мировой практике мало кому в мире удается обучать MoE архитектуры с хорошим качеством.
- GigaChat обучен преимущественно на русском языке, поэтому не совершает грамматических и пунктуационных ошибок и не переключается на другие языки во время разговора
- В GigaChat-20B-A3B дешевый инференс сочетается с хорошими показателями метрик
- Модель отлично подходит для исследований, например, концентрации"

https://habr.com/en/companies/sberdevices/articles/865996/

3. Meno-Tiny-0.1 от "Сибирских нейросетей" (1.5B)

"Основная цель Meno-Tiny - быть частью RAG-пайплайна, решая такие задачи, как ответы на вопросы по релевантным документам, абстрактивная саммаризация, разрешение анафоры в пользовательских вопросах, определение токсичности, детоксификация и другие задачи"

https://www.tg-me.com/dialoger_tech/179

Дополняйте, если что-то свеженькое пропустил.

www.tg-me.com/tr/ITMO OpenSource/com.itmo_opensource/6071

1.5K viewsDec 13, 2024 at 10:49

В последние дни было много новостей про релизы open-source моделей различного масштаба, нацеленных на русский язык - собрал небольшую подборку:

1. T-Lite и T-Pro – открытые русскоязычные опенсорс-модели (7B, 32B)

"T-Lite — небольшая и эффективная в инференсе модель с отличными метриками, ее можно использовать для базовых задач или файнтюнинга на целевую задачу.
T-Pro подойдет для решения более широкого класса задач в промптинге или для решения более сложных задач в режиме файнтюнинга, где модели меньшего размера не справляются."

https://habr.com/ru/companies/tbank/articles/865582/

2. Сбер выкладывает GigaChat Lite в открытый доступ (20B)

"- GigaChat-20B-A3B - первая открытая MoE модель в России. В мировой практике мало кому в мире удается обучать MoE архитектуры с хорошим качеством.
- GigaChat обучен преимущественно на русском языке, поэтому не совершает грамматических и пунктуационных ошибок и не переключается на другие языки во время разговора
- В GigaChat-20B-A3B дешевый инференс сочетается с хорошими показателями метрик
- Модель отлично подходит для исследований, например, концентрации"

https://habr.com/en/companies/sberdevices/articles/865996/

3. Meno-Tiny-0.1 от "Сибирских нейросетей" (1.5B)

"Основная цель Meno-Tiny - быть частью RAG-пайплайна, решая такие задачи, как ответы на вопросы по релевантным документам, абстрактивная саммаризация, разрешение анафоры в пользовательских вопросах, определение токсичности, детоксификация и другие задачи"

https://www.tg-me.com/dialoger_tech/179

Дополняйте, если что-то свеженькое пропустил.

BY Научный опенсорс in ITMO.OpenSource