saiga_nemo_12b_gptq_8bit

Модель предназначена для генерации текста и диалогового взаимодействия на русском языке; в исходной карточке Saiga она описана как русскоязычный автоматический ассистент. Она дообучена на основе аблированной версии Mistral Nemo Instruct 2407 с использованием наборов данных IlyaGusev/saiga_scored и IlyaGusev/saiga_preferences.

Модель содержит около 12 миллиардов параметров и использует архитектуру Mistral Transformer с 40 слоями, Grouped-Query Attention, 32 attention heads и 8 key-value heads. Для исходной Mistral Nemo заявлено контекстное окно до 128 тысяч токенов и поддержка нескольких языков, включая русский, английский, французский, немецкий, испанский, итальянский, португальский, китайский и японский, однако Saiga ориентирована прежде всего на русский язык. GPTQ-квантизация в 8 бит уменьшает требования к памяти по сравнению с полной версией, но может немного снижать точность и требует совместимого программного обеспечения для инференса.

Сильные стороны модели — специализация на русскоязычных диалогах, относительно крупный размер для локального запуска и экономия памяти благодаря 8-битному представлению. Ограничения включают отсутствие мультимодальных возможностей в опубликованных данных, возможные ошибки и галлюцинации, а также отсутствие подробных официальных оценок именно для этой GPTQ-версии. Для исходной модели указана лицензия Apache 2.0; отдельная карточка квантизованной версии не содержит дополнительных лицензионных условий.