II.10Разработка и эксплуатация AI/ML-систем

Welmia 1.0 81M — компактная причинно-языковая модель, созданная и выпущенная Welmia. Она обучена с нуля без заимствованной базовой модели и использует собственную плотную архитектуру, вдохновлённую TinyLLaMA: RoPE, RMSNorm, слои SwiGLU и кэш ключей и значений для потоковой генерации. В метаданных указано 95,2 млн параметров; карточка описывает модель как имеющую около 81 млн параметров. Модель поддерживает генерацию текста и следование инструкциям в формате Alpaca, работает через Transformers и может запускаться на CPU. Контекст ограничен 1024 токенами, используется токенизатор GPT-2 BPE с размером словаря 50 257.

Это экспериментальная модель распознавания речи на языке акан, разработанная Teckedd как продолжение дообучения Whisper Small Waxal Akan ASR. Она принимает аудио и генерирует текстовую транскрипцию; модель построена на архитектуре Whisper и содержит 153,1 млн параметров. Обучение продолжено на наборе WaxalNLP для распознавания речи на акан. В тесте на 1 522 примерах модель показала WER 32,77% и CER 12,47%, немного улучшив опубликованную базовую версию. Модель предназначена для исследований, оценки качества и прототипирования систем распознавания речи на акан. Лицензия — Apache-2.0. Это экспериментальный контрольный пункт, который авторы не позиционируют как готовое к промышленному или коммерческому применению решение.

Это дообученная версия X-Codec-2.0 от Scicom International, основанная на HKUSTAudio/xcodec2. Модель кодирует и обрабатывает речь с латентной частотой 25 токенов в секунду и частотой дискретизации 24 кГц; исходная версия использует 50 токенов в секунду. Репозиторий описывает обучение на наборах речевых данных, включая малайские подкасты и датасеты для распознавания и синтеза речи. Модель предназначена для аудио-аудио сценариев и может служить речевым аудиокодеком в системах моделирования и синтеза речи. В карточке указаны архитектура XCodec2 и формат весов safetensors. Подробная инструкция по запуску и условия лицензии в доступных материалах не описаны.

X-Codec WavLM MLS — речевой аудиокодек из семейства X-Codec, основанный на дообученной модели microsoft/wavlm-base-plus. Разработчик в предоставленных данных не назван. Модель предназначена для кодирования речи с разными битрейтами; в README показаны режимы 0,5, 1, 1,5, 2 и 4 кбит/с. Для извлечения признаков используется архитектура XcodecModel, веса представлены в формате safetensors, а обучение проводилось на английской части набора MLS. В метаданных основная задача обозначена как feature-extraction. Модель принимает аудио и выдаёт речевые признаки, используемые в кодировании. Базовая модель WavLM предназначена для обработки речи. Репозиторий распространяется по лицензии CC BY 4.0.

XLM_Latin — многоязычная языковая модель на архитектуре XLM-RoBERTa, разработанная для изучения влияния унификации письменности на выявление языка вражды и перенос между языками. Модель дополнительно предобучена на 360 768 транслитерированных текстах, представленных единой латинской письменностью. Она содержит 137,8 млн параметров, использует masked language modeling, токенизатор SentencePiece Unigram со словарём из 32 000 токенов и обрабатывает контекст до 512 токенов. Модель предназначена как основа для дообучения классификаторов языка вражды, кросс-языковых и zero-shot экспериментов, а также исследований транслитерации и многоязычных представлений. В репозитории указаны веса Safetensors; лицензия — Apache-2.0. Хотя README называет исследовательские сценарии основными, модель подходит для прикладного использования после адаптации под конкретную задачу. Качество зависит от точности транслитерации, а унаследованные от обучающих данных смещения могут влиять на результаты. Данные могут содержать оскорбительные выражения, поэтому модель не следует использовать как единственную основу решений в высокорисковых сценариях.

Z-Image-Turbo Training Adapter — обучающий адаптер LoRA от ostris для дообучения модели Tongyi-MAI/Z-Image-Turbo. Он предназначен для использования с AI Toolkit и потенциально совместим с другими средствами обучения. Адаптер также может применяться при инференсе как de-distillation LoRA для устранения особенностей режима Turbo у базовой модели. Основная задача адаптера — замедлить разрушение дистилляции, которое обычно быстро происходит при прямом обучении step-distilled-модели. Благодаря этому можно проводить короткие запуски дообучения для стилей, концепций и персонажей, сохраняя высокую скорость генерации исходной модели. Для подготовки адаптера были сгенерированы тысячи изображений разных размеров и соотношений сторон, после чего LoRA обучалась с низкой скоростью обучения 1e-5. Адаптер не устраняет проблему полностью: при длительном обучении дистилляция всё равно постепенно разрушается, а после удаления адаптера могут появляться артефакты. Поэтому он лучше подходит для коротких тренировок. Рекомендуемый сценарий — использовать адаптер во время обучения собственной LoRA, а затем удалить его при инференсе, чтобы сохранить полученные знания и вернуть дистиллированную скорость работы базовой модели. В README не указаны размер, архитектура, языки или модальности базовой модели. Лицензия — Apache-2.0.

AfroXLMR-large — языковая модель на базе XLM-R-large, созданная Davlan и адаптированная методом MLM к 17 африканским языкам, а также арабскому, французскому и английскому. Это плотная архитектура XLM-RoBERTa с примерно 658,7 млн параметров и контекстом до 514 токенов. Модель предназначена для заполнения пропусков в тексте и может служить языковой основой для задач понимания африканских языков. В оценке на MasakhaNER она показала средний F-score 83,9 по сравнению с 80,5 у XLM-R-large; это результат конкретного бенчмарка, а не гарантия качества на других задачах. Модель принимает текст и предсказывает замаскированные токены. Поддерживаемые языки включают африкаанс, амхарский, хауса, игбо, малагасийский, чичева, оромо, нигерийский пиджин, киньяруанда, кирунди, шона, сомали, сесото, суахили, коса, йоруба, зулу, арабский, французский и английский. Репозиторий распространяется по лицензии MIT.

haywoodsloan/ai-image-detector-deploy — модель классификации изображений, обученная автором с помощью AutoTrain на архитектуре SwinV2. В репозитории указано 132,1 млн параметров; веса сохранены в формате safetensors. Модель предназначена для определения классов на изображениях. По названию репозитория её можно использовать для распознавания изображений, созданных ИИ, однако карточка не описывает классы и набор данных, поэтому конкретную область применения нельзя подтвердить. В карточке приведены метрики валидации: точность 98,15%, F1 98,76%, precision 98,17%, recall 99,35% и AUC 99,54%. Эти показатели относятся к валидационному набору автора и сами по себе не гарантируют аналогичного качества на других данных. Лицензия — Apache-2.0.

AlertDrive AI — модель классификации изображений команды BTEHub для обнаружения признаков сонливости водителя. Она основана на MobileNetV2, дообученной начиная со 100-го слоя, и принимает RGB-изображения размером 224×224. Модель выдаёт один из двух классов: DROWSY (сонливость) или NATURAL (бодрствование). Модель предназначена для систем мониторинга водителя в автомобильных и встраиваемых устройствах, включая Raspberry Pi и мобильные устройства. В репозитории представлены модель Keras в формате H5 и вариант TensorFlow Lite с квантизацией Float16; README сообщает точность около 93% и ROC AUC 0,989 на тестировании. Команда также описывает телеметрический конвейер с показателями закрытия глаз, зевания, позы головы и PERCLOS, но эти функции не следует считать непосредственными выходами классификатора изображений. Модель распространяется по лицензии MIT. Её классификация ограничена двумя классами и зависит от предварительной обработки входного изображения; заявленные результаты тестирования не гарантируют такую же точность в реальных условиях освещения, ракурса и для разных водителей.

AraUni Granite 97M Intent Classifier — модель университета Najah, дообученная на базе многоязычного энкодера IBM Granite Embedding 97M. Она классифицирует вопросы на арабском языке по 20 меткам университетских намерений и может назначить одному вопросу ноль, одну или несколько меток. Модель использует энкодер с pooling по первому токену, dropout и линейную многометочную классификационную голову; это не генеративная модель. Максимальная длина входа — 256 токенов. Модель предназначена для маршрутизации вопросов в университетском чат-боте, например, к нужному разделу информации об обучении, поступлении, оплате или политике университета. Доступны веса SafeTensors и варианты для ONNX Runtime, мобильных устройств и локального запуска в браузере. Лицензия — Apache-2.0. Версия модели имеет статус preview. Все примеры обучения и оценки синтетические, поэтому высокие тестовые метрики не гарантируют качества на запросах реальных пользователей. Перед применением следует проверить модель на реальных запросах из целевой среды; её оценки не являются гарантированно калиброванными вероятностями, а модель не должна считаться авторитетным источником университетских сведений.

MIT/ast-finetuned-speech-commands-v2 — модель классификации аудио на базе Audio Spectrogram Transformer (AST), разработанного командой AST и дообученного на наборе Speech Commands v2. Архитектура переносит подход Vision Transformer на аудио: сигнал преобразуется в спектрограмму, которую обрабатывает трансформер. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для отнесения аудиозаписей к классам Speech Commands v2, в частности для распознавания команд из этого набора. Она решает задачу классификации аудио, а не транскрибирования речи. Лицензия — BSD 3-Clause.

Aurora-m Biden-Harris Redteamed — экспериментальная исследовательская версия Aurora-m, дообученная на базе StarCoderPlus. Разработчик описывает её как модель для изучения поведения при red-team-тестировании: проверки вредных и дискриминационных ответов, попыток обхода защитных ограничений, киберрисков и запросов о потенциально опасных действиях. Модель работает с текстом и предназначена для генерации продолжений и ответов. В карточке перечислены английский, японский, вьетнамский, финский и хинди; автор отмечает, что основная часть инструкционного обучения велась на английском, а оценка поведения на других языках требует дальнейшей работы. Примеры показывают, что модель может отказывать на опасные запросы, но её защиту можно обойти специально составленными подсказками; автор также отмечает затруднения на отдельных неоднозначных запросах. Репозиторий использует формат safetensors и лицензию BigCode OpenRAIL-M.

BAAR2-3M — aixk әзірлеген, құрылғы ресурстары қатты шектеулі ортада нақты уақыттағы көптілді диалогқа арналған шағын тілдік модель. README оны 3 миллион параметрлі алдын ала оқытылған базалық чекпойнт деп сипаттайды; Hugging Face метадерегінде параметр саны 7,7 миллион деп көрсетілген. Сәулет тобы — fhn_concept_gau, тығыз модель, ал көрсетілген архитектура класы — FHN_T4Max_150M. Мәтінді қабылдап, мәтін шығарады; контекст терезесі 512 токен. Модель 11 тілді қамтиды: корей, ағылшын, жапон, қытай, испан, португал, неміс, орыс, хинди, вьетнам және тай. Ол ендірілген және шеткі құрылғылардағы жеңіл чатқа, сондай-ақ шағын RAG жүйелеріне арналған. README оны мамандандырылған тапсырмаларға дайын шешім емес, базалық алдын ала оқытылған модель деп ескертеді; нақты жауаптар мен күрделі тапсырмалар үшін қосымша баптау немесе RAG ұсынады. Лицензиясы коммерциялық емес; коммерциялық пайдалану үшін әзірлеушімен келісу қажет.

Модель pysentimiento/bertabaporu-pt-hate-speech предназначена для выявления языка вражды в текстах на португальском языке. Она создана на основе BERTabaporu — модели RoBERTa, обученной на португалоязычных твитах, и дообучена для классификации текстов. Модель содержит 162,4 млн параметров, использует архитектуру BERT для классификации последовательностей и обрабатывает контекст длиной до 512 токенов. Модель можно применять для анализа публикаций и сообщений на португальском языке, например для модерации пользовательского контента и мониторинга социальных сетей. Карточка предлагает запуск через библиотеку pysentimiento. Данных о лицензии и известных ограничениях в предоставленных источниках нет.

Японская модель BERT-base от hitachi-nlp для восстановления скрытых токенов в тексте и других задач на основе masked language modeling. Она содержит 136,3 млн параметров, использует архитектуру BERT с классом BertForMaskedLM и рассчитана на контекст до 512 токенов. Для токенизации применяется схема Nothing + WordPiece; для загрузки токенизатора требуется файл словаря из репозитория разработчика. В карточке указаны датасеты Wikipedia и CC-100. Модель доступна в формате PyTorch по лицензии CC BY-NC-SA 4.0, которая требует указания авторства, распространения производных материалов на тех же условиях и запрещает коммерческое использование.

Японская модель BERT-base от Hitachi для предсказания замаскированных токенов. Она использует архитектуру BertForMaskedLM, сочетая токенизацию Vaporetto и WordPiece; для токенизатора требуется словарь Vaporetto + WordPiece из репозитория проекта. Модель содержит 136,3 млн параметров, принимает последовательности длиной до 512 токенов и работает с японским языком. Модель подходит для заполнения пропусков в японском тексте и как основа для задач, использующих представления BERT. В карточке указаны датасеты Wikipedia и CC-100. Доступна в формате PyTorch по лицензии CC BY-NC-SA 4.0, которая требует указания авторства, распространения производных материалов на тех же условиях и ограничивает коммерческое использование.

bert-sr-medium — языковая модель среднего размера на архитектуре RoBERTa, разработанная aajrami. Она обучена с использованием задачи предобучения shuffle + random; подробности об этой цели и гиперпараметрах автор связывает с исследованием о влиянии целей предобучения на усвоение языковых свойств. Модель содержит 59,3 млн параметров и поддерживает контекст до 514 токенов. Модель предназначена для извлечения признаков из текста и получения контекстных представлений, которые можно использовать в языковых экспериментах и как основу для downstream-задач. Доступны веса PyTorch и Safetensors. Лицензия — CC BY 4.0. README не уточняет целевые языки и результаты оценки качества.

gokuls/BERT-tiny-sst2 — компактная модель классификации последовательностей на архитектуре BERT, дообученная на базе google/bert_uncased_L-2_H-128_A-2 на наборе GLUE. Модель предназначена для классификации текста, в частности тональности коротких англоязычных отзывов SST-2. Она содержит 4,4 млн параметров и обрабатывает последовательности длиной до 512 токенов. На оценочной выборке указаны accuracy 0,8372 и loss 0,4422. Модель работает с текстом и выдаёт метку класса; карточка не уточняет конкретные метки и дополнительные сценарии применения. Лицензия — Apache-2.0.

BitCPM-CANN-8B-unquantized — контрольная точка модели семейства BitCPM-CANN от OpenBMB для дальнейшего предобучения и тонкой настройки. Это плотная авторегрессионная языковая модель на архитектуре MiniCPM с 7,9 млрд параметров и контекстом до 32 768 токенов; карточка указывает поддержку китайского и английского языков и диалоговый режим. Веса хранятся без финальной квантизации, но при прямом проходе используются фиктивные тернарные квантизаторы QAT: веса приводятся к значениям {-1, 0, 1} с групповым масштабированием. Поэтому модель предназначена для продолжения предобучения и дообучения с сохранением ограничений будущей квантизированной версии, а не для прямого инференса. Для инференса README рекомендует преобразованную версию openbmb/BitCPM-CANN-8B. Для обучения требуется загружать модель с пользовательским кодом из репозитория (`trust_remote_code=True`) и сохранять её логику прямого прохода. Указана лицензия Apache-2.0. Как языковая модель, она может генерировать ошибочный контент, который следует проверять.

hfl/chinese-bert-wwm-ext — предварительно обученная модель BERT для обработки китайского языка, опубликованная HFL. Она использует маскирование целых слов при предобучении, чтобы лучше учитывать границы китайских слов, и предназначена, в частности, для заполнения пропусков в тексте и как основа для задач обработки китайского языка. Модель содержит 129,5 млн параметров, поддерживает контекст до 512 токенов и представлена в форматах PyTorch, TensorFlow и Flax. Для работы с моделью требуется текст на китайском языке; основной сценарий по pipeline-тегу — предсказание замаскированных токенов. Лицензия Apache-2.0 разрешает использование на её условиях.

CINO-base-v2 — многоязычная предварительно обученная языковая модель лаборатории HFL, совместной лаборатории HIT и iFLYTEK Research. Она построена на XLM-R и дополнительно обучена на корпусах китайского и ряда языков и языковых разновидностей Китая: тибетского, монгольского в уйгурской письменности, уйгурского, казахского в арабской письменности, корейского, чжуанского и кантонского. Модель предназначена для понимания текста на этих языках и может использоваться как основа для NLP-систем; её основная задача в каталоге — восстановление замаскированных токенов (fill-mask). Архитектура — XLM-RoBERTa для masked language modeling, размер — 217,2 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и TensorFlow. Модель принимает текст и предсказывает замаскированные текстовые токены. README не приводит результаты оценивания или конкретные ограничения качества. Лицензия — Apache-2.0.

Карточка модели hfl/cino-large-v2 на Hugging Face совпадает с карточкой hfl/cino-base-v2, поэтому описание составлено по ней. CINO-base-v2 — многоязычная предварительно обученная языковая модель лаборатории HFL, совместной лаборатории HIT и iFLYTEK Research. Она построена на XLM-R и дополнительно обучена на корпусах китайского и ряда языков и языковых разновидностей Китая: тибетского, монгольского в уйгурской письменности, уйгурского, казахского в арабской письменности, корейского, чжуанского и кантонского. Модель предназначена для понимания текста на этих языках и может использоваться как основа для NLP-систем; её основная задача в каталоге — восстановление замаскированных токенов (fill-mask). Архитектура — XLM-RoBERTa для masked language modeling, размер — 217,2 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и TensorFlow. Модель принимает текст и предсказывает замаскированные текстовые токены. README не приводит результаты оценивания или конкретные ограничения качества. Лицензия — Apache-2.0.

Карточка модели hfl/cino-small-v2 на Hugging Face совпадает с карточкой hfl/cino-base-v2, поэтому описание составлено по ней. CINO-base-v2 — многоязычная предварительно обученная языковая модель лаборатории HFL, совместной лаборатории HIT и iFLYTEK Research. Она построена на XLM-R и дополнительно обучена на корпусах китайского и ряда языков и языковых разновидностей Китая: тибетского, монгольского в уйгурской письменности, уйгурского, казахского в арабской письменности, корейского, чжуанского и кантонского. Модель предназначена для понимания текста на этих языках и может использоваться как основа для NLP-систем; её основная задача в каталоге — восстановление замаскированных токенов (fill-mask). Архитектура — XLM-RoBERTa для masked language modeling, размер — 217,2 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и TensorFlow. Модель принимает текст и предсказывает замаскированные текстовые токены. README не приводит результаты оценивания или конкретные ограничения качества. Лицензия — Apache-2.0.

Это дообученная модель CLIP ViT-Base с размером патча 32, созданная на базе openai/clip-vit-base-patch32 и обученная на датасете GTSRB. Она предназначена для извлечения признаков изображений дорожных знаков; её можно использовать как основу для классификации знаков и других задач компьютерного зрения, связанных с GTSRB. В README приведён результат оценки: 0,9881 после дообучения против 0,3043 у исходной модели; метрика и условия оценки не уточнены. Модель содержит 113,2 млн параметров и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

mokawa3018/cmj-chinese-aigc-text-detector — дообученный классификатор китайского текста, предназначенный для вспомогательного определения, написан ли текст человеком или сгенерирован ИИ. Модель разработана на архитектуре BERT с классификационной головой, содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов. Для запуска доступны веса PyTorch и ONNX. Модель обучена на сбалансированной китайской выборке из текстов HC3-Chinese и текстов, созданных несколькими семействами генеративных моделей. На тесте HC3-Chinese указана точность 91,84%, доля обнаружения ИИ-текстов 92,78% и доля ложных срабатываний на человеческих текстах 8,84%. Её можно использовать как вспомогательный сигнал при проверке китайских текстов, но выводы модели вероятностны. Качество может снижаться на новых темах и генераторах, а также зависеть от длины текста и стиля запроса. В карточке отмечены более слабые результаты на данных nlpcc_dbqa и необходимость дополнительной проверки юридических и финансовых текстов. Модель не следует использовать как единственное основание для санкций или решений с высокими последствиями. Указана лицензия Apache-2.0; карточка рекомендует отдельно проверить условия upstream-модели, кода и данных для конкретного сценария использования.

Модель Danish ELECTRA Offensive разработана Alexandra Institute для определения, является ли текст на датском языке оскорбительным. Она предназначена для классификации текстов, в том числе сообщений в социальных сетях, по признаку оскорбительного содержания. Модель основана на предварительно обученной датской Ælæctra и использует архитектуру ELECTRA с классификационной головой ElectraForSequenceClassification. Она содержит 20,8 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Обучающие данные — вручную размеченные публикации из социальных сетей, подготовленные совместно с Danmarks Radio; набор данных не опубликован. Модель доступна в формате PyTorch по лицензии Apache-2.0. Она классифицирует оскорбительность текста, однако README не приводит сведения о метриках качества и деталях классов разметки.

intelliway разработала DeBERTa v3 Guardrail, модель DeBERTa V2 с 211,6 млн параметров, дообученную для выявления prompt injection и jailbreak в запросах на бразильском португальском языке, особенно в тематике сельскохозяйственного кредитования. Она классифицирует текстовые последовательности; максимальная длина входа — 512 токенов. В README описан сценарий гибридной проверки: модель быстро пропускает или блокирует очевидные случаи, а запросы с промежуточной оценкой передаются судье на базе Gemini 2.5 Flash. На отдельном наборе из 500 доброкачественных запросов и 555 jailbreak-примеров гибридная система показала F1 98,1%; 3% примеров потребовали проверки LLM-судьёй. Эти результаты относятся к описанной конфигурации вместе с Gemini и не характеризуют DeBERTa отдельно. Модель может применяться как фильтр безопасности для запросов о кредитовании в сельском хозяйстве, но ошибки классификации возможны, а перенос результатов на другие тематики и данные не подтверждён. Лицензия — Apache 2.0.

DeepSeek-V4-Pro-0.5B-A0.37B — уменьшенная тестовая версия DeepSeek-V4-Pro, опубликованная inference-optimization. Это причинная языковая модель архитектуры DeepSeek V4 с 251,9 млн параметров по метаданным; README указывает 0,487 млрд параметров, из которых активируется около 0,37 млрд. В конфигурации оставлено 8 слоёв вместо 61, а также сохранены оба типа внимания и MLP, HyperConnection и слой MTP. Чекпойнт в формате safetensors предназначен для загрузки через Transformers. Модель создавалась для тестирования и разработки, включая проверку совместимости архитектуры и структуры чекпойнта. README сообщает о дообучении на copypasta-датасете, но не описывает языковой охват или пригодность для прикладных задач; контекстное окно по метаданным составляет 1 048 576 токенов. Лицензия — MIT. Это уменьшенный экспериментальный чекпойнт, поэтому результаты тестирования на copypasta не подтверждают качество для обычных пользовательских задач. README и метаданные расходятся в числе параметров; для описания размера использовано значение метаданных каталога.

Distill-NeuCodec — нейронный аудиокодек, разработанный Neuphonic. Это версия NeuCodec с совместимым дистиллированным энкодером, предназначенная для кодирования и представления аудио в задачах обработки речи и аудиосигналов. В модели медленный акустический энкодер BigCodec заменён на SQCodec: его размер сокращён с 70 млн до 36 млн параметров. Семантический энкодер w2v-bert-2.0 заменён на DistilHuBERT: с 600 млн до 21 млн параметров. В результате дистиллированный энкодер примерно в 10 раз меньше по числу параметров и требует примерно в 7,5 раза меньше MAC-операций при инференсе. Работа основана на X-Codec2.0 и SQCodec. Модель рассчитана на аудио-аудио сценарии и обучалась с использованием наборов данных для речи, включая Emilia, Multilingual LibriSpeech, VCTK, Fleurs, Common Voice 13.0 и LibriTTS-R. Репозиторий содержит веса PyTorch; для использования предлагается пакет neucodec и Python 3.10 или новее. Лицензия — Apache-2.0. Карточка не уточняет поддерживаемые языки, качество реконструкции и ограничения применения.

Experiment21-7B — экспериментальная языковая модель Yam Peleg для проверки и уточнения исследовательского конвейера обучения и оценки LLM. Она предназначена для изучения методов подготовки данных, эффективности архитектуры, алгоритмов обучения и метрик оценки. Модель построена на архитектуре MistralForCausalLM с плотной структурой и содержит 7,1 млрд параметров. Она работает с текстом, поддерживает английский язык и имеет контекстное окно 32 768 токенов. Веса опубликованы в формате Safetensors для Transformers. Карточка описывает модель как эксперимент, а подробности об обучении и результаты оценки не приводит. Лицензия — Apache-2.0.