I.6Перевод и языковая адаптация

Apertus-v1.1-0.5B-Instruct — компактная многоязычная языковая модель Swiss AI Initiative для генерации текста и диалогов на устройствах с ограниченной памятью. Это дообученная на инструкциях версия базовой Apertus-v1.1-0.5B. Модель построена на плотном трансформере-декодере с grouped-query attention и активацией xIELU; в карточке указано около 564 млн параметров, а в описании архитектуры — 0,4 млрд. Контекст составляет 4096 токенов. Семейство Apertus-v1.1 обучено методом дистилляции от Apertus-8B-2509 на 1,7 трлн токенов; для этой instruct-версии проведены supervised fine-tuning и выравнивание. Модель рассчитана на многоязычное общение, продолжение текста и выполнение инструкций, в том числе в мобильных и периферийных сценариях. В README заявлена поддержка 1811 языков. Для репозитория указана лицензия Apache-2.0. Модель обеспечивает базовый уровень многоязычного общения при небольшом размере, однако может уступать в сложном следовании инструкциям и продвинутой математике. Ответы могут содержать фактические ошибки, логические несоответствия и смещения; важные сведения следует проверять. Фильтр персональных данных для выходов не предоставляется.

BAAR2-58M — компактная предобученная языковая модель для генерации текста и диалогов, представленная автором под именем aixk. Она рассчитана на работу с ограниченными вычислительными ресурсами, в том числе на встраиваемых и периферийных устройствах. В README заявлены 58 млн параметров и поддержка 11 языков; метаданные указывают 100,3 млн параметров, контекст 512 токенов и архитектуру FHN_T4Max_150M. Данные о размере расходятся, поэтому размер следует считать неоднозначным. Модель можно использовать для лёгких чат-сценариев и генерации ответов по внешнему контексту в RAG-системах. В README заявлены низкая задержка и работа в условиях ограниченной памяти и вычислений. Это базовый предобученный чекпойнт: для специализированных задач и более точных ответов автор рекомендует дообучение или RAG. Лицензия указана как некоммерческая; для коммерческого использования предлагается связаться с автором.

batisay-ko-turbo — разработанная BatiAI корейская модель распознавания речи на базе Whisper large-v3-turbo с 809 млн параметров, дообученная на корейской речи из нескольких предметных областей. Она предназначена для локальной расшифровки телефонных звонков, совещаний, лекций и повседневных разговоров; модель принимает аудио и выдаёт текст. Для запуска рекомендуются whisper.cpp и, на Apple Silicon, вариант MLX. В README приведены результаты на отдельных тестах, включая CER 5,67% на доменном наборе колл-центра и 17,1% для ggml q5_0 на небольшом наборе реальных звонков; эти цифры относятся к описанным выборкам и настройкам. Базовая версия обучена на отобранных примерно 4 300 часах данных, включая обычную речь, совещания, лекции, разговоры и телефонную речь с частотой 8 кГц. Репозиторий предлагает варианты ggml q5_0 и q4_0, а README рекомендует q5_0 как компромисс размера, скорости и качества. Карточка указывает лицензию BatiAI Community v2: личное, внутреннее, исследовательское, некоммерческое и государственное использование разрешено; для внешнего SaaS, перепродажи и некоторых коммерческих случаев требуется согласование с разработчиком.

BELLE-7B-0.2M — плотная языковая модель семейства BLOOM, разработанная BELLE Group и дообученная на базе BigScience/bloomz-7b1-mt. Для настройки использованы 200 тысяч китайских примеров и 50 тысяч англоязычных примеров Stanford-Alpaca. Модель предназначена для понимания инструкций и генерации ответов, в том числе в формате диалога с историей, которую нужно передавать в указанном в карточке шаблоне Human/Assistant. В карточке приведены примеры генерации кода, перевода, классификации тональности, рекомендаций и творческого текста. Модель работает с текстом, имеет контекст 2048 токенов и доступна в формате PyTorch. Основной язык — китайский; также обучалась на английских данных. Карточка отмечает риск фактических ошибок и вредных ответов, а также недостаточную силу в рассуждениях и программировании. Разработчики разрешают использовать модель и её производные только в исследовательских целях, запрещая коммерческое и вредоносное применение; метаданные указывают лицензию Apache-2.0.

Cabra Mixtral 8x7b — дообученная на внутреннем датасете Cabra 30k языковая модель семейства Mixtral от BotBot Robotics. Это генеративная модель с архитектурой MoE; в репозитории опубликованы веса safetensors. Модель оптимизирована для португальского языка и поддерживает контекст длиной до 32 768 токенов. Метаданные указывают 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев на португальском языке, в том числе для исследований генеративных моделей и их ограничений и предвзятости. Авторы сообщают об улучшении результатов на ряде бразильских бенчмарков относительно базовой модели. Лицензия указана как CC, а README запрещает коммерческое использование и разрешает применение только в исследовательских целях.

Capybara-Finnish-V1-8B — финноязычная модель для генерации текста, созданная mpasila на основе gpt3-finnish-8B-gptq-4bit и дообученная на инструкциях в формате Alpaca. Для обучения использовался датасет Finnish-NLP/Capybara-fi-deepl-translated-sft с изменениями формата; карточка также указывает исходную неквантованную модель TurkuNLP/gpt3-finnish-8B. Модель построена на архитектуре BLOOM, содержит 9,1 млрд параметров и распространяется в формате Safetensors. Модель предназначена для выполнения инструкций и генерации ответов на финском языке. Вход оформляется по шаблону Alpaca с финским текстом инструкции и, при необходимости, дополнительным контекстом. Автор отмечает, что объединение LoRA с квантованной базой могло быть выполнено не оптимальным способом, поэтому качество результата может зависеть от этого процесса. Лицензия — Apache-2.0.

Cohere Jordanian Dialect — модель распознавания речи, созданная Rlamas полным дообучением CohereLabs/cohere-transcribe-arabic-07-2026. Она предназначена для преобразования аудио на разговорном иорданском арабском в текст. Архитектура сочетает Conformer-энкодер, обрабатывающий мел-спектрограммы, и авторегрессионный Transformer-декодер; модель содержит 151 млн параметров и работает с контекстом до 1024 токенов. Репозиторий включает веса и файлы процессора и токенизатора. Лицензия — Apache-2.0. На отложенном тесте автор сообщает CER 0,0783 и WER 0,1899 против 0,156 и 0,350 у базовой модели. Модель подходит для пакетной офлайн-транскрибации иорданской диалектной речи. Она может зацикливаться на длинных или шумных записях, ошибаться на однословных фрагментах и неверно передавать английскую речь или код-свитчинг. Для потоковой транскрибации, низкой задержки и временных меток по словам она не предназначена.

Yzamari/f5tts-hebrew-v2 — модель синтеза речи на иврите, разработанная Yzamari путём дообучения F5-TTS v1 Base. Это нерекуррентная модель F5-TTS, обученная на 68 569 сегментах общей длительностью около 158 часов; аудиоданные прошли повторную вокализацию с Phonikud G2P с добавлением знаков ударения, а сегменты не на иврите были исключены. Модель выдаёт монофоническую речь в формате WAV с частотой 24 кГц. Предусмотрены 58 встроенных голосов и клонирование голоса. Для загрузки чекпойнта README рекомендует использовать model_state_dict, согласовать text_num_embeds с размером словаря и взять соответствующий vocab.txt; также отмечено, что стандартные API и CLI F5TTS для этой дообученной модели не работают, поэтому следует вызывать model.sample() напрямую. Модель распространяется по лицензии Apache-2.0.

Fish Speech V1.5 — многоязычная модель синтеза речи, разработанная Fish Audio. Она преобразует текст в аудио и обучена на более чем миллионе часов многоязычных аудиоданных. Модель относится к плотной архитектуре dual_ar и доступна в формате PyTorch. Модель предназначена для создания озвучки на английском, китайском, японском, немецком, французском, испанском, корейском, арабском, русском, нидерландском, итальянском, польском и португальском языках. В обучающих данных больше всего часов английской и китайской речи, затем японской; остальные языки представлены меньшим объёмом. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и не допускает коммерческого использования. Карточка не описывает параметры управления голосом или оценку качества синтеза.

Gromenauer-7B-Instruct — инструктивно дообученная языковая модель проекта bertin-project на архитектуре Mistral. Она предназначена для диалогов и выполнения текстовых инструкций; в примере карточки модель задают как эксперта по испанской поэзии. Модель содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов. Дообучение выполнено на наборах bertin-project/bonanza-hf и bertin-project/zenobia-instruct-hf. Карточка и теги указывают на испанский и каталанский языки. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества или подробных сведений о поведении вне сценариев инструктивного общения.

Han2Han IT — разработанная командой проекта Cadazar instruction-tuned версия модели Han2Han. Это плотная encoder-decoder-модель с 169 млн параметров, предназначенная прежде всего для получения представлений корейского текста, устойчивых к выбору письменности: текст на ханча и его запись хангылем должны иметь близкие векторные представления. Модель выдаёт 640-мерные эмбеддинги предложений, пригодные для классификации и дообучения под прикладные задачи; также поддерживает генерацию и диалоговый интерфейс. Модель умеет преобразовывать корейский текст между ханча и хангылем. Для корректной работы инструкции нужно передавать в системном сообщении, а исходный текст — в пользовательском. Версия main продолжена в fp32 для улучшения завершения ответов; для воспроизведения результатов статьи предусмотрена ревизия emnlp2026. Контекст составляет 2048 токенов. По опубликованной проверке на газетных предложениях 1920-х годов main читала ханча хангылем точнее, чем восстанавливала исходные ханча; эти данные не являются проверкой на ранее невиденных текстах. Модель ориентирована на корейский язык и исторические тексты, особенно на материалы, где встречаются обе письменности. Генерация может пропускать или менять слова, а при восстановлении ханча качество на отдельных предложениях ограничено; иногда модель повторяет текст, поэтому генерации следует задавать лимит токенов. Лицензия Apache-2.0. Для загрузки весов и кода модели через Transformers требуется trust_remote_code=True.

6block/Hy4-preview-GGUF — набор GGUF-квантизаций модели Tencent Hy4-preview, подготовленный разработчиком 6block для llama.cpp. Модель предназначена для генерации текста и локального инференса на совместимом оборудовании; заявлены английский и китайский языки. Доступны варианты IQ4_XS, Q2_K и IQ2_XS размером примерно от 219 до 388 ГиБ, каждый состоит из 39 сегментов. Исходная BF16-модель имеет около 780 млрд параметров и 78 слоёв. Архитектура включает attention DeepSeek-style MLA, hyper-connections iHC, разреженное внимание DSA и MoE с 256 маршрутизируемыми экспертами, выбором top-8 и одним общим экспертом. Размер словаря — 120 832 токена. Все варианты откалиброваны с использованием importance matrix, что снижает расхождение с исходными BF16-весами. IQ4_XS обеспечивает наилучшее качество среди представленных квантизаций, Q2_K позиционируется как сбалансированный вариант и предпочтительный для инференса только на CPU, а IQ2_XS предназначен для жёстко ограниченных по памяти систем. Для запуска требуется llama.cpp с поддержкой hy_v4; более ранние сборки файлы не загружают. Необходимо скачать все 39 сегментов выбранной квантизации. Основное ограничение модели — крайне большой объём файлов и высокие требования к памяти, поэтому она ориентирована на мощные многопроцессорные или многокарточные системы. Модель распространяется по лицензии Apache-2.0.

IndoBART-v2 — предварительно обученная языковая модель для индонезийского языка, разработанная командой авторов IndoBART и основанная на архитектуре BART. Модель обучена на текстовом корпусе Indo4B-Plus объёмом 26 ГБ с использованием стандартной для BART задачи предобучения. В метаданных указаны архитектура mBART, класс MBartForConditionalGeneration, 87,3 млн параметров и контекст до 1024 токенов. Модель предназначена для задач преобразования текста, в частности для генерации и обработки индонезийского текста в сценариях text-to-text; её можно дообучать под конкретные задачи. Репозиторий содержит веса PyTorch. Лицензия — MIT. README приводит иное число параметров — 132 млн, поэтому размер модели в источниках расходится.

Japanese Stable LM Base Gamma 7B — базовая авторегрессионная языковая модель Stability AI на архитектуре Mistral с 7,1 млрд параметров. Модель создана продолжением предварительного обучения Mistral-7B-v0.1 на японских данных, чтобы повысить качество японского языкового моделирования и выполнения связанных с японским языком задач. Максимальная длина контекста — 4096 токенов. Модель предназначена для использования как основа для дообучения под конкретные приложения. Она генерирует текст, но не рассчитана на следование инструкциям; для этого разработчик указывает на отдельную версию Japanese Stable LM Instruct Gamma 7B. Обучение продолжалось примерно на 100 млрд токенов из японской и английской Википедии, японских корпусов mC4, CC-100 и OSCAR, а также SlimPajama без поднабора Books3. Лицензия Apache 2.0 допускает коммерческое использование без строгих ограничений. Предварительная обучающая выборка могла содержать оскорбительный или неподходящий контент, который может проявляться в генерациях. Разработчик рекомендует осторожность при использовании модели в продукционных системах и не рекомендует применять её в сценариях, способных причинить вред людям или группам.

Kunoichi-zephyr-pl-7B — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit из SanjiWatsuki/Kunoichi-DPO-v2-7B и Nondzu/zephyr-7b-beta-pl. Модель предназначена для генерации текста и диалогового общения. В репозитории представлены веса Safetensors; в конфигурации слияния указан тип bfloat16. Метаданные задают размер 8,9 млрд параметров и контекст до 32 768 токенов. Суффикс модели и одна из исходных моделей указывают на польскую языковую ориентацию, однако подробные сведения о языковом покрытии в карточке отсутствуют. Лицензия — Apache-2.0.

EIRTHAIMED/Llama-3.1-EIRAI-8B-Prob — медицинская разговорная языковая модель на базе Meta Llama 3.1 8B, дообученная для медицинских задач на тайском и английском языках. Она предназначена для генерации ответов и текстов в медицинском контексте, включая работу с медицинскими вопросами, извлечение клинических сведений и поддержку тайского медицинского RAG. В карточке приведены результаты оценок на медицинских и тайских языковых тестах, а также примеры структурированного предсказания кодов ICD-10. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов; использует библиотеку Transformers и формат safetensors. Лицензия — llama3.1. Разработчики предупреждают, что модель пока не валидирована для безопасного клинического применения: её не следует использовать для принятия медицинских решений или внедрять в реальную практику без дальнейших испытаний.

LLaMAntino-2-13b-hf-ITA — итальянская адаптация базовой модели Meta Llama 2, разработанная Пьерпаоло Базиле, Элио Мускаккио, Марко Полиньяно, Лучией Сичилиани, Джузеппе Фиамени и Джованни Семераро. Модель предназначена для итальянских исследователей NLP и генерации естественного языка. Она основана на архитектуре LLaMA 2, содержит 12,9 млрд параметров и принимает текст, выдавая текст; нативная длина контекста — 4096 токенов. Модель дообучена методом QLoRA на очищенной версии набора clean_mc4_it medium. Она подходит как италоязычная генеративная основа для экспериментов и приложений NLP. Распространяется по лицензии Llama 2 Community License; перед использованием следует учитывать её условия и ограничения.

Это модель классификации письменных арабских диалектов, разработанная IbrahimAmin на базе MARBERTv2 и дообученная для распознавания пяти классов: магрибских диалектов, левантийского диалекта, современного литературного арабского, диалектов стран Залива и египетского диалекта. Модель использует архитектуру BERT и содержит около 190 млн параметров; максимальная длина контекста — 512 токенов. Модель принимает арабский текст и предсказывает региональную категорию. Она предназначена для определения диалекта в коротких сообщениях из соцсетей, форумов и других источников неформального письма, а также для лингвистических исследований и диалектно-ориентированных систем обработки естественного языка. В карточке указано обучение на более чем 850 тысячах арабских предложений из общедоступных наборов данных. Модель подходит для определения пяти широких региональных классов, но не различает отдельные страны или города внутри них. Результаты для коротких фрагментов, смешанного языка и диалектов, не представленных отдельными классами, могут быть неточными. Лицензия — Apache-2.0.

facebook/mms-tts-eka — модель синтеза речи на языке эка из проекта Massively Multilingual Speech (MMS), разработанного Meta. Она преобразует текст на эка в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода на этом языке. Модель использует архитектуру VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Для MMS обучен отдельный чекпойнт на каждый язык. Размер модели — 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-guj — модель синтеза речи на гуджарати из проекта Massively Multilingual Speech (MMS), разработанного Meta. Она преобразует входной текст на гуджарати в речевую аудиоволну и предназначена для озвучивания текста и создания синтезированной речи. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер аудиосигнала, а стохастический предиктор длительности позволяет варьировать ритм речи. Это отдельный чекпойнт для одного языка, обученный в рамках проекта MMS; размер модели — 3,6 млн параметров. Для повторения того же результата генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-mal — модель синтеза речи на малаялам от Meta, созданная в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на малаялам. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; библиотека Transformers поддерживает его начиная с версии 4.33. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому при фиксированном seed можно воспроизводить тот же результат. Модель подходит для озвучивания текстов и создания речевого аудио на малаялам. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

facebook/mms-tts-mar — модель синтеза речи на маратхи из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на маратхи в речевую аудиоволну; для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS с 3,6 млн параметров: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор позволяет получать разные ритмические варианты произношения одного текста; для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Подходит для озвучивания текстов на маратхи. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-nan — модель синтеза речи на миньнаньском китайском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS для языка nan; модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предсказатель длительности и декодер в стиле HiFi-GAN; размер модели — 3,5 млн параметров. Модель предназначена для преобразования текста на миньнаньском в речь. Стохастический предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому результат не детерминирован и для воспроизводимой генерации нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-nzi — модель синтеза речи на языке нзема (nzi), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиозапись и предназначена для озвучивания текста на нзема. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий 3,5 млн параметров; модель доступна через библиотеку Transformers версии 4.33 и новее. VITS синтезирует речевую волну сквозным образом, используя текстовый энкодер, условный вариационный автоэнкодер, модуль предсказания длительности и декодер на основе свёрточных слоёв. Стохастическое предсказание длительности позволяет получать разные ритмические варианты произношения одного текста; для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-pap — модель синтеза речи на папьяменто из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на папьяменто. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт в семействе MMS-TTS. Она содержит около 3,5 млн параметров, работает с библиотекой Transformers и хранится в форматах PyTorch и Safetensors. Модель поддерживает синтез речи с вариациями ритма; генерация недетерминирована, поэтому для повторяемого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией и ограничивает коммерческое применение.

facebook/mms-tts-sid — модель синтеза речи на языке сидама (sid), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на сидама. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез речи стохастический, поэтому для повторения того же результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-tha — модель синтеза речи на тайском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст в речевую аудиоволну и подходит для озвучивания тайских фраз и текстов. Модель построена на архитектуре VITS и содержит около 3,6 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе свёрточных слоёв; стохастический предсказатель длительности позволяет получать разный ритм речи для одного текста. Модель доступна через библиотеку Transformers версии 4.33 и новее. Чекпойнт обучен специально для тайского языка. Генерация недетерминирована: для повторения того же аудио требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-xog — модель синтеза речи на языке сога (xog), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм произношения одного и того же текста, поэтому результат может различаться между запусками; фиксированный seed позволяет воспроизвести тот же вариант. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-zza — модель синтеза речи на языке заза (код zza), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для заза из семейства VITS, доступный через библиотеку Transformers версии 4.33 и новее. Модель принимает текст и генерирует речевую аудиоволну; число параметров — около 3,5 млн. VITS работает сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, декодер на основе свёрточных слоёв синтезирует волну, а стохастический предиктор длительности позволяет варьировать ритм произношения. Из-за стохастической генерации для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Nawah-Dialect-BERT-6M — компактная модель для определения разновидности арабского языка по тексту. Её разработала команда проекта NAWAH; модель дообучена на основе двунаправленного BERT-энкодера Nawah-BERT-6M-v2 и содержит около 6,2 млн параметров. Для классификации используется усреднение представлений непустых токенов и небольшой двухслойный классификатор; максимальная длина контекста — 2048 токенов. Модель присваивает входному арабскому тексту одну из 14 меток: 13 диалектов или современный литературный арабский (MSA). Она предназначена для автоматической маршрутизации и анализа арабоязычных текстов. В описанной авторами оценке на отложенной выборке достигла точности 0,9428 и macro-F1 0,9025. Модель обучалась на тексте без диакритических знаков, поэтому перед подачей рекомендуется удалять диакритики. Авторы отмечают, что короткие тексты, особенно короче примерно 25 слов, классифицируются ненадёжно; данные для некоторых диалектов ограничены. Проверка на формальной письменной речи, орфографии соцсетей и Arabizi не описана. Лицензия — Apache-2.0.