I.6Перевод и языковая адаптация

KoRAE-13b — корейская разговорная языковая модель, разработанная Cartinoe5930. Это дообученная версия beomi/llama-2-koen-13b: авторы применили LoRA и Flash-Attention 2, обучая модель на отфильтрованных корейских инструкционных данных из нескольких открытых наборов. Модель построена на плотной архитектуре Llama и содержит 12,9 млрд параметров; контекст — до 2048 токенов. Модель предназначена для генерации ответов на инструкции и диалога на корейском языке. В README сообщается, что вариант с DPO показал лучшие результаты среди вариантов KoRAE, а обучение на отфильтрованных высококачественных данных улучшило результаты относительно обучения без фильтрации. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и на некоммерческих условиях с распространением производных работ на тех же условиях.

Mongol mGPT 1.3B — языковая модель для генерации текста на монгольском языке, разработанная ai-forever как дообучение базовой mGPT-XL 1.3B. Это плотная GPT-2-модель с 1,3 млрд параметров и контекстом 2048 токенов. Базовая модель обучалась на 61 языке; этот вариант дополнительно обучали 50 000 шагов на данных для монгольского и других малоресурсных языков. В README приведено значение perplexity 4,35 на валидации. Модель подходит для продолжения и генерации монголоязычного текста. Монгольский язык в Монголии использует кириллицу, а в других регионах также применяется традиционное письмо; README не уточняет, насколько хорошо модель работает с каждым из этих вариантов. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.

facebook/mms-tts-akb — модель синтеза речи на языке батак-ангкола (akb), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну, используя стохастический предиктор длительности, поэтому одинаковый текст может звучать по-разному. Чекпойнт содержит 3,5 млн параметров и доступен для работы через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на батак-ангкола. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Для воспроизводимого результата нужно задавать фиксированное случайное зерно; в карточке не приведены сведения о качестве синтеза и поддержке других языков.

facebook/mms-tts-ese — модель синтеза речи на языке эсе-эхха (Ese Ejja, код ese), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для языка Ese Ejja, доступный через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0. Она предназначена для синтеза только на Ese Ejja; качество и поведение на других языках не подтверждены.

facebook/mms-tts-lid — модель синтеза речи на языке ниндроу (Nyindrou), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, вариационным автоэнкодером, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для синтеза речи на ниндроу; данных о поддержке других языков нет.

facebook/mms-tts-nfa — модель синтеза речи на языке дао (Dhao, nfa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на дао. Модель использует архитектуру VITS и обучена как отдельный чекпойнт для этого языка; размер составляет 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для повторяемой генерации нужен фиксированный seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

VIZINTZOR/MMS-TTS-THAI-FEMALEV2 — модель синтеза речи на основе архитектуры VITS, разработанная VIZINTZOR и дообученная для генерации женского голоса на тайском языке. Модель принимает текст и преобразует его в речь; карточка упоминает запуск на локальном компьютере и обучение через Google Colab. В репозитории указано 3,6 млн параметров, веса сохранены в формате safetensors. Модель предназначена для озвучивания тайских текстов женским голосом. Сведений о лицензии и качестве синтеза в доступных данных нет.

facebook/mms-tts-zyb — модель синтеза речи на языке чжуан, диалект юнбэй, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых приложений для языка с ограниченными ресурсами. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе транспонированных свёрток, подобным HiFi-GAN. Предсказатель длительности позволяет синтезировать текст с различным ритмом; из-за его стохастичности для повторяемого результата требуется фиксировать seed. Веса доступны в форматах PyTorch и Safetensors, размер модели — 3,5 млн параметров. Для использования доступна библиотека Transformers версии 4.33 и новее. Модель предназначена для генерации речи только на языке чжуан, диалект юнбэй. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

NeuralGemma-2b — модель генерации текста на архитектуре Gemma, полученная объединением abhinand/gemma-2b-tamil и VAGOsolutions/SauerkrautLM-Gemma-2b с помощью LazyMergekit и метода slerp. Модель насчитывает 2,5 млрд параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Она предназначена для генерации текста; базовые модели описаны как двуязычная Gemma для тамильского и английского языков. В карточке не приведены результаты оценки качества или конкретные сценарии применения, поэтому возможности модели за пределами генерации текста не следует считать подтверждёнными. Лицензия в предоставленных данных не указана.

Qwen3-TTS-KSA — дообученная Vadim Belsky модель синтеза речи на основе Qwen/Qwen3-TTS-12Hz-1.7B-Base. Она предназначена для преобразования текста в речь на саудовском диалекте арабского языка, включая Khaleeji. Модель дообучена на арабской части набора KSA_Arabic_English_Dataset_13k; в репозитории указано около 13 тысяч высказываний длительностью от 1 до 20 секунд. Модель использует плотную архитектуру Qwen3-TTS с классом Qwen3TTSForConditionalGeneration и весами safetensors. Для поддержки арабского добавлены языковой идентификатор и его embedding, языковой префикс для codec-канала, автоматическое распознавание арабского текста и зарегистрирован голос ksa_speaker. Все параметры модели дообучались, а speaker encoder оставался замороженным; embedding зарегистрированного голоса включён в веса модели. Модель подходит для создания озвучки на саудовском арабском языке с использованием зарегистрированного голоса. Базовая модель также поддерживает клонирование голоса по короткому аудио и дообучение, но README не подтверждает эти возможности для данной версии. Лицензия — Apache-2.0.

Koichi Yasuoka разработал эту модель на основе RoBERTa для китайского языка. Она дообучена на текстах китайской Википедии, включая упрощённое и традиционное письмо, и размечает слова тегами UPOS — универсальными частями речи. Архитектура — RoBERTa с классификационной головой для токенов, размер — 133,7 млн параметров, контекст — до 512 токенов. Модель предназначена для разметки частей речи в китайском тексте и может использоваться в лингвистическом анализе и пайплайнах обработки китайского языка. В карточке также заявлен разбор зависимостей, однако указанный pipeline_tag — token-classification. Лицензия — CC BY-SA 4.0.

RoLlama3.1-8b-Instruct-2024-10-09 — инструкционно дообученная OpenLLM-Ro модель для генерации текста и диалогов на румынском языке. Она основана на Meta Llama 3.1 8B Instruct; архитектура — плотная авторегрессионная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель рассчитана на контекст до 131 072 токенов и распространяется в формате safetensors. Модель предназначена для исследовательского применения и создания помощников, ведущих диалог на румынском языке. Для настройки использованы наборы RoAlpaca, RoAlpacaGPT4, RoDolly, RoSelfInstruct, RoNoRobots, RoOrca, RoCamel, RoOpenAssistant и RoUltraChat. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Разработчик указывает, что модель предназначена для румынского языка; её применение для других языков не входит в область использования.

Shlokartha Vāgartha SFT — компактная причинная языковая модель от Kshitij Thakkar, дообученная полным обновлением параметров на наборе shlokartha-sft, составленном на основе корпуса sarvamai/vagartha. Модель предназначена для послойного толкования санскритских стихов: она может давать значения отдельных слов (Pada Artha), смысловой перевод (Anvaya) и расширенное контекстное объяснение (Bhavartha), сохраняя письмо деванагари и при необходимости транслитерацию. Это модель семейства Qwen3 MoE с архитектурой Qwen3MoeForCausalLM, примерно 114 млн параметров, для генерации текста и диалогового использования через Transformers. Заявленная длина контекста — 262 144 токена. Основной сценарий — экспериментальное объяснение санскритской поэзии, образовательные прототипы и интерфейсы для индийских языков. Репозиторий использует формат safetensors; лицензия модели в предоставленных данных не указана. README просит сохранять атрибуцию CC-BY-4.0 для производных материалов из обучающего корпуса. Модель может выдавать беглые, но ошибочные переводы, грамматический разбор, атрибуции источников и философский контекст. Её выводы следует сверять с оригиналом и квалифицированными справочными источниками; модель не подходит как единственный авторитет для религиозных, исторических или учебных утверждений.

SinLlama Llama-3-8B Merged — базовая языковая модель для генерации и продолжения текста на сингальском и английском языках. Её создали на основе Meta Llama 3 8B: к модели применили адаптер LoRA polyglots/SinLlama_v01 и объединили веса в самостоятельный чекпойнт. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,6 млрд параметров, принимает контекст длиной до 8192 токенов и распространяется в формате Safetensors с весами FP16. Модель предназначена для текстового дополнения, в том числе генерации текста на сингальском. Это базовая модель без инструкционного дообучения, поэтому она оптимизирована для продолжения текста, а не диалогов: при вопросах может продолжать документ или повторять вопросы. Для сценариев вопросов и ответов нужны тщательно оформленные подсказки и настройки остановки генерации. Лицензия — Llama 3; применяются её условия использования.

tiny-ko-sft — модель генерации текста, созданная дообучением minpeter/tiny-ko-base разработчиком minpeter. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 124,6 млн параметров; репозиторий содержит веса Safetensors. Модель предназначена для диалогов и выполнения инструкций на корейском языке. При дообучении использовались наборы корейских диалогов, инструкций и текстов, включая Korean-FineTome-100k, smol-koreantalk, open-korean-instructions и несколько корейских переводных и инструкционных наборов. Контекст составляет 4096 токенов. В README приведено значение loss 1,5297 на наборе оценки, но подробности методики и результатов не описаны. Модель распространяется по лицензии базовой модели; сведения о лицензии в предоставленных данных отсутствуют.

gotutiyan/token-ged-electra-large-bin — модель на архитектуре ELECTRA для обнаружения грамматических ошибок в тексте. Она выполняет бинарную и многоклассовую классификацию токенов и предназначена для разметки ошибочных фрагментов при проверке английского текста. Эксперимент проведён по работе Yuan et al. (2021). Модель содержит 433,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. В карточке указано, что веса распространяются для исследовательских и образовательных целей. Лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на тех же условиях.

wietsedv/xlm-roberta-base-ft-udpos28-hi — модель семейства XLM-RoBERTa, дообученная для разметки частей речи на хинди по Universal Dependencies v2.8. Она принимает текст и присваивает метку каждому токену, что подходит для морфосинтаксического анализа и подготовки корпусов. Модель построена на архитектуре XLMRobertaForTokenClassification и содержит 305,2 млн параметров. Максимальная длина контекста составляет 514 токенов. Разработчик указывает, что модель связана с исследованием по кросс-языковому переносу для POS-разметки более чем 100 языков; данный чекпойнт предназначен для хинди. Для использования доступны веса PyTorch и библиотека Transformers. Лицензия — Apache-2.0. Карточка не описывает точность и другие результаты оценки, поэтому качество на конкретном домене следует проверять отдельно; контекст ограничен 514 токенами.

toastynews/xlnet-hongkongese-base — базовая модель XLNet, обученная разработчиком на корпусе преимущественно из Гонконга. Она предназначена для генерации текста и дальнейшего дообучения под прикладные задачи, где важно учитывать употребление языка в Гонконге; карточка описывает её как альтернативу моделям для стандартного китайского. В архитектуре используется XLNetLMHeadModel; размер — 137,8 млн параметров. Репозиторий содержит веса в форматах PyTorch, Safetensors и TensorFlow. Корпус включает гонконгский кантонский (Yue), стандартный китайский и английский; значительная часть данных взята из новостных статей и блогов. Модель может быть полезна для генерации текста и последующей адаптации к задачам на материалах Гонконга. По оценке автора, она уступает GPT-2 в генерации, а меньший объём Yue Wikipedia ограничивает широту знаний по сравнению с моделями для китайского языка. Корпус преимущественно формальный, поэтому возможен уклон в сторону формального стиля. Лицензия — Apache-2.0.

Banano kirtis — литовская модель-разметчик ударений, созданная на базе XLM-RoBERTa-base и предназначенная для определения ударного слога и типа ударения в каждом слове с учётом контекста. Она использует архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучена на предложениях из корпуса LIEPA-3 и формах из литовского лексикона. Модель рассчитана на разметку литовского текста, в том числе для синтеза речи и разрешения неоднозначности омографов по контексту. Она предсказывает позицию ударения и один из трёх типов: краткий, острый или циркумфлексный. README сообщает о 85,4% точности совпадения целого слова на отложенном наборе из 3000 предложений; авторы отмечают, что оценки отражают согласие с разметкой обучения, а не проверку по экспертной эталонной выборке. Ударения в безударных служебных словах соответствуют разговорной речи, тогда как нормативные инструменты могут размечать их иначе. Иностранные фамилии и слова вне обучающего словаря ненадёжны; уверенность модели не гарантирует правильность. Для преобразования предсказаний в диакритические знаки требуется отдельная обработка слогов и гласных. Модель выпущена под лицензией CC BY 4.0. В README указана более новая версия Banano kirtis v2, которая показывает лучшие результаты на нормативной письменной речи; эта версия может быть уместна для сценариев с безударными служебными словами разговорного литовского языка.

Chinda-Qwen3-4B-F32-GGUF — тайская языковая чат-модель iApp Technology на архитектуре Qwen3 с 4 млрд параметров. Репозиторий содержит веса GGUF в форматах F32, BF16 и F16; метаданные указывают на вариант F32. Модель дообучена на базе iapp/chinda-qwen3-4b и предназначена для генерации текста и диалогов на тайском языке. Её можно использовать для создания тайскоязычных чат-ботов и ответов на вопросы. В карточке заявлены расширенные возможности рассуждения, но подробных оценок качества или результатов тестирования нет. Лицензия — Apache-2.0.

CoquiTTS-Max — модель синтеза речи на основе VITS, обученная с использованием Coqui TTS на примерах предложений из Lëtzebuerger Online Dictionnaire. Она озвучивает люксембургский текст мужским голосом одного реального диктора и предназначена для генерации речи из подготовленного текста. Модель выдаёт аудио с частотой дискретизации 22,05 кГц; перед синтезом текст следует привести к нижнему регистру, а для некоторых входов может понадобиться дополнительная нормализация. Чекпойнт указан на 50 000 шагов обучения. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

Koichi Yasuoka разработал модель DeBERTa V2 для морфосинтаксического анализа японского текста. Она дообучена на корпусе UD_Japanese-GSDLUW на основе KoichiYasuoka/deberta-base-japanese-aozora, предварительно обученной на текстах японской цифровой библиотеки Aozora Bunko. Модель выполняет разметку частей речи и синтаксический анализ зависимостей; для обработки подслов используется отношение goeswith. В каталоге Hugging Face её основная задача обозначена как token-classification. Модель содержит 137,8 млн параметров, работает с текстом и рассчитана на контекст до 512 токенов. Она предназначена для анализа японских предложений и возвращает структурированные синтаксические метки. Распространяется по лицензии CC BY-SA 4.0. Для использования в Transformers в README указан pipeline universal-dependencies с trust_remote_code=True.

Японская модель DeBERTa V2 для разметки частей речи и синтаксического анализа зависимостей с обработкой составных слов и их фрагментов по схеме goeswith. Она дообучена на базе ku-nlp/deberta-v2-base-japanese на текстах японской Википедии, CC-100 и OSCAR; в README приведён пример запуска через Transformers для разбора японского предложения. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 512 токенов и распространяется под лицензией CC BY-SA 4.0. Для токенизации требуется fugashi.

Baselhany разработал модель распознавания арабской речи, дообучив OpenAI Whisper Base на наборе данных quran-ayat-speech-to-text. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 51,7 млн параметров; она принимает аудио и выдаёт распознанный текст. Модель предназначена для транскрибирования арабоязычных записей чтения аятов Корана. В README указаны результаты на оценочной выборке: loss 0,1077 и WER 0,2309. Модель доступна в формате safetensors по лицензии Apache-2.0.

KinyaBERT-small — предварительно обученная модель BERT на корпусе текстов на киньяруанда, представленная jean-paul. Она обучена с целью masked language modeling и предназначена для заполнения пропусков в тексте и получения контекстных представлений слов. Модель содержит около 79,7 млн параметров, использует архитектуру BertForMaskedLM и поддерживает контекст до 512 токенов. Обучающий корпус включает новостные статьи из Руанды, выгрузки Википедии и книги на киньяруанда. Токены нечувствительны к регистру, поэтому модель не различает, например, ikinyarwanda и Ikinyarwanda. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

KLTN_COQE_viT5_total_POASL_v4 — дообученная модель семейства T5, созданная на основе VietAI/vit5-large. В метаданных указано 389,3 млн параметров; модель загружает и сохраняет веса в формате safetensors. Лицензия — MIT. README не описывает назначение модели, обучающие данные или результаты оценки. Базовая модель предназначена для генерации текста на вьетнамском языке, включая ответы на вопросы, суммаризацию и перевод, однако неизвестно, какие из этих задач поддерживает данная дообученная версия и для какого сценария она создавалась.

colable/llama-ko-peft — корейская модель генерации текста на архитектуре Llama, дообученная разработчиком на собственном наборе данных на базе beomi/open-llama-2-ko-7b. Модель содержит 6,7 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 2048 токенов. Она предназначена для генерации текста на корейском языке. README приводит пример запуска на GPU, но не уточняет специальные сценарии применения или результаты оценки качества. Модель выпущена по лицензии MIT.

facebook/mms-tts-enb — модель синтеза речи на языке Markweeta, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Markweeta в речевую аудиоволну. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт; в метаданных указано 3,5 млн параметров. Она поддерживается библиотекой Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, связанный с HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи для одного и того же текста, поэтому результат генерации недетерминирован: для повторения той же аудиоволны нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ixl-dialect_sanjuancotzal — модель синтеза речи на языке Ixil, диалект Сан-Хуан-Коцаль, из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на этом языке в речевой аудиосигнал; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, поточным модулем, стохастическим предиктором длительности и декодером, формирующим аудиоволну. Модель доступна для использования через Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на указанном диалекте Ixil. Из-за стохастического предиктора длительности синтез может различаться при одинаковом входном тексте; для воспроизводимого результата нужен фиксированный seed. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но не коммерческое.

facebook/mms-tts-vmy — модель синтеза речи на мазатекском языке, вариант Аютла, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS. Модель принимает текст и генерирует речевую аудиоволну; её архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. В метаданных указано 3,5 млн параметров. Модель подходит для озвучивания мазатекских текстов и создания речевых технологий для языка Ayautla. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.