I.6Перевод и языковая адаптация

Gemma2-2B-Swahili-Preview — языковая модель Alfaxad Eyembe на архитектуре decoder-only Transformer Gemma 2. Модель дообучена с помощью LoRA на одноязычном наборе Inkuba-Mono Swahili; в обучении использовалась выборка из миллиона примеров. Общее число параметров — 2,7 млрд, контекст — до 8192 токенов. Модель предназначена для продолжения и генерации текста на суахили, а также для языкового моделирования и понимания контекста. Данные охватывают разные источники, включая новости и публикации в социальных сетях. Модель не настроена на выполнение инструкций, поэтому её не следует считать готовым диалоговым помощником; качество может меняться в зависимости от тематики текста. Лицензия — Apache 2.0.

it5-small — итальянская модель семейства IT5 для задач понимания и генерации текста в формате sequence-to-sequence. Её разработали Габриэле Сарти и Мальвина Ниссим в рамках проекта IT5 при поддержке Hugging Face и Google TPU Research Cloud. Модель основана на архитектуре T5 v1.1 Small и содержит 45,8 млн параметров. Модель предварительно обучена на итальянской части очищенного корпуса mC4 — около 41 млрд слов. Она предназначена для дальнейшей тонкой настройки под конкретные задачи, например суммаризацию, перевод или ответы на вопросы; без такой настройки её практическая полезность ограничена. Доступны веса в форматах PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Корпус собран из веб-страниц, поэтому модель может воспроизводить содержащиеся в данных предубеждения и вредные стереотипы; авторы рекомендуют изучать эти эффекты и ограничивать применение исследовательскими или непользовательскими сценариями.

JPharmatron-7B — языковая модель на 7 млрд параметров от EQUES Inc., предназначенная для фармацевтических документов и исследований. Модель построена на Qwen2.5-7B и непрерывно предварительно обучена на 8,8 млрд токенов японских и английских данных; улучшенные диалоговые возможности получены слиянием с Qwen2.5-7B-Instruct. Это причинная архитектура decoder-only для генерации текста и чата. Модель рассчитана на работу с фармацевтической документацией и исследовательскими задачами в фармацевтике. В описанных авторами оценках она показала лучшие результаты среди сравниваемых моделей на пяти тестах, включая JPharmaBench, JMMLU (pharma) и IgakuQA. Эти результаты не подтверждают пригодность для клинических решений: модель не валидирована для медицинского или другого чувствительного к рискам применения. Лицензия — CC-BY-SA-4.0.

Khmer TTS — экспериментальная модель синтеза речи, созданная дообучением VITS-модели Facebook facebook/mms-tts-khm. Она преобразует текст на кхмерском языке в аудио и распространяется в формате Hugging Face Transformers с весами safetensors; размер модели — 3,6 млн параметров. Модель рассчитана на одноголосую генерацию речи на кхмерском языке. Её можно применять для озвучивания коротких текстов и создания речевых примеров на кхмерском языке. В тестовом наборе из 50 примеров генерация завершилась без сбоев, однако эта проверка не оценивает всесторонне качество речи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

circulus/koelectra-polite-v1 — корейская модель классификации текста от circulus, созданная на базе KoELECTRA-Base-v3 от monologg. По названию репозитория она предназначена для классификации вежливости корейских высказываний; модель использует архитектуру ELECTRA для классификации последовательностей, содержит около 140,1 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для определения уровня вежливости в корейском тексте. KoELECTRA разработана для корейского языка, а её базовая архитектура включает 12 слоёв, скрытый размер 768 и 12 голов внимания. В карточке модели не обнаружены сведения о метках классов и результатах оценки качества, поэтому конкретную схему классификации и точность нельзя подтвердить. Репозиторий использует формат PyTorch. Лицензия этой производной модели в доступных источниках не подтверждена; лицензия базовой KoELECTRA — Apache-2.0, но её условия нельзя автоматически приписать этому чекпойнту.

Konkani Qwen2-1.5B V3 Full — это полноразмерная версия модели для языка конкани, разработанная nischay185. Она основана на Qwen2ForCausalLM с 1,5 млрд параметров и дообучена на исходной модели Konkani SFT с помощью LoRA; адаптер объединён с базовыми весами, поэтому модель загружается как самостоятельная через Transformers. Контекстное окно составляет 131 072 токена, а метаданные отмечают поддержку чата. Модель предназначена для генерации ответов на конкани, следования инструкциям и экспериментов с переносом рассуждений через английский как промежуточный язык. Она может применяться в исследованиях NLP для низкоресурсного конкани, учебных экспериментах и локальном инференсе. Обучение сочетало примеры исходного SFT и CoT-наборы; в README описана ручная оценка на 39 вопросах в 13 категориях, поэтому результаты не следует считать исчерпывающим бенчмарком. Модель может ошибаться в фактах и рассуждениях, ограниченно знать мир, испытывать трудности со сложными многошаговыми задачами, смешивать языки и по-разному работать с диалектами и вариантами орфографии конкани. Размер модели и заявленный контекст не гарантируют высокую точность. Лицензия в предоставленных источниках не указана.

Ken-Z/latin_whisper-small — модель распознавания речи на латинском языке, опубликованная Ken-Z. Это дообученная версия openai/whisper-small; в метаданных указаны архитектура Whisper, 153,1 млн параметров и формат safetensors. Модель принимает аудио и выдаёт распознанный текст. Она предназначена для транскрибирования латинской речи; автор сообщает о 20 CER с пунктуацией после обучения на 67 часах аудио Vox Classica. Модель лицензирована по CC BY 4.0. Оценка CER дана автором для описанного набора данных и не гарантирует такое же качество на других записях; сведений о контекстных ограничениях или поддержке других языков карточка не приводит.

mervinpraison/Llama-3.1-70B-Instruct-Tamil — текстовая чат-модель, разработанная mervinpraison на основе дообучения unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit с использованием Unsloth и Hugging Face TRL. Модель относится к семейству Llama 3.1, имеет плотную архитектуру LlamaForCausalLM и содержит 69,5 млрд параметров. Она предназначена для генерации текста и диалоговых сценариев; название указывает на ориентацию на тамильский язык, однако README не приводит сведений о конкретных тамильских обучающих данных или результатах оценки. Модель принимает текст и генерирует текст. Заявленная длина контекста составляет 131 072 токена. Репозиторий использует формат safetensors, лицензия — Apache-2.0. Доступные сведения не описывают качество на тамильском языке и конкретные ограничения поведения модели.

Мультимодальная модель Junbum Lee (Beomi) на архитектуре LLaVA, объединяющая beomi/Llama-3-KoEn-8B-preview и xtuner/llava-llama-3-8b-transformers методами ChatVector. Она принимает изображения вместе с текстовыми запросами и предназначена для диалога и ответов на вопросы о визуальном содержимом на корейском и английском языках. В README описаны несколько вариантов объединения, использующих контрольные точки KoEn, обученные на 25 млрд и более токенов; метаданные указывают формат Safetensors и библиотеку Transformers. Лицензия — CC BY-NC-SA 4.0 с условиями лицензии Llama 3.

Модель Pavarissy/mdeberta-v3-ud-thai-pud-upos — дообученная версия microsoft/mdeberta-v3-base для разметки частей речи в тайском языке. Она присваивает токенам универсальные грамматические категории UPOS на основе корпуса Thai PUD из набора Universal Dependencies; архитектура — DeBERTa V2 для классификации токенов, размер — 306 млн параметров, максимальный контекст — 512 токенов. Модель подходит для автоматической POS-разметки тайских текстов и подготовки лингвистических данных. В README приведены результаты оценки на тестовой выборке: accuracy и weighted F1 — 0,9935, macro F1 — 0,9231. Модель распространяется по лицензии MIT.

Merak-7B-v3 — языковая модель на базе Meta Llama-2-7B-Chat-HF, созданная Ichsan2895 для работы прежде всего с индонезийским языком. Версия v3 дообучена с помощью QLoRA на наборах Ichsan2895/OASST_Top1_Indonesian и Ichsan2895/alpaca-gpt4-indonesian; предыдущие версии также обучались на очищенных статьях индонезийской Википедии. Модель имеет плотную архитектуру Llama с 6,6 млрд параметров и контекстом 4096 токенов. Модель предназначена для генерации текста и диалоговых ответов на индонезийском языке, включая ответы на вопросы и выполнение инструкций. В карточке также указана поддержка английского. Автор сообщает, что модель может работать с 16 ГБ видеопамяти при использовании QLoRA, но конкретные требования зависят от режима запуска и настроек квантования. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства, распространения производных работ на тех же условиях и запрещает коммерческое использование. Карточка не приводит оценок качества, поэтому пригодность для конкретных задач стоит проверять отдельно.

Uzbek mGPT 1.3B — языковая модель ai-forever для генерации текста на узбекском языке. Это дообученная версия mGPT-XL 1.3B, изначально обученной на 61 языке; модель дополнительно обучали на данных для узбекского и других языков, представленных в исходном корпусе недостаточно. Архитектура — GPT-2, размер — 1,3 млрд параметров, контекст — 2048 токенов. Модель подходит для продолжения узбекского текста и генерации черновиков на латинице и кириллице. В карточке приведено значение perplexity 6,84 на валидации. В метаданных также отмечены английский и русский языки, однако основное назначение модели — узбекский. Распространяется по лицензии MIT.

facebook/mms-tts-cax — модель синтеза речи на языке чикитано (cax), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на чикитано в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Это компактная модель с 3,5 млн параметров; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности генерация недетерминирована: для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ify — модель синтеза речи для языка Kallahan, Keley-i (ify), созданная в рамках проекта Meta/Facebook Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, нормализующие потоки и декодер HiFi-GAN. Это отдельный языковой чекпойнт MMS-TTS с 3,5 млн параметров; для работы доступен через библиотеку Transformers версии 4.33 и новее. Генерация зависит от случайного предсказателя длительности, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kyq — модель синтеза речи на языке кенга (Kenga, kyq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: она сочетает вариационный автоэнкодер, потоковые преобразования и декодер, построенный по принципу HiFi-GAN. Для одного языка обучается отдельный чекпойнт; размер этой модели — 3,5 млн параметров. Стохастический предиктор длительности позволяет варьировать ритм синтезированной речи, поэтому для повторяемого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-nab — модель синтеза речи на южном намбиквара (Nambikuára, Southern; код nab), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный контрольный набор параметров. Модель построена на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, предсказателем длительности и декодером HiFi-GAN-типа. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Размер модели — 3,5 млн параметров. Она доступна через Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на южном намбиквара, например для речевых интерфейсов и создания аудиоматериалов на этом языке. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-pwg — модель синтеза речи на языке гапапайва (Gapapaiwa), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельная языковая версия MMS-TTS, обученная преобразовывать входной текст в речевую волну. Модель использует архитектуру VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; для воспроизводимого результата требуется фиксировать seed. В метаданных указано 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее. Она предназначена для озвучивания текста на гапапайва. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.

facebook/mms-tts-qvn — модель синтеза речи на языке кечуа, северный диалект Хунина (qvn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозной генератор речи с вариационным автоэнкодером, поточным модулем и декодером в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и выше. Генерация стохастическая: один и тот же текст может звучать с разным ритмом, а для повторения результата нужен фиксированный seed. Модель специализирована на одном языке, поэтому её не следует считать многоязычной или универсальной. Лицензия CC BY-NC 4.0 требует указания авторства и запрещает коммерческое использование.

facebook/mms-tts-thl — модель синтеза речи на языке тхару, диалект дангаура (код thl), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на языке тхару. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Её размер — 3,6 млн параметров; модель доступна для Transformers версии 4.33 и новее в форматах PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать варианты ритма речи, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза речи на тхару-дангаура; качество для других языков не заявлено.

facebook/mms-tts-tob — модель синтеза речи на языке тоба (код ISO 639-3: tob) из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на тоба в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; VITS объединяет текстовый энкодер, генератор акустических признаков, стохастический предиктор длительности и декодер аудио. Предиктор длительности может давать разные ритм и произношение для одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое. Модель предназначена для речи на тоба; качество для других языков не заявлено.

Koichi Yasuoka разработал эту ModernBERT-модель на основе KoichiYasuoka/modernbert-base-japanese-aozora, предварительно обученной на текстах 青空文庫. Модель размечает японские длинные единицы слов тегами UPOS и FEATS для определения частей речи и синтаксического анализа зависимостей. Она принимает текст и выдаёт разметку токенов; в метаданных указаны 160,2 млн параметров и контекст до 8192 токенов. Модель подходит для автоматической разметки японских текстов и построения лингвистических конвейеров. Распространяется по лицензии Apache-2.0.

Koichi Yasuoka разработал ModernBERT-модель для разметки частей речи в тайском тексте. Она дообучена на основе KoichiYasuoka/modernbert-base-thai-wikipedia и назначает каждому слову тег UPOS и признаки FEATS; README также указывает на применение для синтаксического анализа зависимостей. Модель содержит 112,4 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Она предназначена для анализа тайских текстов. Распространяется по лицензии Apache-2.0.

Odia-Gemma-2B-Base — предварительно обученная языковая модель команды OdiaGenAI, созданная на основе Google/Gemma 2B. Это плотная авторегрессионная модель-декодер с 2,5 млрд параметров и контекстом до 8192 токенов; обучение продолжено на 49 млн токенов датасета Culturex-Odia, отфильтрованной версии CulturaX с текстами на одия из mC4 и корпусов OSCAR. Модель предназначена для генерации текста на одия и английском и как основа для последующей настройки под конкретные задачи. Это базовая, не настроенная на выполнение инструкций модель, поэтому для диалога и следования пользовательским запросам потребуется дообучение или подходящие примеры в контексте. В README также отмечено отсутствие механизмов модерации, из-за чего возможны вредные или неуместные продолжения. Веса опубликованы в формате Safetensors; лицензия — Gemma Terms of Use.

3tic/Orion-Qwen3-8B-CPT-v2607 — базовая модель на архитектуре Qwen3, дообученная разработчиком на корпусе объёмом более 40 млрд токенов китайских и японских текстов ранобэ и близких художественных материалов. В обучающие данные вошли опубликованные и веб-ранобэ, тексты визуальных новелл, субтитры аниме и переводы этих материалов на китайский язык. Модель предназначена для дальнейшей тонкой настройки под задачи генерации текста, связанные с китайской и японской художественной прозой. Она содержит 7,6 млрд параметров, использует архитектуру Qwen3ForCausalLM, принимает текст и имеет контекстное окно 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0.

Koichi Yasuoka разработал эту модель на базе RoBERTa для разметки корейского текста частями речи. Модель дообучена на основе KoichiYasuoka/roberta-base-korean-hanja и относит каждое корейское слово (эоджоль) к универсальной категории UPOS; в карточке также указана связь с синтаксическим анализом зависимостей. Модель принимает текст на корейском языке и выдаёт метки для слов, поэтому подходит для морфологического анализа и подготовки текста к последующей лингвистической обработке. Архитектура — RoBERTa с классификатором токенов, размер — 143,4 млн параметров, максимальный контекст — 514 токенов. Распространяется по лицензии CC BY-SA 4.0.

Koichi Yasuoka разработал эту японскую RoBERTa-модель для морфологической разметки текста. Она дообучена на основе KoichiYasuoka/roberta-large-japanese-aozora-char и обучена на текстах 青空文庫. Модель присваивает словам длинной единицы UPOS-теги универсальных частей речи и признаки FEATS, поддерживая задачи разметки частей речи и синтаксического анализа зависимостей. Модель содержит 412,3 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для применения автор предлагает библиотеку esupar. Модель предназначена для анализа японского текста; лицензия — CC BY-SA 4.0.

Карточка модели fukuneko2000/sarashina2.2-3b-instruct-v0.1 на Hugging Face совпадает с карточкой sbintuitions/sarashina2.2-3b-instruct-v0.1, поэтому описание составлено по ней. Sarashina 2.2 3B Instruct v0.1 — авторегрессионная языковая модель для японского языка, разработанная SB Intuitions и дообученная на базе sbintuitions/sarashina2.2-3b. Модель имеет плотную архитектуру LlamaForCausalLM с 3,1 млрд параметров и контекстом до 8192 токенов; поддерживает диалоговое использование и интерфейс вызова инструментов. Модель предназначена для генерации японского текста и диалоговых сценариев. Лицензия MIT допускает свободное использование в рамках её условий. В карточке приведены результаты оценки японских и английских задач для меньшей версии семейства, поэтому они не подтверждают качество этой модели. Модель прошла ограниченное обучение безопасности и может выдавать бессмысленные, неточные, предвзятые или нежелательные ответы; для применения рекомендуется настройка с учётом человеческих предпочтений и требований безопасности.

Модель levshechter/tibetan-CS-detector_mbert-tibetan-continual-wylie_MUL_SEG_RUNI — дообученная версия OMRIDRORI/mbert-tibetan-continual-wylie-final для обнаружения переключений между языками или письменностями в тибетском тексте. Это плотная модель на архитектуре BERT с классификацией токенов, содержащая 136,3 млн параметров и принимающая последовательности длиной до 512 токенов. В README приведены результаты оценки: Accuracy 0,9188 и F1 для переключений 0,7457; также указаны точность 0,6681 и полнота 0,8436 для этого класса. Модель предназначена для разметки токенов, связанных с переключением кода. Данные обучения и подробности сценариев использования в карточке не раскрыты. Модель распространяется в формате safetensors; сведения о лицензии отсутствуют в предоставленных материалах.

Tsunami-1.0-14B-Instruct — тайская инструкционная языковая модель, созданная Pollakrit Lorprasertkul на основе Qwen2.5-14B и Qwen2.5-14B-Instruct. Модель объединяет базовые модели Qwen2.5 и дообучение на тайских данных; использует плотную архитектуру Qwen2 и формат диалога ChatML. Модель предназначена для диалогов и генерации текста на тайском языке, в том числе для ответов на вопросы и структурированных ответов. Она содержит 14 млрд параметров, поддерживает контекст до 131 072 токенов и имеет интерфейс для вызова инструментов. В README приведены результаты сравнения на тайском экзамене и M3Exam, но полная таблица результатов недоступна. Репозиторий распространяется под лицензией Apache-2.0. Модель ориентирована прежде всего на тайский язык; метаданные также отмечают английский. Результаты бенчмарков сами по себе не позволяют оценить качество на широком круге задач.

ViZipVoice — вьетнамская модель синтеза речи с нулевым обучением и клонированием голоса, разработанная авторами репозитория contextboxai и дообученная на базе ZipVoice от k2-fsa. Она преобразует текст в речь и может воспроизводить голос по короткому аудиопримеру. Модель реализована на PyTorch; опубликован чекпойнт FP16. Токенизатор посимвольный, содержит 244 токена, частота дискретизации синтеза — 24 кГц. Обучающие данные включают около 7000 часов вьетнамской и английской речи; для нормализации вьетнамского текста используется soe-vinorm, а вокодер по умолчанию — charactr/vocos-mel-24khz. Модель подходит для озвучивания вьетнамского текста, создания голосовых демонстраций и синтеза речи с заданным тембром. В карточке приведены аудиопримеры и 30 записей для референсного голоса с транскрипциями. Лицензия — Apache-2.0. Клонировать следует только голоса, на использование которых есть право или явное разрешение; качество и стабильность для других языков и сценариев в карточке не охарактеризованы.