I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейLatxa 7b Instruct — модель HiTZ/latxa-7b-v1, дообученная автором репозитория для выполнения инструкций. Она предназначена для диалоговых сценариев и генерации текста по запросам пользователя. Модель основана на архитектуре Llama, содержит 6,6 млрд параметров и поддерживает контекст до 4096 токенов. Для дообучения использован датасет OASST2 (OpenAssistant), переведённый на баскский язык с помощью Helsinki-NLP Opus MT. Модель распространяется в форматах Safetensors и GGUF F16; лицензия в предоставленных данных не указана.
MaziyarPanahi/llama-3.2-Korean-Bllossom-3B-GGUF — это набор файлов модели в формате GGUF для текстовой генерации. Исходную модель разработала Bllossom, а преобразование и квантизацию выполнил MaziyarPanahi. Модель основана на Bllossom/llama-3.2-Korean-Bllossom-3B. Модель предназначена для локального запуска и сценариев генерации текста с использованием llama.cpp и совместимых инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. В репозитории представлены варианты с квантизацией от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Архитектура исходной модели, точное число параметров, поддерживаемые языки и размер контекста в README не указаны; по названию можно предположить специализацию на корейском языке, но это не подтверждено подробными характеристиками. К сильным сторонам относятся формат GGUF, широкая совместимость с локальными приложениями и наличие нескольких уровней квантизации, упрощающих запуск на оборудовании с ограниченными ресурсами. Ограничения связаны с возможными потерями качества при использовании низкобитных вариантов, а также с отсутствием в предоставленных данных сведений о результатах тестирования, лицензии, точных возможностях, мультимодальности и рекомендуемых параметрах инференса.
NegarSH/mbart_extratranslations — модель семейства mBART с архитектурой MBartForConditionalGeneration и 457,4 млн параметров. Согласно карточке, она обучена с нуля; конкретные обучающие данные, назначение и результаты оценки не описаны. Метаданные указывают библиотеку Transformers, формат safetensors и контекст длиной 1024 токена. Лицензия не указана в предоставленных данных.
Tajik mGPT 1.3B — языковая модель, разработанная AI Forever для генерации текста на таджикском языке. Это дообученная версия многоязычной модели mGPT-XL с архитектурой GPT-2 и 1,3 млрд параметров. Базовая модель обучалась на 61 языке с использованием Wikipedia и корпуса C4; для этой версии добавили данные на таджикском и продолжили обучение ещё 50 000 шагов. Модель предназначена для продолжения и генерации таджикского текста, в том числе на кириллице. Её контекстное окно составляет 2048 токенов. В README приведена perplexity 6,52 на валидационной выборке. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.
facebook/mms-tts-azz — модель синтеза речи на нахуа, диалект Хайленд-Пуэбла, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевой сигнал и предназначена для создания озвучки и речевых интерфейсов. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; отдельный чекпойнт обучен для этого языка. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация зависит от случайного предсказания длительности, поэтому для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией и ограничивает коммерческое применение.
facebook/mms-tts-bor — модель синтеза речи на языке бороро из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст на бороро в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер, похожий на HiFi-GAN; предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Чекпойнт доступен для использования через Transformers версии 4.33 и выше. Модель обучена специально для одного языка, поэтому её следует применять для синтеза речи на бороро. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-cak-dialect_central — модель синтеза речи на языке какчикель, вариант центрального диалекта, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на какчикельском языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода для приложений на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; он доступен для работы через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0. Она специализирована на центральном диалекте какчикеля; качество для других языков или диалектов не заявлено.
facebook/mms-tts-izz — модель синтеза речи на языке Izii (izz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для повторяемого результата при генерации требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Модель доступна через библиотеку Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не приводит измерений качества или дополнительных ограничений применимости.
facebook/mms-tts-nfr — модель синтеза речи на языке нафаанра (Nafaanra, код nfr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль, стохастический предиктор длительности и декодер на основе свёрточных слоёв. Число параметров — 3,5 млн. Чекпойнт доступен для Transformers начиная с версии 4.33; формат весов — PyTorch и Safetensors. Предиктор длительности стохастический, поэтому одинаковый текст может давать разные варианты ритма и звучания; фиксированный seed нужен для воспроизводимого результата. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-nhe — модель синтеза речи на науатле восточного Уастека (nhe), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель основана на архитектуре VITS: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудиоволну. Предсказатель длительности позволяет варьировать ритм речи; из-за стохастической генерации для воспроизводимого результата нужен фиксированный seed. В репозитории указаны веса PyTorch и SafeTensors, размер модели — 3,5 млн параметров. Для запуска доступна интеграция с библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческих целях. Чекпойнт предназначен для науатля восточного Уастека; сведений о поддержке других языков нет.
VIZINTZOR/MMS-TTS-THAI-MALE-NARRATOR — модель синтеза речи на основе VITS, дообученная на записи голоса из Play.ht. Она преобразует текст на тайском языке в речь мужским голосом-рассказчиком. В метаданных указано 3,6 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для озвучивания тайских текстов и создания голосового повествования. README сообщает о дообучении модели и использовании записи из Play.ht, но не приводит деталей о датасете, качестве синтеза или условиях его лицензирования. Лицензия модели в предоставленных данных не указана.
facebook/mms-tts-wlx — модель синтеза речи для языка Wali (wlx), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Wali. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, декодером и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; для воспроизводимого результата генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
Muslim-6B-V1.0-i1-GGUF — это набор квантизированных в формате GGUF версий языковой модели Muslim-6B-V1.0, разработанной NightPrince и квантизированной mradermacher. Модель предназначена для генерации текста, в частности на арабском и английском языках, с тематической специализацией на исламском содержании. В метаданных также указаны поддержка сценариев tool-calling и компонентов LoRA/PEFT, однако подробности этих возможностей в README не раскрыты. Модель относится к causal language models и имеет около 6 миллиардов параметров в исходной версии. Доступны варианты с различными типами квантизации — от IQ1 и Q2 до Q6, с размером файлов примерно от 1,6 до 5,0 ГБ. Более легкие варианты требуют меньше памяти, но могут заметно уступать в качестве; README рекомендует i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Контекст, точные архитектурные характеристики, мультимодальность и результаты оценки не указаны. Модель подходит для локального запуска и генерации арабоязычного и англоязычного текста на совместимом с GGUF программном обеспечении. Основные ограничения связаны с потерями качества при низкой степени квантизации и отсутствием подробных данных о возможностях, безопасности и качестве ответов. Для исходной модели указана лицензия Apache-2.0.
NorMistral-7b-warm — большая языковая модель для норвежского языка, разработанная Language Technology Group при Университете Осло совместно с проектом High Performance Language Technologies, Национальной библиотекой Норвегии и Университетом Турку в рамках семейства NORA.LLM. Модель инициализирована на основе Mistral-7B-v0.1 и дополнительно предобучена на 260 млрд subword-токенов, включая преимущественно открытые норвежские тексты на букмоле и нюнорске, а также данные с исходным кодом. Модель предназначена прежде всего для исследовательских задач генерации и обработки норвежского текста. Модель принимает текстовый ввод и генерирует текст. Она использует авторегрессионную transformer-архитектуру Mistral/Llama, содержит более 7 млрд параметров и поддерживает контекст длиной до 2 000 токенов. Токенизатор основан на byte-based BPE, обучен на том же норвежском корпусе и имеет словарь размером 32 768 токенов. Указаны сценарии оценки, связанные с пониманием прочитанного, анализом тональности и машинным переводом, однако модель не дообучена следовать инструкциям. Сильной стороной модели является специализация на норвежских вариантах языка и масштаб дополнительного предобучения. При этом она обучена на сырых, преимущественно веб-данных, поэтому может воспроизводить вредные или предвзятые продолжения; заявленная оценка не является исчерпывающей, и перед применением необходимы собственные проверки качества, безопасности и смещений. Модель распространяется по лицензии Apache-2.0 и предназначена главным образом для исследовательского использования.
POLAR-14B-HES-DPO-v1.5 — корейская языковая модель, разработанная лабораторией AI-Lab компании Plateer. Модель построена на архитектуре Llama и содержит 14,1 млрд параметров; она предназначена для генерации текста, в том числе на корейском языке. В качестве родительской модели указана x2bee/POLAR-14B-SON-SFT-v0.1, поэтому эта версия является результатом дальнейшего дообучения. Модель можно использовать через Transformers для генерации текста в приложениях и экспериментах, ориентированных на корейский язык. Длина контекста составляет 4096 токенов. Модель распространяется по лицензии Apache-2.0. Карточка предупреждает о возможных вредных стереотипах и предвзятых ответах; сведения о качестве и результатах тестирования не приведены.
Qwen3-0.6B-Farsi — дообученная модель gpugobrrr на базе Qwen/Qwen3-0.6B для генерации текста на фарси (персидском языке) и диалогов. Она использует плотную архитектуру Qwen3ForCausalLM и содержит около 508 млн параметров. Модель работает с контекстом до 40 960 токенов; в репозитории есть токенизатор и шаблон чата. Модель подходит для персидских текстовых ответов и разговорных сценариев. Она распространяется в формате safetensors и доступна по лицензии Apache-2.0. Карточка не описывает обучающие данные или результаты оценки качества, поэтому качество и охват отдельных вариантов персидского языка по ней определить нельзя.
Racka-4B — языковая модель, разработанная факультетами гуманитарных наук и информатики Университета Этвёша Лоранда (ELTE). Это адаптация Qwen/Qwen3-4B с непрерывным предобучением через LoRA и расширенным на 32 000 токенов венгерским словарём. Модель насчитывает около 4 млрд параметров; её контекст составляет 32 768 токенов, с YaRN — до 131 072 токенов. Модель предназначена прежде всего для венгерского языка: для компактных задач на периферийных устройствах, few-shot-сценариев и дальнейшей настройки под конкретные задачи. Обучающий корпус содержит 160 млрд токенов: 44% венгерских, 24% английских, 21% немецких и 11% кода. По оценке авторов, адаптация токенизатора сократила число подслов на венгерский текст примерно на 47%; при этом для английского и немецкого показатель токенизации ухудшился относительно Qwen3-4B. Сохраняются диалоговые возможности и рассуждения на английском, но они не были прямой целью обучения. Модель не прошла выравнивание и может быть небезопасна для использования конечными пользователями. Она не рассчитана на сложные или ресурсоёмкие рассуждения; авторы рекомендуют для них модели от 27–30 млрд параметров. Лицензия CC BY-NC-SA 4.0 запрещает коммерческое и иное коммерческое использование.
stanfordnlp/stanza-vi — модель из набора Stanza, разработанного Stanford NLP. Она предназначена для лингвистического анализа вьетнамского текста; метаданные указывают задачу классификации токенов. Stanza предоставляет инструменты для анализа текста от исходной строки до синтаксического разбора и распознавания сущностей. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Сведения о размере модели и длине контекста в карточке отсутствуют.
Thai-OPT350M-Instruct — дообученная генеративная языковая модель, созданная Min Si Thu на основе Facebook OPT-350M. Она предназначена для ответов на запросы и выполнения инструкций преимущественно на тайском языке; также поддерживает английский, китайский и арабский. Модель использует плотную архитектуру OPTForCausalLM, содержит 472,7 млн параметров и принимает текстовые запросы в формате «User: … Assistant:». Длина контекста — 2048 токенов. Модель обучалась 12 эпох на наборе yadapruk/thai-instructions-rallio; в карточке указано значение training loss 0,8092. Подходит для генерации ответов и простых инструкций на тайском языке. Опубликована в формате safetensors под лицензией MIT.
Модель ufal/transformer-base-geccc-mate разработана Seznam.cz и факультетом математики и физики Карлова университета (MFF UK, ÚFAL). Это компактная encoder-decoder модель семейства BART с 41,5 млн параметров, обученная с нуля для исправления грамматических ошибок в чешском языке. Обучение включало синтетические ошибки, созданные методом MATE, и данные корпуса GECCC. Модель принимает чешский текст, в котором токены разделены пробелами согласно токенизатору UDPipe czech-pdt-ud-2.5-191206, и генерирует исправленный текст. Указанная длина контекста — 256 токенов. Лицензия CC BY-NC-SA 4.0 разрешает использование на её условиях, включая некоммерческие ограничения и требование распространять производные материалы по той же лицензии.
urLLM-KO-7B — авторегрессионная языковая модель, разработанная URP на основе Llama 2 7B. Это плотный трансформер с архитектурой LlamaForCausalLM и 6,7 млрд параметров; размер словаря расширен до 51 385 токенов. Модель принимает текст и генерирует текст, её контекст составляет 4096 токенов. Модель предназначена для генерации текста на корейском языке. При обучении использовались отобранные данные из корпуса Modu Corpus и корейской Википедии общим объёмом около 28 ГБ. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
Maniac/wav2vec2-xls-r-60-urdu — модель автоматического распознавания речи, разработанная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на урдуском подмножестве Mozilla Common Voice 7.0. Это плотная модель архитектуры wav2vec2 с выходной CTC-головой, содержащая 402,7 млн параметров; репозиторий содержит веса PyTorch. Модель принимает аудио и предназначена для преобразования урдуской речи в текст. В карточке приведён результат оценки на тестовой выборке: WER 0,9852 и loss 3,8433, что указывает на слабое качество распознавания в этой оценке. Модель распространяется по лицензии Apache-2.0. Подробности о рекомендованных сценариях применения и ограничениях в README не приведены.
Whisper large-v3-ar — модель автоматического распознавания речи, созданная Мохамедом Котбом под патронажем профессора Али Гомаа. Это дообученная версия Whisper large-v3 от OpenAI с 905,2 млн параметров, предназначенная прежде всего для транскрибации Корана и хадисов с сохранением поддержки современного литературного арабского языка (MSA). Модель принимает аудио и выдаёт текст; работает на базе Transformers и распространяется в формате safetensors по лицензии Apache-2.0. На указанных в карточке проверочных выборках модель показала особенно низкую долю ошибок при распознавании Корана и хадисов. Для воспроизведения результатов при обработке аудио требуется обрезать тишину, нормализовать громкость до −16 LUFS, добавить по 100 мс заполнения по краям, скорректировать усиление и разбивать записи на отрезки длиной не более 30 секунд. Модель не формирует временные метки. Результат записывается арабской орфографией Imlāʾī без огласовок, а числительные выводятся словами. Модель ориентирована преимущественно на классический и литературный регистр, а не на диалекты; на общей радиовещательной речи MSA она конкурентоспособна, но не лидирует по WER. Транскрипции религиозных текстов следует сверять с каноническими источниками; модель не предназначена для точной записи чисел или математической речи.
GarchenArchive разработала эту модель для распознавания тибетской речи учителя Гarchен Ринпоче. Это дообученная версия Whisper large-v3-turbo от OpenAI: модель типа encoder-decoder с 32 слоями кодировщика и 4 слоями декодировщика, мультиязычным BPE-словарём на 51 866 токенов. Репозиторий содержит объединённые веса в формате safetensors с точностью fp16; для распознавания используется Transformers. Модель принимает монофонический звук 16 кГц и выдаёт текст на тибетском языке. Модель рассчитана на транскрибирование речи Ринпоче в характерном для обучающих данных регистре. В тестировании на 1 394 высказываниях CER составила 0,2022 при beam search ширины 5; предварительная нарезка аудио на фрагменты до 9 секунд дала CER 0,1957. Лицензия в предоставленных данных не указана.
jjnhuang/whisper-small-finetuned-iwslt-welsh — дообученная на наборе данных CoVoST 2 модель OpenAI Whisper small с архитектурой WhisperForConditionalGeneration. Она предназначена для распознавания речи; число параметров — 153,1 млн. Базовая модель мультиязычная и поддерживает транскрибирование речи и перевод аудио на английский язык. В README приведены результаты оценки: WER 82,1085, BLEU 14,0988, chrF++ 33,5907 и COMET 0,5541. Высокий WER указывает на ограниченную точность распознавания в указанной оценке. Модель распространяется по лицензии Apache-2.0.
AfroXLMR-large-61L — модель XLM-R-large, дообученная методом адаптации masked language modeling на корпусах mC4, Википедии и OPUS для 61 языка, в основном распространённых в Африке. Она предназначена для задач с маскированными токенами: предсказания пропущенного слова или фрагмента текста и получения контекстных представлений многоязычного текста. Модель основана на архитектуре XLM-RoBERTa и содержит 658,7 млн параметров; максимальная длина контекста — 514 токенов. Поддерживает английский, арабский, французский, португальский и широкий набор африканских языков. Доступны веса PyTorch, Flax и Safetensors. Лицензия — MIT. Карточка не сообщает о прикладной специализации или отдельных оценках качества, поэтому качество для конкретного языка и домена следует проверять на целевых данных.
Модель akhisreelibra/bert-malayalam-pos-tagger — дообученная версия bert-base-multilingual-uncased для разметки частей речи и связанных грамматических категорий в предложениях на малаялам. Она выполняет покомпонентную классификацию токенов и предназначена для автоматической морфосинтаксической разметки текстов на малаялам. В README приведены результаты на оценочной выборке: F1 0,7569 и точность 0,8552; также указаны precision 0,7380 и recall 0,7767. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Основа — многоязычный BERT без регистра bert-base-multilingual-uncased. Оценочные показатели относятся к указанной выборке; README не описывает ограничения по доменам или другие сценарии применения.
hon9kon9ize/cantonesellm-cpt-202405 — плотная языковая модель семейства Llama на базе hon9kon9ize/yi-1.5-6b-yub-vocab-expanded, дообученная разработчиком hon9kon9ize на датасете hon9kon9ize/cantonesellm-pt-20240514. Модель предназначена для генерации текста; название и датасет указывают на специализацию на кантонском языке. Модель содержит 5,8 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Длина контекста — 4096 токенов. Репозиторий опубликован под лицензией Apache-2.0. README не приводит сведения о конкретных сценариях применения, оценках качества или ограничениях.
Koichi Yasuoka разработал эту модель на основе китайской BERT-модели hfl/chinese-bert-wwm-ext. Это дообученный BERT с 129,5 млн параметров для разметки частей речи по универсальным тегам UPOS; модель также предназначена для поддержки синтаксического разбора зависимостей. Она обучена на текстах китайской Википедии на упрощённом и традиционном китайском языках, а в метаданных указан датасет Universal Dependencies. Модель принимает текст и присваивает словам теги частей речи, что подходит для лингвистического анализа китайских текстов и предварительной разметки корпусов. Максимальная длина контекста — 512 токенов. Распространяется в формате PyTorch по лицензии Apache-2.0.
Cecilis создала текстовую модель на 507,9 млн параметров для генерации текстов в стилистике игры «Cultist Simulator». Это дообученная Qwen3-0.6B с архитектурой Qwen3ForCausalLM: модель обучали на игровых текстах с помощью LoRA, затем объединили адаптер с базовыми весами. Она принимает текст и генерирует текст; заявлены китайский и английский языки, контекст — до 40 960 токенов. В репозитории также доступен отдельный LoRA-адаптер для загрузки вместе с базовой моделью. Модель предназначена для создания описаний карт, повествования о событиях и действиях, текстов концовок, а также перевода между китайским и английским. Её можно использовать для фанатских текстов, заготовок для настольных ролевых игр и черновиков модификаций. Лицензия указана как Apache-2.0, однако обучающий корпус извлечён из игры, права на которую принадлежат Weather Factory; автор карточки просит ограничить применение личным обучением и некоммерческим творчеством и соблюдать условия правообладателя при публикации результатов. Модель училась на повествовательных полях игры и не знает игровых механик, эффектов карт, рецептов или числовых условий. Она может воспроизводить или близко перефразировать оригинальные игровые тексты. Небольшой размер ухудшает следование форматным требованиям, в частности сохранение маркеров при переводе; длинная связная генерация также не является её сильной стороной.