I.6Перевод и языковая адаптация

ControlMT v2.3 — это компактная модель на 139 млн параметров, разработанная для перевода между каннада и английским языком. Она использует архитектуру encoder-decoder Transformer и предназначена для перевода в обоих направлениях, включая тексты с естественным смешением каннада и английских слов, аббревиатур и названий. Модель подходит для перевода новостей, государственных документов, форм и записей клиентов, материалов электронной коммерции, сообщений в социальных сетях и обращений в поддержку. По данным карточки, на FLORES-200 devtest она показывает COMET-DA выше 0,84 в обоих направлениях; также заявлена работа на потребительском оборудовании, в том числе после int8-квантизации. Метаданные указывают контекст в 320 токенов. ControlMT v2.3 не является универсальным переводчиком, чат-ботом или моделью для следования инструкциям: заявленная задача — только перевод между каннада и английским. Карточка отмечает возможные ошибки в идиомах, редких именах и современной технической лексике; для PAN-подобных идентификаторов при переводе с английского на каннада иногда требуется постобработка. Модель не сертифицирована для критически важных медицинских или юридических сценариев. Лицензия весов — Apache 2.0; лицензии исходных обучающих корпусов отличаются.

CLAck/en-km — модель машинного перевода с английского на кхмерский язык, созданная путём дообучения MarianMT на основе модели en-zh. По карточке, дообучение на кхмерском языке продолжалось 30 эпох. Модель имеет архитектуру MarianMT, содержит 60,6 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для перевода текстов с английского на кхмерский. Это специализированный переводчик для одной языковой пары; данных о дополнительных сценариях применения или оценках качества в карточке нет. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Gaon-1.7B v2 Translate — модель для перевода между корейским и английским языками, разработанная k08200. Это плотная причинно-языковая модель семейства Qwen3 с 1,7 млрд параметров и контекстом 2048 токенов. Она обучена с нуля и дообучена на 100 тысячах открытых параллельных пар из новостного, разговорного и энциклопедического текстов; добавленный набор диалогов помогает сохранять способность к общению. Для перевода задают просьбу на корейском языке с исходным предложением; лучше всего модель работает при temperature 0,3. Модель предназначена для перевода простых и средних по длине предложений с корейского на английский и обратно, а также может поддерживать общий диалог. На длинных предложениях со сложной структурой возможны пропуски или добавления уточняющих смысловых деталей. Распространяется по лицензии Apache-2.0.

lemon-mint/gemma-ko-en-translate-v0.4 — экспериментальная инструкция-модель для перевода между корейским и английским языками. Карточка показывает примеры перевода в обоих направлениях: с корейского на английский и с английского на корейский, включая запросы на корейском языке. Модель построена на плотной архитектуре GemmaForCausalLM с 2,5 млрд параметров; принимает текст и выдаёт текст. Родительская модель и способ получения этой версии не указаны. Поддерживается контекст до 8192 токенов. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

Модель gateremark Kikuyu TranslateGemma-12B — дообученная разработчиком gateremark версия Google TranslateGemma-12B-it для перевода с английского на кикуйю. Это плотная модель семейства Gemma 3 с 12,4 млрд параметров; при обучении использовался LoRA, а репозиторий содержит веса в формате safetensors. Модель принимает текст и генерирует текстовый перевод. Она предназначена для переводческих инструментов для носителей кикуйю, приложений для изучения языка и проектов по сохранению культурного наследия. Обучение проведено на 30 430 параллельных предложениях английского и кикуйю; в карточке приведены BLEU 19,61 и eval loss 0,578. Модель рассчитана на стандартный кикуйю и общий текст. Перевод обучен только в направлении английский → кикуйю. Модель может хуже справляться со специализированной терминологией и диалектными вариантами; оценка в карточке основана на BLEU, а человеческая проверка ещё ведётся. Лицензия — Apache-2.0.

Koshur Kouter KS-EN v1 — модель для машинного перевода между кашмирским и английским языками, разработанная Haq Nawaz Malik и Nahfid Nissar. Это дообученная модель Gemma 3 на базе sarvamai/sarvam-translate: QLoRA-адаптер обучен на параллельных примерах перевода в обоих направлениях и объединён с базовыми весами. Чекпойнт содержит около 4 млрд параметров и загружается через Transformers; метаданные указывают контекст до 131 072 токенов. Модель предназначена для коротких переводов на уровне предложений, оценки и сравнения систем обработки кашмирского языка, а также ручной проверки переводов в обоих направлениях. Карточка рекомендует детерминированное декодирование: генерация чувствительна к настройкам, а выборка и чрезмерно длинное продолжение могут ухудшать результат. Модель не рассчитана на длинные документы или открытый диалог; качество на технической, юридической и диалектной лексике не проверено. Лицензия — GPL-3.0.

midwestcyr/labse-ruskaromani — модель Sentence Transformers, дообученная на базе многоязычной sentence-transformers/LaBSE для работы с парами предложений на русском языке и диалекте руска рома. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска и сопоставления текстов по смыслу, включая поиск соответствий между русскими и романи-текстами. Модель построена на архитектуре BERT и принимает текст. Для неё заявлена длина последовательности до 256 токенов в README; метаданные указывают контекст до 512 токенов. Обучение проводилось на параллельных парах из Национального корпуса русского языка, а оценка на валидационном наборе ruska-roma показала среднюю точность 0,8974 в задаче поиска переводных соответствий. Модель распространяется по лицензии MIT.

BuzzASR/lithuanian — монолингвальная модель автоматического распознавания речи на литовском языке, разработанная как часть набора BuzzASR и дообученная на базе openai/whisper-large-v3. Это плотная модель Whisper с архитектурой WhisperForConditionalGeneration, содержащая 905,2 млн параметров; для работы используется Transformers, веса опубликованы в формате safetensors. Модель преобразует литовскую речь в текст, а языковая и задачная подсказки уже заданы в конфигурации генерации. Модель обучена на данных FLEURS и Common Voice Corpus 25.0; также использовались текстовые данные корпуса Goldfish. На тестах FLEURS и Common Voice показаны CER 4,81% и 0,78% соответственно, а на объединённом наборе — CER 2,11% и WER 8,75%. Разработчики сообщают, что среди сравниваемых открытых систем модель показала наименьший CER на объединённом тестовом наборе. Модель предназначена для транскрибации литовской речи. Она монолингвальна, а качество за пределами тестовых наборов FLEURS и Common Voice, включая другие предметные области и диалекты, может отличаться. Лицензия — MIT.

4yo1/llama3-pre1-pre2-ins1-lora3 — языковая модель на архитектуре Llama, опубликованная 4yo1. В README модель описана как дообученная; метаданные указывают 7,6 млрд параметров, библиотеку Transformers и контекст до 8192 токенов. Репозиторий содержит веса safetensors. Модель предназначена для перевода между английским и корейским языками. Метаданные также отмечают возможность генерации текста и чат-интерфейс. Лицензия — MIT. В карточке не приведены результаты оценки качества или подробности обучения, поэтому пригодность для конкретной задачи следует проверять отдельно.

Карточка модели CXDuncan/madlad400-3b-mt-optimized-quantized-onnx на Hugging Face совпадает с карточкой google/madlad400-3b-mt, поэтому описание составлено по ней. MADLAD-400-3B-MT — многоязычная модель машинного перевода семейства T5, опубликованная в репозитории Google и основанная на архитектуре T5. В метаданных указан размер 731,9 млн параметров; модель доступна в форматах Safetensors и GGUF и рассчитана на контекст до 512 токенов. Карточка сообщает об обучении на корпусе MADLAD-400 и параллельных данных для 157 языков; охват модели заявлен как более 400 языков. Модель предназначена прежде всего для перевода между языками и многоязычных NLP-сценариев, в том числе для работы с языками, недостаточно представленными в крупных корпусах. Её можно применять для перевода коротких текстов и в качестве основы для экспериментов с машинным переводом; качество, по данным карточки, зависит от языка и, вероятно, от предметной области. Модель обучена на общедоступных веб-данных, поэтому возможны низкое качество или проблемные результаты для отдельных языков и тематик. Она не предназначена для специализированных областей без адаптации, а её пригодность для производственных сценариев не оценивалась. Лицензия — Apache 2.0.

LalitaDeelert разработал MarianMT-модель для перевода с тайского языка на китайский упрощённый. Это трансформерная модель архитектуры MarianMT с 41,6 млн параметров, обученная с нормализацией текста и токенизацией SentencePiece. В README указана оценка 15,53 на тестовом наборе, но метрика не названа. Модель принимает текст на тайском и генерирует перевод на упрощённом китайском. Она предназначена для автоматического перевода коротких текстовых фрагментов; максимальная длина контекста составляет 512 токенов. Модель опубликована в формате PyTorch и использует библиотеку Transformers. Карточка описывает собственное дообучение команды LalitaDeelert на данных проекта NLP-ZH_TH-Project; базовая модель не указана. Лицензия в предоставленных данных не указана.

Карточка модели NostraEmpire/mirror-madlad400-3b-mt на Hugging Face совпадает с карточкой google/madlad400-3b-mt, поэтому описание составлено по ней. MADLAD-400-3B-MT — многоязычная модель машинного перевода семейства T5, опубликованная в репозитории Google и основанная на архитектуре T5. В метаданных указан размер 731,9 млн параметров; модель доступна в форматах Safetensors и GGUF и рассчитана на контекст до 512 токенов. Карточка сообщает об обучении на корпусе MADLAD-400 и параллельных данных для 157 языков; охват модели заявлен как более 400 языков. Модель предназначена прежде всего для перевода между языками и многоязычных NLP-сценариев, в том числе для работы с языками, недостаточно представленными в крупных корпусах. Её можно применять для перевода коротких текстов и в качестве основы для экспериментов с машинным переводом; качество, по данным карточки, зависит от языка и, вероятно, от предметной области. Модель обучена на общедоступных веб-данных, поэтому возможны низкое качество или проблемные результаты для отдельных языков и тематик. Она не предназначена для специализированных областей без адаптации, а её пригодность для производственных сценариев не оценивалась. Лицензия — Apache 2.0.

Это версия модели FuguMT для перевода с японского на английский, подготовленная для приложения Mojicast с субтитрами в реальном времени. Модель разработал автор проекта Fugu Machine Translator; репозиторий ishiki-emo содержит преобразованные веса для запуска через CTranslate2. В основе лежит staka/fugumt-ja-en — компактная модель Marian-NMT. Версия в этом репозитории преобразована из формата MarianMT в CTranslate2 с точностью fp32; вместе с весами поставляются исходные SentencePiece-токенизаторы. Указанный размер файлов модели — около 122 МБ. Модель предназначена для перевода японской речи, представленной текстом, на английский, в том числе для субтитров в реальном времени. Модель принимает японский текст и выдаёт английский перевод. Лицензия CC BY-SA 4.0 требует указания авторства и распространения производных версий на тех же условиях.

MoVoCMT — модель машинного перевода на базе MarianMT, разработанная для проекта MoVoC. Она обучена с нуля, без предобученного чекпойнта, на двунаправленном переводе между английским и амхарским, а также английским и тигринья; архитектура включает 6 слоёв кодировщика и 6 слоёв декодировщика, 8 голов внимания и 512-мерные скрытые состояния. Модель насчитывает 86,6 млн параметров и использует общий токенизатор SentencePiece Unigram на 120 тыс. токенов для английского и письменности геэз. Модель предназначена для перевода между английским, амхарским и тигринья. Также её проверяли в режиме zero-shot для перевода с тигре на английский и обратно: результаты для направления с тигре на английский выглядят обнадёживающе, но проверка охватывала лишь 43 пары; при переводе на тигре наблюдались циклические повторы. На тестах английско-амхарского и английско-тигринья перевода направление на английский стабильно сильнее обратного. Контекст модели — 512 токенов. Лицензия — CC BY 4.0.

Модель thilina/mt5-sinhalese-english — версия mT5-base с дообучением на наборе данных сингальско-английского перевода из Tatoeba Challenge. Она предназначена для перевода текста с сингальского на английский и с английского на сингальский. Модель содержит 291,2 млн параметров и использует архитектуру mT5 для генерации текста по текстовому входу; доступны веса в форматах PyTorch и TensorFlow. В карточке приведены оценки SacreBLEU: 24,4 для перевода с сингальского на английский и 10,3 для перевода с английского на сингальский. Использование разрешено по лицензии Apache-2.0.

Farizeh/nllb-eng-arabic-wmt26 — дообученная разработчиком Farizeh модель машинного перевода на основе NLLB-200-3.3B для перевода с английского на арабский в рамках низкоресурсного направления WMT26 Task 1A. Это плотная модель архитектуры M2M100 с 2,1 млрд параметров, рассчитанная на контекст до 1024 токенов; веса доступны в формате safetensors. В репозитории также есть отдельный контроллер NTK-Mirror для масштабирования выбранных каналов скрытых состояний при инференсе. По результатам devtest контроллер почти не меняет качество NLLB после многоязычного дообучения. Модель предназначена для машинного перевода англоязычных текстов на арабский, в частности для низкоресурсных сценариев перевода, связанных с WMT26. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. В карточке приведены результаты на devtest; они не гарантируют аналогичного качества на других тематиках и данных.

NorMistral-11b-warm — большая языковая модель семейства NORA.LLM, разработанная Language Technology Group Университета Осло совместно с NORA.LLM. Она инициализирована на базе Mistral-Nemo-Base-2407 и продолжительно предобучена на 250 млрд субтокенов, включая норвежские тексты на Bokmål и Nynorsk, северносаамский, датский, шведский, исландский, фарерский и английский языки, а также программный код. Модель предназначена преимущественно для исследовательских задач, генерации текста и языкового переноса; в README приведён пример применения для zero-shot перевода. Модель использует архитектуру Mistral с 40 трансформерными слоями, 11,4 млрд параметров, скрытым размером 5120, SwiGLU, RMSNorm, rotary positional embeddings и grouped-query attention с 32 query heads и 8 key/value heads. В ней используется специализированный токенизатор на 51 200 токенов, оптимизированный для целевых языков и обеспечивающий более эффективную токенизацию по сравнению с исходной моделью. Благодаря гибридному masked-causal обучению модель может применяться как авторегрессионная генеративная модель и как двунаправленная encoder-модель. Размер контекстного окна в README не указан. Сильными сторонами являются специализация на языках Норвегии и других скандинавских языках, поддержка северносаамского и улучшенная эффективность токенизации. Ограничение заключается в том, что модель обучена на необработанных, преимущественно веб-текстах и не дообучена следовать инструкциям; при неподходящих запросах она может генерировать вредоносное содержимое. Модель выпущена под лицензией Apache-2.0, при этом разработчики отмечают, что не владеют данными обучающей выборки.

Helsinki-NLP/opus-mt-alv-en — модель машинного перевода из проекта OPUS-MT, построенная на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с набора языков атлантическо-конголезской группы на английский: среди исходных языков указаны эве, фула, игбо, киньяруанда, лингала, луганда, ньянджа, суахили, волоф, йоруба и зулу. Модель содержит 56,7 млн параметров, использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов; длина контекста — 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с поддерживаемых африканских языков на английский. В README приведены результаты тестов на наборах Tatoeba, включая BLEU 6,3 для эве→английский и 4,5 для игбо→английский; качество зависит от исходного языка и домена, поэтому результаты следует проверять для целевого сценария. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

opus-mt-bi-fr — модель машинного перевода из семейства OPUS-MT, построенная на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с языка bi на французский; обучение выполнено на корпусе OPUS с нормализацией и токенизацией SentencePiece. Модель содержит 54,6 млн параметров, её контекст ограничен 512 токенами. Модель подходит для перевода предложений и текстов с bi на французский в приложениях на базе Transformers, PyTorch или TensorFlow. В README приведён результат BLEU 21,5 на тестовом наборе JW300.bi.fr. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ceb-en — модель машинного перевода Cebuano на английский язык из проекта OPUS-MT, связанного с Helsinki-NLP. Она использует архитектуру MarianMT на базе Transformer-align; для предварительной обработки применяются нормализация текста и SentencePiece с токенизаторами по 32 тыс. элементов. Модель содержит 54,5 млн параметров, рассчитана на контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода текстов с Cebuano на английский, включая отдельные фразы и предложения. В README приведён результат BLEU 21,5 на тестовом наборе Tatoeba-test.ceb.eng. Модель не заявлена как многоязычная и работает только в направлении Cebuano → English. Лицензия — Apache-2.0. Результат зависит от тематики и качества исходного текста; указанная оценка относится к одному тестовому набору и не гарантирует аналогичное качество на других данных.

Helsinki-NLP/opus-mt-ceb-fi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с себуанского языка на финский и предназначена для автоматического перевода отдельных фраз и текстов. Модель использует архитектуру MarianMT на основе Transformer; число параметров — 56,4 млн, контекст — до 512 токенов. Предобработка включает нормализацию текста и SentencePiece. В тесте JW300 для пары ceb-fi указаны BLEU 27,4 и chr-F 0,525. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Она специализирована на одном направлении перевода; качество может зависеть от тематики и особенностей исходного текста.

Helsinki-NLP/opus-mt-cel-en — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит тексты с нескольких кельтских языков на английский: валлийского, шотландского гэльского, ирландского, бретонского, корнского и мэнского. Архитектура — Transformer Marian, около 54,8 млн параметров; модель использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и принимает последовательности длиной до 512 токенов. Модель предназначена для перевода текстов и фраз с кельтских языков на английский. В README приведены тестовые оценки BLEU: 41,5 для валлийского и 17,2 для бретонского; результаты заметно различаются в зависимости от языка и тестового набора. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-crs-fr — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с креольского языка Сейшельских островов (crs) на французский (fr) и предназначена для перевода отдельных текстов и фраз. Модель построена на архитектуре MarianMT с Transformer, содержит 49,1 млн параметров и использует нормализацию текста и токенизацию SentencePiece; заявленная длина контекста — 512 токенов. В README приведён результат BLEU 29,4 на тестовом наборе JW300.crs.fr. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP разработала opus-mt-de-ht — модель машинного перевода с немецкого языка на гаитянский креольский. Она построена на архитектуре MarianMT с плотной Transformer-моделью, использует нормализацию текста и токенизацию SentencePiece; размер составляет 50,3 млн параметров, контекст — до 512 токенов. Модель обучена на данных OPUS и предназначена для перевода предложений и текстов с немецкого на гаитянский креольский. В тесте JW300.de.ht модель получила BLEU 21,8 и chr-F 0,390. Доступны веса PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Helsinki-NLP/opus-mt-en-mkh — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с английского на несколько мон-кхмерских языков: кхаси, кхмерский, мон и вьетнамский; для выбора целевого языка в начале предложения требуется токен вида >>id<<. Модель построена на архитектуре Transformer и реализована как MarianMTModel; содержит 53,9 млн параметров, использует нормализацию и токенизацию SentencePiece с vocabularies по 32 тыс. токенов. Максимальная длина контекста — 512 токенов. Модель подходит для перевода коротких текстов, фраз и предложений с английского на поддерживаемые языки. В карточке приведены тестовые оценки на Tatoeba для кхаси, кхмерского и монского; результаты различаются по языковым парам, поэтому качество следует проверять на конкретных текстах и целевом языке. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-swc — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка (en) на код swc; в карточке swc указан как целевой язык, но его название не раскрыто. Модель построена на архитектуре MarianMT с Transformer, содержит 55,3 млн параметров и поддерживает контекст до 512 токенов. Предобработка включает нормализацию и SentencePiece. Модель предназначена для перевода текстов с английского на swc. В README приведены результаты на тестовом наборе JW300.en.swc: BLEU 40,1 и chr-F 0,613. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-en-tw — модель машинного перевода с английского языка на язык, обозначенный в карточке кодом tw. Это модель архитектуры MarianMT на базе Transformer-align с предобработкой текста, включающей нормализацию и SentencePiece; размер — 54,3 млн параметров, родная длина контекста — 512 токенов. Модель предназначена для перевода текстов и обучена на данных OPUS. В карточке приведён результат BLEU 38,2 и chr-F 0,577 на тестовом наборе JW300.en.tw. Модель принимает текст на английском и генерирует перевод на tw. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

opus-mt-es-en-scielo — модель машинного перевода на архитектуре MarianMT, созданная дообучением Helsinki-NLP/opus-mt-es-en на датасете SciELO. Она предназначена для перевода научных текстов с испанского на английский. Модель содержит 58,4 млн параметров, принимает текст и выдаёт текст; максимальная длина контекста — 512 токенов. В карточке указаны результаты оценки на тестовой выборке: BLEU 40,8788 и loss 1,2593. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-es-mt — модель машинного перевода семейства MarianMT, разработанная проектом OPUS-MT. Она переводит текст с испанского языка на язык, обозначенный в карточке как «mt»; README не раскрывает, какой именно это язык. Модель построена на архитектуре Transformer, содержит 54,4 млн параметров и рассчитана на контекст до 512 токенов. Для предобработки применяются нормализация текста и SentencePiece. Модель предназначена для автоматического перевода испанских текстов на указанный целевой язык. В README приведён результат 28,1 BLEU и 0,460 chr-F на тестовом наборе JW300.es.mt. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fj-en — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с фиджийского языка на английский и предназначена для перевода предложений и текстовых фрагментов. Модель построена на архитектуре Transformer с выравниванием и использует нормализацию и SentencePiece; в метаданных указаны семейство Marian, 53,8 млн параметров и контекст до 512 токенов. В карточке приведены результаты на тестовых наборах JW300.fj.en и Tatoeba.fj.en: BLEU 31,0 и 79,7 соответственно. Модель распространяется по лицензии Apache-2.0. Она выполняет перевод только в направлении с фиджийского на английский; качество на иных языках и вне приведённых тестов не подтверждено.