I.6Перевод и языковая адаптация

QuantFactory/LLaMAX3-8B-Alpaca-GGUF — квантованная версия модели LLaMAX3-8B-Alpaca, созданная QuantFactory с использованием llama.cpp. Базовая модель разработана командой LLaMAX и основана на Llama 3 с размером около 8 миллиардов параметров. Модель предназначена для генерации текста, следования инструкциям и многоязычного машинного перевода. Модель обучалась на данных для 102 языков с целью расширить языковые возможности Llama и сохраняет способности к выполнению инструкций, полученные при дообучении на датасете Alpaca. Она поддерживает перевод между более чем 100 языками, включая русский, английский, китайский, арабский, немецкий, французский, испанский, японский и многие другие. Основная модальность — текст; размер контекста в README не указан. К сильным сторонам относятся широкое языковое покрытие и улучшенные по сравнению с LLaMA3-8B-Alpaca показатели перевода на наборе Flores-101: среднее улучшение spBLEU превышает 5 баллов. Ограничения включают отсутствие сведений о точных параметрах квантования, размере контекста и качестве для задач, не связанных с переводом; результаты также могут различаться в зависимости от языка и направления перевода. Модель распространяется по лицензии MIT.

Модель KETI-AIR-Downstream/long-ke-t5-base-translation-aihub-ko2en разработана как дообученная версия KETI-AIR/long-ke-t5-base для перевода с корейского на английский. Она основана на архитектуре LongT5 и содержит 148,3 млн параметров; максимальная длина контекста — 4096 токенов. Модель принимает корейский текст и генерирует английский перевод. Дообучение проводилось на наборах данных AI Hub по переводу текстов о пищевых продуктах, науке и технологиях, социальной сфере и разговорной речи. В карточке приведены результаты оценки: BLEU 58,7008 и loss 0,5186. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Оценка качества может зависеть от тематики и характеристик входных текстов; в карточке не приведены подробные сведения об ограничениях и методике оценки.

Модель keithtwesigye/lunyoro-nllb-lun2en — дообученная версия NLLB-200 для перевода с луньоро/рутoоро на английский. Её разработали для перевода текстов на языке банту, распространённом в западной Уганде, на английский язык. Модель основана на facebook/nllb-200-distilled-600M и содержит около 463,7 млн параметров. Она использует архитектуру M2M100ForConditionalGeneration; исходный язык обозначен кодом run_Latn, целевой — eng_Latn. Контекст составляет до 1024 токенов. Обучение проводилось на примерно 53 948 парах предложений, собранных из краудсорсинговых примеров, словарных статей, параллельных корпусов и отфильтрованных данных обратного перевода. Доступны форматы ONNX и safetensors. Модель подходит для перевода отдельных предложений и текстов с луньоро/рутoоро на английский, в том числе в приложениях-переводчиках. Данные обучения объединяют варианты луньоро и рутoоро, поэтому качество может различаться в зависимости от варианта и тематики текста. Модель распространяется по лицензии MIT.

Карточка модели google/madlad400-7b-mt-bt на Hugging Face совпадает с карточкой jbochi/madlad400-7b-mt-bt, поэтому описание составлено по ней. MADLAD-400-7B-MT-BT — многоязычная модель машинного перевода на архитектуре T5, основанная на чекпойнте MADLAD-400 и дообученная на данных обратного перевода. Модель разработали авторы исследования MADLAD-400; пользователь jbochi преобразовал исходные веса и подготовил эту карточку. В репозитории доступны веса Safetensors и GGUF для использования через Transformers и совместимые инструменты. Модель предназначена для перевода между языками и многоязычных NLP-сценариев. Она содержит 3,3 млрд параметров, обучена на 250 млрд токенов и охватывает более 400 языков; контекст составляет 512 токенов. Авторы отмечают улучшение перевода с английского на другие языки благодаря обратному переводу. Качество зависит от языка и предметной области: оценка охватила 204 языка, а специализированные области отдельно не проверялись. Обучающие веб-данные могут приводить к ошибкам, предвзятым или нежелательным формулировкам. Модель распространяется по лицензии Apache 2.0.

Модель Narrativa mBART-large-50 дообучена для машинного перевода с португальского на английский. Она основана на архитектуре mBART, модели последовательность-в-последовательность, предварительно обученной многоязычным восстановлением зашумлённого текста. Для дообучения использовались корпуса OPUS-100 и OPUS-Books; в README указан результат 26,12 BLEU на тесте. Модель рассчитана на перевод португалоязычных текстов на английский. Веса представлены в формате PyTorch; размер составляет около 457,4 млн параметров, длина контекста — до 1024 токенов. Карточка описывает направление перевода и приводит метрику, но не сообщает подробностей о лицензии или ограничениях применимости.

MiLMMT-46-1B-v0.1 — языковая модель для машинного перевода, разработанная Xiaomi. Это дообученная версия MiLMMT-46-1B-Pretrain на базе Gemma3-1B: базовая модель прошла дополнительное предобучение на смеси из 143 млрд токенов монолингвальных и параллельных данных для 46 языков. Модель имеет плотную архитектуру Gemma 3 с причинным языковым моделированием, содержит 1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для перевода текста между поддерживаемыми языками с помощью текстового запроса, в котором задаются исходный и целевой языки. Она поддерживает 46 языков, включая русский, английский, китайский, японский, арабский, хинди и другие. В метаданных указана лицензия Gemma; веса доступны в формате safetensors для Transformers. Модель может переводить только между перечисленными в карточке языками; качество перевода на другие языки не гарантируется. Xiaomi отмечает, что качество перевода продолжает улучшаться.

MiLMMT-46-4B-v0.1 — модель Xiaomi для машинного перевода на базе языковой модели Gemma 3. Она дообучена на MiLMMT-46-4B-Pretrain, созданной продолжением предобучения Gemma3-4B на 143 млрд токенов из монолингвальных и параллельных данных на 46 языках. Модель использует архитектуру Gemma 3 с генерацией текста; веса доступны в формате safetensors. Модель предназначена для перевода между поддерживаемыми языками по текстовому запросу. В их числе русский, английский, китайский, арабский, хинди, японский, корейский, испанский, французский и другие — всего 46 языков. Лицензия указана как Gemma. Заявленная поддержка ограничена перечисленными 46 языками; качество перевода на другие языки не гарантируется. Разработчик также отмечает, что качество перевода продолжает улучшаться.

MiLMMT-46-4B-v1.0 — языковая модель Xiaomi Inc. для перевода между 46 поддерживаемыми языками. Она основана на Gemma 3 и построена в несколько этапов: продолженное предобучение на 143 млрд токенов монолингвальных и параллельных данных, supervised fine-tuning, обучение с подкреплением и слияние моделей. В метаданных указаны архитектура Gemma3ForConditionalGeneration и формат safetensors; модель запускается через Transformers. Модель предназначена для перевода текстов, в том числе между такими языками, как русский, английский, китайский, японский, арабский и хинди. Для перевода следует указывать названия исходного и целевого языков в запросе. Модель поддерживает только перечисленные в карточке 46 языков, а качество перевода на другие языки не гарантируется. Лицензия — Gemma.

Модель Bila Faye, дообученная на базе nllb-200-distilled-600M для перевода между волоф, французским и английским языками. Она поддерживает направления волоф—французский, волоф—английский и французский—английский в обе стороны и предназначена для машинного перевода текстов. Модель использует архитектуру M2M100ForConditionalGeneration, содержит 463,7 млн параметров и принимает контекст длиной до 1024 токенов. Для обучения использованы два набора данных с английскими, волофскими и французскими переводами. Модель распространяется в формате safetensors и по лицензии MIT.

Это модель машинного перевода CIFope, дообученная на базе дистиллированной NLLB-200 для перевода между волоф и французским языками. Она принимает текст и генерирует перевод; в карточке описаны направления с волоф на французский и с французского на волоф. Модель реализована на архитектуре M2M100ForConditionalGeneration и распространяется в формате PyTorch; число параметров по метаданным — 463,7 млн, длина контекста — до 1024 токенов. Лицензия — MIT. Карточка не сообщает оценок качества или ограничений применения.

facebook/nllb-moe-54b — модель машинного перевода семейства NLLB-MoE, представленная командой NLLB в работе No Language Left Behind. Архитектура — смесь экспертов; в метаданных указано 2,1 млрд параметров, формат PyTorch и контекст до 1024 токенов. Модель предназначена для перевода между языками с указанием целевого языка через его код, например fra_Latn для французского. Модель обучалась с использованием Expert Output Masking; исследование NLLB-200 описывает методы обучения и работу с языками с разным объёмом ресурсов. Карточка указывает датасет FLORES-200 и поддержку множества языков. Для хранения чекпойнта требуется около 350 ГБ, поэтому для генерации может потребоваться Accelerate и достаточные системные ресурсы. Лицензия CC-BY-NC-4.0 ограничивает использование некоммерческими условиями.

Helsinki-NLP/opus-mt-af-fi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с африкаанс на финский и основана на архитектуре Marian Transformer с выравниванием. Для предварительной обработки применяются нормализация текста и SentencePiece; размер модели — 56,2 млн параметров, максимальный контекст — 512 токенов. В README приведён результат BLEU 32,3 и chr-F 0,576 на тестовом наборе JW300.af.fi. Модель доступна в форматах PyTorch и TensorFlow под лицензией Apache-2.0.

opus-mt-af-fr — модель машинного перевода африкаанс на французский язык из проекта OPUS-MT. Она разработана для перевода текстов с африкаанс на французский и построена на архитектуре MarianMT с моделью Transformer-align. Веса содержат 55,6 млн параметров; для предобработки используются нормализация текста и SentencePiece, длина контекста — 512 токенов. Модель обучена на данных OPUS. В README приведён результат BLEU 35,3 и chr-F 0,543 на тестовом наборе JW300.af.fr. Репозиторий предоставляет веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ar-el — модель машинного перевода проекта OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с арабского на современный греческий. Модель основана на архитектуре Transformer-align и реализована как MarianMT; число параметров — 57,6 млн, контекст — до 512 токенов. Для обработки используются нормализация и SentencePiece с словарями размером 32 тыс. токенов. Модель предназначена для перевода арабских текстов на греческий, в том числе для многоязычных материалов и пользовательских запросов. В тесте Tatoeba указаны BLEU 43,9 и chr-F 0,636; эти оценки относятся к конкретному тестовому набору и не гарантируют аналогичное качество на других типах текстов. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ar-it — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с арабского на итальянский; архитектура — Transformer на базе MarianMT, около 57,6 млн параметров. Для предварительной обработки используются нормализация и SentencePiece с словарями размером 32k. Нативная длина контекста — 512 токенов. Модель предназначена для перевода арабских текстов на итальянский, в том числе арабских вариантов, перечисленных в карточке: арабского, египетского и магрибских вариантов. В README приведена оценка BLEU 44,2 на тесте Tatoeba ara-it. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-bg-tr — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с болгарского на турецкий; обучающие языковые варианты включают болгарскую кириллицу и латиницу. Модель содержит 57,5 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. единиц, а её родной контекст составляет 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с болгарского на турецкий. В карточке приведён результат BLEU 40,9 и chr-F 0,687 на тесте Tatoeba для этой языковой пары. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ca-fr — модель машинного перевода, опубликованная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с каталанского языка на французский и основана на архитектуре Transformer-align; в реализации используется MarianMT. Модель содержит 36,1 млн параметров и рассчитана на контекст до 512 токенов. Перед обработкой текста применяются нормализация и SentencePiece с словарями по 12 тысяч элементов. Для набора Tatoeba-test.cat.fra в карточке приведены оценки BLEU 52,4 и chr-F 0,694. Модель подходит для перевода отдельных текстов и интеграции в приложения с направлением перевода ca→fr. Распространяется по лицензии Apache-2.0; доступны форматы PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-ca-pt — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с каталанского языка на португальский и подходит для перевода отдельных фраз и текстов в приложениях и рабочих процессах локализации. Модель построена на архитектуре Transformer-align и реализована как MarianMTModel; размер — 35,7 млн параметров. Для предобработки применяются нормализация и SentencePiece. Контекст составляет до 512 токенов. В тесте Tatoeba-test.cat.por указаны BLEU 44,9 и chr-F 0,658. Модель принимает и выдаёт текст. Перевод работает в одном направлении — с каталанского на португальский; для других языковых пар она не предназначена. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-cs-de — модель машинного перевода семейства MarianMT, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с чешского языка на немецкий и подходит для перевода отдельных фраз и текстов, включая новостные материалы. Модель использует архитектуру Transformer, нормализацию текста и токенизацию SentencePiece; размер составляет около 55 млн параметров, длина контекста — 512 токенов. В README приведены результаты на нескольких тестовых наборах новостного перевода: BLEU от 21,1 до 22,2 и chr-F от 0,520 до 0,525. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-cs-fr — модель машинного перевода, разработанная проектом OPUS под организацией Helsinki-NLP. Она переводит текст с чешского языка на французский. Модель построена на архитектуре Marian Transformer; для предобработки применяются нормализация и SentencePiece. Веса доступны в форматах PyTorch и TensorFlow, размер модели — около 55 млн параметров, заявленная длина контекста — 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с чешского на французский. В карточке приведён результат BLEU 21,0 и chr-F 0,488 на тестовом наборе GlobalVoices.cs.fr. Репозиторий распространяется по лицензии Apache 2.0.

Helsinki-NLP/opus-mt-da-de — модель машинного перевода на архитектуре MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с датского языка на немецкий. Модель основана на Transformer, использует нормализацию и токенизацию SentencePiece; в репозитории доступны веса PyTorch и TensorFlow. Размер модели — 54,4 млн параметров, длина контекста — 512 токенов. Модель подходит для перевода датских предложений и текстов на немецкий. В README приведены результаты на наборе Tatoeba.da.de: BLEU 57,4 и chr-F 0,740. Датасет OPUS указан как обучающий. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-da-no — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Marian (Transformer). Она переводит текст с датского на норвежский, поддерживая варианты Bokmål и Nynorsk. Веса содержат около 34,8 млн параметров; максимальный контекст — 512 токенов. Для выбора языка перевода в начале предложения требуется целевой токен вида `>>id<<`. Модель использует нормализацию текста и токенизацию SentencePiece. В карточке приведён результат на тестовом наборе Tatoeba: BLEU 66,4 и chr-F 0,801. Модель подходит для перевода отдельных фраз и текстов с датского на норвежский; качество на других типах текстов может отличаться. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-cs — модель машинного перевода немецкого языка на чешский, разработанная проектом OPUS и опубликованная Helsinki-NLP. Она построена на архитектуре Transformer в реализации MarianMT и обучена на корпусе OPUS. Веса доступны в форматах PyTorch и TensorFlow; размер модели — около 55 млн параметров. Модель предназначена для перевода текстов с немецкого на чешский. В предобработке используются нормализация текста и SentencePiece. Для нескольких новостных тестовых наборов в карточке приведены оценки BLEU от 20,2 до 22,4 и chr-F от 0,485 до 0,499. Контекст модели составляет 512 токенов. Лицензия Apache-2.0 допускает использование и распространение на её условиях. Модель ориентирована на одну языковую пару и не предназначена для перевода в обратном направлении или между другими языками.

gaudi/opus-mt-de-en-ctranslate2 — преобразованная для CTranslate2 версия модели Opus-MT от Helsinki-NLP. Она предназначена для перевода с немецкого на английский и запуска переводческих моделей с ускоренным инференсом на CPU и GPU. Архитектура — Marian, encoder-decoder Transformer; для CPU предусмотрен compute type int8, для CUDA — int8_float16. Репозиторий совместим с CTranslate2 и hf-hub-ctranslate2, лицензия — Apache-2.0. В README приведены тесты производительности для общих моделей Opus-MT: в конкретной конфигурации CTranslate2 показал более высокую скорость генерации, чем указанные реализации Transformers и Marian. Автор также сообщает о возможном снижении BLEU примерно на 5% в собственных тестах; скорость и качество зависят от настроек и требуют оценки на целевых данных.

Helsinki-NLP/opus-mt-de-fi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на финский и основана на архитектуре Marian Transformer. Модель содержит 55,9 млн параметров, использует нормализацию и SentencePiece для предварительной обработки текста; длина контекста — до 512 токенов. Модель подходит для перевода отдельных фраз и текстов, а также для встраивания немецко-финского перевода в приложения и конвейеры обработки текста. В тесте Tatoeba.de.fi указаны BLEU 40,0 и chr-F 0,628. Доступны веса PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Helsinki-NLP разработала opus-mt-de-fr — компактную модель машинного перевода с немецкого на французский. Это плотная Transformer-модель семейства MarianMT с 56,5 млн параметров; для обработки текста применяются нормализация и SentencePiece. Модель принимает немецкий текст и генерирует перевод на французском, поддерживается контекст до 512 токенов. Модель предназначена для перевода немецких текстов на французский. В карточке приведены результаты на нескольких тестовых наборах: BLEU от 26,4 до 32,2 и chr-F от 0,548 до 0,590. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-de-hu — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на венгерский и предназначена для автоматизированного перевода предложений и текстовых фрагментов. Модель основана на архитектуре Marian с Transformer и использует нормализацию текста и токенизацию SentencePiece; размер — 55,2 млн параметров, заявленная длина контекста — 512 токенов. В карточке приведён результат на тестовом наборе Tatoeba.de.hu: BLEU 34,3 и chr-F 0,588. Доступны веса в форматах PyTorch и TensorFlow. Лицензия Apache-2.0 допускает использование и модификацию на её условиях.

Helsinki-NLP/opus-mt-de-it — модель машинного перевода на базе архитектуры MarianMT, разработанная проектом OPUS и предназначенная для перевода с немецкого языка на итальянский. Она использует Transformer, нормализацию текста и токенизацию SentencePiece; число параметров — 55,8 млн, максимальный контекст — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Модель обучена на данных OPUS. В карточке приведён результат BLEU 45,3 и chr-F 0,671 на тестовом наборе Tatoeba.de.it. Она подходит для перевода предложений и текстов с немецкого на итальянский; качество для иных языковых направлений не заявлено. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-de-lt — модель машинного перевода с немецкого языка на литовский. Она построена на архитектуре MarianMT с трансформером и выравниванием, использует нормализацию текста и токенизацию SentencePiece. Модель содержит 55,3 млн параметров и рассчитана на контекст до 512 токенов. Модель обучена на данных OPUS. В README приведён результат BLEU 37,9 и chr-F 0,633 на тестовом наборе Tatoeba.de.lt. Её можно применять для перевода фраз и текстов с немецкого на литовский. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-uk — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с немецкого на украинский и обратно не предназначена: направление перевода задано от немецкого к украинскому. Модель построена на архитектуре Marian Transformer и содержит 57,2 млн параметров; для обработки текста применяется нормализация и токенизация SentencePiece с моделью на 32 тыс. токенов. Длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с немецкого на украинский. В README приведён результат BLEU 40,2 на тестовом наборе Tatoeba для этой языковой пары. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache 2.0.