I.6Перевод и языковая адаптация

webbigdata опубликовал квантованную версию ALMA-7B-Ja-V2 для машинного перевода между японским и английским языками. Модель основана на архитектуре Llama и содержит 6,6 млрд параметров; для перевода использует текстовый ввод и выдаёт текст. Указанная длина контекста — 4096 токенов. Весы преобразованы методом GPTQ в 4-битный формат с группой 128, что уменьшает размер и ускоряет запуск, хотя может снизить качество перевода. Модель предназначена для перевода с японского на английский и с английского на японский, в том числе для пакетной обработки текстовых файлов. Для использования применяется лицензия Llama 2; её условия распространяются на применение и распространение модели.

BigTranslate — мультиязычная модель для перевода, созданная дообучением LLaMA-13B. Разработчики расширили языковые возможности исходной модели в три этапа: продолжили обучение на китайских текстах, затем на параллельных данных для 102 естественных языков и после этого настроили модель на инструкции по переводу. В метаданных указаны архитектура LLaMA для авторегрессионной генерации текста, размер 13 млрд параметров и формат PyTorch. Модель предназначена для перевода между естественными языками и выполнения переводческих запросов в формате инструкций. Авторы сообщают о предварительных результатах, сопоставимых с ChatGPT и Google Translate для многих языков, и о превосходстве над ChatGPT в восьми языковых парах. Эти результаты относятся к экспериментам авторов и не гарантируют такое же качество для любых языков и текстов. Модель выпущена под лицензией LGPL-3.0. Карточка не сообщает длину контекста и не приводит полный перечень поддерживаемых языков; заявлена работа с более чем 100 языками, включая китайский.

Hunyuan-MT-7B — языковая модель перевода от Tencent, построенная на плотной архитектуре Hunyuan v1 и содержащая 7,5 млрд параметров. Она предназначена для перевода текста между 33 языками, в том числе пятью языками национальных меньшинств Китая. В соревновании WMT25 модель заняла первое место в 30 из 31 языковых категорий, в которых участвовала. Модель принимает текстовые запросы в формате чата и генерирует перевод; для репозитория указаны Transformers и контекст длиной 32 768 токенов. README описывает также отдельную ансамблевую модель Hunyuan-MT-Chimera, но эта карточка относится к Hunyuan-MT-7B. В README приведён пример использования через Transformers, однако условия лицензии в предоставленных данных не описаны.

Hunyuan-MT-Chimera-7B-GGUF — это квантизированная версия модели Hunyuan-MT-Chimera-7B, разработанной Tencent и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена прежде всего для задач машинного перевода и поддерживает китайский, английский, французский, португальский, испанский, японский, турецкий, русский, арабский, корейский, тайский, итальянский, немецкий, вьетнамский, малайский, индонезийский, тагальский, хинди и ряд других языков, включая украинский, польский, чешский, нидерландский, персидский, иврит, бенгальский, тамильский и тибетский. Это модель размером 7B, доступная в нескольких вариантах GGUF-квантизации — от Q2_K объёмом около 3,1 ГБ до F16 объёмом около 15,1 ГБ. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как быстрый вариант с наилучшим качеством среди перечисленных. Квантизация позволяет запускать модель с различными компромиссами между размером, скоростью и качеством, однако низкобитные варианты могут заметно уступать по качеству. README не содержит сведений об архитектуре, размере контекстного окна, мультимодальности, точной лицензии или системных требованиях. Указан только тег translation; дополнительные weighted/imatrix-квантизации доступны в отдельном репозитории.

Hy-MT2-30B-A3B-i1-GGUF — это квантизированная версия модели Hy-MT2-30B-A3B, разработанной Tencent и преобразованной в формат GGUF пользователем mradermacher. Модель ориентирована прежде всего на задачи машинного перевода и поддерживает китайский, английский, французский, португальский, испанский, японский, турецкий, русский и ряд других языков, включая арабский, корейский, немецкий, итальянский, украинский, хинди и бенгальский. В репозитории представлены варианты с imatrix-квантизацией разных типов и размеров — примерно от 6,3 до 24,8 ГБ. Доступны форматы IQ, Q2, Q3, Q4, Q5 и Q6; вариант i1-Q4_K_M указан как быстрый и рекомендуемый, а i1-Q4_K_S — как компромисс между размером, скоростью и качеством. Точная архитектура, размер контекстного окна, поддержка модальностей помимо текста и результаты независимого тестирования в README не указаны. Основное преимущество модели — широкий набор поддерживаемых языков и возможность локального запуска через совместимое с GGUF программное обеспечение с выбором подходящего баланса качества, скорости и потребления памяти. Ограничения связаны с квантизацией: малые варианты могут заметно уступать по качеству, а для более качественных вариантов требуются значительные вычислительные ресурсы. Модель распространяется по лицензии Apache-2.0.

Hy-MT2-7B-GGUF — это набор GGUF-квантизаций модели Hy-MT2-7B, разработанной Tencent и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена прежде всего для задач машинного перевода и поддерживает китайский, английский, французский, португальский, испанский, японский, турецкий, русский, арабский, корейский, тайский, итальянский, немецкий, вьетнамский, малайский, индонезийский, тагальский, хинди и ряд других языков, перечисленных в карточке. Всего заявлено 35 языков, включая польский, чешский, нидерландский, кхмерский, бирманский, персидский, украинский, тибетский, казахский, монгольский, уйгурский и другие. Это модель размером 7B, доступная в различных вариантах квантизации с объёмом файлов примерно от 3,1 до 15,1 ГБ. Предлагаются форматы Q2_K, Q3_K, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и f16; варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с наилучшим качеством среди указанных. README не содержит сведений об архитектуре, размере контекста, мультимодальности, конкретных метриках качества или требованиях к аппаратному обеспечению. Основные сильные стороны модели — широкий набор поддерживаемых языков, ориентация на перевод и возможность выбрать баланс между размером, скоростью и качеством с помощью разных вариантов квантизации. Ограничения связаны с возможной потерей качества в низкобитных вариантах и отсутствием подробных данных о производительности и сценариях применения. Модель распространяется по лицензии Apache-2.0.

unsloth/Hy-MT2-7B-GGUF — GGUF-квантизированная версия мультиязычной модели перевода Hy-MT2-7B, разработанной Tencent. Модель предназначена для быстрого машинного перевода в реальных, деловых, специализированных и инструкционно-ориентированных сценариях, а также для локального запуска через llama.cpp. Она поддерживает перевод между 33 языками, включая китайский, английский, русский, французский, немецкий, испанский, японский, корейский, арабский, турецкий, португальский, итальянский, вьетнамский, хинди и другие языки, перечисленные в карточке модели. Модель относится к семейству Hy-MT2 и имеет размер 7B; точные сведения об архитектуре, размере контекста и формате конкретной квантизации в README не указаны. По заявлению разработчиков, Hy-MT2-7B демонстрирует высокое качество в режиме fast-thinking и превосходит некоторые открытые модели в различных тестах перевода. GGUF-формат упрощает запуск на совместимом локальном оборудовании, однако квантизация может влиять на качество по сравнению с полной точностью, а требования к памяти и скорость зависят от выбранного варианта GGUF и конфигурации. Модель распространяется по лицензии Apache-2.0.

IndicTrans2 En-Indic Distilled 200M — компактная модель перевода, разработанная AI4Bharat. Она переводит текст с английского на индийские языки и рассчитана на машинный перевод в приложениях и сервисах. Модель представлена в формате, совместимом с Transformers, и использует веса PyTorch и Safetensors; число в названии указывает на вариант размером 200 млн параметров. Это дистиллированная версия IndicTrans2. Для обучения и метрик разработчики отсылают к разделу о дистиллированных моделях в статье TMLR. Для длинных последовательностей до 2048 токенов README указывает отдельные RoPE-версии IndicTrans2, поэтому эту длину нельзя считать характеристикой данной модели. Лицензия — MIT.

IndicTrans2 Indic-Indic 1B — модель машинного перевода AI4Bharat, полученная объединением вариантов Indic-En 1B и En-Indic 1B. Она предназначена для перевода между индийскими языками; в метаданных задача указана как translation, а обучение связано с наборами FLORES-200, IN22-Gen и IN22-Conv. Модель содержит около 1 млрд параметров и доступна в форматах PyTorch и Safetensors. Карточка описывает вариант Indic-Indic, адаптированный после объединения двух направлений перевода, но не перечисляет поддерживаемые языки попарно. Метаданные карточки указывают бенгальский, хинди, тамильский и урду, а теги репозитория включают также другие индийские языки. Модель распространяется по лицензии MIT. Для запуска предусмотрена интеграция с Transformers; подробные инструкции вынесены в репозиторий проекта.

kazRush-kk-ru — модель машинного перевода, разработанная DeepPavlov и предназначенная для перевода с казахского на русский. Это модель T5 для генерации текста по тексту; в README указано, что веса были инициализированы случайным образом и обучены на открытых параллельных данных. Метаданные указывают 48,1 млн параметров, формат safetensors и библиотеку Transformers. Для обучения использовались параллельные корпуса OPUS, kazparc и WMT19; качество оценивали на FLORES+ по BLEU, chrF и COMET. Модель подходит для перевода казахских текстов на русский, включая применение в приложениях машинного перевода. Лицензия — Apache-2.0. Для использования требуется библиотека sentencepiece.

Модель seongs/ke-t5-base-aihub-koen-translation-integrated-10m-en-to — модель машинного перевода, созданная дообучением KETI-AIR/ke-t5-base разработчиком, указанным в идентификаторе репозитория. Она предназначена для перевода текстов с английского на корейский и построена на архитектуре T5 с классом T5ForConditionalGeneration. Модель содержит 148,3 млн параметров, принимает текстовый ввод, использует контекст до 512 токенов и выдаёт текст. Для обучения использован набор aihub-koen-translation-integrated-base-10m; в карточке приведены BLEU 18,01 после первой эпохи и 18,84 после второй. Модель можно применять в системах перевода с английского на корейский, например для обработки текстов и локализации. Лицензия Apache-2.0.

M2M100 1.2B — многоязычная модель перевода от Meta, впервые опубликованная в этом репозитории. Это encoder-decoder архитектура seq-to-seq на 533,8 млн параметров, обученная для перевода между 100 языками в 9 900 направлениях. Целевой язык задаётся специальным токеном в начале генерации; доступны веса PyTorch и библиотека Transformers. Контекст модели — 1 024 токена. Модель подходит для прямого перевода между языками без промежуточного перевода через английский, в том числе для языковых пар с меньшими объёмами обучающих данных. Она поддерживает, среди прочих, русский, английский, китайский, арабский, хинди, японский и европейские языки. Лицензия MIT разрешает свободное использование и модификацию. Качество может различаться между языковыми парами; модель предназначена для перевода текста и не заявлена как специализированная для предметных областей.

Masrawy-BiLingual-v1 — модель перевода между современным литературным арабским языком (MSA) и египетским арабским диалектом, созданная на базе UBC-NLP/AraT5v2-base-1024. Это модель семейства T5 с архитектурой encoder-decoder и примерно 183,7 млн параметров; она дообучена на 360 000 предложениях для перевода в обоих направлениях. Для выбора направления перевода к входному тексту нужно добавлять соответствующий суффикс. Модель предназначена для перевода разговорных и повседневных фраз, деловой переписки, образовательных материалов и текстов о развлечениях между MSA и египетским диалектом. В карточке приведены результаты оценки BLEU, METEOR и chrF на тестовых примерах для обоих направлений. В метаданных указаны библиотека Transformers и лицензия Apache-2.0.

mBART-50 many-to-one multilingual machine translation — дообученная модель Facebook на базе mBART-large-50 для машинного перевода между 50 языками. Модель семейства mBART построена на архитектуре кодировщик–декодировщик и содержит около 457,4 млн параметров; родной контекст составляет 1024 токена. Модель предназначена для перевода текстов между поддерживаемыми языками, включая арабский, английский, русский, китайский, японский и многие другие. Карточка называет её вариантом many-to-one, но также описывает перевод между любой парой из 50 языков; это означает, что доступен перевод с множества языков, а заявленное название указывает на сценарий перевода на один целевой язык. Лицензия в предоставленных данных не указана.

MiLMMT-46-12B-v1.0 — модель Xiaomi для перевода между 46 языками. Она основана на Gemma 3 12B и дообучалась в несколько этапов: продолжительное предобучение на 143 млрд токенов монолингвальных и параллельных данных, supervised fine-tuning, обучение с подкреплением и слияние моделей. В метаданных указаны архитектура Gemma 3 с плотными весами, класс Gemma3ForConditionalGeneration, библиотека Transformers и формат safetensors. Модель предназначена для перевода текстов между поддерживаемыми языками. Список охватывает, в частности, русский, английский, китайский, японский, арабский, хинди и вьетнамский. Для перевода следует задавать языки явно в промпте. Модель доступна по лицензии Gemma. Качество перевода на языках вне списка не гарантируется.

MITRE-466M — мультиязычная авторегрессионная модель семейства MITRE, разработанная авторами проекта MITRE (Multilingual Translation with Registers) для перевода между языками. Она поддерживает прямой перевод в 552 направлениях между 24 языками пяти языковых семей. Модель содержит 516,2 млн параметров, принимает текст и выдаёт текст; для запуска предусмотрены Transformers и токенизатор SentencePiece. Контекст модели — 256 токенов. MITRE рассчитана на машинный перевод между поддерживаемыми языками, включая перевод без промежуточного перехода через английский. Авторы отмечают улучшения генерации относительно подхода M2M, направленные на снижение вычислительных затрат. Лицензия — MIT.

NorMistral-11b-translate — дообученная языковая модель для машинного перевода, созданная на базе NorMistral-11b-long. Она переводит предложения и документы во всех шести направлениях между норвежским букмолом, норвежским нюнорском и английским языком. Модель построена на архитектуре Mistral, содержит 11,7 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Для работы с ней используется библиотека Transformers; веса доступны в форматах PyTorch и Safetensors. Модель подходит для перевода текстов между двумя вариантами норвежского и английским, включая перевод документов и диалоговых текстов. Она распространяется по лицензии Apache-2.0. Оценки качества и сведения о конкретных ограничениях в карточке не приведены.

ltg/nort5-base-en-no-translation — модель семейства NorT5, дообученная для перевода документов между английским, норвежским букмолом и норвежским нюношком во всех направлениях. Модель построена на архитектуре NorT5ForConditionalGeneration и содержит 109 млн параметров; она принимает текст и генерирует текстовый перевод. Для лучшего качества рекомендуется передавать целые абзацы, поскольку модель обучалась на переводе от абзаца к абзацу, а не отдельных сегментированных предложений. Длина контекста — 512 токенов. Модель выпущена в формате PyTorch по лицензии CC BY 4.0.

North Small Translate 1.0 — модель перевода текста, разработанная Cohere и Cohere Labs и выпущенная с открытыми весами. Она предназначена для перевода между 50 естественными языками, в том числе для высококачественного машинного перевода и многоэтапных рабочих процессов перевода. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: 218 млрд параметров всего, из них 25 млрд активны; на каждом токене задействуются 8 из 128 экспертов и общие эксперты. Внимание чередует локальные окна размером 4096 токенов и глобальные слои в пропорции 3:1. Контекст составляет до 16 тысяч токенов на входе и выходе. Модель принимает текст и генерирует текст; для запуска нужны значительные вычислительные ресурсы. Модель постобучена специально для качества перевода. В оценке WMT26 Cohere сообщает результат 83,60, повышающийся до 84,36 при использовании многоэтапного рабочего процесса; это результаты из материалов разработчика. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения, также требуется соблюдать политику допустимого использования Cohere Labs.

Helsinki-NLP/opus-mt-ar-es — модель машинного перевода из семейства MarianMT, опубликованная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с арабского на испанский; при обучении учитывались варианты арабского, включая apc, apc_Latn, ara и arq. Модель основана на Transformer, содержит 57,2 млн параметров и использует нормализацию и SentencePiece с словарями по 32 тыс. единиц. Максимальная длина контекста — 512 токенов. Модель подходит для перевода арабских текстов на испанский, в том числе для локализации материалов и перевода коротких сообщений. В README приведён результат BLEU 46,0 на Tatoeba-test.ara.spa; этот показатель относится к указанному тестовому набору и не гарантирует аналогичного качества на других текстах. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-bg-sv — модель машинного перевода из семейства MarianMT, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с болгарского языка на шведский; модель основана на Transformer и использует нормализацию и SentencePiece для обработки текста. Модель содержит 55,6 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. В тесте JW300.bg.sv указаны оценки BLEU 29,1 и chr-F 0,494. Лицензия — Apache-2.0. Модель предназначена для перевода между указанными языками; качество может различаться в зависимости от тематики и текста.

Helsinki-NLP/opus-mt-de-ca — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на каталанский и предназначена для перевода отдельных фраз и текстов в приложениях, локализации и языковых рабочих процессах. Модель построена на архитектуре Transformer-align и реализована как MarianMTModel; содержит 36,5 млн параметров. Для предобработки используются нормализация и SentencePiece с словарями по 12 тысяч токенов. Указанная длина контекста — 512 токенов. В тесте Tatoeba-test.deu.cat приведены оценки BLEU 37,4 и chr-F 0,582. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Она предназначена для направления перевода немецкий → каталанский; качество может зависеть от тематики и формулировок входного текста.

Helsinki-NLP/opus-mt-de-es — модель машинного перевода с немецкого на испанский из семейства OPUS-MT, разработанная Helsinki-NLP. Она основана на архитектуре Marian Transformer-align и обучена на данных OPUS; перед подачей текста применяются нормализация и токенизация SentencePiece. Модель предназначена для перевода предложений и текстов с немецкого языка на испанский. Модель содержит 56,6 млн параметров, поддерживает обработку контекста длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. В README приведены результаты на наборе Tatoeba.de.es: BLEU 48,5 и chr-F 0,676. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-et — модель машинного перевода на архитектуре Marian Transformer, разработанная проектом OPUS и опубликованная Helsinki-NLP. Она переводит текст с немецкого языка на эстонский; обучение выполнено на данных OPUS с нормализацией и токенизацией SentencePiece. Модель содержит 54,9 млн параметров, поддерживает контекст длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода отдельных фраз и текстов с немецкого на эстонский. В карточке приведён результат BLEU 20,2 и chr-F 0,465 на тестовом наборе JW300.de.et. Лицензия — Apache-2.0. Показатели на одном тестовом наборе не гарантируют качество на других типах текстов или в специализированных областях.

Helsinki-NLP/opus-mt-en-bcl — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с английского языка на бикольский (bcl). Модель основана на архитектуре MarianMT с трансформером типа transformer-align; для предобработки используются нормализация и SentencePiece. В наборе данных указаны OPUS и обратный перевод (opus+bt).

Helsinki-NLP/opus-mt-en-es — модель машинного перевода English→Spanish из проекта OPUS-MT, разработанная Helsinki-NLP. Это трансформер MarianMT с 58,4 млн параметров; модель использует нормализацию и токенизацию SentencePiece с словарями spm32k. Она предназначена для перевода текстов с английского на испанский. В README приведены результаты на тестовых наборах новостных текстов: BLEU 29,7–31,0 и chr-F 0,564–0,583. Модель принимает текст на английском и выдаёт текст на испанском. Её можно применять для перевода документов, новостных материалов и пользовательских текстов. Указанная длина контекста — 512 токенов. Модель доступна в форматах PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Показатели на новостных тестах не гарантируют такого же качества на текстах других жанров; направление перевода ограничено английским → испанским.

Helsinki-NLP/opus-mt-en-ru — модель машинного перевода с английского на русский, созданная Helsinki-NLP в рамках проекта OPUS. Это трансформер MarianMT с архитектурой transformer-align и примерно 57,2 млн параметров. Модель обучена на корпусе OPUS; перед переводом текст нормализуется и разбивается на подслова SentencePiece. Она принимает английский текст и выдаёт его перевод на русском, с контекстным окном до 512 токенов. Модель подходит для перевода предложений и документов с английского на русский. В карточке приведены результаты на нескольких тестовых наборах новостных текстов: BLEU составляет 23,5–31,1, chr-F — 0,513–0,581. Эти показатели относятся к указанным наборам и не гарантируют такое же качество на других жанрах и тематиках. Распространяется по лицензии Apache 2.0.

Helsinki-NLP/opus-mt-en-sq — модель машинного перевода из семейства OPUS-MT, построенная на архитектуре Marian Transformer. Она переводит текст с английского языка на албанский. Модель обучена на данных OPUS; входной текст проходит нормализацию и токенизацию SentencePiece. Размер модели — 55,5 млн параметров, длина контекста — до 512 токенов. Модель подходит для перевода коротких текстов и фраз, включая сценарии локализации и многоязычной поддержки. В README приведён результат BLEU 46,5 на тестовом наборе Tatoeba.en.sq. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-en-sw — модель машинного перевода с английского на суахили. Она основана на архитектуре Transformer-align и реализована как MarianMTModel; число параметров составляет 55,3 млн. Для нормализации текста применяется SentencePiece, максимальная длина контекста — 512 токенов. Модель обучена на данных OPUS; в карточке приведён результат BLEU 24,2 и chr-F 0,527 на тестовом наборе GlobalVoices.en.sw. Модель подходит для перевода текстов и документов с английского на суахили. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-ca — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с испанского на каталанский и обратно не предназначена. Модель основана на архитектуре MarianMT и Transformer-align, содержит 51,8 млн параметров и использует нормализацию текста и SentencePiece с словарями spm32k. Естественный контекст — 512 токенов. Модель подходит для перевода фраз и документов с испанского на каталанский. В карточке приведена оценка BLEU 68,9 и chr-F 0,832 на наборе Tatoeba-test.spa.cat; эти результаты относятся к указанному тесту. Доступны форматы PyTorch и TensorFlow. Лицензия — Apache-2.0.