I.6Перевод и языковая адаптация

Iris — модель для перевода предложений между корейским и английским языками, разработанная davidkim (Changyeon Kim). Она предназначена для перевода в обоих направлениях и может использоваться в приложениях, которым нужен корейско-английский машинный перевод. Модель основана на плотной авторегрессионной архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель дообучена на Mistral-7B-v0.2 на наборе переводных данных translation_v3_346k, включающем примеры из технических и профессиональных областей. Набор данных не опубликован из-за лицензионных ограничений. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. В карточке приведены результаты сравнения с другими моделями перевода, но они не позволяют утверждать о превосходстве Iris.

BUAIR Japadhola ↔ English NLLB — модель машинного перевода, которую поддерживает лаборатория Busitema University AI & Innovation Research Lab (BUAIIR). Она переводит в обоих направлениях между джападхола (адхола) и английским языком и основана на архитектуре NLLB семейства M2M-100. Модель предназначена для перевода текстов между этими языками; для загрузки используются Transformers и класс AutoModelForSeq2SeqLM. Репозиторий содержит веса в формате safetensors, контекст — до 1024 токенов. Лицензия — CC BY 4.0.

kha-en-nllb-v0.4 — модель перевода, разработанная MWire Labs и дообученная на базе Badnyal/kha-en-nllb-v0.3. Она предназначена для перевода между языком кхаси и английским в обоих направлениях. Модель использует архитектуру M2M-100 и содержит 463,7 млн параметров; длина контекста — 1024 токена. Для кхаси добавлен токен kha_Latn, которого не было в словаре базовой модели. В README приведены результаты на тесте из 500 пар и обучение в течение трёх эпох. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Kotoba-Whisper-Bilingual v1.0 — модель распознавания и перевода речи, разработанная Асахи Усио совместно с Kotoba Technologies. Она основана на архитектуре Whisper и обучена методом дистилляции: полный энкодер взят от Whisper large-v3, а двухслойный декодер инициализирован слоями учительской модели. В репозитории указаны веса safetensors; модель также заявлена как совместимая с faster-whisper и whisper.cpp. Модель принимает аудио и умеет распознавать японскую и английскую речь, а также переводить речь с японского на английский и с английского на японский текст. Для обучения использовались ReazonSpeech и Multilingual LibriSpeech, а переводные обучающие тексты получены с помощью внешней LLM. Модель предназначена для транскрибации и сквозного речевого перевода; авторы указывают ускорение до 6,3 раза относительно Whisper large-v3. В переводных задачах авторы отмечают более высокие показатели точности у каскадного подхода, хотя он требует больше памяти и усложняет обработку. Модель содержит около 905,2 млн параметров, поддерживается библиотекой Transformers версии 4.39 и новее и распространяется по лицензии Apache-2.0.

Linkbricks-Horizon-AI-Korean-Advanced-8B-COT-boost — корейская языковая модель, дообученная Юнсоном Джи (Saxo), специалистом Linkbricks по данным, на базе Saxo/Linkbricks-Horizon-AI-Nous-Hermes-3-Llama3.1-Korean-cpt-8b. Это плотная модель семейства Llama с 7,5 млрд параметров, обученная этапами SFT и DPO. Она предназначена для диалога, генерации текста, перевода между корейским, китайским, английским и японским, суммаризации, вопросов и ответов, а также математических и логических задач. Поддерживает вызов функций и инструментов на корейском языке. Модель заявлена как усиленная для пошаговых рассуждений и имеет контекстное окно 128 тыс. токенов. Обучение использовало корейские данные, в том числе новостные корпуса, наборы для перевода, суммаризации, вопросов и ответов, а также математические и логические примеры; токенизатор унаследован от базовой модели. Для использования опубликованы веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Описание не приводит количественных оценок качества. Способность к рассуждениям и точность на переводе, математике и логике могут зависеть от формулировки запроса и требуют проверки для конкретного применения.

MADLAD-400-10B-MT — многоязычная модель машинного перевода на архитектуре T5, созданная исследовательской командой MADLAD-400; автор карточки jbochi конвертировал исходные веса. Модель обучена на 250 млрд токенов общедоступных данных и предназначена для перевода и многоязычных NLP-задач более чем на 400 языках. В репозитории представлены веса Safetensors и GGUF, а метаданные указывают около 2,4 млрд параметров и контекст 512 токенов. Модель можно применять для перевода текстов между языками, в том числе для языков, недостаточно представленных в крупных корпусах. Качество зависит от языка и, вероятно, от предметной области; оценка охватывала 204 языка и задачи машинного перевода и перевода по нескольким примерам. Обучающие веб-данные могут приводить к низкокачественным или проблемным ответам. Модель выпущена под лицензией Apache 2.0; карточка отмечает, что готовность к производственному использованию не оценивалась.

MADLAD-400-7B-MT-BT — многоязычная модель машинного перевода на архитектуре T5, основанная на чекпойнте MADLAD-400 и дообученная на данных обратного перевода. Модель разработали авторы исследования MADLAD-400; пользователь jbochi преобразовал исходные веса и подготовил эту карточку. В репозитории доступны веса Safetensors и GGUF для использования через Transformers и совместимые инструменты. Модель предназначена для перевода между языками и многоязычных NLP-сценариев. Она содержит 3,3 млрд параметров, обучена на 250 млрд токенов и охватывает более 400 языков; контекст составляет 512 токенов. Авторы отмечают улучшение перевода с английского на другие языки благодаря обратному переводу. Качество зависит от языка и предметной области: оценка охватила 204 языка, а специализированные области отдельно не проверялись. Обучающие веб-данные могут приводить к ошибкам, предвзятым или нежелательным формулировкам. Модель распространяется по лицензии Apache 2.0.

Это модель машинного перевода на базе архитектуры MarianMT, дообученная авторами huggingface-course на наборе данных KDE4 для перевода с английского на французский. Она содержит 55,6 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. На указанном в карточке наборе оценки получены Loss 0,8559 и BLEU 52,9416. Модель подходит для перевода текстов с английского на французский; лицензия — Apache-2.0.

Narrativa/mbart-large-50-finetuned-opus-en-pt-translation — модель машинного перевода на базе mBART-50 large, дообученная для перевода с английского на португальский на данных OPUS-100 и OPUS-Book. Это последовательностная модель архитектуры mBART с 457,4 млн параметров, реализованная на PyTorch; заявленная длина контекста — 1024 токена. mBART-50 предварительно обучалась с помощью многоязычного шумоподавляющего предобучения и поддерживает перевод между языками, однако этот чекпойнт настроен на направление английский → португальский. Модель предназначена для автоматического перевода английских предложений и текстов на португальский, в том числе в конвейерах нейронного машинного перевода. В README указан результат BLEU 20,61 на тестовой выборке, но без дополнительных сведений о протоколе оценки это число не позволяет напрямую сравнивать модель с другими системами. В карточке нет сведений о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

MiLMMT-46-1B-v1.0 — языковая модель для перевода, разработанная Xiaomi. Она основана на Gemma 3 1B: после продолженного предобучения на 143 млрд токенов данных на 46 языках и контролируемой настройки версии v0.1 модель прошла обучение с подкреплением и слияние моделей. В репозитории указана связь с xiaomi-research/MiLMMT-46-1B-v0.1; метаданные классифицируют модель как дообучение этой версии. Модель предназначена для перевода между 46 поддерживаемыми языками, включая русский, английский, китайский, арабский, японский и хинди. Она принимает текст и генерирует перевод; архитектура — плотная Gemma3ForCausalLM с 1 млрд параметров и контекстом 32 768 токенов. Для использования описаны Transformers и vLLM. Ключевое назначение модели — многоязычный перевод на базе компактной LLM. Переводческое качество для языков за пределами заявленного списка не гарантируется. Лицензия в метаданных указана как Gemma.

madatnlp/mist-enko-lora-2950 — 7,1-миллиардная языковая модель семейства Mistral, представленная как LoRA-адаптер для Mistral-7b-v0.1. По карточке, модель дополнительно обучали на нескольких переводных датасетах с AI Hub; указаны параметры адаптера rank 128 и alpha 16. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста в сценариях перевода между английским и корейским языками. Контекст модели составляет 32 768 токенов. Карточка не уточняет направление перевода и не приводит оценок качества; адаптер требует базовую модель Mistral-7b-v0.1.

Mistral-7B-Instruct-Uz — инструктивно дообученная языковая модель, разработанная Eldor Fozilov, Azimjon Urinov и Khurshid Juraev на основе Mistral-7B-Instruct-v0.3. Авторы продолжили предварительное обучение и настроили модель на сочетании открытых и синтетических данных на узбекском и английском языках, стремясь сохранить знания базовой модели и улучшить её работу с узбекским языком. Модель предназначена для генерации текста и диалогов, перевода между узбекским и английским, суммаризации и ответов на вопросы. В карточке приведены результаты сравнительных оценок на задачах перевода, анализа тональности и классификации узбекских новостей, а также на англоязычном MMLU. Архитектура — плотная MistralForCausalLM на 7,1 млрд параметров; контекст — до 32 768 токенов. Доступны веса PyTorch и Safetensors для библиотеки Transformers. Авторы характеризуют модель как раннюю версию и отмечают планы улучшить подбор данных и дообучение, поэтому качество может быть нестабильным в отдельных задачах. Модель распространяется по лицензии Apache-2.0.

MKLLM-7B-Translate — языковая модель на 7,1 млрд параметров, разработанная на базе MKLLM-7B для перевода между английским и македонским языками. Она использует плотную архитектуру Mistral и принимает инструкции в формате Alpaca. Базовую MKLLM-7B обучали продолжением предобучения Mistral-7B-v0.1 на корпусе примерно из 300 млн токенов македонского и английского текста в течение двух эпох; версия Translate затем прошла инструкционное дообучение с QLoRA. Модель предназначена для перевода с английского на македонский и с македонского на английский. Разработчики сообщают об оценке на датасете FLORES, сравнивая модель с системами перевода, включая Llama 3 70B и Google Translate. Максимальный родной контекст — 32 768 токенов. Репозиторий содержит веса Safetensors, а лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и ограничивает коммерческое использование.

NanoT5 Base Malaysian Translation v2.1 — модель Mesolitica на базе T5, дообученная для перевода малайзийских текстов. Она переводит локализованные варианты текста на стандартный малайский и обратно, поддерживает переключение между языками в одном тексте, а также перевод кода. В карточке указано, что при переводе модель должна сохранять символы новой строки, табуляции и возврата каретки. Для обучения использовались контекст длиной 2048 токенов и 9 млрд токенов переводных данных; модель содержит 123,8 млн параметров. Модель предназначена для нормализации разговорного и локализованного малайского, обратного перевода для расширения данных и перевода текстов с переключением языков. Разработчик отмечает улучшения относительно версии 2 при переводе научных и математических текстов, Manglish, кантонского, тамильского и Tanglish. Лицензия в предоставленных данных не указана.

Nau 1.0 — открытая языковая модель, разработанная командой nau-ai для работы с дивехи, записанным письмом тхаана. Это дообученная версия Gemma 4 E2B с расширенным токенизатором: к словарю добавлены 32 000 токенов тхаана, всего 294 144. Модель содержит 5,4 млрд параметров и предназначена для генерации текста и диалогов; веса доступны в safetensors и в вариантах GGUF Q4_K_M и Q8_0. Полные веса bf16 занимают 10,9 ГБ. Nau умеет писать и редактировать тексты на дивехи, переводить между дивехи и английским, исправлять орфографию, преобразовывать романизированный дивехи в письмо тхаана, составлять краткие пересказы и отвечать на вопросы по предоставленному тексту. Её можно запускать локально, в том числе на обычном ноутбуке с GGUF; для наиболее точной обработки тхаана рекомендуется передавать токенизированные входы от токенизатора Hugging Face. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства, но некоммерчески и на аналогичных условиях. Модель специализируется на дивехи, сохраняя возможности работы с английским. Её ограничения включают слабые общие знания и риск уверенных фактических ошибок, особенно по законам и официальным сведениям без исходного текста; английские инструкции иногда приводят к ответу на английском. Длинные ответы могут повторяться, а доступ к интернету и актуальным данным отсутствует. Метаданные указывают задачу text-generation; несмотря на мультимодальную базовую модель, карточка Nau описывает текстовые сценарии.

Это квантованная версия модели facebook/nllb-200-distilled-600M в формате GGUF, подготовленная с помощью Unsloth. Модель NLLB-200 — последовательностная модель перевода, предназначенная для перевода между более чем 200 языками; в карточке отдельно приведён пример перевода между английским и хауса. GGUF-файлы предназначены для эффективного инференса в совместимых средах, включая llama.cpp, поддерживающих эту архитектуру. В README указана конфигурация fast_quantized примерно с 4-битным квантованием. Для перевода задаются исходный и целевой языки, например eng_Latn и hau_Latn. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое использование.

LocalDoc/nllb-3.3b-en-az — модель машинного перевода, созданная командой LocalDoc на основе NLLB-200-3.3B от Meta. Это плотная модель архитектуры M2M100 с 2,1 млрд параметров, дообученная методом LoRA на корпусе примерно из 1,4 млн пар предложений разных жанров и затем объединённая в самостоятельную модель. Она предназначена для перевода с английского на азербайджанский; рекомендуется переводить по одному предложению за раз, а длинные тексты предварительно делить на предложения. В README приведены результаты бенчмарка на 1 012 предложениях, где модель показывает качество, сопоставимое с сильными коммерческими системами. Модель принимает текст и выдаёт текст. Она рассчитана на английско-азербайджанский перевод; азербайджанский вывод использует стандартную литературную латинскую графику. Контекст составляет 1 024 токена. Модель опубликована в формате safetensors и распространяется по лицензии CC BY 4.0. Модель обучена только для направления английский→азербайджанский, поэтому её не следует считать универсальным переводчиком для обратного направления или других языковых пар. Длинные документы требуют разбиения на предложения, а узкоспециализированная лексика может переводиться менее точно.

Модель anithasoma/nllb-finetuned-telugu разработана anithasoma на основе NLLB-200 Distilled 600M и дообучена для перевода английских предложений на разговорный телугу. Она использует архитектуру M2M100 и библиотеку Transformers; размер составляет 463,7 млн параметров, длина контекста — 1024 токена. Модель предназначена для разговорных переводов, неформальной переписки и приложений с диалоговым взаимодействием. В карточке указаны оценки BLEU и SacreBLEU по 43,12. Она распространяется по лицензии Apache-2.0.

NOESIS-Qwopus3.5-9B-DubCompress-v3.5-MLX — специализированная языковая модель AMAImedia для автоматизации многоязычного дубляжа. Это MLX-представление оригинальной модели NOESIS, обученной на базе плотной архитектуры Qwen3.5 с 9 млрд параметров; веса сохранены в формате safetensors для запуска через mlx-lm на Apple Silicon. Заявленный контекст составляет 262 144 токена, однако фактическая длина зависит от доступной объединённой памяти и настроек KV-кэша. Модель предназначена для сжатия диалогов, постобработки переводов и подгонки текста под ограничения субтитров или длительности озвучивания. В запросе следует задавать целевой язык, бюджет символов или времени, сохраняемый смысл и требования к формату. Семейство заявляет поддержку 201 языка и диалекта; качество сжатия может различаться между языками. Решение ориентировано на локальную работу с MLX на Mac с Apple Silicon. README не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя.

OmniLing-V1-12b-experimental — языковая модель WoonaAI, созданная SlerpE и secretmoon для перевода между русским и английским языками в обоих направлениях. Это дообученная версия Mistral Nemo Instruct 12B с архитектурой Mistral и 12,1 млрд параметров. Модель предназначена для перевода художественных текстов, датасетов, пользовательских сообщений и описаний; карточка также указывает поддержку диалога и интерфейса вызова инструментов. Заявленная длина контекста — 1 024 000 токенов. Для перевода авторы рекомендуют низкую температуру генерации 0,1–0,3 и нейтральное системное сообщение, а исходный текст передавать в сообщении пользователя. При обучении использовались данные, сгенерированные более сильной моделью. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Helsinki-NLP/opus-mt-af-nl — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с африкаанс на нидерландский; модель одноязычная для этой пары, построена на архитектуре Transformer-align и использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов. Модель содержит 52,4 млн параметров, работает с библиотеками Transformers и Marian и поддерживает контекст до 512 токенов. В карточке приведён результат BLEU 55,2 на тестовом наборе Tatoeba для пары африкаанс—нидерландский. Выпущена под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-ar-ru — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с арабского на русский и построена на архитектуре Transformer; в метаданных указано 57,2 млн параметров и контекст до 512 токенов. Для предобработки используются нормализация и SentencePiece с моделями словаря по 32 тыс. единиц. Источники обучения охватывают варианты арабского языка apc, ara и arz, целевой язык — русский. В тесте Tatoeba-test.ara.rus модель показала BLEU 42,5 и chr-F 0,605. Она подходит для перевода арабских текстов на русский, включая тексты на охваченных вариантах арабского языка. Модель распространяется по лицензии Apache-2.0; качество перевода может зависеть от тематики и диалекта входного текста.

Helsinki-NLP/opus-mt-bem-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка бемба (bem) на испанский (es) и основана на архитектуре MarianMT с Transformer-align. Модель обучена на данных OPUS; перед переводом применяются нормализация и токенизация SentencePiece. Веса содержат 56,4 млн параметров, максимальная длина контекста — 512 токенов. Репозиторий включает форматы PyTorch и TensorFlow. В опубликованном README для тестового набора JW300.bem.es приведены оценки BLEU 22,8 и chr-F 0,403. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-bg-uk — модель машинного перевода из семейства MarianMT, разработанная Helsinki-NLP на основе проекта OPUS. Она переводит текст с болгарского на украинский; источник использует нормализацию и токенизацию SentencePiece с моделью словаря spm32k. Модель содержит 55,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода отдельных фраз и текстов с болгарского на украинский. В карточке приведён результат BLEU 49,2 и chr-F 0,683 на тестовом наборе Tatoeba для этой языковой пары. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-bzs-es — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит тексты с языка bzs на испанский (es); модель построена на архитектуре Transformer-align и использует нормализацию и SentencePiece для предобработки. В метаданных указаны 51,5 млн параметров и контекст до 512 токенов, а форматы весов — PyTorch и TensorFlow. Модель предназначена для перевода текстов и обучена на данных OPUS. В карточке приведён результат BLEU 28,1 и chr-F 0,464 на тестовом наборе JW300.bzs.es. Распространяется по лицензии Apache-2.0.

Карточка модели mijuanlo/opus-mt-ca-en на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-ca-en, поэтому описание составлено по ней. opus-mt-ca-en — модель машинного перевода из семейства MarianMT, разработанная проектом OPUS-MT для перевода текстов с каталанского языка на английский. Модель построена на архитектуре Transformer-align и содержит 53,5 млн параметров. Для обработки текста применяются нормализация и токенизация SentencePiece; нативная длина контекста составляет 512 токенов. Модель предназначена для прямого перевода фраз и текстов с каталанского на английский. В карточке приведены результаты оценки на наборе Tatoeba.ca.en: BLEU 51,4 и chr-F 0,678. Доступны веса в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ca-uk — модель машинного перевода из семейства MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с каталанского языка на украинский и основана на архитектуре Transformer-align; размер составляет 29 млн параметров, контекст — до 512 токенов. Для предобработки применяются нормализация и SentencePiece с моделью spm4k. В тесте Tatoeba-test.cat.ukr указаны BLEU 28,6 и chr-F 0,503. Модель поддерживает перевод в одном направлении: с каталанского на украинский. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ceb-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с себуано на французский и обучена на данных OPUS; в README указаны архитектура Transformer-align и предварительная обработка с нормализацией и SentencePiece. В метаданных модель описана как MarianMTModel с 55,8 млн параметров и контекстом до 512 токенов. Модель подходит для перевода предложений и текстовых фрагментов с себуано на французский. В README приведён результат BLEU 30,0 и chr-F 0,491 на тестовом наборе JW300.ceb.fr. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-chk-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с chk на французский язык и предназначена для перевода отдельных фраз и текстов в приложениях и рабочих процессах перевода. Модель построена на архитектуре Marian Transformer с выравниванием; в ней 55,7 млн параметров, а максимальный контекст составляет 512 токенов. При подготовке текста используются нормализация и SentencePiece. В тесте JW300.chk.fr указаны BLEU 22,4 и chr-F 0,387. Модель принимает и выдаёт текст. Доступна по лицензии Apache-2.0. Качество может различаться в зависимости от тематики и текста; приведённые метрики относятся к указанному тестовому набору.

Helsinki-NLP разработала opus-mt-cs-en — модель машинного перевода с чешского языка на английский. Она основана на архитектуре Transformer-align и обучена на данных OPUS; для обработки текста применяются нормализация и SentencePiece. Модель содержит 57,2 млн параметров, поддерживает перевод с чешского на английский и имеет контекст длиной до 512 токенов. В README приведены результаты на тестовых наборах новостных переводов: BLEU от 30,4 до 34,1. Модель подходит для перевода чешских текстов на английский в приложениях и рабочих процессах, где требуется отдельная модель для этой языковой пары. Опубликована под лицензией Apache-2.0.