I.6Перевод и языковая адаптация

Hy-MT2-1.8B-bf16 — конвертированные в формат MLX веса мультиязычной модели перевода Tencent Hunyuan Hy-MT2-1.8B. Модель содержит 1,8 млрд параметров, использует плотную архитектуру HunYuanDenseV1ForCausalLM и работает через mlx-lm; эта версия хранит веса в bfloat16 и рассчитана на запуск на Apple Silicon. Модель предназначена для перевода текста между языками. Её можно использовать как локальную базовую версию Hy-MT2 для перевода на устройствах Apple Silicon; README приводит пример перевода с японского на английский. Метаданные указывают контекст длиной до 262 144 токенов и мультиязычную поддержку, но список конкретных языков в доступных данных не приведён. Репозиторий создан сообществом mlx-community на основе Tencent-Hunyuan/Hy-MT2-1.8B. Лицензия — Apache-2.0. README указывает, что запуск рассчитан на Apple Silicon; при проверке на Linux CPU генерация может превышать тайм-ауты запросов.

IndicTrans2 Indic-En Distilled 200M — дистиллированная модель машинного перевода семейства IndicTrans2, опубликованная пользователем Raghavan. Она предназначена для перевода с индийских языков на английский. Модель построена на архитектуре IndicTransForConditionalGeneration; число параметров — около 200 млн. В метаданных указаны языковые коды ассамского, бенгальского, бодо, догри, английского, конкани, гуджарати, хинди, каннада, кашмири, майтхили, малаялам, манипури, маратхи, непальского, ория, панджаби, санскрита, сантали, синдхи, тамильского, телугу и урду. Модель подходит для перевода текстов на английский, включая сценарии, представленные наборами FLORES-200, IN22-Gen и IN22-Conv. Для использования требуется совместимая реализация IndicTrans2 для Transformers. Дистиллированный вариант ориентирован на более компактное выполнение перевода; конкретные показатели качества в карточке не приведены. Лицензия — MIT.

Interpreter-Qwen3-1.7B-ReTok — плотная авторегрессионная модель семейства Qwen3, разработанная Ismantic для перевода между китайским и английским языками. Она дообучена на базе Ismantic/Qwen3-1.7B-Base-ReTok в три этапа: SFT, CPO и GRPO. Модель содержит 1,6 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для перевода текстов с китайского на английский и с английского на китайский. В тестировании на WMT23 авторы сообщают BLEU/COMET 19,29/0,7986 для zh→en и 32,46/0,8512 для en→zh. Она использует специальный токенизатор на 81 903 элемента; это не готовая к подключению через обычный AutoTokenizer модель. Для корректного кодирования китайского текста рядом с файлом токенизатора необходим словарь Summer-Tokenizer.dict.txt, а загрузка требует предусмотренных авторами файлов и расширения токенизатора. Модель распространяется по лицензии Apache-2.0. Результаты относятся к указанным тестам и не гарантируют качество на других тематиках или наборах данных.

Yehor разработал kulyk-uk-en — компактную языковую модель для машинного перевода с украинского на английский, дообученную на базе LiquidAI/LFM2-350M. Это плотная причинная архитектура LFM2 с 444,6 млн параметров по метаданным; автор указывает 354 млн параметров. Модель принимает текст и генерирует перевод. Для запуска доступны веса Safetensors и квантованный вариант GGUF Q8_0; автор также приводит запуск на CPU и CUDA. Для дообучения использовано 40 млн отфильтрованных примеров из набора примерно в 53,5 млн, обучение продолжалось 1,4 эпохи. В README сообщается результат BLEU 36,27 на FLORES-200. Метаданные указывают контекст 128 000 токенов, однако в описании обучения задана максимальная длина 2048 токенов. Модель предназначена для перевода с украинского на английский; README указывает лицензию lfm1.0, а метаданные обозначают лицензию как other.

LFM2-350M-ENJP-MT-GGUF — языковая модель Liquid AI, созданная на основе LFM2-350M и дообученная для двунаправленного перевода между английским и японским языками. Она предназначена для near real-time перевода коротких и средних по объёму текстовых входов, включая сценарии, где важны скорость обработки и запуск на периферийных устройствах. Модель распространяется в формате GGUF и может использоваться с llama.cpp. Из известных характеристик указаны размер базовой модели 350M параметров, языки English и Japanese, а также поддержка квантованных вариантов, например Q4_0. README не содержит сведений о точной архитектуре, размере контекста, дополнительных модальностях, качестве на конкретных наборах данных или системных требованиях. Лицензия обозначена как lfm1.0; подробные условия следует уточнять в файле LICENSE и оригинальной карточке модели.

Модель Linkbricks Horizon AI Korean Avengers V1 27B разработана дата-сайентистом Чи Юнсоном (Saxo) из компании Linkbricks. Это дообученная версия Saxo/Linkbricks-Horizon-AI-Korean-Advanced-27B на базе Gemma 2: для обучения использовали корейский SFT и DPO, а также данные корейских новостей, перевода между корейским, китайским, английским и японским языками, математики и логических задач. Модель предназначена для диалогов, перевода, суммаризации и анализа текстов, включая отзывы и публикации в социальных сетях; карточка также заявляет улучшения в написании текстов, программировании, математике и рассуждениях. Модель имеет 27,6 млрд параметров, архитектуру Gemma2ForCausalLM и контекст до 8192 токенов. Токенизатор унаследован от базовой модели без расширения словаря. Опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества, поэтому заявленные улучшения не позволяют судить о точности на конкретных задачах.

Llama 3.1 Swallow 8B v0.2 — языковая модель команды Swallow из лабораторий Okazaki и YOKOTA Токийского технологического института. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров, дообученная продолжением предварительного обучения на примерно 200 млрд токенов, включая японский веб-корпус, японскую и английскую Википедии, математические тексты и код. Репозиторий содержит веса safetensors; для работы модель рассчитана на библиотеку Transformers. Модель предназначена для генерации текста на японском и английском языках, включая ответы на вопросы, понимание и пересказ текста, перевод, математические рассуждения и генерацию кода. Контекстное окно составляет 8192 токена. Разработчики сообщают об усилении возможностей японского языка при сохранении возможностей английской версии Llama 3.1 и приводят оценки на японских и англоязычных тестах. Это базовая версия, а не вариант Instruct; авторы предупреждают, что модель не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Лицензия — Llama 3.1 License (llama3.1), её условия применяются при использовании модели.

LLaMA3-ENG-KO-8B-SL3 — англо-корейская языковая модель на архитектуре Llama 3, опубликованная 4yo1. Модель дообучена для перевода между английским и корейским языками и поддерживает генерацию текста; в репозитории указаны 7,5 млрд параметров и контекст до 8192 токенов. Модель принимает текст и генерирует текст. Её можно применять для перевода с английского на корейский и обратно, а также для генерации англоязычного или корейского текста. Указан датасет 4yo1/llama3_test1; веса доступны в формате safetensors, лицензия — MIT. Карточка описывает дообучение, однако не уточняет конкретные метрики качества или детали обучающей процедуры. Поэтому пригодность для заданных сценариев следует оценивать на собственных примерах.

LLaMA3-ENG-KO-8B-SL6_1 — языковая модель на архитектуре Llama, опубликованная 4yo1. Это дообученная модель примерно с 7,6 млрд параметров, рассчитанная на английский и корейский языки; в карточке также указан датасет 4yo1/llama3_recipes1. Модель доступна в формате PyTorch и использует библиотеку Transformers, поддерживает контекст до 8192 токенов. Основное назначение — перевод между английским и корейским языками. Модель также может применяться для генерации текста и диалоговых сценариев. Для работы требуется запускать модель как текстовую причинную языковую модель; карточка не приводит результатов оценки качества или подробных рекомендаций по применению. Лицензия — MIT.

keithtwesigye/lunyoro-en2lun — модель машинного перевода на архитектуре MarianMT, дообученная разработчиком на базе Helsinki-NLP/opus-mt-en-mul. Она переводит текст с английского на Lunyoro/Rutooro — бантуязычный язык западной Уганды, связанный с королевствами Буньоро-Китара и Торо. Модель содержит 58 млн параметров, принимает контекст до 512 токенов и доступна в форматах ONNX и safetensors. Модель предназначена для перевода предложений и текстов с английского на Lunyoro/Rutooro. Для дообучения использовано около 53 948 пар предложений из краудсорсинговых материалов, словарных записей и параллельных корпусов с дополнением обратным переводом. Лицензия — MIT. Качество перевода может зависеть от тематики и качества исходного текста; README не приводит количественной оценки качества.

Это версия мультиязычной модели M2M100 с 418 млн параметров, подготовленная сообществом gn64 для запуска через CTranslate2. Модель основана на facebook/m2m100_418M, разработанной Facebook AI для перевода между языками; веса оптимизированы квантизацией int8 и конвертацией из формата Hugging Face Transformers для ускорения инференса. Модель предназначена для автоматического перевода текста между поддерживаемыми языками. M2M100 использует архитектуру encoder-decoder и поддерживает перевод между 100 языками. Репозиторий распространяется по лицензии MIT. Квантизация int8 уменьшает требования к ресурсам и может ускорить работу, однако качество перевода может отличаться от исходной версии. README не сообщает отдельных результатов оценки этой сборки.

MADLAD-400-3B-MT — многоязычная модель машинного перевода на архитектуре T5, преобразованная Juarez Bochi из исходных весов исследовательской модели MADLAD-400. Репозиторий содержит 731,9 млн параметров; модель доступна в форматах safetensors и GGUF и рассчитана на контекст до 512 токенов. Модель предназначена прежде всего для перевода между языками и многоязычных NLP-задач. Она обучалась на корпусе MADLAD-400 и параллельных данных, охватывающих сотни языков; карточка сообщает о поддержке более 400 языков. По оценке авторов исследования, качество конкурентоспособно с существенно более крупными моделями. Качество зависит от языковой пары и предметной области: оценка охватывала 204 языка, а работа с узкоспециализированными текстами не проверена. Данные обучения собирались из открытых источников и могут приводить к проблемным или токсичным ответам. Модель не проходила оценку для производственного применения. Лицензия — Apache 2.0.

Модель peterhsu/marian-finetuned-kde4-en-to-zh_TW — дообученная на датасете KDE4 модель машинного перевода на базе Helsinki-NLP/opus-mt-en-zh. Она построена на архитектуре MarianMT, содержит 58,4 млн параметров и рассчитана на перевод текста с английского на традиционный китайский (Тайвань). В карточке указаны результаты оценки на тестовом наборе: BLEU 39,0863 и loss 1,0047. Модель предназначена для перевода текстов в домене KDE4, в частности строк интерфейса и документации KDE. Доступны веса PyTorch; лицензия — Apache-2.0. Контекст модели составляет 512 токенов.

ishiki-emo подготовил конвертированную и квантованную версию многоязычной модели M2M-100 418M от Meta AI для использования в приложении Mojicast, которое создаёт субтитры для прямых трансляций. Модель переводит текст между 100 языками; в Mojicast её используют для перевода с японского на упрощённый китайский. Весы переведены в формат CTranslate2 и квантованы до int8 для ускорения работы на CPU: объём модели уменьшен примерно с 1,9 ГБ до 491 МБ. В репозитории также есть модель SentencePiece-токенизатора. Лицензия — MIT, согласно README модели.

ychenNLP/nllb-200-3.3B-easyproject — модель машинного перевода на базе архитектуры M2M100, дообученная автором на датасете EasyProject поверх facebook/nllb-200-3.3B. Она предназначена для перевода текста; датасет EasyProject указывает на адаптацию к связанным с ним сценариям, но карточка не уточняет языковую пару или предметную область. Модель содержит 2,1 млрд параметров и рассчитана на контекст до 1024 токенов. Репозиторий содержит веса PyTorch и использует лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

Это квантованная версия NLLB-200 distilled 600M, подготовленная в формате CTranslate2 int8 для машинного перевода. В основе — модель facebook/nllb-200-distilled-600M с 600 млн параметров, рассчитанная на перевод между 202 языками, включая языки с ограниченными ресурсами. Входной текст передаётся с кодом исходного языка, а целевой язык задаётся при декодировании. В README приведены результаты проверки на FLORES-200 devtest для переводов между индонезийским, вьетнамским, английским и русским; измерения выполнены на CPU с beam search шириной 4. Модель подходит для локального перевода отдельных текстов и интеграции в приложения на CTranslate2. Лицензия CC-BY-NC-4.0 разрешает использование только на некоммерческих условиях.

Oolel-v0.1 — языковая модель Soynade Research, адаптированная для работы с волоф. Она основана на архитектуре Qwen 2.5 и содержит 7,1 млрд параметров; карточка сообщает о контексте длиной 32 768 токенов. Модель предназначена для генерации текста на волоф, двустороннего перевода между английским и волоф, ответов на запросы по контексту на волоф, английском или французском, а также суммаризации, редактирования текста и математических задач на волоф. Модель рассчитана на диалоговое использование; для ответов авторы рекомендуют задавать системную инструкцию. В карточке указана поставка весов в формате safetensors. Оценки качества и подробные ограничения применения не приведены. Условия лицензирования в предоставленных данных не описаны.

Opus_kde4_eng_frnch_translation — модель машинного перевода на архитектуре Marian, созданная дообучением Helsinki-NLP/opus-mt-en-fr. Она предназначена для перевода текстов с английского на французский; в README указана оценка BLEU 52,8379 на наборе для оценки, но датасет и условия измерения не описаны. Модель работает с текстом и имеет контекст длиной до 512 токенов. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ase-de — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит с ase на немецкий язык; карточка указывает корпус OPUS, архитектуру Transformer-align и предварительную обработку с нормализацией и SentencePiece. В метаданных указаны архитектура MarianMT, 52,6 млн параметров, контекст до 512 токенов и форматы PyTorch и TensorFlow. Модель подходит для автоматического перевода текстов с ase на немецкий. В README приведён результат BLEU 27,2 и chr-F 0,478 на тестовом наборе JW300.ase.de. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-bcl-de — модель машинного перевода из семейства MarianMT, разработанная проектом OPUS и опубликованная Helsinki-NLP. Она переводит текст с языка биколь (bcl) на немецкий (de) и обучена на данных OPUS. Модель использует архитектуру Transformer Align, нормализацию текста и токенизацию SentencePiece; размер составляет 56,3 млн параметров, контекст — до 512 токенов. Модель предназначена для автоматического перевода текстов с бикольского на немецкий. В тесте JW300.bcl.de указаны оценки BLEU 30,3 и chr-F 0,510. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-bem-sv — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с бемба (bem) на шведский (sv) и предназначена, например, для перевода материалов на бемба для шведоязычных читателей. Модель построена на архитектуре MarianMT с Transformer и выравниванием; содержит 56,2 млн параметров, использует нормализацию и SentencePiece, поддерживает контекст до 512 токенов. Для набора JW300.bem.sv в карточке приведены результаты BLEU 25,6 и chr-F 0,434. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ber-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с берберского языка (ber) на английский (en) и подходит для перевода фраз и текстов в приложениях, локализации и исследовательских рабочих процессах. Модель построена на архитектуре Transformer-align и использует нормализацию и токенизацию SentencePiece. В метаданных указаны 43,6 млн параметров, контекст до 512 токенов и форматы PyTorch и TensorFlow. Для тестового набора Tatoeba.ber.en в карточке приведены оценки BLEU 37,3 и chr-F 0,566. Это однонаправленная модель: сведения подтверждают перевод только с берберского на английский; показатели качества на других данных не приведены. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-chk-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с чуукского языка (chk) на английский и основана на архитектуре MarianMT с Transformer. Веса имеют около 54 млн параметров; предобработка включает нормализацию и SentencePiece. Для набора JW300.chk.en в карточке приведены результаты BLEU 31,2 и chr-F 0,465. Модель предназначена для перевода текстов с чуукского на английский. Она распространяется под лицензией Apache-2.0; в репозитории указаны форматы PyTorch и TensorFlow. Контекст модели — до 512 токенов. Показатели на одном тестовом наборе не гарантируют качество для других типов текстов и областей.

Helsinki-NLP/opus-mt-el-fr — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с греческого языка на французский и основана на архитектуре Marian Transformer-align. Модель содержит 56,3 млн параметров, использует нормализацию и SentencePiece для предобработки, а её контекст составляет 512 токенов. Модель обучена на данных OPUS. Для набора Tatoeba.el.fr в карточке приведены оценки BLEU 63,0 и chr-F 0,741. Она подходит для перевода фраз и текстов с греческого на французский; поддержка обратного перевода не заявлена. Модель распространяется по лицензии Apache-2.0. Качество зависит от тематики и формулировок входного текста; в README приведён результат только для одного тестового набора.

Helsinki-NLP/opus-mt-en-bat — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на несколько балтийских языков: литовский, латышский, жемайтский, латгальский и прусский. Для выбора целевого языка перед текстом требуется указать токен вида >>id<< с допустимым кодом языка. Модель основана на трансформере Marian и содержит 55,4 млн параметров. Она использует нормализацию текста и SentencePiece с общим словарём на 32 тыс. токенов; длина контекста — 512 токенов. В карточке приведены оценки BLEU и chr-F на тестовых наборах новостных текстов. Модель принимает и выдаёт текст, а веса доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0. Приведённые тестовые оценки относятся к указанным наборам данных и не гарантируют такое же качество для других жанров; редкие балтийские языки могут иметь ограниченное покрытие.

Helsinki-NLP выпустила OPUS-MT eng-dra — модель машинного перевода на архитектуре Transformer в семействе Marian. Она переводит с английского на тамильский, каннада, малаялам и телугу; перед целевым текстом требуется указать языковой токен в формате >>id<<. Модель содержит 57,4 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. единиц и рассчитана на контекст до 512 токенов. Модель подходит для перевода фраз и текстов с английского на четыре дравидийских языка. В README приведены тестовые оценки BLEU 4,7 для каннада и 13,1 для малаялам, а также агрегированная оценка BLEU 10,7; качество зависит от языка и текста. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-ga — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Marian Transformer. Она переводит текст с английского языка на ирландский; в репозитории доступны веса PyTorch и TensorFlow. Модель содержит 54,2 млн параметров, использует SentencePiece с словарём spm32k и имеет контекстное окно 512 токенов. В карточке приведён результат BLEU 37,5 и chr-F 0,593 на тесте Tatoeba-test.eng.gle. Модель подходит для перевода фраз и текстов общего назначения с английского на ирландский. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-iir — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит с английского на набор индо-иранских языков; целевой язык нужно задавать специальным токеном в начале предложения. Модель содержит 57 млн параметров, использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов и имеет контекстное окно 512 токенов. Модель подходит для перевода отдельных текстов и многоязычных сценариев, где английский является исходным языком. В карточке приведены тестовые результаты на нескольких языковых парах, включая BLEU 10,4 для английского—хинди и 6,0 для английского—гуджарати; качество зависит от целевого языка. Поддерживаются PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-is — модель машинного перевода с английского на исландский, разработанная проектом OPUS и опубликованная Helsinki-NLP. Она предназначена для перевода текстов с английского языка на исландский; модель обучена на данных OPUS и использует архитектуру Transformer с выравниванием, нормализацию и токенизацию SentencePiece. В метаданных указаны архитектура MarianMT, размер 55,2 млн параметров и контекст до 512 токенов. Для набора Tatoeba.en.is в карточке приведены оценки BLEU 25,3 и chr-F 0,518. Модель принимает английский текст и выдаёт перевод на исландский. Репозиторий содержит веса PyTorch и TensorFlow; лицензия — Apache 2.0. Перевод ограничен направлением en→is, а приведённые оценки относятся к указанному тестовому набору и не гарантируют такое же качество на других типах текстов.

Helsinki-NLP/opus-mt-en-mr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на маратхи и предназначена для автоматического перевода предложений и текстовых фрагментов. Модель построена на архитектуре Transformer-align и реализована как MarianMT; размер составляет 56,7 млн параметров, максимальная длина контекста — 512 токенов. В предобработке применяются нормализация текста и SentencePiece. Для набора Tatoeba.en.mr в карточке приведены оценки BLEU 22,0 и chr-F 0,397. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Она предназначена для перевода только с английского на маратхи; оценки на одном тестовом наборе не гарантируют такое же качество на других текстах и предметных областях.