I.6Перевод и языковая адаптация

Карточка модели allegro/BiDi-ces-slk на Hugging Face совпадает с карточкой allegro/BiDi-eng-pol, поэтому описание составлено по ней. BiDi-eng-pol — двунаправленная модель машинного перевода из коллекции BiDi, разработанной в рамках исследовательского проекта лаборатории Machine Learning Research для Allegro.com при сотрудничестве с laniqo.com. Это энкодер-декодерный трансформер MarianMT на 133,4 млн параметров, обученный для перевода на уровне предложений; базовая конфигурация — transformer-big. Модель переводит между английским и польским в обоих направлениях: целевой язык задаётся специальным токеном. Для токенизации используется SentencePiece со словарём 32 тыс. токенов. Модель рассчитана на перевод отдельных предложений между английским и польским; в README описана как часть коллекции многоязычных славянских MT-моделей. Метаданные указывают контекст до 1024 токенов. Модель обучалась на корпусах машинного перевода и оценивалась на Flores200 с метрикой COMET-DA. Качество и возможные смещения следует проверять для конкретного предметного домена: авторы предупреждают о возможных гендерных галлюцинациях при переводе с английского на славянские языки. Лицензия — CC BY 4.0.

lucadiliello/bleurt-large-512 — модель семейства BLEURT на архитектуре Transformer, опубликованная пользователем lucadiliello. Это PyTorch-модель для классификации последовательностей с 433,9 млн параметров и контекстом до 512 токенов. Она предназначена для оценки качества текста, в частности сопоставления кандидата с эталонным текстом; типичный сценарий BLEURT — автоматическая оценка качества машинного перевода.

Neobe/dhivehi-en-mt5-large-sentence — модель машинного перевода с дивехи на английский, разработанная на базе mT5-large и дообученная на корпусе предложений на дивехи и английском. Это encoder-decoder модель семейства mT5 с 608,4 млн параметров по метаданным; она рассчитана на перевод отдельных предложений, а для многофразового текста автор рекомендует вариант для абзацев. Модель подходит для перевода новостей, пресс-материалов и статей Википедии с дивехи на английский. В тестах на отложенных предложениях внутри распределения указаны chrF 63,94 и BLEU 39,45; автор считает chrF более надёжной метрикой для текста на письме тхаана. Эталонные переводы в обучающих данных были сгенерированы машиной, а тест на человеческих эталонах показывает более низкие результаты. Для запуска автор рекомендует fp32: по его наблюдениям, режимы bf16 и fp16 дают некорректные результаты; требуется около 5–6 ГБ видеопамяти. Переводы специализированных технических текстов и неформального английского могут быть ненадёжными. Лицензия — Apache-2.0.

Модель Neobe для перевода отдельных предложений с английского на дивехи, язык Мальдив, с выводом письмом тана. Это дообученная для перевода модель mT5-large с архитектурой encoder-decoder; метаданные указывают 608,4 млн параметров, формат safetensors и лицензию Apache-2.0. Модель предназначена для перевода коротких английских предложений, например новостных и справочных текстов о Мальдивах. Она обучена на корпусе предложений дивехи—английский с машинными переводами. Основные области применения — мальдивские новости, пресс-релизы и Википедия. Для дивехи автор рекомендует оценивать качество по chrF, а не BLEU. Рекомендуется подавать по одному предложению; для нескольких предложений предназначены отдельные абзацные модели. Технический и разговорный английский может быть вне обучающего распределения. README рекомендует запуск fp32 и предупреждает, что bf16 и fp16 могут давать некорректные результаты; для fp32 требуется около 5–6 ГБ VRAM.

SeyedAli/English-to-Persian-Translation-mT5-V1 — модель машинного перевода на базе mT5, предназначенная для перевода текста с английского на персидский (фарси). Она использует архитектуру MT5ForConditionalGeneration и содержит 157,4 млн параметров. Для запуска нужны входные английские фразы или тексты; модель генерирует персидский перевод. В карточке приведены примеры переводов, качество которых выглядит неровным и местами непоследовательным, поэтому результат может требовать проверки и редактирования. Модель распространяется по лицензии MIT.

Это GGUF-квантизированная версия модели en-indic-translate-2b, разработанной sulabhkatiyar и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена прежде всего для машинного перевода между английским и индийскими языками: ассамским, бенгальским, гуджарати, хинди, каннада, малаялам, маратхи, ория, панджаби, тамильским и телугу. Она может применяться для локального запуска переводческих сервисов и обработки текстов на поддерживаемых языках. Размер базовой модели составляет 2 миллиарда параметров. В README указана библиотека Transformers и лицензия Gemma. Доступны варианты с разной степенью квантизации в формате GGUF — от Q2_K до Q8_0, а также версия f16; размеры файлов находятся примерно в диапазоне от 3,1 до 9,4 ГБ. Для модели также опубликованы файлы mmproj, обозначенные как мультимодальное дополнение, однако конкретные поддерживаемые визуальные сценарии и модальности в описании не раскрыты. Основное преимущество модели — специализация на переводе между английским и несколькими языками Индии, а также возможность выбора компромисса между качеством, скоростью и потреблением памяти за счёт различных вариантов квантизации. Для вариантов Q4_K_S и Q4_K_M заявлена высокая скорость, Q6_K отмечен как обеспечивающий очень хорошее качество, а Q8_0 — как быстрый вариант с наилучшим качеством среди перечисленных. Ограничения включают отсутствие данных о контекстном окне, точности, обучающих данных, направлении перевода, качестве по отдельным языкам и практической мультимодальной функциональности; поэтому пригодность для специализированных или критически важных переводов требует дополнительной проверки.

jensjepsen/eo-mt-v13-tiny-bidir — двунаправленная модель машинного перевода с архитектурой MarianMT, разработанная Jens Jepsen. Она переводит между английским и эсперанто в направлениях EN→EO и EO→EN; направление задаётся специальным токеном перед входным текстом. Модель обучена с нуля на корпусе v13 и дополнительных параллельных наборах данных, включая математические и размеченные данные. В конфигурации указаны 6 слоёв энкодера и 6 слоёв декодера, 8 голов внимания, размерность 512 и FFN размером 2048. README сообщает 69,2 млн параметров, тогда как метаданные Hugging Face — 49,7 млн. Для перевода приводятся BLEU 28,05 на FLORES devtest для EN→EO и 32,39 на opus100 validation. Контекст модели составляет 512 токенов. Модель доступна под лицензией MIT. Показатели BLEU описывают конкретные тестовые наборы и сами по себе не гарантируют качество на других текстах.

fusha2masry — модель Hassan Abdelshafy для перевода предложений с современного литературного арабского языка (фусха) на разговорный египетский арабский, каирский диалект. Это дообученная модель encoder-decoder Transformer семейства T5 на базе UBC-NLP/AraT5v2-base-1024; метаданные указывают 183,7 млн параметров. Модель предназначена для однонаправленного перевода повседневных фраз, в том числе фраз для путешествий, а также для локализации контента и поддержки чат-ботов, ориентированных на египетскую аудиторию. Обучение основано на параллельных примерах корпуса MADAR в стиле разговорника и синтетических парах для коротких фрагментов и повседневных тем. Модель формирует короткие переводы для коротких входов, однако это поведение проверялось ограниченно. Она не переводит в обратном направлении с египетского арабского на фусха; качество может снижаться на других диалектах, идиомах и темах за пределами обучающих данных. Для юридических, медицинских и иных ответственных переводов модель не предназначена. README ограничивает использование исследовательскими целями; метаданные обозначают лицензию как other.

sappho192/gemma3-multilingual-translator-270m — компактная текстовая модель перевода на основе Google Gemma 3 270M, дообученная автором с помощью LoRA и сглаживания Bias-corrected EMA на 7,4 млн пар переводов. Модель выполняет перевод между корейским, английским и японским языками во всех шести направлениях. Модель содержит 257 млн параметров и рассчитана на контекст до 32 768 токенов. В репозитории доступны веса Safetensors и готовые ONNX-модели в точности fp32 и в квантизированном варианте q4; ONNX позволяет запускать перевод без PyTorch. Автор сообщает о снижении потерь при обучении с 4,03 до 1,59, но это не заменяет независимой оценки качества на прикладных текстах. Модель предназначена для перевода предложений и текстов между корейским, английским и японским языками. Лицензия — Apache-2.0. README не приводит сведений о качестве для других языков или специализированных областей, поэтому применять её для них без дополнительной проверки не следует.

GemmaX2-28-2B-int4-ov — модель перевода, разработанная на основе ModelSpace/GemmaX2-28-2B-v0.1. Репозиторий содержит преобразованную в формат OpenVINO IR и квантизованную до INT4 версию исходной модели; исходные веса не переобучались и не изменялись. Модель предназначена для офлайн-перевода на устройствах с Intel iGPU и NPU, а также для локального запуска через OpenVINO GenAI. В README явно проверены сценарии перевода с английского и японского на корейский; исходная модель заявлена как поддерживающая 28 языков, но это не подтверждено измерениями для данной версии. Архитектура и максимальная длина контекста в README не указаны. Размер модели после преобразования составляет около 1,59 ГБ вместо примерно 5 ГБ у исходной версии. Используется INT4-квантизация с group_size 128 и ratio 1.0. На Intel Core Ultra 7 258V с Arc 140V iGPU заявлены загрузка за 19 секунд, потребление около 1,578 ГБ памяти GPU и скорость генерации 38,3 токена в секунду. По сравнению с вариантом на 9B параметров модель быстрее и компактнее, но чаще уступает ему в переводе идиом, вежливых формулировок и культурных смыслов. Возможны буквальные переводы устойчивых выражений и смешение стилей корейской речи; стиль рекомендуется фиксировать системным промптом. Распространение и использование регулируются Gemma Terms of Use и Gemma Prohibited Use Policy; при перераспространении необходимо предоставить получателям копию условий.

HachimiMT-30-zh-vi — компактная модель машинного перевода с архитектурой Marian seq2seq, опубликованная пользователем ngocdang83. Она переводит текст с китайского на вьетнамский и предназначена в частности для перевода веб-новелл и художественной прозы, а также для локального или серверного запуска, когда важны скорость и небольшой размер. Метаданные указывают около 30 млн параметров, библиотеку Transformers и контекст до 512 токенов; в README размер оценён примерно в 32 млн параметров. Для токенизации используются SentencePiece-токенизаторы исходного и целевого языков. В опубликованном тесте FLORES-200 devtest модель получила BLEU 14,29 и chrF 37,30; в 1 012 проверенных переводах не обнаружено строк с оставшимися китайскими иероглифами. Эти автоматические показатели не гарантируют качество художественного перевода: редкие имена, идиомы и узкоспециальная лексика остаются сложными случаями. Для публикации и других ответственных сценариев результаты следует проверять. Доступна версия runtime CTranslate2 INT8 для ускорения CPU-инференса. Условия лицензии в предоставленных данных не описаны.

ImmersiveL-exp — модель семейства BLOOM, представленная в карточке как проект ImmersiveL и предназначенная для перевода между английским и китайским языками. Это авторегрессионная GPT-подобная модель с 1,3 млрд параметров и контекстом до 2048 токенов; для перевода README предлагает использовать специальные текстовые промпты для направлений английский—китайский и китайский—английский. Модель принимает текст и генерирует текстовый перевод. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — BigScience BLOOM RAIL 1.0. Карточка не описывает отдельные ограничения качества или условия развёртывания.

4yo1/llama3-pre1-pre2-inst3-ds-lora3_1 — языковая модель на архитектуре Llama, опубликованная пользователем 4yo1. Метаданные указывают 7,6 млрд параметров, формат safetensors, контекст до 8192 токенов и библиотеку Transformers; README округляет размер до 8 млрд параметров. Модель предназначена для перевода и генерации текста на английском и корейском языках; каталог также отмечает возможность диалогового использования. В карточке указано дообучение, а название и описание связывают модель с Llama 3 и LoRA; точный идентификатор базовой модели для этой версии в метаданных не приведён. Лицензия — MIT. README содержит пример загрузки через Transformers, но не описывает качество перевода, направление перевода или ограничения по сценариям применения.

Llama 3 Translation 8B v0.180 — дообученная lemon-mint модель семейства Llama для перевода текста на корейский язык. В карточке показан пример перевода с английского на корейский; базовая модель — maywell/Llama-3-Ko-Luxia-Instruct. Модель имеет 7,6 млрд параметров, архитектуру LlamaForCausalLM, работает через Transformers и поддерживает контекст до 8192 токенов. Модель принимает текстовую инструкцию и исходный текст, а результат выдаёт в виде текста на корейском. Указана лицензия llama3. README не уточняет полный набор языковых направлений или качество перевода; приведённые значения train loss и eval loss не сопровождаются описанием датасета или протокола оценки.

MameLoshnLM — языковая модель на базе Llama 3.1 8B, разработанная для идиша и описанная в сопутствующей научной работе. Она создана продолжением предобучения meta-llama/Llama-3.1-8B на корпусе современных интернет-текстов и литературных материалов на идише; небольшая доля английских данных использовалась для снижения потери базовых навыков. Модель имеет архитектуру LlamaForCausalLM, около 7,5 млрд параметров и доступна в формате safetensors для Transformers. Контекст архитектуры — до 131 072 токенов, однако обучение проводилось на последовательностях длиной 1 024 токена. Модель предназначена для генерации текста на идише и может применяться в лингвистических задачах, ответах на вопросы, распознавании именованных сущностей и машинном переводе. В оценках на идише она показала результаты для POS-разметки, синтаксического разбора и лемматизации. Модель не проходила дообучение на инструкциях или настройку безопасности, поэтому не следует ожидать надёжного следования сложным инструкциям. Низкоресурсность идиша и OCR-источники в обучающем корпусе могут приводить к артефактам распознавания и вариативности орфографии. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.

jmbt22/marian-finetuned-opus-mt-en-tl — модель машинного перевода, дообученная на базе Helsinki-NLP/opus-mt-en-tl на датасете Tatoeba. Она построена на архитектуре MarianMT и содержит 54,5 млн параметров; опубликованные веса представлены в формате PyTorch. Модель предназначена для перевода с английского на тагальский. На оценочном наборе указаны loss 1,2611 и BLEU 35,9114. Контекст модели — до 512 токенов. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Карточка не описывает дополнительные сценарии применения или ограничения качества.

Это дообученная модель семейства mT5, разработанная автором репозитория на базе google/mt5-large для перевода с японского языка на упрощённый китайский. Модель содержит около 608,4 млн параметров и предназначена для перевода текстовых предложений. Модель дообучали один проход на парах предложений из отфильтрованных наборов CCMatrix и WikiMatrix. При обучении максимальная длина последовательности составляла 128 токенов, поэтому для перевода документов их следует разбивать на короткие предложения: длинные входы могут ухудшить качество. Веса опубликованы в формате PyTorch; лицензия в предоставленных данных не указана.

NanoSakura-2.3-0.2B — компактная модель примерно с 188 млн параметров, разработанная telecomadm1145 для перевода с японского языка на китайский. Это Seq2Seq-архитектура: Transformer-энкодер обрабатывает исходный текст, а декодер Mamba2 с перекрёстным вниманием формирует перевод. По заявлению автора, генерация не требует растущего KV-кэша, что снижает расход памяти и подходит для развёртывания на устройствах с ограниченными ресурсами и высоконагруженных API. Модель обучалась на наборах skr_trans_distill и очищенных японско-китайских парах Википедии. В карточке приведены результаты FLORES-200 и тестового набора; автор предупреждает, что версия 2.3 не превосходит NanoSakura-2.2 во всех оценках. Для загрузки через Transformers требуется включить trust_remote_code=True. Лицензия — MIT.

Это версия модели машинного перевода NLLB-200 Distilled 600M от Meta AI, преобразованная для инференса через CTranslate2 и квантованная до INT8. Репозиторий указывает 463,7 млн параметров; модель основана на архитектуре M2M100 и поддерживает перевод между 200 языками. Контекст по метаданным — 1024 токена, однако README рекомендует ограничивать вход 512 токенами. Модель предназначена для перевода отдельных предложений, в том числе между языками с небольшим объёмом обучающих данных. Квантование рассчитано на ускорение инференса и снижение потребления памяти при запуске на CPU или GPU. Оценка проводилась на Flores-200 с метриками BLEU, spBLEU и chrF++. README предупреждает о возможных ошибках перевода и неполном учёте языковых вариантов; тестирование преимущественно охватывало материалы Wikimedia. Модель не рекомендуется для сертифицированных переводов и специализированных медицинских или юридических текстов, а её результаты не следует использовать для критичных решений без проверки. Лицензия — CC-BY-NC-4.0, допускающая использование с указанием авторства, но не коммерческое применение.

neverLife/nllb-200-distilled-600M-ja-zh — дообученная модель перевода на базе NLLB-200 Distilled 600M, предназначенная для перевода между японским и китайским языками. В карточке указаны результаты после одной эпохи: loss 1,3042 и BLEU 55,834 на оценочном наборе; архитектура — M2M100ForConditionalGeneration, число параметров — около 463,7 млн, максимальный контекст — 1024 токена. Модель принимает текст и генерирует перевод. Карточка показывает пример оценки и версии Transformers и PyTorch, но не описывает состав оценочного набора и не приводит условия лицензии; качество на других данных не установлено.

NLLB-Susu v1 — модель перевода для сусу (soussou), языка Гвинеи, разработанная на основе NLLB-200-distilled-600M с дообучением и добавлением токена языка sus_Latn. Она поддерживает четыре направления перевода между сусу и французским или английским: fr↔sus и en↔sus. Модель построена на архитектуре M2M100, содержит 463,7 млн параметров и рассчитана на контекст до 1024 токенов. Модель предназначена для перевода текстов между сусу, французским и английским. В тестировании на dev-наборе указаны оценки chrF++ 48,9 для fr→sus, 44,4 для en→sus и 41,2 для sus→fr. Обучающий корпус основан на параллельных переводах Библии, поэтому модель может выбирать религиозную лексику в обычном контексте. Её ещё не проверяли носители сусу. Распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Open-Sarika — модель распознавания и перевода речи, созданная как открытая реализация по мотивам Sarika от Sarvam AI. Она дообучена на базе Whisper large-v3 от OpenAI и предназначена для транскрибации речи на хинди, гуджарати и маратхи, а также перевода речи между этими языками. Модель использует архитектуру Whisper и содержит около 905,2 млн параметров; для запуска применяется библиотека Transformers, веса доступны в формате safetensors. При обучении использовались набор IndicVoices от AI4Bharat, проект Project Vaani и другие записи на индийских языках. Для более быстрой обработки рекомендуется GPU; в README указано минимальное требование в 8 ГБ RAM и размер модели около 1,5 ГБ. Лицензия — MIT. Описание не приводит оценок качества или подробностей о поддержке перевода в текстовом режиме.

Helsinki-NLP/opus-mt-ber-es — модель машинного перевода из семейства MarianMT, разработанная проектом OPUS/Helsinki-NLP. Она переводит текст с языка ber на испанский. Модель основана на Transformer-align, использует нормализацию и SentencePiece и содержит 32 млн параметров; длина контекста — 512 токенов. Модель предназначена для перевода текстов с ber на испанский. В README приведены результаты на тестовом наборе Tatoeba.ber.es: BLEU 33,8 и chr-F 0,487. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-csn-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка csn на испанский; модель построена на архитектуре Transformer-align и использует нормализацию текста и токенизацию SentencePiece. В метаданных указаны 39,5 млн параметров, контекст до 512 токенов и поддержка PyTorch и TensorFlow. Модель предназначена для перевода текстов с csn на испанский. В README приведены результаты тестирования на JW300.csn.es: BLEU 87,4 и chr-F 0,899. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-ln — модель машинного перевода на базе MarianMT, разработанная проектом OPUS/Helsinki-NLP. Она переводит текст с немецкого языка на лингала. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; число параметров — 56,2 млн, длина контекста — до 512 токенов. Модель предназначена для перевода немецких текстов на лингала. В README приведена оценка BLEU 26,7 и chr-F 0,504 на тестовом наборе JW300.de.ln. Модель распространяется по лицензии Apache-2.0 и доступна в форматах PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-de-ny — модель машинного перевода из немецкого языка на чичева (ny), созданная на основе проекта OPUS-MT. Это MarianMTModel с архитектурой Transformer-align, обученная на данных OPUS; перед переводом текст нормализуется и токенизируется с помощью SentencePiece. Размер модели — 56,3 млн параметров, родная длина контекста — 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с немецкого на чичева. В карточке приведена оценка BLEU 21,4 и chr-F 0,481 на наборе JW300.de.ny. Доступны веса PyTorch и TensorFlow. Лицензия Apache-2.0.

Helsinki-NLP/opus-mt-dra-en — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP и представленная в рамках Tatoeba Challenge. Она переводит тексты с каннада, малаялам, тамильского и телугу на английский; модель поддерживает несколько исходных языков, но переводит только в английский. Это Transformer-модель MarianMT с 57,4 млн параметров. Для предобработки применяются нормализация текста и SentencePiece с словарём на 32 тыс. токенов; родная длина контекста — 512 токенов. В опубликованных тестах результаты различаются по языкам: например, BLEU 9,1 для каннада—английского и 42,0 для малаялам—английского, поэтому качество зависит от исходного языка и домена текста. Модель предназначена для перевода текстов и выпущена под лицензией Apache-2.0. Ограничения: поддерживается только перевод с четырёх указанных дравидийских языков на английский; качество для отдельных языковых пар может быть низким, как показывает результат для каннада.

opus-mt-ee-es — модель машинного перевода из семейства OPUS-MT, построенная на архитектуре Marian с трансформером и выравниванием. Она переводит текст с языка ee на испанский; при подготовке текста используются нормализация и SentencePiece. Модель разработана для сценариев автоматического перевода, включая перевод материалов корпуса JW300. Размер модели — 56 млн параметров, длина контекста — 512 токенов. В тесте JW300.ee.es указаны BLEU 26,4 и chr-F 0,449. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Xenova/opus-mt-en-ar — модель машинного перевода, созданная на основе Helsinki-NLP/opus-mt-en-ar и подготовленная сообществом Xenova для работы с Transformers.js. Она предназначена для автоматического перевода текста с английского на арабский язык, в том числе в веб-приложениях и других JavaScript-средах, поддерживающих ONNX-модели. Ключевая особенность этой версии — наличие ONNX-весов, совместимых с Transformers.js. Архитектура, количество параметров, максимальная длина контекста и дополнительные модальности в README не указаны; модель предназначена только для текстового перевода между английским и арабским языками. ONNX-представление упрощает использование модели в веб-среде, однако сведения о качестве перевода, производительности и ограничениях на конкретных типах текста отсутствуют. Лицензия в предоставленных данных не указана. Репозиторий с ONNX-весами обозначен как временное решение до более широкого распространения WebML.

Helsinki-NLP/opus-mt-en-cpp — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с английского на несколько креольских и близких к ним языков и разновидностей: индонезийский, минангкабау, папьяменто, макасарский, малайский и индонезийский малайский. Для выбора целевого языка в начале входного текста требуется токен вида >>id<< с допустимым кодом языка. Модель основана на архитектуре Transformer и реализована как MarianMTModel; содержит 54,7 млн параметров, использует нормализацию и SentencePiece с словарём 32 тыс. токенов. Максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт текст перевода. Для лицензии Apache-2.0 разрешено использование в соответствии с её условиями. В README приведены результаты на тестовых наборах Tatoeba, включая BLEU 42,5 для перевода с английского на папьяменто.