I.6Перевод и языковая адаптация

NorMistral-11B-warm — большая языковая модель, разработанная Language Technology Group Университета Осло в сотрудничестве с NORA.LLM. Она входит в семейство NORA.LLM и создана на основе Mistral-Nemo-Base-2407 посредством дополнительного предобучения на 250 млрд субтокенов. Модель предназначена прежде всего для исследовательских задач, связанных с генерацией и обработкой текста, включая перевод и работу со скандинавскими языками, саамскими языками, английским языком и программным кодом. Модель использует архитектуру Mistral с 40 слоями Transformer, 11,4 млрд параметров, скрытым размером 5120, механизмами RMSNorm, SwiGLU, rotary positional embeddings и grouped-query attention. В словаре 51 200 токенов; специализированный токенизатор уменьшает количество токенов на слово по сравнению с исходной моделью, что может ускорять инференс на целевых языках. Обучение сочетает causal language modeling и masked next-token prediction, поэтому модель может использоваться как генеративная causal-модель и как двунаправленная encoder-модель. README не указывает размер контекстного окна. Сильными сторонами модели являются адаптация к Bokmål, Nynorsk и Northern Sámi, поддержка Danish, Swedish, Icelandic, Faroese и English, а также обучение на сбалансированном многоязычном корпусе с повторным использованием данных малоресурсных языков. При этом модель не дообучалась для следования инструкциям и может генерировать вредоносные продолжения при неподходящих запросах, поэтому не предназначена для неконтролируемого пользовательского применения. Весы распространяются по лицензии Apache-2.0, однако разработчики не заявляют права на все данные обучающей коллекции.

Helsinki-NLP/opus-mt-aed-es — модель машинного перевода из семейства OPUS-MT, построенная на архитектуре Marian Transformer. Она переводит с языка, обозначенного кодом aed, на испанский; при подготовке текста используются нормализация и SentencePiece. Модель содержит 37,3 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода текстов и предложений с aed на испанский. В README приведён результат BLEU 89,1 и chr-F 0,915 на тестовом наборе JW300.aed.es. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-eo — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с немецкого языка на эсперанто и предназначена для автоматического перевода предложений и текстовых фрагментов между этой парой языков. Модель использует архитектуру MarianMT на базе Transformer; в ней около 55,8 млн параметров. В README указана предобработка с нормализацией и SentencePiece, а контекст модели составляет 512 токенов. Для набора Tatoeba.de.eo приведены оценки BLEU 48,6 и chr-F 0,673. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Оценки из README относятся к конкретному тестовому набору и не гарантируют такое же качество на других текстах; направление перевода ограничено немецким → эсперанто.

Helsinki-NLP/opus-mt-de-fj — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на фиджийский и предназначена для автоматического перевода предложений и текстов в этом направлении. Модель использует архитектуру Transformer-align на базе MarianMT; размер составляет 55,8 млн параметров, предобработка включает нормализацию и SentencePiece. Для набора JW300.de.fj в карточке приведены оценки BLEU 24,6 и chr-F 0,470. Модель принимает текст на немецком языке и генерирует текст на фиджийском. Лицензия — Apache-2.0. Карточка не описывает ограничения качества помимо результатов на указанном тестовом наборе.

Helsinki-NLP/opus-mt-en-cel — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с английского на один из шести кельтских языков: бретонский, корнский, валлийский, шотландский гэльский, ирландский или мэнский. Для выбора языка перевода перед текстом требуется добавить языковой токен вида `>>id<<` с допустимым идентификатором целевого языка. Модель содержит 54,8 млн параметров, использует нормализацию и SentencePiece с отдельными словарями по 32 тыс. токенов для входа и выхода; длина контекста — до 512 токенов. Контрольные результаты различаются по языкам: в README приведены BLEU 31,0 для валлийского, 11,5 для бретонского и 0,3 для корнского, поэтому качество может быть слабым для отдельных языков и текстов. Модель предназначена для перевода, а не для генерации произвольных ответов. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-eo-hu — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе архитектуры Marian. Она переводит текст с эсперанто на венгерский и предназначена для автоматического перевода отдельных фраз и текстов. Модель содержит около 29 млн параметров, использует Transformer с выравниванием и SentencePiece с нормализацией; максимальная длина контекста — 512 токенов. Для пары Esperanto→Hungarian в README приведён результат BLEU 12,8 на тесте Tatoeba. Модель принимает текст на эсперанто и генерирует текст на венгерском. Распространяется по лицензии Apache-2.0. Показатель на одном тестовом наборе не гарантирует такого же качества на других тематиках и типах текста.

Helsinki-NLP/opus-mt-es-is — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе проекта OPUS. Она переводит текст с испанского на исландский и предназначена для перевода отдельных фраз и текстов, в том числе в приложениях на базе Transformers. Модель построена на архитектуре MarianMT с Transformer и содержит 56,1 млн параметров; максимальная длина контекста — 512 токенов. Для предобработки используются нормализация и SentencePiece с отдельными словарями размером 32 тысячи токенов. В карточке приведён результат BLEU 27,1 и chr-F 0,528 на тестовом наборе Tatoeba для пары испанский—исландский. Модель не является многоязычной: она рассчитана на перевод с испанского на исландский. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ilo-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с илоко (Iloko) на английский язык и подходит для перевода отдельных фраз и текстов. Архитектура — MarianMT, вариант transformer-align; размер составляет 36,5 млн параметров, родная длина контекста — 512 токенов. Предобработка включает нормализацию и SentencePiece с моделями словаря spm12k для обоих языков. В README приведён результат 36,4 BLEU и 0,558 chr-F на Tatoeba-test.ilo.eng. Репозиторий распространяется по лицензии Apache-2.0; доступны веса PyTorch и TensorFlow. Модель предназначена для перевода между одной языковой парой, поэтому её не следует считать универсальной или многоязычной системой перевода.

Это нейронная модель машинного перевода OPUS-MT, разработанная группой Language Technology Research Group Хельсинкского университета. Она переводит тексты с западногерманских языков на английский и предназначена для многоязычного перевода, в том числе библейских текстов. Модель использует архитектуру transformer-big на базе Marian NMT; в репозитории представлены веса PyTorch и Safetensors. Размер — 156,7 млн параметров, максимальный контекст — 1024 токена. Модель обучена на данных OPUS, включая параллельные корпуса и библейский корпус. В тестировании на наборе Tatoeba для направления «многоязычные языки → английский» указаны BLEU 52,6 и chr-F 0,70028. Обучающие данные могут содержать оскорбительный контент и исторические или современные стереотипы. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-tc-big-cel-en — модель машинного перевода проекта OPUS-MT, разработанная с использованием Marian NMT и опубликованная в формате PyTorch для Transformers. Она переводит с бретонского, валлийского и ирландского языков на английский. Модель основана на архитектуре Transformer-big, содержит 154,3 млн параметров и использует токенизацию SentencePiece с словарями по 32 тысячи токенов. Контекст ограничен 1024 токенами. Модель предназначена для перевода текстов с кельтских языков, в том числе в доступных через Transformers конвейерах перевода. В README приведены результаты тестирования на наборе Tatoeba для каждой из трёх языковых пар. Модель распространяется по лицензии CC BY 4.0.

remox01/opus-mt-tc-big-tr-en — модель машинного перевода с турецкого на английский, основанная на Helsinki-NLP/opus-mt-tc-big-tr-en. Она использует архитектуру Marian и предназначена для перевода турецких предложений на английский; в карточке также указан датасет remox01/xde с 164 параллельными предложениями и морфологическим анализом турецкого текста и разметкой частей речи английского текста. Модель загружается через Transformers как последовательная модель Seq2Seq и распространяется в формате safetensors. Небольшой размер указанного набора данных не позволяет заключить, насколько хорошо модель работает на широком спектре текстов. В метаданных указано окно контекста 1024 токена. Лицензия в доступных данных не приведена.

Helsinki-NLP/opus-tatoeba-en-tr — модель машинного перевода английского языка на турецкий из проекта OPUS/Tatoeba-Challenge, разработанная Helsinki-NLP. Это компактная последовательностная Transformer-модель на архитектуре MarianMT с 55,9 млн параметров; она принимает текст и выдаёт перевод. Для обработки текста применяются нормализация и SentencePiece с моделями токенизации spm32k. Максимальная длина контекста — 512 токенов. В README приведены результаты BLEU 21,4–22,8 на тестовых наборах новостных текстов 2016–2017 годов. Модель подходит для перевода отдельных фраз и текстов с английского на турецкий. Она специализирована на одной языковой паре и не заявлена как универсальный переводчик. Распространяется по лицензии Apache-2.0.

Shamrock-0-E2B — дообученная на базе Google Gemma 4 E2B IT модель для языковых функций настольного приложения Oxalis. Она предназначена для перевода текста и текста с камеры, работы с репетитором, разговорной практики и словарных запросов на японском, корейском и упрощённом китайском языках. Модель построена на плотной архитектуре Gemma 4 E2B; в репозитории есть объединённый чекпойнт fp16, варианты GGUF и отдельный черновик MTP для ускорения спекулятивного декодирования в llama.cpp. Метаданные классифицируют её как text-generation и указывают поддержку чата; базовая Gemma 4 также мультимодальна. Модель ориентирована на функции изучения языков в Oxalis, а не на универсальную генерацию. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение. Контекстная длина и отдельные оценки качества в предоставленных данных не описаны.

Swallow-MX-8x7b-NVE-v0.1 — языковая модель команды Swallow из лабораторий Okazaki и YOKOTA Токийского технологического института. Она прошла дополнительное непрерывное предобучение на базе Mixtral-8x7B-Instruct-v0.1 с добавлением японских данных; архитектура — Mixtral MoE. В метаданных указаны 7,1 млрд параметров и контекст 4096 токенов. Модель предназначена для генерации текста на японском и английском языках, включая ответы на вопросы, обобщение и перевод. В приведённых оценках Swallow показывает сильные результаты на ряде японских тестов, но результаты на английских тестах ниже показателей Llama 2 7B в этой таблице. Разработчики отмечают, что модель находится на ранней стадии исследований и не настроена для следования человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

WindyTranslate/translate-bcl-es — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-bcl-es: LoRA-дообучение на параллельном корпусе слито с базовыми весами. Модель построена на архитектуре MarianMT, содержит 55,8 млн параметров и принимает текст длиной до 512 токенов. Модель предназначена для перевода с бикольского языка (bcl) на испанский (es); поддерживается только это направление. Она загружается через Transformers и распространяется в формате safetensors. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность для конкретного сценария нужно проверять отдельно. Лицензия — Apache-2.0.

Windstorm Labs публикует MarianMT-модель машинного перевода с немецкого языка на игбо. Это дообученная версия Helsinki-NLP/opus-mt-de-ig: LoRA-адаптер обучен на параллельном корпусе и объединён с базовыми весами. Модель содержит 55,9 млн параметров, принимает и выдаёт текст; доступна в формате safetensors для Transformers. Контекст — до 512 токенов. Модель предназначена для перевода немецких текстов на игбо в сценариях, где нужна именно эта языковая пара. В проверке на 48 предложениях FLORES-200 она получила chrF++ 24,94 и BLEU 3,40; это ограниченная предварительная оценка, а не результат публикационного исследования. Лицензия — Apache-2.0.

WindyTranslate/translate-en-ber — модель машинного перевода от Windstorm Labs для перевода текста с английского на язык ber. Она основана на Helsinki-NLP/opus-mt-en-ber: к исходным весам применили дообучение LoRA на параллельных текстах и объединили адаптер с базовой моделью. Это MarianMT-модель с 43,6 млн параметров и контекстом до 512 токенов, доступная в формате safetensors для Transformers. Модель предназначена для однонаправленного перевода en→ber. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность для конкретного сценария следует проверять отдельно. Лицензия — Apache-2.0.

Windstorm Labs публикует эту модель машинного перевода с английского на себуано. Это модель MarianMT на базе Helsinki-NLP/opus-mt-en-ceb, содержащая 54,3 млн параметров и рассчитанная на контекст до 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors; лицензия — Apache-2.0. Веса отличаются от базовой модели: к 72 из 254 тензоров применено документированное числовое преобразование epsilon-noise-fog с максимальным абсолютным изменением 5,234×10⁻⁷; это не результат дообучения. В карточке приведён скрининговый результат на 48 предложениях FLORES-200 dev: chrF++ 55,19 и BLEU 26,49. Эти данные дают ориентир, но не являются полноценной публикационной оценкой качества.

Windstorm Labs публикует модель машинного перевода с английского языка на эфик. Это дообученная модель семейства MarianMT с архитектурой MarianMTModel и 53,4 млн параметров; она принимает текст и генерирует перевод. Для дообучения использован параллельный корпус, а LoRA-изменения объединены с весами базовой модели Helsinki-NLP/opus-mt-en-efi. Репозиторий содержит сборку Transformers в формате safetensors; контекст — до 512 токенов. Модель предназначена для перевода текста с английского на эфик. Направление перевода одно, качество пока не оценено: проверка подтверждает язык выдачи, но не точность и естественность перевода. Модель распространяется по лицензии Apache-2.0.

WindyTranslate/translate-en-ln — модель машинного перевода Windstorm Labs для перевода текста с английского на лингала. Это дообученная и объединённая с базовыми весами модель Helsinki-NLP/opus-mt-en-ln на параллельных данных. Она построена на архитектуре MarianMT, содержит 55 млн параметров, использует формат safetensors и имеет контекст до 512 токенов. Модель предназначена для перевода текстов с английского на лингала. В карточке приведена скрининговая оценка на 48 предложениях FLORES-200 dev: chrF++ 39,52 и BLEU 10,46; автор относит результат к категории Usable и подчёркивает, что это не публикационный результат. Модель распространяется по лицензии Apache-2.0.

WindyTranslate/translate-en-tvl — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с английского на тувалу. Это дообученная версия Helsinki-NLP/opus-mt-en-tvl: LoRA-адаптация на параллельных текстах объединена с базовыми весами. Модель построена на архитектуре MarianMT, содержит около 44,8 млн параметров и распространяется в формате safetensors для использования с Transformers. Заявленная длина контекста — 512 токенов. Модель подходит для перевода отдельных текстов и других сценариев, где нужен перевод с английского на тувалу. Карточка подтверждает, что результаты относятся к заявленному языку, но не содержит оценки качества перевода. Поддерживается только одно направление перевода. Лицензия — Apache-2.0.

Windstorm Labs выпустила модель машинного перевода с испанского языка на гуарани (западный диалект, код guw). Это модель семейства MarianMT на базе Helsinki-NLP/opus-mt-es-guw с 53,1 млн параметров и контекстом до 512 токенов. Модель принимает текст и генерирует перевод в одном направлении: es → guw. Веса базовой модели дообучены методом LoRA на параллельном корпусе, после чего адаптер объединён с базовыми весами. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0. Модель предназначена для перевода испанских текстов на гуарани. Качество пока не оценивалось бенчмарками, поэтому пригодность для конкретных сценариев требует проверки; заявленное изменение весов подтверждает происхождение, но не качество перевода.

Windstorm Labs опубликовала модель машинного перевода с фиджийского языка на английский. Это дообученная версия Helsinki-NLP/opus-mt-fj-en: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель использует архитектуру MarianMT, содержит 53,8 млн параметров и принимает текстовый ввод с контекстом до 512 токенов. Модель предназначена для перевода фиджийских текстов на английский, например отдельных фраз и документов. В проверке на 48 предложениях FLORES-200 она получила chrF++ 29,31 и BLEU 7,76; это ограниченная скрининговая оценка, а не публикационный результат. Поддерживается только направление fj→en. Репозиторий содержит веса safetensors для Transformers. Лицензия — Apache-2.0.

WindyTranslate/translate-fr-gil — модель машинного перевода от Windstorm Labs для перевода с французского языка на гилбертский. Это дообученная версия Helsinki-NLP/opus-mt-fr-gil: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель использует архитектуру MarianMT, содержит 52,4 млн параметров и принимает последовательности длиной до 512 токенов. Репозиторий содержит сборку для Transformers в формате safetensors. Модель предназначена для перевода текста в направлении fr→gil; других языковых направлений карточка не заявляет. Лицензия — Apache-2.0. Качество перевода пока не оценивалось, поэтому пригодность для конкретного сценария следует проверять отдельно.

WindyTranslate/translate-fr-kg — модель машинного перевода Windstorm Labs, предназначенная для перевода текста с французского языка на конго (кг). Это дообученная версия Helsinki-NLP/opus-mt-fr-kg: LoRA-адаптер обучили на параллельных данных и объединили с базовыми весами. Модель использует архитектуру MarianMT, содержит 50,2 млн параметров и имеет контекстное окно 512 токенов. Модель распространяется в формате safetensors и загружается через Transformers как seq2seq-модель. В ограниченной проверке на 48 предложениях FLORES-200 она получила chrF++ 28,79 и BLEU 4,39; эти результаты не являются полноценной публикационной оценкой. Модель поддерживает только направление перевода с французского на конго. Лицензия — Apache-2.0.

Sunbird/translate-nllb-3.3b-salt — дообученная Sunbird на наборе generator модель на базе facebook/nllb-200-3.3B. Она предназначена для перевода между английским и несколькими восточноафриканскими языками; в карточке приведены результаты оценки для Acholi, Luganda, Lango, Runyankole, Ateso, Soga и суахили, включая перевод в обоих направлениях для части языковых пар. Модель построена на архитектуре m2m_100, содержит 2,1 млрд параметров и имеет контекст 1024 токена. В README указаны средние BLEU 25,47 и отдельные оценки по направлениям и языкам. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Подробные сведения о сценариях применения и ограничениях авторы не предоставили.

Translation-GPT-v3 — дообученная разработчиком Dhahlan2000 модель семейства mT5 для генерации текста по текстовому запросу. Она содержит 157,4 млн параметров и представлена в формате TensorFlow. По карточке указаны результаты обучения на одном неизвестном наборе данных: значение функции потерь на обучении — 3,2180, на проверке — 2,5928 после одной эпохи. Модель предназначена для перевода текста, однако README не описывает поддерживаемые языковые пары, качество перевода или конкретные сценарии применения. Она дообучена на базе Dhahlan2000/Translation-GPT-v2; лицензия — Apache-2.0.

Mozilla.ai представила дообученную версию OpenAI Whisper large-v3 для распознавания речи на бенгальском языке. Модель использует архитектуру WhisperForConditionalGeneration, содержит около 905,2 млн параметров и принимает аудио, выдавая текст. Она создана на 21 409 аудиозаписях бенгальской части корпуса Common Voice 21.0; после дообучения опубликованы улучшенные показатели ошибок распознавания по сравнению с исходной Whisper large-v3 на бенгальском наборе.

Это версия весов ivrit-ai/whisper-large-v3 в формате CTranslate2 для использования с Faster Whisper. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст; карточка указывает иврит как язык модели, а базовая мультиязычная модель Whisper large-v3 также поддерживает транскрибацию и перевод аудио в текст. Модель основана на openai/whisper-large-v3 и подготовлена в формате CTranslate2. Формат позволяет запускать её через Faster Whisper. Репозиторий распространяется по лицензии Apache-2.0.

jmshd/whisper-uz — дообученная Jamshid Ahmadov модель Whisper Base для автоматического распознавания речи на узбекском языке. Она принимает аудио и генерирует текстовую расшифровку; при дообучении использованы Common Voice 17.0 и датасет uzbekvoice. В README приведён результат на оценочном наборе: WER 14,0135 и loss 0,1652. Модель построена на архитектуре Whisper, содержит 51,7 млн параметров и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0.