I.6Перевод и языковая адаптация

Helsinki-NLP разработала opus-mt-de-kg — модель машинного перевода с немецкого языка на киргизский. Это компактная модель семейства Marian на архитектуре Transformer, обученная на данных OPUS; для обработки текста применяются нормализация и SentencePiece. Модель содержит около 50,7 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода предложений и текстовых фрагментов с немецкого на киргизский. В README приведены результаты оценки на JW300.de.kg: BLEU 24,4 и chr-F 0,474. Это узконаправленный переводчик для одной языковой пары; качество на других доменах и типах текстов может отличаться. Лицензия — Apache-2.0.

opus-mt-ee-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка ee на французский. Модель основана на архитектуре Transformer-align, использует нормализацию текста и SentencePiece; число параметров — 56 млн, максимальная длина контекста — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Модель предназначена для перевода текстов с ee на французский; в карточке приведён результат BLEU 27,1 на тестовом наборе JW300.ee.fr. Лицензия — Apache-2.0. Результат на одном тестовом наборе не гарантирует качество для других жанров и предметных областей.

Helsinki-NLP/opus-mt-en-afa — модель машинного перевода проекта OPUS-MT на архитектуре Transformer Marian, опубликованная под Apache-2.0. Она переводит текст с английского на несколько афразийских языков: арабские разновидности, амхарский, тигринья, сомалийский, хауса, иврит, кабильский, мальтийский, рифский и другие. Для выбора языка перевода перед текстом требуется указать специальный токен вида >>id<<. Модель содержит 56,5 млн параметров, использует нормализацию и SentencePiece с словарями spm32k и принимает контекст длиной до 512 токенов. Она ориентирована на однонаправленный перевод с английского, а не на перевод с целевых языков обратно на английский. Приведённые в карточке оценки на тестовых наборах различаются по языкам, поэтому качество может быть ограниченным и неоднородным.

Helsinki-NLP/opus-mt-en-map — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит с английского на множество австронезийских языков, включая себуано, яванский, индонезийский, маори, фиджийский, самоанский и тонганский. Для выбора языка перевода в начале входного текста требуется токен вида >>id<< с допустимым идентификатором целевого языка. Модель содержит 55,9 млн параметров, использует нормализацию и SentencePiece с словарём 32 тыс. токенов; родной размер контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В README приведены оценки BLEU, различающиеся по языковым парам, что указывает на неодинаковое качество перевода между целевыми языками. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-fi-ln — модель машинного перевода с финского языка на лингала. Это модель семейства Marian на архитектуре Transformer-align с 56,7 млн параметров; для обработки текста используются нормализация и SentencePiece. Модель обучена на данных OPUS. В карточке приведены результаты оценки на тестовом наборе JW300.fi.ln: BLEU 29,2 и chr-F 0,536. Модель подходит для перевода предложений и текстов с финского на лингала. Контекст модели составляет 512 токенов. Доступны веса PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-fr-ilo — модель машинного перевода семейства MarianMT, разработанная проектом OPUS. Она переводит текст с французского языка на илоканский. Модель основана на архитектуре Transformer-align, обучена на данных OPUS и использует нормализацию и SentencePiece для предобработки текста. Размер модели — 55,9 млн параметров, длина контекста — 512 токенов; доступны форматы PyTorch и TensorFlow. Модель предназначена для перевода предложений и текстовых фрагментов с французского на илоканский. В карточке приведена оценка BLEU 30,6 и chr-F 0,528 на тестовом наборе JW300.fr.ilo. Модель распространяется по лицензии Apache-2.0. Оценка на одном тестовом наборе не гарантирует аналогичного качества для других тематик и типов текста.

Helsinki-NLP/opus-mt-fr-lus — модель машинного перевода семейства OPUS-MT, разработанная командой Helsinki-NLP. Она переводит текст с французского языка (fr) на лушайский (lus), используя архитектуру Transformer в реализации MarianMT. Модель насчитывает 52,4 млн параметров, имеет контекст длиной до 512 токенов и обучена на данных OPUS; перед обработкой применяются нормализация и токенизация SentencePiece. Модель подходит для перевода отдельных фраз и текстов с французского на лушайский. В README приведён результат BLEU 25,5 на наборе JW300.fr.lus. Репозиторий содержит веса PyTorch и TensorFlow и распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-is-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с исландского языка на испанский и предназначена для перевода отдельных фраз и текстов, в том числе в проектах на основе Transformers. Модель построена на архитектуре MarianMT с Transformer; содержит 56,1 млн параметров и поддерживает контекст до 512 токенов. Для предобработки используются нормализация и SentencePiece с подсловными словарями размером 32 тыс. единиц. В карточке приведён результат BLEU 51,2 и chr-F 0,665 на наборе Tatoeba-test.isl.spa. Модель распространяется по лицензии Apache-2.0. Она специализирована на одной языковой паре и направлении перевода: с исландского на испанский.

Helsinki-NLP/opus-mt-war-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с варайского языка (Waray, Филиппины) на английский. Архитектура — Transformer-align на базе MarianMT; модель содержит 28,9 млн параметров, использует нормализацию и SentencePiece с словарями по 4 тыс. токенов и рассчитана на контекст до 512 токенов. Модель предназначена для перевода фраз и текстов с варайского на английский. В тесте Tatoeba для этой языковой пары указаны BLEU 12,3 и chr-F 0,308. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

linguardia/opus-mt-zh-nan — модель машинного перевода, дообученная Linguardia на базе Helsinki-NLP/opus-mt-zh-en. Она переводит текст с мандаринского китайского на тайваньский хоккиен и предназначена, в частности, для подготовки учебных материалов по языку, для которого мало доступных систем машинного перевода. Модель построена на архитектуре MarianMT и использует формат safetensors; нативная длина контекста составляет 512 токенов. Для обучения использовались пары предложений на мандаринском и тайваньском хоккиене из словарной базы ChhoeTaigi. Модель доступна по лицензии Apache-2.0. Карточка не приводит оценки качества перевода, поэтому пригодность результатов для публикации или обучения следует проверять на целевых текстах.

Qehwa — языковая модель на 7,1 млрд параметров, созданная независимым разработчиком Junaid Aslam на базе Qwen2.5-7B. Модель прошла дополнительное предобучение на корпусе из 3,4 млн документов на пакистанском пушту, а затем инструкционное дообучение на 126 519 парах запросов и ответов на пешаварском диалекте. Репозиторий содержит объединённую модель в формате safetensors для запуска через Transformers. Модель предназначена для ответов и диалога на пешаварском пушту, написания текстов и стихов, исправления грамматики, перевода с английского на пушту, а также ответов на запросы, сформулированные на английском или урду. Она также обучена на материалах по истории, культуре, географии KPK, исламским темам и традициям паштунвали. Заявленная длина контекста — 131 072 токена; лицензия — Apache-2.0. По данным автора, на собственном наборе из 150 тестов средняя точность составила 85,3%; это оценка автора, а не результат стандартного публичного бенчмарка. Модель лучше работает с пакистанским пешаварским пушту, а качество на афганских диалектах может быть ниже. Для полной точности письма важны специфические буквы пушту.

facebook/s2t-small-mustc-en-it-st — компактная модель семейства Speech2Text от Facebook, предназначенная для сквозного перевода английской речи в итальянский текст. Она построена как трансформер encoder-decoder с последовательной генерацией и свёрточным блоком, сокращающим длину входных речевых признаков перед подачей в энкодер. Модель содержит 14,6 млн параметров и доступна в форматах PyTorch и TensorFlow. Модель принимает речевые аудиопризнаки и генерирует итальянский перевод. Она обучена на англо-итальянской части корпуса MuST-C с аудиозаписями выступлений TED и предварительно обученным для распознавания английской речи энкодером; для тестовой части MuST-C указана оценка BLEU 22,7. Лицензия — MIT. Карточка описывает конкретное направление перевода, поэтому её не следует считать универсальной моделью распознавания или перевода речи.

ifuseok/sft-solar-10.7b-v1.1 — текстовая генеративная модель, созданная дообучением upstage/SOLAR-10.7B-Instruct-v1.0. Она предназначена для диалогов, следования инструкциям, ответов на вопросы и англо-корейского перевода. Модель использует плотную архитектуру LlamaForCausalLM, содержит около 10,6 млрд параметров и принимает только текст, генерируя текст; нативная длина контекста — 4096 токенов. Для обучения использовались корейские наборы инструкций и вопросов, включая Korean OpenOrca, Korean BoolQ и переведённый на корейский набор Dolly, а также часть данных AIhub для перевода с английского на корейский. Это указывает на основной акцент на корейском языке, хотя переводные данные также поддерживают сценарии с английским. Репозиторий распространяет веса в формате safetensors и предназначен для загрузки через Transformers. Лицензия в предоставленных сведениях не указана.

Dhahlan2000/Simple_Translation-model-for-GPT-v2 — модель семейства T5 с архитектурой T5ForConditionalGeneration и 38,5 млн параметров. По названию репозитория и тегу text2text-generation она предназначена для перевода текста. Автор сообщает, что модель обучена с нуля на неизвестном наборе данных; в README приведены результаты оценки: BLEU 47,2655, loss 0,1430 и средняя длина генерации 15,2769 токена. Модель принимает текст и генерирует текст; заявленный контекст составляет 512 токенов. Языки перевода, конкретные направления и рекомендуемые сценарии не описаны. Лицензия в предоставленных данных не указана.

Sugoi 14B Ultra — модель для локального перевода с японского на английский, разработанная командой Sugoi Toolkit. Она особенно предназначена для перевода диалогов видеоигр, текстов RPG Maker и других материалов с большим количеством скобок и служебной разметки. Модель доступна в формате GGUF и основана на sugoitoolkit/Sugoi-14B-Ultra-HF. Модель ориентирована на интерактивное использование в приложениях с чат-интерфейсом, включая LM Studio. Для наилучшего результата рекомендуется системный промпт, задающий роль профессионального локализатора и требующий отвечать на английском языке. Заявлены улучшенное следование инструкциям и BLEU 21,38 против 13,67 у предыдущей квантованной версии. Рекомендуется использовать контекст примерно до 10 строк, поскольку более длинный контекст может ухудшать качество. Экспериментальными функциями считаются интеграция с инструментами, вывод в JSON и сохранение тегов RPG Maker; их результаты следует проверять. Качество зависит от сложности промпта и используемого интерфейса. Вне задачи перевода модель может сохранять ограничения, связанные с цензурой Qwen. Модель распространяется по лицензии Apache-2.0.

sungju-finetuned-zh-to-ko1 — дообученная модель перевода на основе alirezamsh/small100, опубликованная пользователем pigeon01. Она предназначена для перевода текста с китайского на корейский. Модель построена на архитектуре M2M-100, содержит 332,5 млн параметров, принимает текстовый ввод и выдаёт текст; родной контекст составляет 1024 токена. В карточке приведены результаты оценки на тестовом наборе: loss 2,0467 и BLEU 10,2096. Датасет обучения не назван, поэтому качество перевода и переносимость на другие типы текстов по этим значениям оценить нельзя. Модель распространяется по лицензии MIT.

t5-sl-medical-gec — небольшая модель MediaAtlas для исправления грамматики в словенских медицинских текстах после машинного перевода. Это дообученная версия cjvt/t5-sl-small с архитектурой T5 и 45,7 млн параметров по метаданным; в карточке модели указано около 76 млн параметров. Для обработки к тексту добавляют префикс «popravi: ». Модель исправляет ошибки падежных окончаний и согласования рода между прилагательными и существительными, стараясь сохранять уже корректные фрагменты. Она обучена на синтетических парах ошибок и исправлений, включая примеры без изменений. Модель предназначена для недорогого этапа постредактирования машинного перевода медицинских текстов на словенском языке. По описанию, на отложенном наборе клинических предложений она исправляет примерно половину остаточных ошибок согласования и падежа после перевода. Лицензия — CC BY-SA 4.0. Это прототипный грамматический корректор, а не источник медицинской информации и не клинический продукт. Он не предназначен для исправления лексических кальк и всех типов ошибок склонения; результат должен проверять специалист. После обработки следует отдельно проверять, что числа, единицы измерения и названия лекарств не изменились. Для токенизатора базовой модели README отмечает проблему загрузки медленной версии в новых версиях Transformers и рекомендует использовать fast-токенизатор.

echarlaix/t5-small-openvino — это версия модели T5-small, экспортированная в формат OpenVINO IR. Репозиторий поддерживает модель, первоначально разработанную командой T5: Colin Raffel, Noam Shazeer, Adam Roberts и другими авторами, указанными в исходной публикации. T5 представляет собой encoder-decoder Transformer, предварительно обученный на сочетании неразмеченных и размеченных задач, преобразованных к единому формату «текст на входе — текст на выходе». Модель предназначена для задач генерации текста, включая суммаризацию и перевод, а также другие сценарии преобразования текста. В README приведён пример перевода с английского на французский через Transformers pipeline и OpenVINO. В метаданных заявлены языки английский, французский, румынский и немецкий; среди связанных данных указан датасет C4. Размер параметров и максимальная длина контекста не указаны. Ключевое преимущество модели — возможность запуска seq2seq-модели T5 через OpenVINO, что может быть полезно для совместимого с этим стеком инференса. Ограничения и результаты бенчмарков в README не описаны, поэтому нельзя сделать выводы о качестве на конкретных задачах или производительности. Модель распространяется по лицензии Apache-2.0.

TowerVideo-9B — мультимодальная видеоязыковая модель семейства TowerVision, разработанная командой utter-project. Она принимает текст, изображения и видео и генерирует текст; модель предназначена для анализа видеоматериалов и других визуально-языковых задач, включая описание и обобщение, ответы на вопросы по визуальному содержимому и мультиязычный перевод с учётом культурного контекста. Модель содержит 9 млрд параметров и использует архитектуру LlavaOnevision: языковую основу TowerVision-9B с визуальным энкодером SigLIP2-patch14-384, соединённым мультимодальным адаптером. Контекст — 8192 токена. В карточке перечислены языки, включая английский, немецкий, русский, китайский, японский и хинди. Указаны сильные результаты на мультиязычных и культурно-ориентированных визуальных задачах; конкретные численные результаты для этой версии в карточке не приведены. Это дообучение utter-project/TowerVision-9B на видеотекстовой части датасета VisionBlocks. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия CC-BY-NC-SA-4.0 допускает использование с указанием авторства и на условиях лицензии, но запрещает коммерческое применение.

WindyTranslate/translate-afa-en — модель машинного перевода от Windstorm Labs для перевода с афразийских языков на английский. Она основана на Helsinki-NLP/opus-mt-afa-en и использует архитектуру MarianMT; размер составляет 56,5 млн параметров, нативный контекст — 512 токенов. Разработчик сообщает, что модель дообучена методом LoRA на параллельных текстах, а адаптер объединён с базовыми весами. Модель принимает текст и выдаёт перевод на английском. Поддерживается только направление с афразийских языков на английский. Качество этой версии не оценивалось бенчмарками, поэтому пригодность для конкретных текстов следует проверять отдельно. Лицензия — Apache-2.0.

WindyTranslate/translate-bg-es — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с болгарского на испанский. Это дообработанная численным преобразованием версия Helsinki-NLP/opus-mt-bg-es на архитектуре MarianMT; в репозитории указаны 56,8 млн параметров и контекст до 512 токенов. Модель принимает текст и выдаёт текст перевода. Для оценки приведён результат chrF++ 49,10 и BLEU 25,03 на 48 предложениях FLORES-200 dev; авторы называют это предварительной проверкой, а не результатом публикации. Модель поддерживает только направление болгарский → испанский. Изменение весов описано как воспроизводимое внесение очень малого шума в 72 из 254 тензоров, а не как обучение. Лицензия — Apache-2.0.

WindyTranslate/translate-de-efi — модель машинного перевода от Windstorm Labs, предназначенная для перевода с немецкого на эфик. Это дообученная версия Helsinki-NLP/opus-mt-de-efi: LoRA-адаптация на параллельных текстах объединена с базовыми весами. Модель построена на архитектуре MarianMT, содержит 55,7 млн параметров и рассчитана на контекст до 512 токенов; доступна в формате safetensors для Transformers. Модель подходит для перевода немецких текстов на эфик. В карточке не приведены результаты оценки качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных. Поддерживается только направление de→efi. Лицензия — Apache-2.0.

WindyTranslate/translate-de-loz — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с немецкого языка на лозийский. Это дообученная версия Helsinki-NLP/opus-mt-de-loz: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель построена на архитектуре MarianMT и содержит 56,3 млн параметров. Репозиторий содержит сборку Transformers в формате safetensors. Модель принимает текст на немецком языке и генерирует перевод на лозийском; размер контекста — 512 токенов. Лицензия — Apache-2.0. Качество перевода пока не оценивалось, поэтому пригодность модели для конкретных сценариев следует проверять отдельно.

WindyTranslate/translate-ee-sv — модель машинного перевода Windstorm Labs с языка эве на шведский. Это дообученная версия Helsinki-NLP/opus-mt-ee-sv: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель построена на архитектуре MarianMT, содержит 55,7 млн параметров, принимает текст и выдаёт перевод. Репозиторий содержит веса в формате safetensors для Transformers; контекст — до 512 токенов. Модель предназначена для перевода в одном направлении: с эве на шведский. В проверке на 48 предложениях FLORES-200 она получила chrF++ 25,42 и BLEU 3,77; авторы относят результат к ограниченному уровню и отмечают, что это предварительная оценка. Лицензия — Apache-2.0.

Windstorm Labs выпустила модель машинного перевода с английского на валлийский, дообученную на параллельных данных от Helsinki-NLP/opus-mt-en-cy. Это модель MarianMT с 53 млн параметров, предназначенная для перевода текста только в направлении en→cy; максимальная длина контекста — 512 токенов. LoRA-дообучение объединено с базовыми весами, а модель доступна в формате safetensors для Transformers. В ограниченной проверке на 48 предложениях FLORES-200 она получила chrF++ 28,73 и BLEU 8,98; этот результат не является полноценной публикационной оценкой. Модель распространяется по лицензии Apache-2.0.

WindyTranslate/translate-en-hil — модель машинного перевода от Windstorm Labs для перевода с английского языка на илонгго (хилигайнон). Это дообученная версия Helsinki-NLP/opus-mt-en-hil: к весам базовой модели применили и слили LoRA-адаптер, обученный на параллельных текстах. Модель использует архитектуру MarianMT, содержит 54 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для перевода текстов с английского на хилигайнон. В репозитории опубликованы веса в формате safetensors для загрузки через Transformers. Лицензия — Apache-2.0. В карточке сообщается, что качество перевода ещё не оценивалось. Проверка GlotLID подтвердила язык выходного текста, но не его точность; модель работает только в направлении en→hil.

WindyTranslate/translate-en-sm — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с английского на самоанский. Она основана на Helsinki-NLP/opus-mt-en-sm и использует архитектуру MarianMT; число параметров — 53,3 млн, длина контекста — 512 токенов. Модель работает с текстом и распространяется в формате safetensors для Transformers. Весовые параметры доработаны LoRA-обучением на параллельном корпусе, после чего адаптер объединён с базовой моделью. В проверке на 48 предложениях FLORES-200 модель получила chrF++ 37,44 и BLEU 13,44; авторы относят результат к уровню Usable и отмечают, что это скрининговая оценка, а не результат публикационного исследования. Лицензия — Apache-2.0. Модель рассчитана только на направление английский → самоанский. Качество следует оценивать на целевых текстах: опубликованная оценка основана на небольшой выборке, а качество не гарантируется самим размером модели или объёмом дообучения.

WindyTranslate/translate-es-sn — модель машинного перевода Windstorm Labs для перевода с испанского на шона. Это дообученная версия Helsinki-NLP/opus-mt-es-sn: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель использует архитектуру MarianMT, содержит 56,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Модель предназначена для перевода испанских фраз и текстов на шона. В скрининговой оценке на 48 предложениях FLORES-200 она получила chrF++ 32,69 и BLEU 3,99; автор характеризует результат как пригодный к использованию, но оценка не является публикационным результатом. Поддерживается только направление es→sn. Репозиторий содержит веса safetensors для Transformers. Лицензия — Apache-2.0.

WindyTranslate/translate-es-st — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-es-st: к базовым весам применили LoRA дообучение на параллельных данных и объединили адаптер с весами модели. Модель использует архитектуру MarianMT, содержит 56 млн параметров и доступна в формате safetensors для Transformers; максимальная длина контекста — 512 токенов. Модель предназначена для перевода с испанского языка на сесото. В скрининговой оценке на 48 предложениях FLORES-200 dev она получила chrF++ 34,31 и BLEU 7,42; авторы относят результат к уровню Usable. Это ограниченная оценка, а качество на других данных из неё не следует. Лицензия — Apache-2.0.

WindyTranslate/translate-es-ve — модель машинного перевода, опубликованная Windstorm Labs. Она выполняет перевод с испанского на венесуэльский вариант испанского языка (es → ve) и подходит для перевода отдельных фраз и текстов в приложениях на Transformers. Это дообученная модель семейства MarianMT с 53,9 млн параметров и контекстом до 512 токенов. LoRA-дообучение на параллельном корпусе было объединено с весами базовой модели Helsinki-NLP/opus-mt-es-ve; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель поддерживает только направление es → ve. Для неё пока не проводились бенчмарки качества, поэтому точность перевода не подтверждена опубликованными оценками.