I.6Перевод и языковая адаптация

Typhoon2-Audio — разработанная командой Typhoon Team сквозная речевая модель архитектуры Typhoon2Audio, основанная на LLM Typhoon2. Модель содержит 7,5 млрд параметров и предназначена для работы с аудио, речью и текстом: принимает аудио- и текстовые входы, одновременно формируя текстовый и речевой ответ. Поддерживает тайский и английский языки, оптимизирована для тайского; заявленная длина контекста — 131 072 токена. Модель подходит для распознавания и понимания речи, ответов на вопросы по аудио, перевода между тайским и английским, а также генерации речи и речевых ответов. В README приведены результаты оценивания распознавания речи, перевода и синтеза, но качество зависит от языка и задачи; для английской речи в оценке качества синтеза результаты модели заметно уступают сравниваемым системам. Карточка характеризует модель как экспериментальную: она может неточно выполнять инструкции и галлюцинировать, а встроенных механизмов модерации нет. Для речевого ввода и LLM указана лицензия Llama 3.1 Community License, для речевого вывода — CC-BY-NC.

Marian — компактная модель машинного перевода на архитектуре MarianMT, дообученная автором charliealex123 для направления с китайского на английский. Веса содержат 58,4 млн параметров, сохранены в формате safetensors; максимальная длина контекста — 512 токенов. В карточке приведён результат BLEU 77,0389 на оценочном наборе, однако сведения о наборе данных и методике оценки отсутствуют. Модель предназначена для перевода китайских текстов на английский. Указана лицензия CC BY 4.0. Карточка не описывает ограничения, целевую область применения или дополнительные возможности модели.

mBERT-Burmese-Register-Classifier — классификатор текстовых последовательностей, разработанный Khant Sint Heinn (Kalix Louis) для определения регистра бирманского языка. Модель дообучена на многоязычном энкодере BERT и использует архитектуру BertForSequenceClassification с классификационной головой. Она различает формальный письменный и разговорный стили, выдавая метку класса для текста. Размер модели — 205,1 млн параметров, максимальная длина контекста — 512 токенов; README описывает усечение обучающих примеров до 128 токенов. Модель предназначена для проверки регистра бирманского текста, подготовки данных для машинного перевода и переноса стиля, а также как вспомогательный компонент инструментов проверки грамматики. Она обучалась на наборе из 1 643 параллельных пар письменных и разговорных примеров. В README сообщается о почти 100% точности и F1 1,0 на конкретной валидационной выборке, но результаты на реальных данных могут быть ниже. Лицензия — Apache 2.0.

NeuraFusionAI выпустила дообученную на датасете FLORES модель перевода на основе T5-small с 38,5 млн параметров. Она предназначена для машинного перевода между китайским и английским языками; в карточке приведены результаты оценки: BLEU 0,4467 и loss 3,8438. Модель принимает текст и генерирует текст, имеет контекстное окно 512 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Подробные сведения о направлении перевода и практических ограничениях в карточке отсутствуют.

Midas — модель перевода между корейским и английским языками, разработанная EphAsad и дообученная на google/mt5-small. Одна модель выполняет перевод в обоих направлениях; направление задаётся префиксом задачи во входном тексте. Архитектура — mT5 для преобразования текста в текст, объём по метаданным — 157,4 млн параметров. Модель обучена примерно на 150 тысячах параллельных пар из TED, параллельных корпусов и отфильтрованных данных Wikipedia. Поддерживаются корейский и английский языки. Модель подходит для понимания общего смысла корейского текста на английском, чернового перевода с английского на корейский и лёгких по размеру переводческих конвейеров, где важна скорость. В README указана оценка BLEU 21,88: смысл обычно передаётся, но возможны грамматические ошибки, неестественные формулировки и смысловые сдвиги, особенно в длинных и сложных предложениях. Данные преимущественно энциклопедические и разговорные, поэтому качество может снижаться на специализированных юридических, медицинских и технических текстах. Лицензия — Apache-2.0.

csebuetnlp разработала эту модель на основе mT5 и дообучила её на многоязычных парах датасета CrossSum. Она предназначена для суммаризации текстов, написанных на разных языках, с выдачей краткого содержания на упрощённом китайском языке. Модель использует архитектуру mT5 с 291,2 млн параметров и принимает текст, генерируя текстовую сводку. В метаданных перечислены поддерживаемые языки, включая китайский, английский, русский, арабский, хинди, японский, корейский и другие. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Helsinki-NLP/opus-mt-afa-afa — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Это трансформер Marian с 42,4 млн параметров, предназначенный для перевода между языками афразийской языковой группы. Модель обучена для многоязычного направления: среди указанных языков — арабский и его варианты, иврит, кабильский, мальтийский, шихи на латинице и таварекский; для выбора целевого языка в начале предложения требуется токен вида >>id<<. Модель принимает и выдаёт текст. В репозитории доступны веса PyTorch и TensorFlow; заявлен контекст до 512 токенов. Предобработка включает нормализацию и SentencePiece. Apache-2.0 разрешает коммерческое и иное использование при соблюдении условий лицензии. Качество зависит от языковой пары: опубликованные тесты показывают заметно разные результаты, в том числе низкие BLEU для некоторых направлений, поэтому качество для конкретной пары следует проверять отдельно.

Helsinki-NLP/opus-mt-ase-es — модель машинного перевода семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с ase на испанский язык (es) и предназначена для автоматического перевода материалов на жестовом языке ASL в письменный испанский. Модель основана на архитектуре Transformer-align и использует нормализацию текста и токенизацию SentencePiece. Модель содержит 52,6 млн параметров, поддерживает перевод с контекстом до 512 токенов и распространяется в форматах PyTorch и TensorFlow. В README приведён результат 31,7 BLEU и 0,498 chr-F на тестовом наборе JW300.ase.es. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-de-mt — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на язык, обозначенный в карточке как «mt»; целевой язык в предоставленных данных не расшифрован. Модель построена на архитектуре Transformer-align с MarianMTModel, содержит 54,8 млн параметров и использует нормализацию и SentencePiece. Для перевода с немецкого на тестовом наборе JW300.de.mt указаны BLEU 25,0 и chr-F 0,436. Модель подходит для перевода немецких текстов в сценариях, соответствующих языковой паре OPUS de-mt. Метаданные указывают контекст до 512 токенов и форматы PyTorch и TensorFlow. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-bi — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с английского языка на язык, обозначенный в карточке кодом «bi», и предназначена для автоматического перевода фраз и документов. Модель построена на архитектуре MarianMT (Transformer), содержит 53 млн параметров, использует нормализацию текста и токенизацию SentencePiece; указанный размер контекста — 512 токенов. Модель обучена на данных OPUS. В README приведён результат 36,4 BLEU и 0,543 chr-F на тестовом наборе JW300.en.bi. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0. Код «bi» в карточке не раскрыт до конкретного названия языка, поэтому его нельзя надёжно уточнить.

OPUS-MT-tiny-ell-eng — компактная модель машинного перевода, разработанная Helsinki-NLP. Это дистиллированная student-модель архитектуры Marian с обычным трансформерным декодером; она переводит с греческого языка на английский. Модель насчитывает 14,5 млн параметров, имеет контекст до 256 токенов и обучена на данных Tatoeba с использованием OpusDistillery на основе учителя Tatoeba-MT-models/ell-eng/opusTCv20210807+bt_transformer-big_2022-02-25. Модель подходит для перевода коротких текстов и предложений с греческого на английский, в том числе в компактных приложениях. В README приведены результаты на Flores+ и Bouquet: у student-модели BLEU 29,3 и 38,8 соответственно, ниже показателей учителя. Доступны веса safetensors и TFLite, лицензия — Apache-2.0.

PhoWhisper-tiny-for-L-N — вариант PhoWhisper для распознавания вьетнамской речи. PhoWhisper разработан Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen и получен дообучением многоязычной Whisper на датасете объёмом 844 часа с разными вьетнамскими акцентами. В карточке описаны высокие результаты семейства PhoWhisper на тестах распознавания вьетнамской речи. Модель принимает аудио и генерирует текстовую транскрипцию; этот репозиторий содержит веса ONNX для Transformers.js. Архитектура — Whisper, размер — 29,4 млн параметров. Модель предназначена для распознавания вьетнамской речи, в том числе с различными акцентами. Лицензия репозитория указана как WTFPL; README рекомендует цитировать статью PhoWhisper при публикации результатов или включении модели в программное обеспечение.

SmolMaestra-1.7b-Translation — компактная языковая модель, дообученная Leonard Püttmann на базе HuggingFaceTB/SmolLM2-1.7B-Instruct для перевода между английским и итальянским языками. Она содержит 1,7 млрд параметров, использует плотную архитектуру семейства Llama и формат safetensors; заявленная длина контекста — 8192 токена. Дообучение проводилось примерно на 300 тысячах пар предложений из Tatoeba, чтобы модель выдавала перевод без лишних пояснений. Модель подходит для перевода отдельных фраз и текстовых сегментов с английского на итальянский и обратно. Благодаря небольшому размеру она, по словам автора, хорошо работает на CPU. Использование возможно на условиях лицензии Apache-2.0. Карточка не приводит отдельной оценки качества перевода; результаты могут зависеть от тематики и сложности текста.

sorsolingo-mt-en-bsl-test — дообученная модель машинного перевода на архитектуре MarianMT, разработанная на основе Helsinki-NLP/opus-mt-en-bcl. Веса размещены в формате safetensors; модель содержит 55,1 млн параметров и принимает контекст длиной до 512 токенов. Модель предназначена для перевода между английским и языком базы BCL. В README указано дообучение на неизвестном наборе данных и приведены результаты оценки: BLEU 25,11 и eval_loss 4,5125. Лицензия — Apache-2.0.

North-T5-NCC-modern — норвежская модель семейства T5, разработанная автором набора North-T5. Это encoder-decoder модель sequence-to-sequence с примерно 608,4 млн параметров, основанная на mT5 и дополнительно обученная на сбалансированном корпусе букмола и нюнорска. В корпус входят материалы NCC, MC4 и англоязычная Википедия; значительную часть дополнительного корпуса составляют газеты и отчёты. Модель предназначена для дообучения под задачи обработки естественного языка, включая перевод между букмолом и нюнорском, классификацию и вопросы-ответы. Дополнительное обучение на современном стандартном тексте может быть полезно для сценариев, где важен такой стиль. Доступны версии весов для Flax, PyTorch и TensorFlow. Для решения конкретных задач модель обычно требуется дообучить. Автор отмечает, что оценка качества ещё не завершена; приведённые результаты предварительные, а сама модель не прошла тщательное тестирование и может содержать ошибки и смещения. Лицензия указана как other, а использование — на собственный риск.

WindyTranslate/translate-crs-fr — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с креольского языка Сейшельских островов (crs) на французский (fr). Это дообученная версия Helsinki-NLP/opus-mt-crs-fr: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель использует архитектуру MarianMT, содержит 49,1 млн параметров и принимает текст с контекстом до 512 токенов. Модель поставляется в формате safetensors для Transformers и выдаёт перевод на французский. Она поддерживает только направление crs→fr; оценка качества перевода не проводилась, поэтому качество конкретных результатов не подтверждено. Лицензия — Apache-2.0.

WindyTranslate/translate-en-ar — модель машинного перевода от Windstorm Labs, дообученная на базе Helsinki-NLP/opus-mt-en-ar. Она переводит текст с английского на арабский. Модель построена на архитектуре MarianMT, содержит 57,3 млн параметров, принимает текст с контекстом до 512 токенов и поставляется в формате safetensors для Transformers. Для адаптации применён LoRA-файнтюнинг на параллельном корпусе, после чего адаптер был объединён с базовыми весами. Репозиторий распространяется по лицензии Apache-2.0. Модель поддерживает только направление перевода с английского на арабский; качество перевода пока не оценено, а проверка языка выходного текста не подтверждает его точность.

WindyTranslate/translate-en-chk — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-en-chk на основе архитектуры MarianMT; LoRA-дообучение на параллельных текстах объединено с базовыми весами. Модель содержит 54 млн параметров, работает с текстом и рассчитана на перевод с английского на чукский (chk). Максимальная длина контекста — 512 токенов. Модель предназначена для перевода текстов с английского на чукский. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0. Качество перевода ещё не оценено: проверка подтвердила язык результата, но не точность перевода.

WindyTranslate/translate-en-mkh — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-en-mkh: веса дообучены на параллельном корпусе OPUS-100. Модель использует архитектуру MarianMT, содержит 53,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для перевода с английского языка на кхаси (направление en→mkh). Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0. Качество перевода пока не оценивалось на бенчмарках; изменение весов подтверждает происхождение версии, но само по себе не свидетельствует о качестве. Поддерживается только одно направление перевода.

WindyTranslate/translate-eo-nl — модель машинного перевода Windstorm Labs для перевода с эсперанто на нидерландский. Это дообученная версия Helsinki-NLP/opus-mt-eo-nl: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре Marian и содержит 28,9 млн параметров; работает с текстом и поддерживает контекст до 512 токенов. Модель предназначена для перевода предложений с эсперанто на нидерландский. В проверке на 48 предложениях набора FLORES-200 она получила chrF++ 21,65 и BLEU 2,35; авторы относят результат к ограниченному диапазону, поэтому качество следует проверять на целевых текстах. Репозиторий содержит веса в формате safetensors для Transformers. Лицензия — Apache-2.0.

WindyTranslate/translate-es-hil — модель машинного перевода, опубликованная Windstorm Labs и основанная на Helsinki-NLP/opus-mt-es-hil. Это плотная модель MarianMT с 55,5 млн параметров, предназначенная для перевода с испанского языка на хилгайнон. Контекст модели составляет 512 токенов; репозиторий содержит веса в формате safetensors для Transformers. К весам применён LoRA-файнтюнинг на параллельных текстах, после чего адаптер объединён с базовой моделью. Модель подходит для перевода испанских текстов на хилгайнон в приложениях на Transformers. Лицензия — Apache-2.0. Качество перевода пока не оценивалось бенчмарками; доступно только одно направление перевода.

WindyTranslate/translate-es-pag — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с испанского на пангасинан. Это дообученная версия Helsinki-NLP/opus-mt-es-pag: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель использует архитектуру MarianMT, содержит 55,9 млн параметров и принимает контекст до 512 токенов. Модель поставляется в формате safetensors и загружается через Transformers как последовательная модель text-to-text. В скрининговой оценке FLORES-200 на 48 предложениях для направления испанский → пангасинан получены chrF++ 28,58 и BLEU 4,59; авторы относят результат к ограниченному диапазону и отмечают, что это не результат публикационного исследования. Модель поддерживает только указанное направление перевода. Лицензия — Apache-2.0.

WindyTranslate/translate-es-swc — модель машинного перевода от Windstorm Labs, дообученная на параллельных данных на основе Helsinki-NLP/opus-mt-es-swc. Это модель архитектуры MarianMT с 56,1 млн параметров и контекстом до 512 токенов; LoRA-настройка объединена с базовыми весами. Модель переводит текст с испанского языка на конголезский суахили (swc) и предназначена для перевода предложений и документов в этом направлении. Репозиторий содержит веса в формате safetensors для Transformers. Лицензия — Apache-2.0. Качество перевода пока не оценивалось бенчмарком, поэтому пригодность для конкретного сценария следует проверять на собственных данных. Модель поддерживает только направление es→swc.

WindyTranslate/translate-es-wls — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-es-wls на архитектуре MarianMT с 46,6 млн параметров и контекстом 512 токенов. Модель принимает текст на испанском языке и переводит его на wls; доступна в формате safetensors для Transformers. Веса изменены с помощью LoRA-дообучения на параллельных текстах, после чего адаптер объединён с базовыми весами. Качество перевода пока не оценивалось, поэтому перед применением в важных сценариях модель следует проверить на подходящих данных. Лицензия — Apache-2.0.

WindyTranslate/translate-fi-af — модель машинного перевода, опубликованная Windstorm Labs. Она переводит текст с финского языка на африкаанс и основана на Helsinki-NLP/opus-mt-fi-af: LoRA-дообучение на параллельном корпусе было объединено с базовыми весами. Модель использует архитектуру MarianMT, содержит 56,2 млн параметров и принимает контекст длиной до 512 токенов. Модель предназначена для перевода с финского на африкаанс в приложениях на базе Transformers. В репозитории доступна сборка в формате safetensors. В проверке на 48 предложениях FLORES-200 dev получены chrF++ 44,38 и BLEU 15,03; это предварительная скрининговая оценка, а не результат публикационного исследования. Модель распространяется по лицензии Apache-2.0.

WindyTranslate/translate-fi-ny — модель машинного перевода, опубликованная Windstorm Labs для перевода с финского на чичева. Это дообученная версия Helsinki-NLP/opus-mt-fi-ny: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель MarianMT с 56,7 млн параметров принимает текст и выдаёт перевод; максимальный контекст — 512 токенов. Модель предназначена для перевода в направлении fi→ny. В скрининговой оценке на 48 предложениях FLORES-200 dev она получила chrF++ 32,45 и BLEU 4,58; этот результат не является публикационной оценкой качества. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0.

WindyTranslate/translate-fi-to — модель машинного перевода Windstorm Labs с финского языка на тонганский. Это дообученная версия Helsinki-NLP/opus-mt-fi-to на параллельных данных: LoRA-обновления объединены с базовыми весами. Модель использует архитектуру MarianMT, содержит 56,1 млн параметров и принимает текст; контекст составляет до 512 токенов. Модель предназначена для перевода текстов с финского на тонганский. В репозитории находится сборка Transformers в формате safetensors. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность для конкретных текстов требует отдельной проверки. Лицензия — Apache-2.0.

WindyTranslate/translate-fr-eo — модель машинного перевода от Windstorm Labs, дообученная на параллельных данных с помощью LoRA, объединённой с исходными весами Helsinki-NLP/opus-mt-fr-eo. Она переводит текст с французского на эсперанто; поддерживается только это направление. Модель построена на архитектуре MarianMT, содержит 55,7 млн параметров, принимает текстовый ввод и выдаёт текстовый перевод. Для неё указан контекст длиной 512 токенов. В репозитории размещена сборка Transformers в формате safetensors. В проверке на 48 предложениях FLORES-200 модель получила chrF++ 41,40 и BLEU 16,35; результат обозначен авторами как пригодный для использования, но это небольшая скрининговая оценка, а не публикационный результат. Лицензия — Apache-2.0.

WindyTranslate/translate-fr-gaa — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-fr-gaa: LoRA-дообучение на параллельных текстах слито с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56 млн параметров и принимает текст на французском языке, выдавая перевод на gaa. Максимальная длина контекста составляет 512 токенов. Модель предназначена для перевода с французского на gaa; обратное направление не заявлено. Репозиторий содержит сборку для Transformers в формате safetensors. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность результатов для конкретного применения следует проверять самостоятельно. Лицензия — Apache-2.0.

gshields/translate_model_error_v0.2 — модель машинного перевода на базе Helsinki-NLP/opus-mt-en-hi, дообученная разработчиком gshields на неизвестном наборе данных. Она предназначена для перевода текста с английского языка на хинди. Модель использует архитектуру MarianMT, содержит 56,9 млн параметров, работает с текстом и имеет контекст длиной до 512 токенов. В README приведены результаты оценки: loss 2,9607 и BLEU 28,9479. Данных о наборе для обучения, целевой аудитории или специальных сценариях применения нет. Модель распространяется по лицензии Apache-2.0.