I.6Перевод и языковая адаптация

somosnlp-hackathon-2022/t5-small-spanish-nahuatl — модель T5-small, дообученная командой SomosNLP на парах предложений на испанском и науатле, собранных из корпусов Axolotl и bible-corpus и дополнительных веб-данных. Она предназначена для машинного перевода коротких предложений между испанским и науатлем. Модель использует архитектуру T5ForConditionalGeneration, содержит 38,5 млн параметров и рассчитана на контекст до 512 токенов. Для обучения применялись два этапа: обучение на испанском с английско-испанскими парами, затем адаптация к науатлю с добавлением испанско-науатльских данных. В README отмечено, что валидационные результаты улучшались благодаря предварительному обучению на испанском; при этом небольшие и неоднородные корпуса и варианты написания науатля затрудняют перевод. Доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0.

Tashkeel-350M-v2 — языковая модель для расстановки диакритических знаков в арабском тексте, разработанная на основе IBM Granite. Это дообученная версия ibm-granite/granite-4.0-h-350m, обученная на наборе данных Misraj/Sadeed_Tashkeela; в метаданных указаны архитектура GraniteMoeHybridForCausalLM и 278,4 млн параметров. Модель принимает арабский текст без огласовок и возвращает его с диакритическими знаками, как в примере с приветствием «السلام عليكم». Она предназначена для автоматического огласовывания арабских текстов. Контекст составляет 32 768 токенов. Модель распространяется под лицензией Apache-2.0.

WindyTranslate/translate-bcl-fr — модель машинного перевода, опубликованная Windstorm Labs. Она создана на основе Helsinki-NLP/opus-mt-bcl-fr: к исходным весам применили LoRA дообучение на параллельном корпусе и объединили адаптер с базовой моделью. Модель построена на архитектуре Marian и содержит 56,1 млн параметров. Модель переводит текст с языка биколь (bcl) на французский (fr). Она предназначена для прямого использования через Transformers как модель последовательность-в-последовательность. Контекст составляет до 512 токенов; репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Качество перевода пока не оценивалось бенчмарком. Модель поддерживает только направление bcl → fr; подтверждённое изменение весов показывает происхождение дообученной версии, но само по себе не свидетельствует о качестве перевода.

WindyTranslate/translate-en-nic — модель машинного перевода от Windstorm Labs для перевода с английского на язык, обозначенный кодом nic. Это дообученная версия Helsinki-NLP/opus-mt-en-nic: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56,7 млн параметров, принимает текст и выдаёт перевод; заявленная длина контекста — 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors. Качество перевода не оценивалось бенчмарками, поэтому пригодность для конкретных задач следует проверять на собственных данных. Модель поддерживает только направление en→nic. Лицензия — Apache-2.0.

WindyTranslate/translate-en-pis — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-en-pis: к исходным весам применили LoRA-дообучение на параллельном корпусе и объединили адаптер с базовой моделью. Модель построена на архитектуре Marian, содержит 46,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для перевода текста с английского языка на писанский креольский (Pijin). Это однонаправленная система на базе Transformers, распространяемая в формате safetensors. Лицензия — Apache-2.0. Выход модели проверен на соответствие заявленному языку, но качество перевода ещё не оценено. Проверка отличия весов подтверждает изменение модели, но сама по себе также не свидетельствует о качестве перевода.

WindyTranslate/translate-eo-he — модель машинного перевода Windstorm Labs с эсперанто на иврит. Это дообученная версия Helsinki-NLP/opus-mt-eo-he: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель использует архитектуру MarianMT, содержит 29,1 млн параметров и принимает текст; контекст — до 512 токенов. Модель предназначена для перевода текстов с эсперанто на иврит. В проверке на 48 предложениях FLORES-200 dev получены chrF++ 16,02 и BLEU 1,09; авторы относят результат к ограниченному диапазону и отмечают, что это скрининговая оценка, а не результат публикационного исследования. Репозиторий содержит веса в формате safetensors для Transformers. Лицензия — Apache-2.0.

Windstorm Labs опубликовала MarianMT-модель машинного перевода с эсперанто на шведский язык. Она основана на Helsinki-NLP/opus-mt-eo-sv и содержит слитый с базовыми весами LoRA-файнтюн на параллельных данных; в репозитории доступны веса safetensors для Transformers. Модель насчитывает 28,9 млн параметров и имеет контекст до 512 токенов. Модель предназначена для перевода текстов с эсперанто на шведский. В проверке на 48 предложениях FLORES-200 dev получены chrF++ 24,53 и BLEU 2,75; авторы относят результат к ограниченному диапазону и подчёркивают, что это предварительная проверка, а не результат публикационного исследования. Поддерживается только направление eo→sv. Лицензия — Apache-2.0.

WindyTranslate/translate-es-ty — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с испанского языка на таитянский. Это дообученная версия Helsinki-NLP/opus-mt-es-ty: LoRA-дообучение на параллельных текстах объединено с базовыми весами. Модель использует архитектуру MarianMT и содержит 55,3 млн параметров. Модель принимает текст на испанском и выдаёт текст на таитянском. Она поддерживает одно направление перевода, имеет контекст длиной до 512 токенов и доступна в формате safetensors для Transformers. Лицензия — Apache-2.0. Качество перевода не оценивалось бенчмарками; изменение весов подтверждает происхождение модели, но не свидетельствует о повышении качества. Результаты дообучения могут отличаться от исходной модели.

WindyTranslate/translate-fi-bem — модель машинного перевода, опубликованная Windstorm Labs и основанная на Helsinki-NLP/opus-mt-fi-bem. Это дообученная модель архитектуры MarianMT с 56,8 млн параметров; LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель принимает текст на финском и переводит его на бемба, поддерживая только направление fi→bem. Нативный контекст — 512 токенов; веса доступны в формате safetensors для загрузки через Transformers. Модель подходит для перевода коротких текстов с финского на бемба. В карточке приведён скрининговый результат на 48 предложениях FLORES-200: chrF++ 25,64 и BLEU 1,50, категория качества — Limited; эта оценка не является результатом публикационного исследования. Лицензия — Apache-2.0, с указанием атрибуции базовой модели Helsinki-NLP.

WindyTranslate/translate-fi-iso — Windstorm Labs ұсынған фин тілінен ISO 639 кодтарымен белгіленген тілге машиналық аударуға арналған MarianMT моделі. Ол Helsinki-NLP/opus-mt-fi-iso негізінде жасалған: параллель корпус деректерімен LoRA арқылы қосымша оқытылып, өзгерістер негізгі салмақтармен біріктірілген. Модельде шамамен 50 млн параметр бар, Transformers және safetensors форматында таратылады, контекст ұзындығы 512 токенге дейін. Модель бір бағытта ғана — фин тілінен ISO тіл кодымен белгіленген тілге — аударуға арналған. README-де мақсатты тіл нақты аталмайды. Аударма сапасы бойынша бенчмарк жүргізілмеген, сондықтан оның сапасына кепілдік жоқ. Лицензиясы — Apache-2.0.

WindyTranslate/translate-fi-lg — модель машинного перевода, выпущенная Windstorm Labs для перевода с финского языка на луганда. Это дообученная версия Helsinki-NLP/opus-mt-fi-lg: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 57,1 млн параметров и работает с текстом; максимальная длина контекста — 512 токенов. Модель предназначена для перевода текстов с финского на луганда, например отдельных фраз и документов. В ограниченной проверке на 48 предложениях FLORES-200 она получила chrF++ 21,32 и BLEU 1,38; автор характеризует результат как ограниченный и не как результат публикационного исследования. Поддерживается только направление fi→lg. Репозиторий содержит веса в формате safetensors для Transformers. Лицензия — Apache-2.0.

WindyTranslate/translate-fi-lus — модель машинного перевода от Windstorm Labs для перевода с финского языка на мизо. Это дообученная версия Helsinki-NLP/opus-mt-fi-lus: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель использует архитектуру MarianMT, содержит 52,7 млн параметров, принимает текст и выдаёт текст; заявленная длина контекста — 512 токенов. Модель предназначена для перевода в одном направлении — с финского на мизо. В проверке на 48 предложениях FLORES-200 она получила chrF++ 21,05 и BLEU 2,92; авторы относят этот результат к ограниченному диапазону и подчёркивают, что это предварительная проверка, а не итог публикационного исследования. Модель распространяется в формате safetensors под лицензией Apache-2.0.

WindyTranslate/translate-fi-niu — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-fi-niu: LoRA-дообучение на параллельном корпусе было объединено с базовыми весами. Модель построена на архитектуре Marian, содержит 48,5 млн параметров и принимает текст на финском языке, выдавая перевод на ниуэ; нативный контекст — 512 токенов. Модель предназначена для перевода с финского на ниуэ. Репозиторий содержит веса safetensors для загрузки через Transformers. Качество перевода пока не проверялось бенчмарками, поэтому пригодность для конкретных сценариев следует оценивать отдельно. Лицензия — Apache-2.0.

WindyTranslate/translate-fr-iso — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-fr-iso на параллельных корпусах: LoRA-адаптер слит с базовыми весами, изменены 36 из 254 тензоров. Модель построена на архитектуре MarianMT, содержит 49,4 млн параметров и доступна в формате safetensors для Transformers. Модель предназначена для перевода с французского языка на ISO. Поддерживается только это направление; контекст ограничен 512 токенами. Лицензия — Apache-2.0. Качество перевода пока не оценивалось, поэтому пригодность для конкретного сценария следует проверять отдельно.

Windstorm Labs выпустила модель машинного перевода с французского языка на луганда. Это дообученная версия Helsinki-NLP/opus-mt-fr-lg: LoRA-дообучение на параллельных текстах объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56,6 млн параметров, принимает и генерирует текст; длина контекста — 512 токенов. Модель предназначена для перевода фраз и документов с французского на луганда. В небольшом скрининговом тесте FLORES-200 на 48 предложениях она получила chrF++ 21,32 и BLEU 1,20; это ограниченный результат, а не полноценная публикационная оценка. Поддерживается только направление fr→lg. Репозиторий распространяется по лицензии Apache-2.0.

Модель abdouaziiz/wav2vec2-xls-r-300m-wolof-lm разработана для распознавания речи на языке волоф. Это дообученная версия facebook/wav2vec2-xls-r-300m с языковой моделью, обученная на речевом корпусе ALFFA_PUBLIC. Архитектура — Wav2Vec2ForCTC; в репозитории указано около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. Она предназначена для транскрибирования записей на волофе, в том числе речи из Сенегала и соседних стран. В карточке указаны 16,8 часа обучающих данных, разделённых на 10 000 аудиофайлов для обучения и 3 339 для тестирования; результат на наборе оценки — WER 0,212565. Модель распространяется по лицензии MIT. Автор отмечает возможности улучшения распознавания с помощью языковой модели, проверки орфографии и редактирования предложений.

Whisper Large Icelandic — акустическая модель автоматического распознавания речи, созданная Language and Voice Laboratory Рейкьявикского университета. Она получена дообучением openai/whisper-large на корпусе Samrómur Milljón: 967 часов исландской речи, собранной через платформу Samrómur и прошедшей автоматическую проверку. Обучение включало 62 640 шагов. Модель предназначена для преобразования исландской речи в текст. Её можно применять для транскрибации записей исландской речи и создания систем распознавания речи на исландском языке. Архитектура — Whisper Large, около 905,2 млн параметров; репозиторий содержит веса PyTorch. В качестве обучающих данных использован корпус Samrómur Milljón. По README, результат оценки составил 7,743795695602924, но метрика и условия оценки не приведены, поэтому это число нельзя однозначно интерпретировать. Модель распространяется по лицензии CC BY 4.0.

Это дообученная модель распознавания речи на базе openai/whisper-large-v3-turbo, созданная для транскрибирования аудио на мальтийском языке в Мальте. Она использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Модель обучена на наборе данных FLEURS и распространяется в формате safetensors через библиотеку Transformers. Модель подходит для получения текстовых расшифровок мальтийской речи из аудиозаписей. В README приведены результаты оценки на тестовой выборке: WER 14,5151 и WER Ortho 39,1346. Лицензия — MIT. Подробные ограничения и рекомендуемые условия применения в карточке не описаны.

re-skill/whisper-large-v3-turbo-tj — дообученная модель семейства Whisper, созданная на основе openai/whisper-large-v3-turbo и обученная на наборе FLEURS. Она предназначена для автоматического распознавания речи и преобразования аудио в текст, с акцентом на таджикский язык. Модель содержит около 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; для работы с ней указана библиотека Transformers. В карточке приведён результат оценки на тестовом наборе: WER 16,4316 и loss 0,2667. Использование модели распространяется по лицензии MIT. Карточка не описывает подробные ограничения и сценарии применения, поэтому качество на других данных и в реальных условиях может отличаться от указанной оценки.

ychafiqui/whisper-medium-darija — модель распознавания речи, созданная дообучением Whisper medium от OpenAI на датасете Darija Speech to Text. Она предназначена для преобразования речи на дариже в текст. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров; для работы с ней используется библиотека Transformers. Карточка не приводит результатов оценки и подробных сведений об ограничениях. Модель распространяется по лицензии Apache-2.0.

poppysmickarlili/whisper-small-cantonese_07-05-2024-2200 — дообученная модель автоматического распознавания речи на базе Whisper Small, разработанная poppysmickarlili. Она обучена на наборе Common Voice 17.0 и предназначена для преобразования кантонской речи в текст. Архитектура — WhisperForConditionalGeneration с 153,1 млн параметров; модель принимает аудио и выдаёт текст. Репозиторий содержит веса в формате safetensors. На оценочной выборке указаны loss 0,3536 и WER 57,3413, что свидетельствует о заметных ошибках распознавания и требует проверки на целевых аудиоданных перед применением. Модель распространяется по лицензии Apache-2.0.

Adnan666/whisper-small-pashto-stage2-fleurs — дообученная модель распознавания речи на базе Whisper Small. Она принимает аудио и преобразует речь в текст; карточка указывает дообучение на неизвестном наборе данных, а метаданные определяют архитектуру как WhisperForConditionalGeneration с 153,1 млн параметров. Модель предназначена для автоматического распознавания речи на пушту. На оценочном наборе указаны Loss 0,5410 и WER 36,1158. Эти результаты относятся только к упомянутому набору оценки и не гарантируют такое же качество на других данных. Лицензия — Apache-2.0.

Jingmiao/whisper-small-zh_tw — дообученная модель распознавания речи на основе openai/whisper-small. Она предназначена для преобразования аудио на тайваньском варианте китайского языка в текст; при дообучении использован набор mozilla-foundation/common_voice_11_0. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. На оценочной выборке указана потеря 0,2283 и частота ошибок слов WER 41,9652. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

qanastek/whisper-tiny-french-cased — дообученная модель распознавания речи на базе openai/whisper-tiny, созданная для французского языка на данных Mozilla Common Voice 11.0. Модель построена на архитектуре Whisper и содержит 29,4 млн параметров; репозиторий предоставляет веса PyTorch. Она преобразует аудио в текст и подходит для расшифровки французской речи, в том числе записей, похожих на данные Common Voice. В README приведены результаты оценки: WER 33,0655 на французской части Common Voice 11.0, 36,69 на французском FLEURS и 32,71 на французском VoxPopuli. Эти значения указывают на заметные ошибки распознавания, поэтому для задач с высокими требованиями к точности результатам потребуется проверка. Лицензия модели — Apache-2.0.

megalaa/english-coptic-translator — модель машинного перевода на архитектуре MarianMT, разработанная автором репозитория megalaa. По умолчанию переводит текст с английского на сахидский коптский; параметр to_bohairic=True переключает перевод на бохайрский коптский. Параметр output_confidence=True позволяет запросить оценку уверенности модели. Модель содержит 58 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Лицензия AGPL-3.0; для использования и распространения необходимо учитывать её условия.

HSC Wuxia mBART-50 — модель машинного перевода, разработанная в рамках выпускной работы по анализу подходов к переводу произведений wuxia. Это дообученная архитектура mBART-large-50-many-to-many-mmt с 457,4 млн параметров, обученная на 100 000 параллельных пар предложений из произведений wuxia и xianxia. Модель предназначена для перевода литературного текста с китайского на английский. На тестовом наборе wuxia авторы сообщают улучшение SacreBLEU с 6,33 до 37,73 по сравнению с базовой моделью; также приведены метрики chrF и ROUGE-L. Модель принимает текст и выдаёт текст, поддерживает контекст до 1024 токенов и распространяется по лицензии MIT.

DanVP разработал Moxhi MT 30 zh-vi — компактную модель машинного перевода с архитектурой Marian seq2seq: 8 слоёв энкодера и 2 слоя декодера, около 37 млн параметров. Она переводит китайский текст на вьетнамский; модель обучена с нуля на параллельном корпусе художественных текстов, включая веб-романы, сянься и уся, историческую, современную и научно-фантастическую прозу. Для идиом и классической китайской грамматики использовались дополнительные обучающие данные, затем проведён лёгкий этап preference tuning. Модель рассчитана на быстрый локальный или серверный перевод, когда важны небольшой размер и скорость. README рекомендует beam search с num_beams=4 и ограничением длины 512 токенов; метаданные указывают нативный контекст 512 токенов. Для ускорения CPU доступен экспорт CTranslate2 INT8. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение. Автор обозначает выпуск как экспериментальный. Сложности возможны с редкими именами собственными и узкоспециализированной терминологией вне обучающих доменов; результаты для публикаций следует проверять. Для производственного перевода README рекомендует использовать проверенный глоссарий и дополнительные правила контроля.

OpenNMT публикует эту версию NLLB-200 distilled 1.3B, преобразованную для быстрого вывода через CTranslate2 с INT8-квантизацией. Модель предназначена для машинного перевода отдельных предложений между 200 языками, в том числе языками с ограниченными обучающими данными. Она основана на архитектуре M2M100; в метаданных указано 665 млн параметров и контекст до 1024 токенов. README отмечает ускоренный вывод на CPU или GPU и снижение потребления памяти в 2–4 раза по сравнению с исходной версией. Модель обучалась на общих текстах и предназначена прежде всего для исследований машинного перевода. Она не рассчитана на специализированные медицинские или юридические тексты и перевод документов; качество может снижаться на длинных последовательностях. Переводы не являются сертифицированными, а ошибки могут быть критичны в ситуациях, связанных со здоровьем и безопасностью. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Helsinki-NLP/opus-mt-bzs-fi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка bzs на финский и основана на архитектуре MarianMT с Transformer и предварительной обработкой SentencePiece. Модель обучена на данных OPUS; в README приведён результат BLEU 24,7 на тестовом наборе JW300.bzs.fi. Модель содержит 55,6 млн параметров и рассчитана на контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0. Она предназначена для перевода с bzs на финский; качество на других языковых парах не подтверждено.

PhoWhisper-large — модель автоматического распознавания речи на вьетнамском языке, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Она создана тонкой настройкой многоязычной Whisper и предназначена для преобразования вьетнамской речи в текст. Модель относится к семейству Whisper, использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Авторы обучали семейство PhoWhisper на 844-часовом наборе данных с разными вьетнамскими акцентами; в описании исследования сообщается о высоких результатах на тестах распознавания вьетнамской речи. Репозиторий содержит веса PyTorch. Модель подходит для транскрибации вьетнамской речи с различными акцентами. Она рассчитана на аудиовход и выдаёт текст; данных о поддержке других языков этой версией нет. Лицензия — BSD 3-Clause.