I.6Перевод и языковая адаптация

Yi-Ko-6B-instruct-v1.4 — корейская инструктивная модель на архитектуре Llama, разработанная автором репозитория cocoirun. Модель дообучена методом SFT с LoRA на наборе примерно из 110 тысяч примеров, включающем данные Open-Orca-Ko, KoBEST, AIHub и вручную подготовленные материалы по истории, естественным наукам, математике, машинному чтению, анализу отзывов, грамматике и ИТ-знаниям; часть англо-корейских и корейско-английских данных была переведена и отредактирована. Модель предназначена для генерации ответов на инструкции и вопросов, в том числе для викторин, объяснений и задач машинного чтения на корейском языке. В метаданных указаны 5,9 млрд параметров, контекст до 2048 токенов и формат safetensors. Лицензия — CC BY-SA 4.0. Обучающие данные не опубликованы, а карточка не приводит количественных оценок качества.

YorubaLlama — языковая модель на 8 млрд параметров, разработанная Jacaranda Health на основе Meta-Llama-3-8B. Её адаптировали с помощью LoRA: продолжили предобучение на корпусах на йоруба, затем настроили на наборе из 66 280 пар инструкций и ответов. Репозиторий содержит веса в формате safetensors. Модель предназначена для ответов на вопросы, диалоговых помощников и других задач с текстом на йоруба и английском языках. Она сочетает возможности базовой Llama 3 с адаптацией к особенностям йоруба и может служить основой для дальнейшей настройки под конкретные области. Лицензия — CC BY-NC-SA 4.0; коммерческое использование и распространение требуют согласования с Jacaranda Health. Тестирование преимущественно проводилось на йоруба и английском. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед внедрением модель следует проверить и настроить под сценарий использования.

Карточка модели Serkan007/CTranslate2-nllb-200-int8 на Hugging Face совпадает с карточкой facebook/nllb-200-distilled-600M, поэтому описание составлено по ней. NLLB-200 distilled 600M — модель машинного перевода, разработанная командой NLLB. Это версия архитектуры M2M-100 с 463,7 млн параметров, доступная в формате PyTorch. Модель предназначена для перевода отдельных предложений между 200 языками, в том числе языками с ограниченными обучающими данными; контекст составляет до 1024 токенов, хотя при обучении использовались последовательности не длиннее 512 токенов. Модель подходит для исследовательских задач машинного перевода и переводов общетематических текстов. Она оценивалась на FLORES-200 с метриками BLEU, spBLEU и chrF++, а также с человеческой оценкой. Карточка указывает на ограниченную проверку за пределами домена Wikimedia и предупреждает о возможных ошибках перевода. Модель не предназначена для производственного развертывания, специализированных медицинских и юридических текстов, перевода документов или сертифицированных переводов. Лицензия — CC-BY-NC-4.0.

ElanMT-BT-en-ja — модель машинного перевода с английского на японский, разработанная проектом ELAN MITSUA / Abstract Engine. Это дообученная версия ElanMT-base-en-ja на открыто лицензированных данных, включая созданный разработчиками параллельный корпус описаний Wikidata и обратный перевод японских материалов с помощью ElanMT-base-ja-en. В обучении не использовались веб-корпуса и результаты машинного перевода других моделей. Модель построена на архитектуре Marian MT: трансформер с шестислойными энкодером и декодером и токенизатором SentencePiece. Метаданные указывают 41,6 млн параметров и контекст до 512 токенов. Модель предназначена для перевода английских текстов на японский; в README приведены результаты оценки на FLORES+ и NTREX. Распространяется по лицензии CC BY-SA 4.0. Разработчики предупреждают, что переводы могут быть неточными, вредными или предвзятыми, поэтому модель не подходит для задач, где требуется высокая точность перевода.

en-bal-latin-v2 — модель машинного перевода семейства Marian, разработанная на основе shehzadkhalid04/balochi-latani и дообученная на неизвестном наборе данных. Она предназначена для перевода между английским и балучи латиницей; размер модели составляет 58 млн параметров, максимальный контекст — 512 токенов. Модель использует библиотеку Transformers и распространяется в формате Safetensors. В README приведено значение loss 0,1554 на оценочном наборе, однако описание набора данных, методики оценки и ограничений отсутствует. Модель распространяется по лицензии MIT.

Haidass-Translate-143M-Instruction — компактная инструкция-настроенная модель для перевода, разработанная сообществом DALabCommunity. Это плотная причинная языковая модель на архитектуре Qwen3 с 143 млн параметров и контекстом 4096 токенов. Она дообучена на двунаправленном переводе между китайским и английским; в обучающую смесь также добавили очищенные диалоги общего назначения, чтобы модель могла ограниченно выполнять простые инструкции. Основное применение — перевод с китайского на английский и с английского на китайский. Дополнительно модель может составлять короткие стихи, простые сводки и перефразировать текст, однако выполнение таких инструкций нестабильно. Для работы рекомендуется использовать встроенный chat template модели. Среди ограничений — ошибки в именах и числовых деталях, а при переводе редких сущностей с китайского на английский иногда возникают повторяющиеся фрагменты. Модель оптимизирована для пары китайский—английский и не предназначена для общего диалога или других языковых пар. Лицензия — Apache-2.0.

ZeeshanGeoPk разработал дообученную модель распознавания речи на архитектуре Whisper с 153,1 млн параметров. Она преобразует аудио на гаитянском креольском языке в текст и предназначена для автоматической транскрибации речи. В карточке указана оценка Word Error Rate 0,19126; модель доступна в формате Safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Данные о длине контекста и дополнительных языках в предоставленных источниках отсутствуют.

Hy-MT2-30B-A3B-Uncensored-v1-APEX-GGUF — экспериментальная версия многоязычной модели перевода Tencent Hy-MT2-30B-A3B, подготовленная alphaZimuth. Модель основана на архитектуре MoE и предназначена для перевода между поддерживаемыми языками; также заявлен разговорный режим. Веса изменены методом Directional / Orthogonal Ablation, затем преобразованы в GGUF и квантизированы в вариантах Mini, Compact и Quality для локального запуска. Лицензия — Apache-2.0. Релиз помечен авторами как устаревший экспериментальный и не рекомендован для новых загрузок. В README сообщается о возможном снижении качества перевода в отдельных вариантах квантизации, менее надёжном следовании инструкциям и случайном появлении рассуждений в переводе. Калибровка Imatrix не применялась; опубликованные проверки ограничены небольшими тестами и не являются формальными бенчмарками. Авторы рекомендуют более новую версию Hy-MT2-30B-A3B-Uncensored-Heretic-APEX-GGUF.

MADLAD-400-10B-MT — многоязычная модель машинного перевода на архитектуре T5, основанная на разработке Google. В этом репозитории представлены преобразованные исходные веса; модель содержит 2,4 млрд параметров и распространяется по лицензии Apache 2.0. Модель предназначена для перевода и многоязычных NLP-задач более чем на 400 языках. Она обучалась на 250 млрд токенов из открытых данных, включая параллельные данные для 157 языков. Контекст составляет 512 токенов. По описанию авторов, модель конкурентоспособна с существенно более крупными моделями. Качество перевода зависит от языка и, вероятно, от предметной области; модель оценивали лишь для части поддерживаемых языков. Данные общего назначения не гарантируют качества в узких областях, а веб-данные могут приводить к токсичным или низкокачественным ответам. В карточке указано, что модель предназначена прежде всего для исследовательского сообщества и не оценивалась для производственного применения.

M-Kiriku ASR — модель распознавания речи, разработанная IA Hub Senegal на основе дообучения OpenAI Whisper large-v3. Она предназначена для транскрибации аудио на волоф, пулаар и серер — языках Сенегала с ограниченными ресурсами для обучения распознавателей речи. Модель принимает аудио и выдаёт текст; для обучения использован корпус примерно из 150 часов речи, включая очищенные и проверенные данные проекта Kallama и открытые наборы данных. Разработчики расширили токенизатор языковыми символами и специальными токенами, добавили нормализацию орфографии и адаптировали декодер для целевых языков. В опубликованных оценках указаны WER 16,34% для волофа, 45,28% для пулаара и 42,99% для серера. Для аудио длиннее 30 секунд README рекомендует нарезку на перекрывающиеся фрагменты. Лицензия — Apache-2.0.

Flaglab разработала двунаправленную модель машинного перевода между испанским и инга — коренным языком Колумбии, на котором говорят в департаментах Путумайо и Нариньо. Модель дообучена на базе facebook/nllb-200-1.3B; её архитектура — M2M100 для генерации текста по тексту. В метаданных указано 666,4 млн параметров и контекст 1024 токена. Для инга расширен токенизатор SentencePiece собственным словарём. Модель предназначена для перевода в обоих направлениях: с испанского на инга и с инга на испанский. В README приведены результаты на отложенной тестовой выборке: BLEU 1,47 и chrF2 27,68 для перевода на инга, BLEU 4,62 и chrF2 23,73 для перевода на испанский. Модель выпущена по лицензии CC BY-NC 4.0, которая не допускает коммерческое использование.

Модель afriscience-mt-nllb200distilled600m-eng-amh разработана в рамках проекта AfriScience-MT для машинного перевода научных текстов с английского на амхарский язык. Это модель Seq2Seq на архитектуре M2M100, дообученная на базе facebook/nllb-200-distilled-600M; в репозитории 463,7 млн параметров, формат весов — safetensors. Модель предназначена для перевода научных аннотаций и статей. В тестировании на AfriScience-MT она получила BLEU 18,57, chrF 44,38 и SSA-COMET 64,12. Модель рассчитана на пару английский—амхарский и научно-академические тексты. Карточка указывает ограничение длины входа в 256 токенов, хотя метаданные каталога сообщают native context в 1024 токена; при обработке длинных материалов вход следует разбивать на фрагменты. На разговорных и неформальных текстах качество может быть ниже. Лицензия — Apache-2.0.

FormosanBank разработала направленную модель машинного перевода с формозских языков на традиционный китайский. Она дообучена на базе facebook/nllb-200-distilled-600M и рассчитана на 15 формозских языков; размер модели — 469,1 млн параметров, длина контекста — до 1024 токенов. Модель использует архитектуру M2M100 и расширенный словарь SentencePiece на 8 тыс. токенов, адаптированный к формозским языкам. Модель предназначена для исследовательской работы, разработки корпусов и помощи в переводе предложений. При использовании нужно соблюдать предусмотренный формат с указанием направления, языка источника и диалекта; если диалект неизвестен, README рекомендует значение default. Модель не использует доменные или репозиторные метки. Веса доступны публично по лицензии CC-BY-NC-4.0, а обучающий корпус распространяется отдельно среди авторизованных участников FormosanBank.

Helsinki-NLP/opus-mt-ase-fr — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит тексты с языка жестов ase на французский язык и предназначена для автоматического перевода последовательностей, представленных в текстовом виде. Модель построена на архитектуре Marian Transformer-align, содержит 51,2 млн параметров и использует нормализацию и токенизацию SentencePiece; контекст — до 512 токенов. Для направления ase→fr в карточке приведён результат на тестовом наборе JW300.ase.fr: BLEU 37,8 и chr-F 0,553. Модель распространяется по лицензии Apache-2.0. Результаты теста не гарантируют качество на других данных; сведения о поддержке входных данных в видеоформате или непосредственного распознавания жестов не приведены.

Helsinki-NLP/opus-mt-bg-eo — модель машинного перевода семейства Marian, разработанная для проекта OPUS-MT. Она переводит текст с болгарского языка на эсперанто. Модель основана на архитектуре Transformer и содержит около 29,1 млн параметров; для токенизации используются нормализация текста и SentencePiece с моделью словаря размером 4 тыс. единиц для каждого языка. Указанная длина контекста — 512 токенов. Модель предназначена для перевода отдельных текстов и фраз с болгарского на эсперанто. В README приведены результаты тестирования на наборе Tatoeba-test.bul.epo: BLEU 24,5 и chr-F 0,438. Модель опубликована в форматах PyTorch и TensorFlow под лицензией Apache-2.0. Она ориентирована на одну языковую пару и не предназначена для обратного перевода или перевода на другие языки.

Helsinki-NLP разработала OPUS-MT-cau-en — многозадачную модель машинного перевода на архитектуре Transformer, реализованную как MarianMT. Она переводит с абхазского, адыгейского, чеченского и грузинского на английский; для обработки текста используются нормализация и SentencePiece с моделью словаря spm32k. Модель содержит 57,1 млн параметров и имеет контекстное окно 512 токенов. Модель подходит для перевода текстов с этих кавказских языков на английский. В README приведены тестовые результаты Tatoeba для абхазского, адыгейского и чеченского; значения BLEU невысокие, поэтому качество на таких направлениях может быть ограниченным. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-cus-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и опубликованная в рамках Tatoeba Challenge. Она переводит текст с сомалийского языка на английский; обозначение cus в названии относится к группе кушитских языков, но в карточке указан сомалийский как исходный язык модели. Модель построена на Marian и содержит 37,1 млн параметров. Для обработки текста применяются нормализация и SentencePiece с моделями токенизации spm12k; нативная длина контекста — 512 токенов. В тестах Tatoeba для направления сомалийский—английский указаны BLEU 16,2 и chr-F 0,303. Модель подходит для перевода сомалийских фраз и текстов на английский, в том числе для многоязычных сценариев, связанных с кушитскими языками, если входной язык соответствует обучающим данным. Короткий контекст и умеренные тестовые показатели ограничивают применение на длинных документах и задачах, требующих высокой точности. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-cus — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на кушитские языки; в карточке указана сомали как целевой язык, а целевая группа обозначена как кушитские языки. Модель построена на архитектуре Transformer и реализована как MarianMTModel. Веса содержат 37,1 млн параметров, родной размер контекста — 512 токенов. Для предварительной обработки применяются нормализация текста и SentencePiece с моделями токенизации spm12k. В тестах Tatoeba для пары английский—сомали указаны BLEU 16,0 и chr-F 0,173. Модель подходит для базового перевода с английского на сомали, но приведённые оценки указывают на ограничения качества; результаты для других кушитских языков отдельно не представлены. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-to — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с испанского языка на язык, обозначенный кодом «to» в карточке модели. Модель построена на архитектуре Marian Transformer-align, содержит 55,4 млн параметров и использует нормализацию и токенизацию SentencePiece; заявленная длина контекста — 512 токенов. Модель предназначена для перевода текстов и предложений с испанского на «to». В README приведены результаты на тестовом наборе JW300.es.to: BLEU 35,7 и chr-F 0,510. Распространяется по лицензии Apache-2.0.

Helsinki-NLP OPUS-MT-tiny-eng-rus — компактная модель машинного перевода с английского на русский, разработанная Helsinki-NLP. Это дистиллированная student-модель архитектуры Marian на базе учителя OPUS-MT en-ru, обученная на данных Tatoeba. Модель содержит 14,5 млн параметров, использует архитектуру Marian с обычным Transformer-декодером и рассчитана на контекст до 256 токенов. Модель предназначена для перевода коротких англоязычных фраз и текстов на русский. В карточке приведены результаты на Flores+ и Bouquet: BLEU 24,4 и 28,0 соответственно для student-модели. Доступны веса в форматах safetensors и TFLite. Лицензия — Apache-2.0.

OPUS-MT-tiny-ita-eng — компактная дистиллированная модель машинного перевода от Helsinki-NLP. Она переводит текст с итальянского на английский и основана на учителе OPUS-MT-models/it-en/opus-2019-12-18, обученном на Tatoeba. Модель использует архитектуру Marian с Transformer-декодером, содержит 14,5 млн параметров и рассчитана на контекст до 256 токенов. Модель подходит для перевода коротких фраз и текстов, например сообщений или предложений из пользовательских приложений. В README приведены результаты учителя на Flores+ и Bouquet, но результаты студенческой модели не указаны, поэтому качество именно этой модели по этим тестам оценить нельзя. Доступны форматы safetensors и TFLite. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt_tiny_kor-eng — компактная модель машинного перевода, разработанная Helsinki-NLP. Это дистиллированная модель семейства Marian с архитектурой MarianMTModel и примерно 14,5 млн параметров; она переводит текст с корейского на английский. Модель обучена на данных Tatoeba с использованием OpusDistillery и учителя Tatoeba-MT-models/kor-eng/opusTCv20210807-sepvoc_transformer-big_2022-07-28. Для запуска доступны форматы safetensors и TFLite; библиотека — Transformers. Модель подходит для перевода коротких фраз и предложений между корейским и английским, например для перевода пользовательских текстов или данных из Tatoeba. Указанная максимальная длина контекста — 256 токенов. Компактный размер упрощает развёртывание, но качество и устойчивость перевода могут уступать модели-учителю, особенно на длинных или специализированных текстах. Сведения о лицензии в предоставленных данных отсутствуют.

ihanif/pashto-asr-v6 — модель автоматического распознавания речи, разработанная как дообучение ihanif/pashto-asr-v5 на наборе Common Voice 19.0. Она использует архитектуру Wav2Vec2-BERT с CTC-декодером и содержит около 402,7 млн параметров. Модель предназначена для преобразования речи на пушту в текст; в оценке указана метрика WER 30,1268. Модель подходит для транскрибирования записей на пушту, включая голосовые сообщения и речевые материалы общего назначения. В карточке нет сведений о контекстном окне или дополнительных режимах работы. Лицензия в предоставленных данных не указана.

sonoisa разработал предварительно обученную на японских текстах модель T5 v1.1 для преобразования текста в текст. Она основана на архитектуре T5ForConditionalGeneration и содержит 123,8 млн параметров. Для предобучения использовался японский корпус объёмом около 100 ГБ, собранный из Wikipedia, OSCAR и CC-100; токенизатор SentencePiece обучен на данных Wikipedia и CC-100 с поддержкой byte fallback. Модель служит базой для дообучения под конкретные задачи генерации и преобразования японского текста. Само предобучение не делает её готовым решением для отдельной задачи: перед применением требуется файнтюнинг. Модель рассчитана на японский язык и работает с текстом на входе и выходе. Как и другие языковые модели, обученные на больших корпусах, она может воспроизводить смещения и выдавать предвзятый, вредный или неточный текст; авторы не гарантируют точность и безопасность результатов. Модель распространяется по лицензии CC BY-SA 4.0; при использовании также следует соблюдать условия Common Crawl.

sayanmandal/t5-small_6_3-en-hi_en_LinCE — модель машинного перевода на архитектуре T5, обученная с нуля. Она содержит 38,5 млн параметров и рассчитана на перевод между английским и хинди; суффикс en-hi в названии указывает на эту языковую пару. Модель принимает текст и генерирует текст, максимальная длина контекста — 512 токенов. В README приведены результаты оценки: BLEU 7,8135 и loss 2,2034; назначение, кроме перевода, и ограничения подробно не описаны. Опубликованные веса представлены в формате PyTorch. Лицензия в доступных сведениях не указана.

Tɛkyerɛma MT v1 — модель машинного перевода, созданная Prince Nasamu Alhassan на основе facebook/nllb-200-distilled-600M. Она дообучена на шести языковых парах; для кусала и дагбани в токенизатор и эмбеддинги добавлены новые токены kus_Latn и dag_Latn, инициализированные весами токена языка муре. Модель предназначена для перевода между английским и языками Ганы, в том числе для команд голосового агента. Авторы отмечают, что перевод команды через английский может повредить имена и другие сущности. Архитектура — M2M100ForConditionalGeneration, веса хранятся в safetensors; контекст составляет 1024 токена. Карточка указывает обучение на наборе Ghana Speech и связанных ганских корпусах, однако оценка проводилась на прочитанном и машинно переведённом тексте, а не на записях реальных команд. Это исследовательская работа, созданная в рамках хакатона; авторы не заявляют о поддержке модели как продукта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

WindyTranslate/translate-en-kqn — модель машинного перевода с английского языка на кваньяма, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-en-kqn: к базовым весам применили LoRA дообучение на параллельном корпусе и объединили адаптер с основной моделью. Модель построена на архитектуре Marian, содержит 56 млн параметров и принимает текст для генерации перевода. Указанное контекстное окно — 512 токенов. Репозиторий содержит сборку в формате safetensors для Transformers; лицензия — Apache-2.0. Модель предназначена для перевода с английского на кваньяма. Качество перевода не оценивалось: проверка GlotLID подтвердила язык выходного текста, но не его точность или естественность. Поддерживается только это направление перевода.

Windstorm Labs публикует модель машинного перевода с английского языка на санго. Это дообученная MarianMT-модель объёмом 47,6 млн параметров, основанная на Helsinki-NLP/opus-mt-en-sg: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель загружается через Transformers в формате safetensors и рассчитана на контекст до 512 токенов. Модель предназначена для перевода текстов с английского на санго; обратное направление не заявлено. В оценке на 48 предложениях FLORES-200 она получила chrF++ 25,90 и BLEU 4,91, что авторы относят к ограниченному уровню; это предварительная проверка, а не результат публикационного исследования. Лицензия — Apache-2.0.

WindyTranslate/translate-es-kg — модель машинного перевода, опубликованная Windstorm Labs для перевода с испанского на конго. Это дообученная версия Helsinki-NLP/opus-mt-es-kg: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 50,7 млн параметров и принимает контекст до 512 токенов; доступна в формате safetensors для Transformers. Модель предназначена для перевода текста в направлении es→kg. В скрининговой оценке на 48 предложениях FLORES-200 она получила chrF++ 29,22 и BLEU 4,40; результат обозначен авторами как ограниченный и не является результатом публикационного исследования. Репозиторий распространяется по лицензии Apache-2.0 с указанием происхождения базовой модели.

Windstorm Labs выпустила модель машинного перевода с финского языка на твийский. Это дообученная версия Helsinki-NLP/opus-mt-fi-tw: LoRA-адаптер обучили на параллельных текстах и объединили с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56,6 млн параметров и принимает текстовые последовательности с контекстом до 512 токенов. Модель предназначена для перевода с финского на твийский. В репозитории доступны веса в формате safetensors для Transformers. В тесте на 48 предложениях FLORES-200 модель получила chrF++ 29,39 и BLEU 6,62; это небольшой скрининговый результат, а не полноценная публикационная оценка. Поддерживается только направление fi→tw. Лицензия — Apache-2.0.