I.6Перевод и языковая адаптация

DDDSSS/translation_en-zh — модель машинного перевода с архитектурой MarianMT, разработанная автором репозитория DDDSSS для перевода с английского на китайский. Она содержит 58,4 млн параметров, использует PyTorch и распространяется в форматах PyTorch и Safetensors. По карточке, обучающие данные основаны на OPUS100 и CodeAlpaca_20K: английские тексты переводились на китайский с помощью ChatGLM, после чего данные фильтровались. Максимальный указанный контекст — 512 токенов; модель рассчитана на текстовый ввод и текстовый перевод. Модель подходит для перевода коротких английских фрагментов, включая технические тексты и примеры кода. Автор отмечает, что длинные предложения могут переводиться неполностью или пропускаться, поэтому перед обработкой текст следует разбивать на предложения. Лицензия — Apache-2.0.

liam168/trans-opus-mt-en-zh — модель машинного перевода на архитектуре Transformer семейства Marian, разработанная автором репозитория на основе проекта OPUS-MT. Она переводит текст с английского на китайский, включая варианты китайского языка и ряд региональных языков и диалектов, перечисленных в карточке. Модель содержит 58,4 млн параметров, работает с текстом и рассчитана на контекст до 512 токенов. Модель подходит для перевода предложений и коротких текстов, например учебных и технических материалов. В README приведён пример перевода текста о науке о данных и машинном обучении. Репозиторий содержит веса PyTorch и предназначен для использования через Transformers. Лицензия в предоставленных данных не указана.

Korla/whisper-large-v3-turbo-hsb-translation-v1 — модель автоматического перевода речи с верхнелужицкого на немецкий, разработанная на основе Whisper Large-v3 Turbo от OpenAI и дообученная на данных, предоставленных Załožba za serbski lud. Для работы задают язык распознавания «czech» и режим «translate». Модель построена на архитектуре Whisper, содержит 905,2 млн параметров и распространяется в формате safetensors через Transformers. Модель предназначена для перевода устной верхнелужицкой речи в немецкий текст. Лицензия — CC BY-SA 4.0. Она не обучалась для транскрибации речи на исходном языке, поэтому для получения верхнелужицкой расшифровки следует использовать другую модель.

YanoljaNEXT-Rosetta-4B-2510 — языковая модель Yanolja NEXT, дообученная на базе google/gemma-3-4b-pt для перевода. Это плотная авторегрессионная модель с архитектурой Gemma 3 и 4 млрд параметров; для работы с текстом используется компонент Gemma3ForCausalLM. Контекст модели составляет до 131 072 токенов. Модель предназначена прежде всего для перевода структурированных данных в формате JSON с сохранением исходной структуры. Она подходит для локализации товарных каталогов и перевода отзывов об отелях. Обучение проводилось на синтетических многоязычных переводах, созданных на основе корпусов FineWeb Edu и FineWeb2. Заявлена поддержка 32 языков, включая русский и английский; в README приведён результат CHrF++ 35,09 для перевода с английского на корейский по WMT24++. Основное ограничение — оптимизация под JSON: качество на обычном тексте и других форматах может меняться, а модель иногда выдаёт некорректный JSON, повторяющийся текст или неточный перевод. Модель распространяется по лицензии Gemma.

AfriqueGemma-12B — базовая причинная языковая модель из набора AfriqueLLM, разработанного для улучшения работы с африканскими языками. Она основана на google/gemma-3-12b-pt и адаптирована продолженным предобучением примерно на 26 млрд токенов; размер модели — 12 млрд параметров, нативный контекст — 8192 токена. Модель распространяется в формате safetensors и рассчитана на использование через Transformers. Модель предназначена для генерации текста и диалоговых сценариев на 20 африканских языках, а также сохраняет возможности для высокоресурсных языков, использованных при смягчении катастрофического забывания: английского, французского, португальского и арабского. Обучающие данные включают многоязычные тексты, код, математику и синтетические материалы; среди оценочных задач — понимание, рассуждение и перевод между английским и целевыми языками. Для развёртывания в README упомянуты vLLM и SGLang. Модель подходит для создания многоязычных ассистентов и генерации текста на африканских языках, однако качество может различаться между языками и задачами; опубликованные фрагменты таблиц не дают полной картины результатов. Лицензия — CC BY 4.0.

McGill-NLP/AfriqueQwen3.5-4B-Instruct-20260826 — дообученная версия модели McGill-NLP/AfriqueQwen3.5-4B для генерации текста и диалогов. Это плотная модель семейства Qwen3.5 с 4 млрд параметров; контрольная точка опубликована в формате safetensors и лицензирована по CC BY 4.0. Модель предназначена для математических рассуждений, перевода и ответов на вопросы с выбором варианта. В README приведены настройки для пошагового решения задач на английском и других языках, в том числе суахили, а также режимы генерации для математики и прочих задач. Метаданные каталога характеризуют базовую модель как предназначенную для африканских и ряда распространённых языков; точный перечень языков для этой версии не приведён. Модель работает только с текстом: несмотря на декларацию класса Qwen3_5ForConditionalGeneration, в контрольной точке отсутствуют веса визуальной части. README указывает на запуск через vLLM в режиме language-model-only и максимальную длину контекста 12 288 токенов. Для использования с vLLM требуется соответствующий параметр запуска.

AfriqueQwen-8B — базовая авторегрессионная языковая модель из линейки AfriqueLLM, разработанной для улучшения работы с африканскими языками. Она основана на Qwen/Qwen3-8B-Base и продолжила предварительное обучение примерно на 26 млрд токенов многоязычных данных. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3 и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и адаптации к задачам на африканских языках, включая продолжение обучения и работу в многоязычных сценариях. В README заявлена адаптация для 20 африканских языков; также при обучении использовались английский, французский, португальский и арабский для сохранения качества на языках с большим объёмом данных. Среди возможных сценариев — создание многоязычных приложений, ответы на запросы и перевод длинных документов. Для запуска авторы предлагают vLLM или SGLang. Продолженное предобучение улучшило результаты Qwen на африканских языковых задачах по оценке авторов, при этом README отмечает сохранение сильных возможностей на языках с большим объёмом данных. Это базовая, а не специализированная инструктивная модель; фактическое качество зависит от языка и задачи. Модель распространяется по лицензии CC BY 4.0.

Модель alexmt-gemma4-e4b-dpo-bwspbleu-lr5e7 разработана на базе Google Gemma 4 E4B Instruct и настроена для контекстного перевода между английским и разговорными диалектами арабского языка. Она дообучена методом DPO поверх alexmt-gemma4-e4b-sft на данных Alexandria. Запрос передаётся в виде JSON, включающего исходную реплику и, при наличии, контекст предыдущих ходов, область диалога, участников и направление рода говорящего и адресата; ответ имеет вид JSON с переводом. В публичном тесте Alexandria модель оценивалась на девяти разновидностях арабского языка и показала близкие к исходной SFT-модели результаты по spBLEU и chrF++. Проверка ограничена одним обучающим запуском и одним разбиением данных; авторы предупреждают, что сравнение вариантов DPO по тестовому набору не устанавливает надёжного преимущества, а соответствие диалекту отдельно не оценивалось. Модель принимает текст и выдаёт текст. Распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства, но некоммерческое.

Hosstia публикует MLX-версию модели Yandex AliceAI-T5-35B-A0.6B для Apple Silicon. Это модель перевода на архитектуре T5 с кодировщиком и декодировщиком и смесью экспертов: всего 35 млрд параметров, из которых активно 0,6 млрд на токен. Репозиторий содержит квантизованные веса в формате safetensors и реализацию для запуска через MLX на GPU Metal; заявленный основной сценарий — перевод с китайского на русский. В комплекте также предусмотрены режимы исправления текста и вопросов и ответов. Для Q&A требуется параметр min_new_tokens, чтобы ответы не обрывались преждевременно. Перевод длинных текстов может обрезаться, поэтому их рекомендуется разделять на части. Q&A на китайском ненадёжен. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Hosstia подготовил для Apple Silicon версию модели Yandex AliceAI-T5-35B-A0.6B, преобразованную для работы с MLX и 6-битными весами. Это модель перевода с архитектурой T5 encoder-decoder и смесью экспертов: всего 35 млрд параметров, из которых активно 0,6 млрд на токен. Репозиторий включает реализацию на Python и интерактивный чат с режимами перевода, исправления текста и вопросов и ответов. Основное назначение модели — перевод с китайского на русский. Также предусмотрен режим русскоязычных вопросов и ответов, однако он требует параметра min_new_tokens для предотвращения преждевременного завершения генерации. Модель работает через MLX на GPU Apple Silicon; контекстное окно в карточке не указано. Владелец карточки сообщает об исправлении упаковки 6-битных весов и численной проверке весов экспертов. При этом 6-битный вариант уступает 4-битному в качестве ответов на вопросы: ответы могут быть короче и содержать повторы. На длинных входах при переводе возможна обрезка, а генерация ответов на китайском ненадёжна. Лицензия указана как other, поэтому условия использования следует проверять в репозитории.

BanglaT5 — предварительно обученная модель семейства T5, разработанная CSE BUET для работы с текстом на бенгальском языке. Это плотный трансформер с архитектурой T5ForConditionalGeneration и примерно 123,8 млн параметров; модель обучена по задаче восстановления удалённых фрагментов текста и рассчитана на дообучение для прикладных задач генерации. После дообучения на соответствующих данных BanglaT5 применяют для машинного перевода, абстрактного суммирования, ответов на вопросы, диалогов и создания заголовков новостей. Для получения наилучших результатов входной текст следует нормализовать рекомендованным авторами конвейером до токенизации. Репозиторий содержит предварительно обученный чекпойнт в формате PyTorch. В карточке не указана лицензия, поэтому условия использования следует проверить отдельно. Сам чекпойнт предназначен для адаптации: готовые результаты для конкретной задачи зависят от дообучения.

CAT-Translate-7b-i1-GGUF — это GGUF-квантизированная версия модели CAT-Translate-7b, разработанной cyberagent и преобразованной в набор квантованных файлов пользователем mradermacher. Базовая модель обучалась с использованием набора данных CAT-Translate-Dataset и предназначена для машинного перевода между японским и английским языками. Модель имеет размер 7 миллиардов параметров. В README не указаны точная архитектура, размер контекстного окна, поддержка дополнительных модальностей или конкретные варианты использования помимо перевода. Доступны многочисленные варианты квантизации imatrix и стандартные GGUF-варианты объёмом примерно от 1,8 до 6,2 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; для практического использования автор рекомендует вариант i1-Q4_K_M, а i1-Q4_K_S отмечает как сбалансированный по размеру, скорости и качеству. Более агрессивные варианты могут заметно снижать качество перевода. Модель распространяется по лицензии MIT. Ограничения включают зависимость качества от выбранного типа квантизации и отсутствие в предоставленных данных подробных оценок качества, описания контекстного окна и сведений о работе с языками, отличными от японского и английского.

Neobe/dhivehi-en-mt5-large-paragraph — модель-переводчик на базе encoder-decoder архитектуры mT5-large, дообученная для перевода с дивехи на английский. Она обрабатывает отдельные предложения и абзацы; размер модели в метаданных составляет 608,4 млн параметров. Для запуска автор рекомендует fp32 и указывает потребность примерно в 5–6 ГБ видеопамяти; лицензия — Apache-2.0. Модель рассчитана на перевод новостей и пресс-материалов Мальдив, а также текстов из Википедии. В README приведены результаты на тестовых наборах, включая chrF 54,56 и BLEU 15,48 для набора с человеческими эталонными переводами; автор отмечает, что для письма Thaana метрика chrF показательнее BLEU. Модель обучена на параллельном корпусе дивехи—английский Neobe/dhivehi-english-parallel-corpus.

FuguMT — модель машинного перевода на базе архитектуры Marian-NMT, опубликованная пользователем staka. Она переводит текст с английского на японский и рассчитана на сценарии, где нужно получать японский перевод английских фраз и предложений. Модель содержит 41,6 млн параметров, имеет контекстное окно 512 токенов и доступна в формате PyTorch; для работы используются Transformers и SentencePiece. В README приведён результат BLEU 32,7 на 500 случайно выбранных предложениях из набора Tatoeba с токенизацией sacrebleu ja-mecab. Модель распространяется по лицензии CC BY-SA 4.0.

Huihui-Hunyuan-MT-7B-abliterated-i1-GGUF — это квантизированная версия модели Huihui-Hunyuan-MT-7B-abliterated, разработанной huihui-ai и преобразованной в формат GGUF пользователем mradermacher. Модель основана на архитектуре, совместимой с Transformers, имеет около 7 млрд параметров и ориентирована прежде всего на задачи машинного перевода и работы с текстом. В метаданных указана поддержка английского языка. Модель поставляется в нескольких вариантах квантизации, включая IQ1–IQ4, Q2–Q6 и другие форматы, размером примерно от 1,9 до 6,3 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством: Q4_K_M обозначен как рекомендуемый быстрый вариант, а Q4_K_S — как сбалансированный по размеру, скорости и качеству. Более низкие варианты квантизации могут заметно уступать по качеству. В названии и метаданных указано, что модель является abliterated и uncensored, то есть из неё удалены или ослаблены некоторые ограничения поведения; конкретные последствия этого для качества и безопасности в README не описаны. Длина контекста, полный набор поддерживаемых языков, точные характеристики архитектуры и лицензия не указаны, поэтому их следует уточнять по исходной модели Huihui-Hunyuan-MT-7B-abliterated.

IndicTrans2 Odia→English v1 — дообученная модель перевода на архитектуре IndicTransForConditionalGeneration, разработанная автором репозитория на основе ai4bharat/indictrans2-indic-en-dist-200M. Она предназначена для перевода текстов с одиа на английский; в README приведены результаты оценки на 500 тестовых примерах: BLEU 62,23, ChrF 87,29 и METEOR 51,28. Для токенизатора используется официальный IndicTrans2 base, а веса модели загружаются из этого репозитория. Модель работает с текстом и распространяется в формате PyTorch через Transformers. README называет этот чекпойнт зафиксированной базовой версией перед дальнейшим дообучением на 10–15 эпох. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты. Результаты на тестовой выборке не гарантируют такое же качество на других тематиках и типах текстов.

Bateesa/japadhola-english-bidirectional-nllb — модель машинного перевода на основе NLLB-200 Distilled 600M, дообученная для перевода между языком джападхола (adh_Latn) и английским (eng_Latn) в обоих направлениях. Она предназначена для перевода текстов с джападхола на английский и обратно. Для обучения использовались пары переводов, подготовленные людьми и синтетически сгенерированные. Модель использует архитектуру M2M100 для генерации перевода. В метаданных указано окно контекста 1024 токена и формат весов safetensors. Лицензия — Apache-2.0. В карточке нет результатов оценки качества или подробных сведений об ограничениях и сценариях применения, поэтому точность перевода для конкретных типов текстов не подтверждена.

Alisaeed001/Llama-2-7b-English-RomanUrdu-finetune — модель генерации текста на архитектуре Llama с 6,6 млрд параметров. Согласно названию репозитория и README, она предназначена для перевода с английского на романизированный урду; в README показана загрузка через Transformers как модели text-generation. Модель принимает текст и генерирует текст. Её контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch. Сведений о результатах оценки качества и лицензии в предоставленных данных нет.

Llama-3.2-3B-Instruct-uz — экспериментальная узбекско-английская языковая модель bxod, созданная на базе Meta Llama 3.2 3B Instruct. Модель прошла дополнительное предобучение на 1,2 млрд токенов (80% английского и 20% узбекского текста), а затем дообучение на инструкциях. Она содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на контекст до 131 072 токенов по метаданным; в описании обучения указан контекст 2048 токенов. Модель предназначена для диалогов и генерации текста, а также может применяться к переводу между узбекским и английским, анализу тональности, классификации новостей и ответам на вопросы. Специальный токенизатор сокращает среднее число токенов на узбекское слово, что может повысить скорость обработки узбекского текста и эффективное использование контекста. Для запуска на видеокарте с 4 ГБ VRAM авторы рекомендуют квантизацию. В опубликованных оценках узбекская версия превосходит базовую модель в тестах перевода и анализа тональности на узбекском, но показывает снижение результатов на некоторых англоязычных и классификационных задачах. Авторы обозначают чекпойнт как экспериментальный и устаревший. Лицензия — Llama 3.2; условия её использования определяются соответствующей лицензией Meta.

LLaMA3-ENG-KO-8B-SL — дообученная трансформерная языковая модель от 4yo1 на основе семейства Llama. Она предназначена прежде всего для перевода между английским и корейским языками; также поддерживает генерацию текста и чат-взаимодействие. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст. Максимальная длина контекста составляет 8192 токена. Модель опубликована в формате safetensors и распространяется по лицензии MIT. В карточке указано дообучение на датасете 4yo1/llama3_test1, однако подробности о составе данных, качестве перевода и результатах оценки не приведены.

LLaMA3-ENG-KO-8B-SL4 — двуязычная языковая модель на архитектуре LLaMA 3, опубликованная пользователем 4yo1. По карточке, модель адаптирована с помощью тонкой настройки и предназначена для задач на английском и корейском языках; метаданные указывают около 7,5 млрд параметров и контекст до 8192 токенов. Основной сценарий применения — перевод между английским и корейским языками. Модель также поддерживает генерацию текста и чатовый интерфейс. В карточке указан обучающий набор 4yo1/llama3_test1. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Карточка содержит несоответствие в примере загрузки: AutoConfig ссылается на идентификатор llama3-eng-ko-80-sl4, тогда как модель обозначена как llama3-eng-ko-8b-sl4. Сведения о качестве перевода и результаты оценки не приведены.

4yo1/llama3-eng-ko-8-llama — дообученная языковая модель на архитектуре Llama 3, разработанная 4yo1. Она предназначена прежде всего для перевода между английским и корейским языками; метаданные также указывают генерацию текста и диалоговый режим. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст. Родная длина контекста — 8192 токена; веса доступны в формате safetensors и могут использоваться через Transformers. В карточке указана настройка на датасете 4yo1/llama3_enkor_testing_short, однако подробности качества перевода и результаты оценки не приведены. Лицензия — MIT.

Typhoon-Audio Preview — мультимодальная аудиоязыковая модель команды Typhoon AI, выпущенная в августе 2024 года как исследовательская предварительная версия. Она принимает аудио и текст, а отвечает текстом; языки модели — тайский и английский. Языковая часть основана на llama-3-typhoon-v1.5-8b-instruct, аудиоэнкодер использует компоненты Whisper и BEATs. Модель предназначена для распознавания речи, вопросов и ответов по аудио и задач перевода между тайским и английским; в примере использования максимальная длина генерации по умолчанию — 1024 новых токена. Модель экспериментальная: она может неверно выполнять инструкции и галлюцинировать, а встроенной модерации нет. Лицензия — Llama 3 Community License.

LughaGen-v0-nllb — модель машинного перевода на архитектуре NLLB, представленная в репозитории plutoverse. Она предназначена для перевода текста; в тегах карточки указаны суахили и английский языки. Модель использует архитектуру M2M100ForConditionalGeneration, библиотеку Transformers и веса в формате safetensors; длина контекста — 1024 токена. Карточка содержит краткие сведения о модели и пример загрузки через Transformers, но не уточняет направление перевода, качество на тестах или условия лицензии.

keithtwesigye/lunyoro-lun2en — модель машинного перевода на базе MarianMT, дообученная для перевода с луньоро и руторо на английский. Она предназначена для перевода предложений и текстов на этих языках, распространённых в западной Уганде. Модель дообучена на базе Helsinki-NLP/opus-mt-mul-en с использованием примерно 53 948 пар предложений, собранных из краудсорсинговых материалов, словарных статей, параллельных корпусов и дополненных обратным переводом. Размер — 58 млн параметров, контекст — до 512 токенов. Доступны файлы в форматах Safetensors и ONNX. Модель рассчитана на направление луньоро/рутoро → английский и не предназначена для обратного перевода. Качество может зависеть от тематики и качества исходного текста; подробные оценки качества в карточке не приведены. Лицензия — MIT.

Xenova/m2m100_418M — модель машинного перевода, разработанная Facebook и представленная в формате ONNX для совместимости с Transformers.js. Она предназначена для интеграции переводческих сценариев в приложения, способные выполнять модели непосредственно в веб-среде или через экосистему Transformers.js. Модель основана на facebook/m2m100_418M; обозначение указывает на размер порядка 418 миллионов параметров. README подтверждает наличие ONNX-весов и принадлежность к семейству M2M100, однако не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекста, модальностях или количественных результатах оценки. Основное преимущество репозитория — готовность к использованию в Transformers.js и веб-приложениях без необходимости работать с исходным форматом весов. Ограничения модели и её качество зависят от исходной модели facebook/m2m100_418M и конкретного сценария применения; подробности о производительности, требованиях к ресурсам и известных проблемах в README не указаны. Лицензия в предоставленных данных не обозначена. Репозиторий с ONNX-весами описан как временное решение до более широкого распространения WebML.

Это конвертированные файлы модели машинного перевода MADLAD-400 3B в архитектуре T5 для Transformers. Репозиторий подготовил iliemihai; в README отмечена благодарность jbochi за публикацию Colab и кода конвертации. Модель предназначена для перевода текста между языками; карточка относит её к генерации текста по текстовому входу. В метаданных указаны 731,9 млн параметров, контекст 256 токенов, форматы PyTorch и safetensors и лицензия Apache-2.0. Языковые теги и карточка перечисляют английский, португальский, испанский, немецкий и итальянский. Короткий контекст ограничивает обработку длинных фрагментов; сведения о качестве и поддержке конкретных языковых пар в карточке не приведены.

v-25/mbart-kaz-ru — модель mBART-50, дообученная разработчиком v-25 для межъязыковой суммаризации с казахского на русский. Она предназначена для создания русскоязычного краткого изложения казахского текста. Модель построена на архитектуре mBART и содержит 457,4 млн параметров по метаданным; в README указано 610 млн. Нативная длина контекста — 1024 токена. Дообучение проводилось на 3 465 выровненных казахско-русских парах; тестовый набор включает 347 пар. Для направления kk→ru в README приведены ROUGE-1 0,747, ROUGE-2 0,665 и ROUGE-L 0,743. Модель принимает текст на казахском и генерирует текст на русском. Лицензия — MIT.

Misal-7B-instruct-v0.1 — языковая модель компании smallstep.ai, построенная на архитектуре Meta Llama 7B и настроенная выполнять инструкции на маратхи. Это плотная авторегрессионная модель с 6,7 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; её контекст — до 4096 токенов. Модель ориентирована на понимание прочитанного, анализ тональности, перефразирование и перевод на маратхи. Разработчики оценивали её вручную на наборе из 100 вопросов из интернета: средний результат составил 81 балл, однако авторы отмечают, что для надёжной оценки нужен более качественный бенчмарк. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Llama 2 License.

MITRE (Multilingual Translation with Registers) — многоязычная авторегрессионная модель с архитектурой decoder-only, разработанная для перевода NAIST NLP. Репозиторий содержит предварительно обученную модель примерно с 1 млрд параметров для инференса; доступна через библиотеку Transformers и использует SentencePiece для токенизации. Модель предназначена для перевода между 24 языками в 552 направлениях, включая прямой перевод между языковыми парами. В README описаны пять языковых групп: германская, романская, славянская, малайско-полинезийская и азиатская. Разработчики указывают, что подход основан на M2M и включает изменения, призванные снизить стоимость генерации. Модель распространяется под лицензией MIT. Контекст ограничен 256 токенами, поэтому она рассчитана на короткие фрагменты текста; ограничения качества и результаты оценки в предоставленных материалах не описаны.