I.6Перевод и языковая адаптация

gemma2-mitra-it — модель генерации текста, разработанная на основе gemma2-mitra-base и дообученная на инструкциях по переводу. Она предназначена для перевода текста: в запросе указывают целевой язык по шаблону «Please translate into : 🔽 Translation::», а переносы строк перед генерацией заменяют символом 🔽. Символ # используется как токен остановки генерации. Модель построена на плотной архитектуре Gemma 2 и содержит 9 млрд параметров. Она принимает текстовые запросы и генерирует текст; контекст составляет 8192 токена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных сведениях не указана, поэтому условия её использования здесь уточнить нельзя.

Mungert/Hunyuan-MT-Chimera-7B-GGUF — GGUF-версия модели Hunyuan-MT-Chimera-7B, разработанной Tencent. Это ансамблевая модель для машинного перевода: она анализирует несколько вариантов перевода исходного текста и формирует единый, уточнённый результат. Модель предназначена для сценариев, где важны качество и согласованность перевода между языками. Модель относится к семейству Hunyuan с размером 7B параметров и распространяется в формате GGUF, подготовленном с использованием llama.cpp. Она поддерживает взаимный перевод между 33 языками, включая пять этнических языков Китая. Для работы Chimera требуется передавать исходный фрагмент и несколько готовых переводов на целевой язык; сама модель объединяет их в итоговый вариант без дополнительных пояснений. Размер контекста и точная архитектура в предоставленных данных не указаны. К сильным сторонам относятся ансамблевый подход, ориентация на повышение качества перевода и заявленные высокие результаты семейства Hunyuan-MT, включая первое место в 30 из 31 языковой категории WMT25, где модель участвовала. GGUF упрощает локальный запуск через совместимые инструменты, однако конкретные требования к памяти, доступные уровни квантования и сравнительные характеристики именно этой сборки не указаны. Лицензия в README не указана.

Это зеркало Kaption модели Tencent Hy-MT2 1.8B, преобразованной AngelSlim в формат GGUF с квантизацией STQ 1,25 бит. Репозиторий содержит файлы, побайтно совпадающие с указанной исходной ревизией; изменений в модели Kaption не вносил. Базовая модель имеет 1,8 млрд параметров и предназначена для перевода текста между 33 языками и выполнения инструкций по переводу. Модель подходит для встраивания в приложения и локальные сценарии перевода, поддерживает диалоговый интерфейс. Квантизация до 1,25 бит уменьшает размер файла, однако карточка не приводит оценок качества после квантизации или требований к ресурсам. Лицензия — Apache License 2.0.

Hy-MT2-30B-A3B-uncensored-heretic-i1-GGUF — GGUF-квантизированная версия модели OS-Software/Hy-MT2-30B-A3B-uncensored-heretic, подготовленная и опубликованная mradermacher. Модель предназначена для многоязычных задач обработки текста, включая перевод; в карточке заявлена поддержка китайского, английского, французского, португальского, испанского, японского, турецкого, русского и ряда других языков. В названии указана конфигурация 30B-A3B, однако подробности архитектуры, размер контекста и точное соотношение активных и общих параметров в README не раскрыты. Доступны многочисленные варианты GGUF-квантизации размером примерно от 6,3 до 21,5 ГБ, включая IQ- и Q-серии. Это позволяет выбирать между требованиями к памяти, скоростью и качеством; для некоторых вариантов отдельно отмечены низкое качество, а Q4_K_M обозначен как быстрый и рекомендуемый. К сильным сторонам относятся широкий набор поддерживаемых языков, ориентация на перевод и возможность локального запуска через формат GGUF. Ограничения зависят от выбранного уровня квантизации: компактные варианты могут заметно терять в качестве, а для запуска более крупных файлов требуется значительный объём памяти. Модель помечена как uncensored и decensored, поэтому её поведение в отношении ограничений безопасности может отличаться от стандартных инструкционных моделей. Лицензия — Apache-2.0.

IndicSeamless — дообученная AI4Bharat модель семейства SeamlessM4T-v2 для распознавания речи и перевода речи в текст на индийских языках. Она обучена на отфильтрованном наборе BhasaAnuvaad и предназначена для перевода аудиозаписей, в том числе речи из разных предметных областей. В README сообщается о превосходстве над базовой SeamlessM4T-v2 и другими системами на тестах Fleurs и BhasaAnuvaad. Модель распространяется в формате safetensors и используется через Transformers; лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Interpreter-Qwen3-1.7B — модель перевода с 1,7 млрд параметров, разработанная Ismantic на основе Qwen3-1.7B-Base. Она дообучена для перевода между китайским и английским языками в трёх этапах: SFT, обучение предпочтениям CPO и оптимизация с подкреплением GRPO. Модель использует плотную архитектуру Qwen3ForCausalLM, токенизатор Qwen3 и формат чата ChatML; контекст — до 32 768 токенов. Модель предназначена для перевода с китайского на английский и с английского на китайский. В тестах WMT23 указаны BLEU/COMET 20,31/0,8053 для zh→en и 33,69/0,8540 для en→zh. Для генерации рекомендуется жадное декодирование с фиксированной инструкцией перевода. Модель выпущена под лицензией Apache-2.0. Результаты обучения нацелены на конкретную языковую пару; карточка не подтверждает качество для других языков или задач. Для настройки предпочтений использовались собственные пары ответов, а COMET применялся и как награда, поэтому оценку следует трактовать с учётом описанной методики и тестов.

KETI-AIR/ke-t5-small — предварительно обученная модель семейства T5 от KETI-AIR для корейского и английского языков. Это компактная encoder-decoder модель с 62,2 млн параметров, предназначенная для задач преобразования текста в текст; максимальная длина контекста составляет 512 токенов. Модель можно использовать как основу для генерации текста по входному тексту и для дообучения под конкретные задачи, например суммаризацию или перевод. Доступны веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия Apache-2.0 допускает широкое использование и модификацию с соблюдением её условий.

KORani-v1-13B — языковая модель KRAFTON для работы на корейском и английском языках. Это версия серии KORani, дообученная на базе Polyglot 12.8B с использованием набора KoVicuna; разработка также опирается на проект Vicuna. Модель построена на архитектуре GPT-NeoX, содержит 16,9 млрд параметров и имеет контекстное окно 2048 токенов. Модель предназначена для генерации текста, диалога и типичных языковых задач на корейском и английском. В карточке приведены примеры перевода с английского на корейский, ответов на вопросы и суммаризации на корейском языке. Веса доступны в формате PyTorch по лицензии Apache-2.0.

nayohan разработал модель llama3-instrucTrans-enko-8b — плотную авторегрессионную языковую модель семейства Llama 3, дообученную на базе meta-llama/Meta-Llama-3-8B-Instruct для перевода с английского на корейский. Для обучения использованы наборы nayohan/aihub-en-ko-translation-1.2m и nayohan/translate_corpus_313k. Модель содержит 7,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 8192 токенов. Модель предназначена для перевода английских инструкций, предложений и новостных фрагментов на корейский язык. Автор приводит оценки на нескольких наборах данных, включая FLORES, IWSLT-2023 и новостной тест, но отмечает, что часть оценочного набора Aihub могла входить в обучение; результаты не следует считать независимой оценкой качества. Модель распространяется по лицензии llama3.

Llama-3-Swallow-70B-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, разработанная командой Swallow-LLM из Токийского технологического института и AIST. Модель на 69,5 млрд параметров прошла дополнительное непрерывное предобучение на корпусах с преимущественно японскими данными; базовая архитектура — LlamaForCausalLM. Выпущена в июне 2024 года и распространяется в формате safetensors через Transformers. Модель предназначена для генерации текста на японском и английском языках. Её можно применять для ответов на вопросы, чтения и понимания текста, суммаризации, перевода между японским и английским, математических рассуждений и генерации кода. В README приведены результаты оценки на японских и англоязычных наборах задач; указанное родное контекстное окно — 8192 токена. Это базовая, не Instruct-версия: она не настроена на следование человеческим инструкциям и требованиям безопасности. Авторы предупреждают, что модель находится на ранней стадии исследований и разработки. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

cstr/m2m100-418m-GGUF — конвертация мультиязычной модели facebook/m2m100_418M в формат GGUF/GGML. Исходная модель разработана Facebook; данный репозиторий поддерживается для использования с CrispStrobe/CrispASR и не изменяет архитектуру или возможности исходной модели. Лицензия — MIT. Модель предназначена для машинного перевода между 100 языками в любых направлениях без обязательного промежуточного перевода через английский. Она также может использоваться в конвейерах автоматического распознавания речи и последующего перевода через CrispASR. Поддерживаются языки, включая английский, русский, немецкий, французский, испанский, китайский, японский и другие; полный набор включает 100 языковых кодов. Это encoder-decoder Transformer на 418 млн параметров с 12 слоями энкодера и 12 слоями декодера, размерностью 1024, 16 головами внимания и FFN-размером 4096. Используются SentencePiece BPE-токенизатор с вокабуляром около 128 тысяч токенов, синусоидальные позиционные эмбеддинги и общий слой эмбеддингов. Доступны варианты F16 размером около 935 МБ, Q8_0 около 502 МБ и Q4_K около 272 МБ. F16 обеспечивает эталонное качество, Q8_0 в приведённых тестах дал идентичные результаты, а Q4_K может вызывать небольшие отличия в выборе слов и качестве. Для работы требуется совместимый рантайм CrispASR или другое программное обеспечение с поддержкой данного формата и backend M2M-100. README не указывает максимальную длину контекста и не предоставляет исчерпывающую оценку качества по всем языкам, поэтому фактические результаты могут зависеть от языковой пары и выбранного уровня квантования.

MADLAD-400-3B-MT-CT2-int8 — мультиязычная модель машинного перевода на архитектуре T5, преобразованная в формат CTranslate2 и квантованная до int8. Веса подготовлены сторонним автором на основе MADLAD-400-3B-MT; исходная модель обучена на триллионе токенов из более чем 450 языков с использованием открытых данных. Модель предназначена прежде всего для перевода между языками и мультиязычных NLP-задач. Карточка указывает поддержку более 400 языков; метаданные перечисляют языковые теги, включая русский, английский, китайский, японский и арабский. Версия CTranslate2 позволяет запускать модель через соответствующую библиотеку. Качество перевода зависит от языка и может различаться по предметной области. Обучающие веб-данные могли содержать низкокачественный или оскорбительный контент, что способно отражаться на результатах. Исходная модель не оценивалась для производственного применения и не предназначена для специализированных областей без дополнительной проверки. Лицензия — Apache 2.0.

mrm8488 разработал эту модель, дообучив mBART-large-cc25 на датасете OPUS100 для перевода с английского на испанский. Это плотная модель архитектуры mBART для генерации перевода; она содержит 457,4 млн параметров и поддерживает контекст до 1024 токенов. Для тестового набора автор указывает оценку BLEU 32,54. Модель предназначена для машинного перевода английских текстов на испанский. Она может подойти для перевода фраз, документов и других текстовых материалов в сценариях, где направление перевода фиксировано. Веса доступны в форматах PyTorch и safetensors; лицензия в предоставленных данных не указана.

khyentsevision/minilm-bo-en-sim — Sentence Transformer, разработанный для оценки семантического сходства между тибетскими и английскими предложениями, в том числе при работе с буддийской литературой. Модель принимает пару текстов на тибетском и английском и выдаёт оценку сходства: близкие к 1 значения означают близкий смысл, около 0 — слабую связь, отрицательные — противоположный смысл. Её можно применять для сопоставления параллельных фрагментов и ранжирования вариантов перевода. Это дообученный энкодер на базе sentence-transformers/all-MiniLM-L6-v2: BERT с mean pooling, 25,9 млн параметров и контекстом до 512 токенов. Он создаёт векторы размерности 384; сходство вычисляется косинусной мерой. В README указана корреляция Пирсона 0,9391 на отложенных тибетско-английских парах. Модель распространяется по лицензии BSD.

mT5-base — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 291,2 млн параметров. Она предварительно обучена в формате text-to-text на корпусе mC4, собранном из Common Crawl и охватывающем 101 язык. Веса доступны в форматах PyTorch, TensorFlow и Flax; лицензия — Apache-2.0. Модель служит базой для дообучения под прикладные задачи обработки естественного языка: например, перевод, суммаризацию и ответы на вопросы. Предварительное обучение не включало обучение на размеченных задачах, поэтому для использования в конкретном сценарии модель необходимо дообучить.

mT5-XL — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 1,9 млрд параметров. Она предварительно обучена на корпусе mC4, охватывающем 101 язык, в едином формате преобразования текста в текст; доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Модель служит базой для дообучения под конкретные задачи обработки естественного языка, например перевод, суммаризацию и ответы на вопросы. Сам чекпойнт прошёл только предварительное обучение без обучения на размеченных задачах, поэтому перед решением прикладных задач его необходимо дообучить. Для очень крупной модели требуется достаточно памяти и вычислительных ресурсов.

clui/my_awesome_opus_books_model — дообученная модель машинного перевода на архитектуре MarianMT, опубликованная в формате safetensors. В карточке указаны 66,3 млн параметров и контекст до 512 токенов. Для оценки приведены loss 1,3345, BLEU 14,3963 и средняя длина генерации 47,43 токена. Модель предназначена для перевода текста. Языковая пара, состав обучающих данных и конкретные сценарии применения в карточке не раскрыты. Лицензия — Apache-2.0.

Netra-NMT Small — компактная модель машинного перевода, разработанная автором репозитория Darayut. Это encoder-decoder Transformer на 77 млн параметров, обученный с нуля на англо-кхмерском параллельном корпусе. Модель поддерживает перевод в обоих направлениях: с английского на кхмерский и с кхмерского на английский. Архитектура включает 12 слоёв двунаправленного энкодера и 2 слоя авторегрессионного декодера, общую токенизацию SentencePiece с словарём 32 тыс. токенов, RoPE, RMSNorm и SwiGLU. Для ускорения генерации применяется KV-кэш. В описании заявлены данные из юридической, литературной, медицинской, технической и разговорной областей, а также веб-тексты. Репозиторий распространяется по лицензии MIT.

Nile-Chat-12B — плотная инструктивно дообученная языковая модель MBZUAI-Paris из семейства Nile-Chat, созданного в рамках проекта Jais. Модель основана на google/gemma-3-12b-pt и содержит 11,6 млрд параметров; для запуска указана библиотека Transformers, веса опубликованы в формате safetensors. Длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалогов на египетском арабском, включая арабское письмо и латинскую запись Arabizi; версия 12B рассчитана на сложные многоходовые взаимодействия и понимание нюансов. Подходит для ответов на вопросы, перевода и транслитерации, а также для чат-ботов и создания текстов. Лицензия — Gemma. Как и другие языковые модели, Nile-Chat может допускать фактические ошибки, испытывать трудности с тонкими языковыми нюансами и отражать предвзятость обучающих данных. Для ответственного применения следует проверять ответы и учитывать ограничения модели в конкретной предметной области.

NileChat-3B-Base — базовая языковая модель UBC-NLP, полученная продолжением предобучения Qwen2.5-3B на данных, ориентированных на египетские и марокканские сообщества. Модель содержит около 3 млрд параметров и обучалась на корпусе из 98,57 млрд слов; длина последовательности при обучении составляла 4 096 токенов. Модель предназначена для понимания и генерации текста на египетском и марокканском диалектах арабского языка, включая арабское письмо и Arabizi, а также на литературном арабском, французском и английском. Её можно применять для диалогов с учетом местного культурного контекста, создания материалов для этих сообществ и перевода между диалектами, литературным арабским, английским и французским. Это базовая версия, не настроенная на выполнение инструкций. Обучение включало синтетические и извлеченные культурно ориентированные данные, образовательные тексты и публичные корпуса по нескольким языкам, математике и коду. Модель может выдавать правдоподобную, но неверную информацию, чувствительна к формулировке запроса и может работать непоследовательно на очень длинных входах. Лицензия обозначена как other; конкретные условия следует проверить на странице репозитория.

Ahmed107/nllb200-ar-en_v8 — дообученная модель машинного перевода на архитектуре M2M100, созданная на основе facebook/nllb-200-distilled-600M. Она предназначена для перевода между арабским и английским языками; название модели указывает на эту языковую пару, однако README не уточняет направление перевода и особенности обучающих данных. Размер модели — 463,7 млн параметров, формат весов — Safetensors, контекст — до 1024 токенов. В README приведены результаты оценки: loss 0,7426 и BLEU 54,0881; набор данных и методика оценки не описаны. Модель распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

Это квантованная версия модели перевода NLLB-200 Distilled 1.3B, подготовленная в формате CTranslate2 из исходной facebook/nllb-200-distilled-1.3B. Репозиторий создан JustFrederik; README показывает команду преобразования весов с квантованием int8. Модель предназначена для машинного перевода между языками, поддерживаемыми NLLB-200; в метаданных указаны языковые коды для множества языков, а также набор данных FLORES-200. Квантование int8 сокращает требования к хранению и вычислениям по сравнению с исходными весами, сохраняя назначение модели для перевода. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. README не сообщает результатов оценки качества или конкретных ограничений точности после квантования.

Это версия модели машинного перевода NLLB-200 Distilled 600M, подготовленная JustFrederik в формате CTranslate2 и квантизированная до int8. Она предназначена для перевода текстов между языками, поддерживаемыми NLLB-200; модель основана на facebook/nllb-200-distilled-600M. Компактное представление int8 рассчитано на запуск перевода с меньшими требованиями к памяти. В README приведена команда преобразования исходной модели в формат CTranslate2, но сведения о качестве перевода и настройке развертывания не описаны. Лицензия CC BY-NC 4.0 разрешает использование на условиях лицензии, включая ограничение на некоммерческое применение.

Это дообученная ILRDF версия многоязычной модели facebook/nllb-200-distilled-600M для перевода на формозских языках. Модель содержит 463,7 млн параметров, использует архитектуру M2M100 и принимает текстовый контекст длиной до 1024 токенов. Для дообучения использованы данные Klokah, FB ILRDF Dictionary, Formosan DB, Formosan Org, Ithuan Formosan Text и Formosan Bible; примеры, состоящие только из одного слова, исключены. Модель предназначена для перевода текстов на формозских языках, в том числе в сценариях работы с малоресурсными языками. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

techolise/nllb-english-twi-finetuned-v2 — двунаправленная модель машинного перевода английского языка и асанте-тви (акан), разработанная Techolise и дообученная на корпусе Ghana Open Knowledge. Модель основана на архитектуре M2M100 для условной генерации текста, содержит 463,7 млн параметров и имеет контекст до 1024 токенов. Она предназначена для перевода фраз и предложений с английского на асанте-тви и обратно, с упором на разговорные формулировки и идиомы. README заявляет, что дообучение на более чем 457 тысячах параллельных предложений снижает повторения и буквальные переводы; также модель рассчитана на совместное применение с отдельной системой синтеза речи Twi. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Заявления о качестве и устранении повторений приводятся в карточке модели; независимые оценки качества не представлены.

nllb-sinhala-english — дообученная модель на базе facebook/nllb-200-distilled-600M для двустороннего машинного перевода между сингальским и английским языками. Она построена на архитектуре M2M100 и предназначена для коротких фраз из интерфейсов, приложений, игр, уведомлений и повседневных разговоров. Модель принимает текст на сингальском или английском и выдаёт перевод на другой язык; в метаданных указан контекст 1024 токена, хотя README предупреждает, что при инференсе входы длиннее 64 токенов могут обрезаться. Модель дообучена на пользовательском параллельном корпусе коротких фраз и оценивалась на отложенной выборке метриками BLEU и chrF. Она подходит для локализации интерфейсов и перевода коротких сообщений, но не предназначена для длинных документов, художественных текстов, юридического, медицинского, научного и другого узкоспециализированного контента. Модель выпущена по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и запрещающей коммерческое применение.

OmniLing-V1-8b-experimental — диалоговая модель на базе Llama, созданная SlerpE и secretmoon для перевода между русским и английским языками. Она дообучена на AnatoliiPotapov/T-lite-instruct-0.1 с использованием данных, сгенерированных более сильной моделью, и поддерживает формат чата. Модель предназначена для перевода художественных текстов, наборов данных, пользовательских сообщений и описаний в направлениях русский → английский и английский → русский. В карточке указаны 7,5 млрд параметров и контекст до 8192 токенов. Для перевода рекомендуется низкая температура 0,1–0,3 и нейтральная системная инструкция. В опубликованном небольшом тесте художественных переводов модель получила оценки 8,0 за точность, 7,3 за стилистическое соответствие и 8,3 за грамотность; это сравнение основано на десяти итерациях с Gemini 1.5 Pro Experimental в роли судьи и не гарантирует сопоставимого качества на других текстах. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

OmniTranslate-1.1-i1-GGUF — квантизированная версия модели OmniTranslate-1.1, разработанной MihaiPopa-1 и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена прежде всего для автоматического перевода и генерации текста, включая сценарии с большим числом языков. В README заявлена поддержка языков, представленных кодами ISO 639, среди которых английский, русский, китайский, японский, арабский, испанский, французский, немецкий и многие другие, включая малоресурсные языки. Также указано, что базовая модель обучалась с использованием набора данных MihaiPopa-1/OmniSurgical-1.1. Модель распространяется в нескольких вариантах квантизации GGUF, включая IQ- и Q-семейства, с размером файлов примерно от 0,3 до нескольких гигабайт; конкретный доступный размер зависит от выбранного варианта. Квантизация позволяет снизить требования к памяти, но может уменьшать качество по сравнению с исходной моделью, особенно у наиболее компактных вариантов. Архитектура, число параметров, размер контекста, мультимодальные возможности и результаты бенчмарков в README не указаны, поэтому эти характеристики нельзя достоверно оценить. Лицензия модели — Apache-2.0.

Helsinki-NLP/opus-mt-az-tr — модель машинного перевода семейства Marian, опубликованная Helsinki-NLP на основе проекта OPUS-MT. Она переводит текст с азербайджанского языка на турецкий; обучение использует архитектуру Transformer с выравниванием, нормализацию и SentencePiece с словарями по 4 тысячи токенов. Модель содержит 28,7 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для прямого перевода азербайджанских текстов на турецкий, в том числе для работы с короткими сообщениями и корпусами. В карточке приведён результат BLEU 24,4 на тестовом наборе Tatoeba для пары az-tr. Модель не заявлена как двунаправленная или многоязычная, поэтому обратный перевод и другие языковые пары не входят в её назначение. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-bcl-es — модель машинного перевода на архитектуре Marian Transformer. Она переводит текст с бикольского языка (bcl) на испанский (es); модель обучена на данных OPUS с нормализацией текста и токенизацией SentencePiece. В репозитории представлены веса PyTorch и TensorFlow; модель содержит 55,8 млн параметров, а длина контекста составляет 512 токенов. В тесте JW300.bcl.es указаны BLEU 37,0 и chr-F 0,551. Модель распространяется по лицензии Apache-2.0.