I.6Перевод и языковая адаптация

Taigi-Llama-2-7B — языковая модель на архитектуре LLaMA-2, разработанная на основе традиционной китайской версии LLaMA-2 и дополнительно обученная авторами на собранных из веба текстах на тайваньском хоккиене. Обучающие данные включают ханцзы, POJ и Hanlo; размер модели в метаданных указан как 6,7 млрд параметров, контекст — до 4096 токенов. Модель предназначена для генерации текста и задач причинного языкового моделирования на тайваньском хоккиене, а также может служить основой для дальнейшей тонкой настройки под прикладные задачи. В README указана поддержка хоккиена, английского и китайского языков; вход и выход — текст. Модель распространяется в формате Safetensors по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов. Показатели качества и конкретные ограничения применения в карточке не приведены.

Tashkeel-v2 — модель для огласовки арабского текста, разработанная автором репозитория на основе UBC-NLP/MARBERTv2. Она расставляет краткие гласные, сукун, шадду, танвин и окончания и‘раба, сохраняя исходную последовательность символов, цифр и знаков препинания. Модель предназначена для обработки классического и современного арабского текста, включая литературу, юридические тексты и исламские источники, а также для подготовки текста к синтезу речи и нормализации произношения. Архитектура включает 12-слойный BERT-энкодер, двунаправленный LSTM и две головы для морфологии и окончаний и‘раба. В карточке указано 171,57 млн параметров, тогда как метаданные содержат оценку 190 млн. Обучение проводилось на корпусах арабских предложений, включая Sadeed, Shamela, Ashaar и аяты Корана; заявлен результат 2,85% Total DER на SadeedDiac-25 и высокая скорость пакетной обработки. Модель принимает текст и выдаёт текст с диакритическими знаками; основной язык — арабский. Лицензия — Apache-2.0.

Til-2B-GEC — модель команды TilQazyna для исправления грамматических, орфографических и пунктуационных ошибок в казахском тексте. Она дообучена на данных Til-GEC от базовой модели Til-2B. Модель построена на архитектуре DeepseekV3ForCausalLM с механизмом MLA, содержит около 1,977 млрд параметров, 30 слоёв и поддерживает контекст до 4096 токенов. Она предназначена для коррекции коротких текстов, включая ошибки в падежах, личных и притяжательных окончаниях, числе, времени, отрицании, порядке слов и написании. Модель может слегка перефразировать исходный текст вместо минимальной правки. Для скачивания файлов требуется одобрение запроса доступа командой TilQazyna. Лицензия — Apache-2.0.

titulm-gemma-2-2b-v1.1 — языковая модель Hishab на архитектуре Gemma 2, дообученная на большом корпусе текстов на бенгальском языке. Это авторегрессионный трансформер с 2,7 млрд параметров; модель принимает и генерирует текст. В метаданных указан контекст до 8192 токенов. Модель предназначена прежде всего для генерации текста на бенгальском языке и задач понимания языка. Её можно применять для подготовки черновиков, ответов на вопросы и адаптации к бенгальским инструкциям. В карточке приведены оценки на бенгальских и английских тестах, однако обучение было сосредоточено на бенгальском, поэтому качество на английском не следует считать равным качеству специализированной англоязычной модели. Модель доступна через Transformers в формате Safetensors. Указана лицензия Gemma; использование регулируется её условиями. README сообщает о 2 млрд параметров, а метаданные каталога — о 2,7 млрд.

Tweeties/tweety-7b-armenian-v24a — языковая модель семейства Tweeties, разработанная организацией Tweeties и исследовательской группой, связанной с DTAI-KULeuven. Модель адаптирована для армянского языка на основе архитектуры Mistral с применением транс-токенизации и нативного токенизатора для низкоресурсного языка.

Модель bmd1905/vietnamese-correction — дообученная автором карточки версия vinai/bartpho-syllable для исправления ошибок во вьетнамском тексте. Она использует архитектуру mBART и предназначена для преобразования текста с ошибками в исправленный вариант; в README показан запуск через pipeline text2text-generation в Transformers. Модель содержит около 266,9 млн параметров и имеет контекстное окно 1024 токена. Модель принимает текст и выдаёт исправленный текст. Карточка связывает её с датасетом VNTC, адаптированным автором для задачи коррекции, и указывает лицензию Apache-2.0. Доступность кода и пользовательского датасета отмечена в карточке, но подробности методики, качество на независимых тестах и перечень видов ошибок не приведены.

Vitruv 1 — модель Virtruv, дообученная на базе beomi/OPEN-SOLAR-KO-10.7B с упором на математические задачи на корейском языке. Это плотная авторегрессионная модель семейства Llama с 10,7 млрд параметров, предназначенная для генерации текста; заявленная длина контекста — 2048 токенов. Для обучения использовались наборы данных по переводу между корейским и английским языками, корейским инструкциям и математике; данные MathPile были переведены вручную для обучения.

weblab-10b-instruction-sft-GPTQ — GPTQ-квантизированная версия японско-ориентированной многоязычной модели GPT-NeoX, созданной лабораторией matsuo-lab. Квантизацию выполнил webbigdata. В репозитории указано 10 млрд параметров исходной модели; метаданные каталога сообщают 13,9 млрд параметров. Модель предназначена для генерации текста по инструкциям и поддерживает японский язык. Квантизированные веса занимают около 6,3 ГБ. Для запуска README рекомендует библиотеку AutoGPTQ; из-за ограничений Accelerate требуется как минимум один GPU. Метаданные указывают формат safetensors и контекст 2048 токенов. Квантизация уменьшает размер и может ускорить вывод, однако точность может быть ниже, чем у исходной модели. Приведённые в README результаты бенчмарка обозначены как предварительные. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Drishti Sharma дообучила OpenAI Whisper Large-v2 для автоматического распознавания речи. Модель содержит 905,2 млн параметров и предназначена для преобразования аудио в текст; в метаданных указан язык хауса и набор данных Common Voice 11.0. В README название противоречит идентификатору репозитория: оно говорит о непали, тогда как метаданные указывают хауса, поэтому язык назначения нельзя подтвердить однозначно. На оценочной выборке Common Voice 11.0 приведены Loss 0,5364 и WER 36,5689; это указывает на заметные ошибки распознавания. Модель опубликована в формате PyTorch по лицензии Apache-2.0.

AkitoP/whisper-large-v3-japense-phone_accent — модель распознавания японской речи, созданная дообучением Whisper large-v3-turbo. Она преобразует аудио в катакану с разметкой высотного ударения и предназначена для транскрибирования японской речи с указанием произношения. Для обучения использованы часть набора Galgame-Speech и датасет JSUT-5000: сначала тексты преобразовали в катакану с разметкой ударения с помощью pyopenjtalk, затем дообучили модель на исходной обучающей части JSUT-5000. Модель содержит около 905,2 млн параметров и использует архитектуру Whisper. В README сообщается о CER около 4% на тестовом наборе JSUT-5000; это результат для указанного теста, а не гарантия качества на других данных. Вариант обучения только на первом этапе показал CER 13%. Модель ориентирована на японскую речь и специализированный формат транскрипции. Лицензия в предоставленных данных не указана.

Модель XLM-RoBERTa-large, дообученная проектом LMSpell для исправления орфографических ошибок в текстах на сингальском языке. Она принимает текст с ошибками и предсказывает исправленные варианты, используя контекст. Базовая модель — мультиязычная энкодерная XLM-RoBERTa-large с задачей masked language modeling; модель распространяется в формате safetensors по лицензии CC BY 4.0. Модель предназначена для коррекции сингальского текста. При обработке она сохраняет Unicode Zero Width Joiner с помощью специального токена-замены, который требуется преобразовать обратно после декодирования. Возможны ошибки на неформальных, смешанных по языку текстах и текстах с редкой или узкоспециальной лексикой; модель может менять слова, которые уже написаны правильно. Как энкодерная модель, она не предназначена для авторегрессионной генерации текста.

AsphyXIA baarat-hindi-instruct-0.1 — дообученная на основе Meta Llama 2 7B языковая модель с архитектурой LlamaForCausalLM, предназначенная для генерации текста. В карточке указано, что модель дообучена от baarat-hindi-instruct с использованием Unsloth и TRL; метаданные связывают её с meta-llama/Llama-2-7b-hf. Модель содержит 6,7 млрд параметров и поддерживает контекст до 4096 токенов. Модель предназначена для генерации ответов и выполнения инструкций на хинди. В метаданных указан английский язык, а название и базовая модель baarat-hindi-instruct указывают на ориентацию на хинди; точные языковые возможности карточка не описывает. Формат весов — safetensors. Лицензия — Apache-2.0.

Cabra Qwen 14b — чат-модель, разработанная на основе Qwen1.5-14B-Chat и дообученная авторами на внутреннем датасете Cabra 10k. Модель предназначена для диалоговой генерации текста и оптимизирована для португальского языка; в карточке сообщается об улучшении результатов на ряде бразильских бенчмарков по сравнению с базовой моделью. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 13,4 млрд параметров и поддерживает контекст до 32 768 токенов. Метаданные указывают поддержку португальского и английского языков. Репозиторий содержит веса safetensors; README также упоминает отдельные квантизованные версии GGUF. Модель подходит для португалоязычных диалогов, генерации ответов и исследовательской оценки генеративных моделей. README ограничивает применение исследовательскими целями и запрещает коммерческое использование. Датасет Cabra 10k описан как внутренний, поэтому его состав не раскрыт; результаты бенчмарков не гарантируют качество для других задач и сценариев.

Chinese-Alpaca-Plus-7B-Merged — китайская языковая модель, созданная разработчиком minlik на основе LLaMA: в базовую модель добавили китайский словарь и продолжили предобучение китайских эмбеддингов, затем выполнили дообучение на инструкционных данных. Модель предназначена для генерации текста и ответов на инструкции на китайском языке. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,7 млрд параметров. Она принимает текст и генерирует текст; нативный контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch и Safetensors. README приводит пример запуска через Transformers и SentencePiece. Лицензия в доступных данных не указана.

shibing624 разработал chinese-text-correction-7b — китайскую языковую модель для исправления орфографических, грамматических и других ошибок в тексте. Она основана на Qwen2.5-7B-Instruct и дообучена на наборе данных shibing624/chinese_text_correction. Модель использует плотную архитектуру Qwen2 и содержит 7,1 млрд параметров; для запуска доступны веса в формате safetensors, библиотека Transformers и контекст до 32 768 токенов. Модель предназначена для автоматической коррекции китайских текстов, включая ошибки, требующие вставки или удаления символов, а также ошибки с сохранением длины текста. В README приведён пример исправления фразы с орфографическими ошибками и результаты оценки на наборах CSC и CTC. Для применения требуются вычислительные ресурсы: в карточке приведён тест на GPU Tesla V100 с 32 ГБ памяти. Лицензия — Apache-2.0.

codeswitch-spaeng-lid-lince — модель на архитектуре BERT для идентификации языка в испанско-английских текстах со смешением языков. Она классифицирует токены, помогая определить, к какому языку относится каждый фрагмент текста. Модель обучена на данных LinCE и предназначена для анализа испанско-английского переключения кодов. Модель содержит 205,1 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Flax, включая веса safetensors. Подходит для разметки смешанных испанско-английских сообщений и изучения языкового переключения. Распространяется по лицензии MIT.

Koichi Yasuoka разработал модель на базе DeBERTa(V2), дообученную на китайских текстах Википедии на упрощённом и традиционном письме для разметки частей речи и синтаксического анализа зависимостей. Модель присваивает словам теги UPOS из универсального набора частей речи и предназначена для морфологической и синтаксической обработки китайского текста. Это модель DeBERTa V2 с архитектурой для классификации токенов, содержащая 133,7 млн параметров и рассчитанная на контекст до 512 токенов. Она принимает текст и выдаёт метки для токенов; в метаданных основным языком указан китайский. Модель построена на KoichiYasuoka/deberta-base-chinese и распространяется по лицензии CC BY-SA 4.0.

DictaBERT Joint — дообученная модель Dicta для совместного морфологического и синтаксического анализа современного иврита. Она основана на архитектуре BERT и содержит 211,6 млн параметров; модель принимает текст с контекстом до 512 токенов и выполняет сегментацию префиксов, морфологическую дизамбигуацию, лемматизацию, синтаксический разбор зависимостей и распознавание именованных сущностей. Результаты можно получить в JSON или в форматах Universal Dependencies, включая вариант IAHLT. Модель предназначена для лингвистического анализа предложений на иврите и построения структурированных аннотаций для языковых ресурсов и приложений. Отдельные выходные компоненты можно отключать при инициализации. Репозиторий распространяется в форматах PyTorch и Safetensors по лицензии CC BY 4.0. README указывает на необходимость `trust_remote_code=True` при загрузке через Transformers.

Erya4FT — модель RUCAIBox на архитектуре BART, дообученная на собственном датасете на основе Erya. Она предназначена для перевода древнекитайского текста на современный китайский язык. Модель содержит 152,6 млн параметров, принимает текст и выдаёт текст. Карточка показывает использование через Transformers с классом CPTForConditionalGeneration. Нативная длина контекста — 1024 токена. Модель распространяется под лицензией Apache-2.0. Её основная специализация — перевод древнекитайского на современный китайский. Данных о качестве на других направлениях перевода или о дополнительных возможностях карточка не приводит.

FinEst BERT — трёхъязычная модель семейства BERT, разработанная Матеем Улчаром и Марком Робником-Шиконьей. Она обучена на корпусах финского, эстонского и английского языков и использует архитектуру bert-base с 170,8 млн параметров. Модель предназначена для предсказания замаскированных слов в тексте и переноса знаний между этими тремя языками. По описанию авторов, специализация на трёх языках позволяет модели превосходить multilingual BERT, сохраняя возможности межъязыкового переноса. Модель обрабатывает текст с контекстом до 512 токенов и доступна в форматах PyTorch и Flax. Она может применяться как базовая модель для языковых задач на финском, эстонском и английском; карточка ссылается на статью с оценкой результатов. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).

Это объединённая модель MaziyarPanahi, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и stabilityai/japanese-stablelm-base-gamma-7b. Она предназначена для генерации текста в диалоговом формате и выполнения инструкций, сочетая возможности Mistral с японской языковой моделью StableLM. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для японских диалогов и ответов на запросы; метаданные также указывают на возможность общения в формате chat. Карточка не приводит результатов оценки качества или подробных инструкций по применению. Распространяется по лицензии Apache-2.0.

korean-style-converter-6b — корейская языковая модель для переформулирования текста в заданной манере речи. Она дообучена автором на базе beomi/Yi-Ko-6B с использованием наборов korean_smile_style_dataset и нескольких наборов AIHUB по преобразованию корейской речи и диалектам. Это плотная авторегрессионная модель семейства Llama с 5,9 млрд параметров и контекстом 2048 токенов. Модель принимает исходный корейский текст и название целевого стиля, после чего генерирует переписанный вариант. Поддерживаются вежливые и разговорные регистры, стилизованная интернет-речь, игровые персонажные манеры и диалекты Кёнсандо, Чхунчхондо, Чолладо, Канвондо и Чеджу. Диалектные преобразования могут быть неточными; для остальных стилей автор заявляет взаимное преобразование. Модель ориентирована на корейский язык и распространена в формате Safetensors. Лицензия — CC-BY-NC 4.0, поэтому коммерческое использование не разрешено. Автор также снимает с себя ответственность за результаты генерации.

KoSOLAR-10.7B-v0.2 — языковая модель команды Yanolja, полученная тонкой настройкой upstage/SOLAR-10.7B-v1.0 для расширения словарного запаса и улучшения понимания корейского языка. Это плотная архитектура семейства Llama с 10,6 млрд параметров, предназначенная для генерации текста; контекст составляет 4096 токенов. При обучении команда добавила новые токены и дообучила их эмбеддинги, а также частично настроила lm_head, сохранив большинство параметров исходной модели. Обучение использовало корейские веб-корпуса и мультиязычные данные, поэтому модель сохраняет возможности исходной модели для других языков. Она подходит как базовая модель для корейских текстовых задач и дальнейшей специализации, но не обучена следовать инструкциям и может требовать дополнительной настройки. Лицензия — Apache-2.0.

Latxa-Qwen3.5-4B — мультимодальная instruct-модель на базе Qwen3.5-4B, разработанная исследовательским центром HiTZ и группой IXA Университета Страны Басков UPV/EHU. Модель дообучена для работы с баскским языком, а вариант multi также адаптирован для галисийского и каталонского; заявлена поддержка испанского, английского и других языков. Она принимает текст и изображения и отвечает текстом, поддерживая диалог и выполнение инструкций. Модель предназначена для чата и вопросов по изображениям, прежде всего на баскском, а также на галисийском и каталонском. В метаданных указана архитектура Qwen3.5 с плотной моделью класса Qwen3_5ForConditionalGeneration; размер базовой модели — 4 млрд параметров. Модель распространяется в формате safetensors через Transformers по лицензии Apache 2.0. Разработчики предупреждают, что семейство ещё находится в разработке и качество за пределами баскского языка не гарантируется; результаты оценки для остальных языков не представлены. Модель может наследовать смещения и ограничения Qwen3.5, поэтому её ответы и выводы по изображениям требуют проверки.

Liujgoj-Cantonese-Qwen2.5-Omni-7B-ASR — модель распознавания речи на основе Qwen2.5-Omni-7B, разработанная для транскрибирования устного кантонского языка в романизированную орфографию Liujgoj. По описанию, модель прошла продолженное предобучение на данных Liujgoj, обучение по инструкциям и дообучение на парах кантонского аудио и текстовых транскрипций. Модель принимает аудио и выдаёт текст с романизацией Liujgoj, включая слоговую структуру, тоновые обозначения и границы слов. Её предполагаемые сценарии — подготовка кантонских речевых корпусов, фонологические исследования и создание данных для синтеза речи. В README приведено сравнение с Whisper на 4 742 примерах; также сообщается о повторении слова «yiu» примерно в 0,02% случаев и связывается этот сбой с малым числом повторов в обучающих данных или численной нестабильностью. В репозитории указаны архитектура Qwen2.5 Omni Thinker, формат safetensors и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. Ее обучающие данные включают около 18 часов аудио из кантонских фильмов, поэтому качество на иных жанрах и акустических условиях может отличаться.

Модель erenzeytunn/Llama-3.1-8B-Turkish — турецкоязычная адаптация Llama 3.1-8B, созданная автором проекта. Она прошла расширение токенизатора примерно на 7–8 тысяч турецких токенов, продолженное предобучение на очищенном турецком корпусе с QLoRA и дообучение на турецких инструкциях. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров для генерации текста и диалогов; заявленная длина контекста — 131 072 токена. Основной язык — турецкий. Модель предназначена для ответов на турецком языке, следования инструкциям, решения простых текстовых задач, а также работы с турецкой морфологией, идиомами и восстановлением диакритики. Автор сообщает о лучшей токен-эффективности и показателе bits-per-byte на турецком по сравнению с базовой и instruct-версиями Llama 3.1-8B, а также о близких результатах на отдельных тестах понимания и рассуждения. Это исследовательская и портфолио-модель, а не готовая производственная система. Она уступает более основательно дообученной instruct-модели в знаниях и понимании прочитанного, может ошибаться в символьной математике и уверенно галлюцинировать; для важных решений требуется проверка результатов. Лицензия — Llama 3.1.

MergeBench/Llama-3.2-3B_multilingual — языковая модель из экосистемы Transformers, размещённая на Hugging Face Hub. README не содержит сведений о разработчике, исходной модели, архитектуре, обучающих данных, назначении, поддерживаемых языках, размере, длине контекста, модальностях или результатах оценки. По идентификатору модели можно предположить связь с Llama 3.2 и мультиязычность, однако эти характеристики не подтверждены содержанием карточки. Данные о сценариях применения, сильных сторонах, ограничениях и условиях использования отсутствуют. Лицензия также не указана, поэтому условия распространения и коммерческого использования по README определить невозможно.

Llama-3.2-Taiwan-3B-Instruct — созданная Huang Liang Hsun диалоговая модель на архитектуре LlamaForCausalLM с 3,2 млрд параметров. Она основана на lianghsun/Llama-3.2-Taiwan-3B и дополнительно обучена на инструкциях и предпочтениях с помощью SFT и нескольких раундов DPO; в метаданных также указано объединение с Meta Llama 3.2 3B. Модель предназначена для диалогов на традиционном китайском языке с учетом тайваньского контекста, а также поддерживает английский и ряд других языков. Её можно использовать как разговорного помощника, в том числе для вопросов о Тайване, а также для запросов по тайваньским юридическим материалам и другим темам из обучающих наборов. Заявленная длина контекста составляет 131 072 токена; модель работает через Transformers и распространяется в формате safetensors. Лицензия — llama3.2. Модель может выдавать предвзятые или фактически неверные ответы. В README указано, что результаты тестирования по ряду наборов были низкими и не достигали проходного уровня; для юридических и других специализированных запросов ответы требуют проверки.

facebook/mms-tts-quc-dialect_central — модель синтеза речи на центральном диалекте языка киче, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на киче в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель основана на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для указанного языка; он доступен через библиотеку Transformers. Генерация недетерминирована из-за стохастического предсказателя длительности, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование на её условиях, включая ограничения на коммерческое применение.

facebook/mms-tts-quw — модель синтеза речи на языке Quichua, Tena Lowland (quw), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, поточные слои, Transformer-энкодер текста, стохастический предиктор длительности и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Из-за стохастической генерации результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же аудиоволну. Модель доступна через Transformers версии 4.33 и новее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение.