I.6Перевод и языковая адаптация

QuantFactory/llama-3.1-chinese-8b-it-dpo-GGUF — это квантованная версия модели jiangfb/llama-3.1-chinese-8b-it-dpo, созданная с помощью llama.cpp. Модель основана на Llama 3.1 8B Instruct от Meta и предназначена для генерации текста, ответов на вопросы, суммаризации и других задач обработки естественного языка с акцентом на китайский язык. Исходная модель дополнительно обучалась в два этапа: сначала с использованием почти 300 тысяч китайских инструкционных примеров методом supervised fine-tuning (SFT), затем с применением Direct Preference Optimization (DPO) на 5000 инструкциях для улучшения следования предпочтениям и качества ответов. Указаны результаты на китайских бенчмарках C-Eval и CMMLU, где модель показывает более высокие значения, чем исходная Llama 3.1. Точный размер квантования, формат контекста, поддерживаемые языки и дополнительные характеристики GGUF в README не указаны. Сильной стороной модели является адаптация Llama 3.1 8B Instruct к китайскому языку и китайским образовательным и профессиональным знаниям; также заявлена поддержка задач, связанных с математикой, кодом, переводом и общим диалогом. Ограничения, результаты независимых тестов и сведения о качестве вне китайского контекста не приведены. Лицензия для квантованной версии в README не указана.

Mungert/Llama-3.2-1B-GGUF — это компактная GGUF-версия языковой модели Llama 3.2, разработанной Meta. Репозиторий предназначен для запуска модели в совместимых средах инференса, поддерживающих формат GGUF, и для задач генерации текста, включая диалоговые сценарии, ответы на запросы и другие приложения на основе языковых моделей. Из доступных данных известно, что модель относится к семейству Llama 3.2, имеет размер 1B параметров и поддерживает текстовую генерацию. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура, точная длина контекста, параметры квантования и сведения о мультимодальности не указаны; по имеющейся информации модель следует рассматривать как текстовую, а не мультимодальную. Небольшой размер может облегчать локальный запуск и снижать требования к вычислительным ресурсам, однако по сравнению с более крупными моделями может ограничивать качество сложного рассуждения, точность и устойчивость на специализированных задачах. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия предусматривает требования к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и условиям перераспределения; для организаций с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Llama-Breeze2-3B-Instruct-v01 — мультимодальная чат-модель команды MediaTek Research с архитектурой InternVLChat и 3 млрд параметров. Она основана на LLaMA 3.2 и продолжает её предварительное обучение на большом корпусе для улучшения работы с традиционным китайским языком и его культурным контекстом. Модель предназначена для следования инструкциям и диалога на китайском и английском языках. Визуальный энкодер и связующий модуль позволяют учитывать изображения в запросах, а дообучение и шаблоны запросов поддерживают вызов функций. Метаданные также указывают интерфейс для работы с инструментами. Модель распространяется в формате safetensors по лицензии Llama 3.2 Community License. README указывает на визуальные возможности, но доступные сведения не уточняют размер контекстного окна и ограничения качества.

MADLAD-400 8B LM — многоязычная языковая модель на 8 млрд параметров, опубликованная Google как базовая модель для исследований и few-shot перевода. Она обучена на данных MADLAD-400 и предназначена для генерации текста; архитектура — decoder-only T5, аналогичная PaLM 8B, с 32 слоями, 16 query heads, одним KV head и размером эмбеддинга 4096. В архитектуре используются SwiGLU, параллельные слои, Multi-Query Attention, RoPE и общие входные и выходные эмбеддинги; контекст — 512 токенов. Модель охватывает множество языков, включая русский, английский, китайский, японский, арабский и хинди. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. В README указано, что код для запуска через Transformers пока не готов, а исходная реализация использует JAX/Flaxformer; для практического использования потребуется совместимая реализация.

MiniCPM5-2B-SFT-Pashto-GGUF — набор GGUF-квантизаций языковой модели, подготовленный tinyopsec на основе nassimjp/MiniCPM5-2B-SFT-Pashto. Базовая модель MiniCPM5-2B разработана openbmb и дообучена для работы с пушту. Модель предназначена для генерации текста, включая локальный запуск через llama.cpp, llama-cpp-python, LM Studio и Ollama. Модель использует архитектуру LlamaForCausalLM и поддерживает гибридные режимы рассуждения Think и No-Think. Доступны варианты квантизации от 16 до 2 бит с ориентировочным размером от 0,7 до 4,6 ГБ; рекомендован вариант Q4_K_M, которому требуется около 2 ГБ RAM. В метаданных указаны языки пушту и английский. Размер контекстного окна и результаты количественных оценок в README не указаны. Основные преимущества — специализация на пушту, несколько вариантов баланса качества и потребления памяти, а также возможность запуска на локальном оборудовании. Ограничения включают потенциальное снижение качества при агрессивной квантизации и отсутствие в предоставленных данных подробных тестов, ограничений по сценариям применения и характеристик контекстной длины. Распространение указано по лицензии Apache-2.0.

mistral-7b-english-welsh-translate — языковая модель, дообученная на базе mistralai/Mistral-7B-Instruct-v0.3 на наборе инструкций Welsh Government Alpaca Welsh-English Instructions. Она предназначена для перевода в обоих направлениях между английским и валлийским, особенно правительственных документов, сохраняя структуру Markdown. Модель построена на архитектуре Mistral с плотной трансформерной языковой сетью на 7,1 млрд параметров и контекстом до 32 768 токенов. Для получения переводов README рекомендует формат инструкций Alpaca с отдельными полями Instruction, Input и Response; модель рассчитана на локальный запуск, например через Text Generation Web UI. Репозиторий содержит веса PyTorch и safetensors, а README также упоминает доступность квантованной версии GGUF. Лицензия — Apache-2.0. Модель специализирована на переводе английского и валлийского и не заявлена как универсальная система перевода для других языков.

Multilingual DistilWhisper — компактная модель распознавания речи от NAVER, созданная на основе Whisper-small с лёгкими CLSR-модулями для повышения качества ASR на целевых языках. Обучение сочетает функцию потерь для распознавания речи и дистилляцию знаний от Whisper-large-v2. Модель предназначена для преобразования аудиозаписей в текст на каталанском, тамильском и тайском языках. Веса объёмом 153,1 млн параметров доступны в форматах PyTorch и Safetensors; лицензия — MIT. Модель опубликована в ноябре 2023 года и описана в работе для ICASSP 2024.

PaddleOCR-VL-For-Manga — модель оптического распознавания текста в изображениях манги, разработанная на основе PaddleOCR-VL и дообученная для японских реплик в облачках и стилизованных шрифтов. Это плотная мультимодальная модель класса PaddleOCRVLForConditionalGeneration с 318,2 млн параметров; она принимает изображения и выдаёт распознанный текст. Контекст составляет до 131 072 токенов. Модель обучалась на Manga109-s и 1,5 млн синтетических примеров; в тесте на фрагментах Manga109-s она показала 70% точности распознавания целых предложений против 27% у исходной PaddleOCR-VL. Модель предназначена для распознавания японского текста в страницах и фрагментах манги, в том числе при необычном начертании. Её можно использовать через Transformers, PaddleOCR или библиотеки, совместимые с PaddleOCR-VL. Карточка отмечает поддержку японского и многоязычного текста, однако специализация этой версии — японская манга. Лицензия — Apache-2.0. Ошибки могут затрагивать визуально похожие символы и различия между полноширинными и полуширинными знаками; метрики посимвольной ошибки не всегда отражают практическую эквивалентность таких вариантов.

Petite Elle L’Aime 3 — дообученная компанией Tonic многоязычная причинная языковая модель на архитектуре SmolLM3 с 3,1 млрд параметров. Она предназначена для генерации текста и диалогов; README описывает оценку на французских тестах понимания языка, рассуждений, математики и ответов на вопросы. Модель дообучена на наборе legmlai/openhermes-fr, указанном в README как франкоязычный DPO-датасет размером 800 тысяч примеров. По метаданным контекст модели составляет 4096 токенов; README приводит другое значение — 128 тысяч, поэтому фактический предел контекста следует проверять для используемой конфигурации. В метаданных заявлены английский, французский, испанский, итальянский, португальский, китайский, арабский и русский языки. Репозиторий использует Transformers и содержит веса в форматах PyTorch и safetensors; README также упоминает варианты int4-квантизации, которые могут снижать точность. Лицензия — Apache-2.0. README сообщает о результатах на отдельных французских тестах, но сводная таблица показывает более низкий средний результат, чем у базовой SmolLM3-3B. Как и другие языковые модели, она может давать фактически неверные ответы и наследовать смещения обучающих данных.

PULI-LlumiX-32K instruct — дообученная для выполнения инструкций версия NYTK/PULI-LlumiX-32K, опубликованная пользователем ariel-ml. Это плотная авторегрессионная языковая модель семейства LLaMA-2 примерно на 6,6 млрд параметров. Веса доступны в формате safetensors с точностью float16; модель принимает диалог в шаблоне ChatML и поддерживает контекст до 32 768 токенов. Модель дообучена на наборе boapps/szurkemarha: по README, обучение включало около 30 тысяч инструкций и три эпохи с LoRA. Она предназначена для диалоговых ответов, выполнения текстовых инструкций и генерации текста на венгерском и английском языках, в том числе с длинным контекстом. Указана лицензия Llama 2; использование регулируется её условиями. В карточке нет результатов бенчмарков, поэтому качество для конкретных задач не подтверждено.

Qwen2.5-7B-Instruct-bn-madlad-mean-tuned — плотная причинная языковая модель на архитектуре Qwen2, разработанная Atsuki Yamaguchi на основе Qwen/Qwen2.5-7B-Instruct и адаптированная для бенгальского языка. Модель содержит 7,1 млрд параметров и дополнительный словарь из 10 тысяч токенов; веса новых токенов для embedding и LM head инициализированы средним значением. Она прошла продолжительное предобучение на 500 млн токенов бенгальского языка из MADLAD-400. Модель предназначена для генерации текста и диалоговых сценариев на бенгальском языке. Она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors для библиотеки Transformers. Лицензия — Apache 2.0. Карточка не приводит оценок качества или специальных ограничений применения.

hyeogi выпустил разговорную модель SOLAR-10.7B-v1.4 на основе yanolja/KoSOLAR-10.7B-v0.2. Это плотная авторегрессионная языковая модель семейства Llama с 10,6 млрд параметров, предназначенная для генерации текста в диалоговом формате. В README указано дообучение на примерах Open-Orca/SlimOrca и данных HAERAE-HUB/KMMLU, включая перевод и форматирование инструкций. Модель ориентирована на корейский язык; длина контекста составляет 4096 токенов. Модель подходит для диалоговых ответов, выполнения инструкций и генерации текста на корейском. Файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

TEA-ASR-1.1-fmt — модель распознавания речи, разработанная автором репозитория как дообученная версия Qwen3-ASR-1.7B. Она предназначена для транскрибации тайваньского мандаринского китайского с традиционной письменностью и местной лексикой, в том числе речи с переключением между китайским и английским. Вариант fmt позволяет задавать формат записи числительных через префикс декодера: арабскими цифрами или китайскими иероглифами. Модель использует архитектуру Qwen3-ASR и доступна в формате safetensors для Transformers. По описанию, дообучение выполнено с помощью LoRA для декодера и энкодера с последующим слиянием адаптеров в единый чекпойнт. Управление форматом чисел является сильным смещением, а не гарантированным переключателем; на отдельных тестах вариант уступает TEA-ASR-1.1 по точности, особенно при плотном китайско-английском переключении. Лицензия — MIT.

TituLM Llama 3.2 3B v2.0 — авторегрессионная плотная языковая модель семейства Llama, разработанная Hishab на основе meta-llama/Llama-3.2-3B. Модель продолжительно предобучена на корпусе текстов на бенгальском языке с расширением словаря примерно на 42 тысячи токенов, а затем дообучена на больших наборах данных на бенгальском языке. Модель предназначена для генерации бенгальского текста и задач понимания бенгальского языка; также поддерживает английский как вторичный язык. Архитектура использует Transformer и Grouped-Query Attention, содержит около 3,3 млрд параметров и поддерживает контекст до 131 072 токенов по метаданным. Карточка описывает обучение на 37 млрд токенов и работу с текстовым вводом и выводом. Доступна в формате safetensors для Transformers, поддерживает чат и интерфейс вызова инструментов. Модель подходит для генерации и понимания текста на бенгальском языке, но показатели из карточки относятся к семейству моделей и не подтверждают качество именно этой версии на каждом сценарии. Использование регулируется лицензией Llama 3.2 Community License; метаданные обозначают лицензию как llama3.2.

UlizaLlama — языковая модель Jacaranda Health на 7 млрд параметров, созданная на основе Jacaranda/kiswallama-pretrained, который продолжает предобучение Meta/Llama2 на текстах на суахили. Модель основана на архитектуре Llama и объединяет веса LoRA-дообучения с базовой моделью для самостоятельного инференса. Контекст — 4096 токенов. Модель предназначена для ответов на вопросы и диалогового помощника на суахили и английском языках; её можно дополнительно адаптировать для конкретных областей. В карточке также отмечены генерация и продолжение текста. Лицензия CC BY-NC-SA 4.0; README рекомендует связаться с Jacaranda Health для коммерческого использования и распространения. Тестирование преимущественно проводилось на суахили и английском. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед применением требуется оценка безопасности и адаптация под сценарий использования.

Модель peterhung/vietnamese-accent-marker-xlm-roberta разработана автором peterhung и дообучена на базе XLM-RoBERTa Large для восстановления диакритических знаков во вьетнамском тексте. Она оформляет задачу как классификацию токенов: для каждого токена предсказывает метку, по которой его преобразуют в вариант с нужными акцентами. Например, «Nhin nhung mua thu di» преобразуется в «Nhìn những mùa thu đi». Для получения готового текста требуется сопоставить предсказанные метки с преобразованиями из файла selected_tags_names.txt и применить их к словам. Модель рассчитана на текст на вьетнамском языке, в том числе на текст, где диакритические знаки отсутствуют полностью или частично. Это архитектура XLM-RoBERTa Large с примерно 658,7 млн параметров и контекстом до 514 токенов; веса доступны в формате PyTorch. Лицензия — Apache-2.0. README отмечает, что вариант на основе HMM показывает более высокую точность, около 91%, но работает медленнее; метрика качества для этой модели не приведена.

Модель nguyenvulebinh/wav2vec2-base-vi-vlsp2020 — акустическая модель распознавания вьетнамской речи на архитектуре wav2vec2, представленная автором репозитория. Она предварительно обучена на 13 тысячах часов неразмеченной вьетнамской речи из YouTube, а затем дообучена на 250 часах размеченных данных VLSP ASR. Модель содержит 113,3 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для преобразования вьетнамской речи в текст. В тесте VLSP T1 автор сообщает WER 8,66 без языковой модели и 6,53 с 5-граммовой языковой моделью. Эти результаты относятся к указанному тестовому набору и не гарантируют такое же качество на других типах аудио. Для использования модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое применение.

TutlaytAI/wav2vec2-berber — модель автоматического распознавания речи, созданная дообучением TifinLab/wav2vec2-berber. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для преобразования аудиозаписей на берберских языках в текст, включая кабильский и центральноатласский тамазигхт. В метаданных указаны датасеты Common Voice 17.0 и TutlaytAI/tamazight_asr. Карточка не содержит подробностей о качестве распознавания, поддерживаемых условиях записи или ограничениях применения. Лицензия в предоставленных данных не указана.

Модель SIL AI — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на тагальском языке. Она принимает аудио и преобразует речь в текст; обучающие данные взяты из набора SIL-AI/bloom-speech, раздел TGL, связанного с Bloom Library. На оценочной выборке указаны WER 0,2457 и CER 0,0769. Модель предназначена для распознавания тагальской речи в сценариях, связанных с материалами Bloom. Это proof of concept: авторы не гарантируют качество в конкретных условиях. Для использования необходимо соблюдать лицензию SIL RAIL-M License.

Модель infinitejoy/wav2vec2-large-xls-r-300m-indonesian — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на индонезийском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель обучена на индонезийской части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; её можно применять для расшифровки индонезийских записей и речевых данных. В README приведены результаты оценки: WER 0,3256 и loss 0,2759. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Модель SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-original-split-part4-epoch30-final — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая текстовую транскрипцию. В README приведены результаты оценки: loss 0,1837 и WER 0,1334; датасет и условия оценки не описаны, поэтому эти показатели нельзя напрямую переносить на другие данные. Репозиторий содержит веса в формате safetensors, размер модели — около 402,7 млн параметров. Лицензия — Apache-2.0.

agkphysics/wav2vec2-large-xlsr-53-amharic — модель распознавания амхарской речи, созданная дообучением Wav2Vec2 XLSR-53 на корпусе Amharic Speech Corpus, подготовленном Abate и соавторами. Архитектура — Wav2Vec2ForCTC, число параметров — около 402,9 млн; модель принимает аудио и преобразует речь в текст. Модель предназначена для автоматической транскрипции амхарской речи, в том числе записей на чтение. На проверочной выборке Amharic Readspeech указаны WER 26% и CER 7%. Распространяется по лицензии MIT.

Wav2Vec2-Large-XLSR-53-Frisian — модель распознавания фризской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на фризском языке в текст. Для распознавания входная речь должна быть записана с частотой дискретизации 16 кГц. В оценке на тестовой части Common Voice указано значение 16,25%; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0. Карточка описывает обучение и оценку на Common Voice; результаты могут отличаться на других данных и условиях записи.

Модель vitouphy/wav2vec2-xls-r-300m-khmer — система автоматического распознавания речи на кхмерском языке. Это дообученная на данных OpenSLR версия facebook/wav2vec2-xls-r-300m, построенная на архитектуре Wav2Vec2ForCTC; в метаданных указано 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст, её можно использовать через pipeline библиотеки Transformers. Для декодирования с языковой моделью README описывает поддержку pyctcdecode. На тестовом разбиении OpenSLR автор сообщает WER 0,322 и CER 0,087 без языковой модели; с языковой моделью — WER 0,257 и CER 0,070. Обучающие данные составляют около 3,2 часа записей, поэтому покрытие словаря ограничено: редкие кхмерские символы распознаются хуже, а речь должна быть чёткой и разборчивой. Лицензия — Apache-2.0.

Модель asr-africa/wav2vec2-xls-r-akan-50-hours — дообученная на распознавании речи версия wav2vec2-xls-r-300m, разработанная автором репозитория asr-africa. Она предназначена для автоматического преобразования речи на языке акан в текст. Модель содержит около 402,7 млн параметров, использует архитектуру Wav2Vec2ForCTC и принимает аудио; библиотека для работы — Transformers. На оценочной выборке указаны WER 0,3065 и CER 0,0949. Датасет обучения не раскрыт, поэтому результаты нельзя уверенно переносить на другие условия записи и варианты речи. Лицензия — Apache-2.0.

sammy786/wav2vec2-xlsr-mongolian — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученная на основе facebook/wav2vec2-xls-r-1b для монгольского языка. Она преобразует аудиозаписи речи в текст и предназначена для автоматической транскрипции, в том числе записей, похожих на данные Mozilla Common Voice 8.0. В README приведён результат оценки на наборе, описанном как объединение части обучающих данных с dev и другими данными: WER 34,1522 и loss 31,52. README также содержит несогласованность: набор данных и конфигурация обозначены как монгольские, но в описании обучающих данных упомянуты файлы Finnish. Лицензия модели — Apache-2.0.

mmwanje/waxal-whisper-small-spec_aug_v1 — мультиязычная модель автоматического распознавания речи, дообученная на базе OpenAI Whisper Small на данных Google WaxalNLP для языков лингала, шона и луганда. При обучении применялся SpecAugment к log-mel признакам; модель реализована как WhisperForConditionalGeneration и распространяется в формате safetensors. В метаданных указано 153,1 млн параметров и лицензия Apache-2.0. Модель предназначена для транскрибирования аудиозаписей на поддерживаемых языках. README называет этот чекпойнт лучшим по результату на отложенной выборке среди экспериментов первой фазы; приведённая оценка объединяет WER и CER, поэтому её нельзя напрямую интерпретировать как отдельную точность распознавания. Результаты зависят от языка и условий записи.

onnx-community/whisper-base.en — версия модели openai/whisper-base.en, подготовленная сообществом onnx-community в формате ONNX для совместимости с библиотекой Transformers.js. Репозиторий содержит веса ONNX и предназначен для использования модели в веб-средах и приложениях, поддерживающих Transformers.js. README не указывает архитектуру, размер, длину контекста, набор модальностей, точные языковые возможности, результаты тестирования или дополнительные сценарии применения. Ключевое преимущество модели — готовность к интеграции через Transformers.js; ограничение заключается в том, что для полноценной оценки характеристик необходимо обратиться к документации базовой модели openai/whisper-base.en. Лицензия в предоставленных данных не указана.

AbelZimba/whisper-bemba-stt — модель распознавания речи на основе архитектуры Whisper, размещённая пользователем AbelZimba на Hugging Face. Она предназначена для преобразования аудиозаписей на бемба в текст. Метаданные указывают на архитектуру WhisperForConditionalGeneration, 153,1 млн параметров и поддержку аудиовхода; задача модели — автоматическое распознавание речи. Карточка, доступная через веб-поиск, не раскрывает сведения об обучении, лицензии, контекстном окне или оценке качества.

Whisper Darija — модель распознавания речи, разработанная Bentaleb Ali на основе OpenAI Whisper small и дообученная на марокканской даридже с использованием корпуса аудио и транскрипций. Это модель с архитектурой encoder-decoder, содержащая 153,1 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для расшифровки марокканской разговорной арабской речи: её можно применять в голосовых помощниках, создании субтитров и лингвистических исследованиях. В README сообщается, что после 10 эпох дообучения WER составил около 50%; качество зависит от записи и состава обучающих данных. Модель может хуже распознавать шумные или низкокачественные записи и плохо переноситься на другие арабские диалекты. Для важных решений транскрипции следует проверять человеком. Лицензия — Apache 2.0.