I.6Перевод и языковая адаптация

polka-1.1b — плотная авторегрессионная языковая модель семейства LLaMA, разработанная Eryk Mazus на основе TinyLlama-1.1B. Модель продолжили предобучать на 5,7 млрд дополнительных польских токенов, преимущественно из MADLAD-400; при подготовке данных польские и английские фрагменты отбирались в соотношении 10:1. Токенизатор расширен до 43 882 токенов, чтобы эффективнее обрабатывать и генерировать польский текст. Модель содержит 1,1 млрд параметров, принимает текст и поддерживает контекст до 2 048 токенов. Модель предназначена для генерации связного текста на польском и английском языках и может служить основой для последующей настройки на инструкции, как в варианте polka-1.1b-chat. Автор отмечает, что при небольшом размере модели возможны галлюцинации. Доступна по лицензии Apache-2.0.

Sorawiz/Qwen2.5-7B-Thai-Instruct — чат-модель на основе Qwen2.5, созданная объединением нескольких тайскоязычных инструкционных моделей и адаптеров с помощью mergekit и метода Model Stock. Она содержит 7,1 млрд параметров, использует архитектуру Qwen2 для генерации текста и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций на тайском языке. Она может генерировать ответы на вопросы и участвовать в чат-сценариях; формат диалогов — ChatML. Доступны веса Safetensors, а также упомянуты статические квантованные версии GGUF в отдельном репозитории. Карточка не сообщает результаты оценок качества или подробные ограничения. Модель выпущена 26 января 2025 года. Лицензия в предоставленных данных не указана.

t5-base-dutch — нидерландоязычная модель семейства T5, созданная Йебом Хавингой и Датом Нгуеном в рамках Hugging Face Community Week при поддержке Google TPU для проекта предварительного обучения T5 с нуля на нидерландском языке. Это кодировщик-декодировщик T5 с примерно 123,7 млн параметров по метаданным Hugging Face; в README указано 222 млн. Модель обучалась на очищенном нидерландском подмножестве mC4 с задачей восстановления пропущенных фрагментов текста, использует регистрочувствительный токенизатор SentencePiece и поддерживает последовательности длиной до 512 токенов. Это базовая предварительно обученная модель для последующего дообучения под задачи преобразования текста, например суммаризации и перевода. Самостоятельно готова к таким прикладным задачам не полностью: авторы рекомендуют сначала выполнить fine-tuning, а встроенный виджет инференса отключён. README приводит результаты оценки предобучения и указывает на сравнения моделей для суммаризации и перевода, но не сообщает здесь конкретных метрик этих задач. Модель распространяется по лицензии Apache-2.0.

Taigi-Llama-2-13B — плотная авторегрессионная языковая модель семейства LLaMA 2 на 13 млрд параметров, разработанная для работы с тайваньским хоккиеном. Она создана на основе версии LLaMA 2 для традиционного китайского языка и продолжила предварительное обучение на веб-данных на тайваньском хоккиене объёмом около 78 МБ, включая записи ханцзы, POJ и Hanlo. Модель предназначена для генерации текста на тайваньском хоккиене и может служить основой для дальнейшей тонкой настройки под прикладные задачи. В первую очередь она рассчитана на тайваньский хоккиен, включая ханцзы и POJ; также сохраняет возможности работы с английским и китайским языками. Принимает и выдаёт текст, поддерживает контекст до 4096 токенов. Веса опубликованы в формате Safetensors. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные материалы на тех же условиях и ограничивает коммерческое использование.

TEA-ASR-1 — модель распознавания речи, созданная JacobLinCool для повседневной речи на мандаринском китайском Тайваня. Она дообучена на основе Qwen3-ASR-1.7B: аудиоэнкодер заморожен, а небольшая LoRA-адаптация декодера объединена с весами в единый чекпойнт. Модель принимает аудио и выдаёт транскрипцию традиционными китайскими иероглифами с лексикой, характерной для Тайваня; она также рассчитана на естественное переключение между китайским и английским в речи. Модель предназначена для транскрибации разговоров, лекций и записей на тайваньском мандаринском, в том числе смешанной китайско-английской речи. В README указана версия на 2 млрд параметров и совместимость с API Qwen3-ASR; для распознавания тайваньской речи рекомендуется задавать язык Chinese, а для имён и терминов можно передавать контекстные подсказки. Автор приводит результаты сравнений на публичных наборах CommonVoice zh-TW, ASCEND и CSZS, полученные в одном протоколе; это собственные измерения автора, а не независимая оценка. Лицензия — MIT. Проверка описана для тайваньского мандаринского и китайско-английского переключения кодов, поэтому качество на других языках и речевых условиях этими данными не подтверждено. Заявленные скорость и потребление памяти измерялись на NVIDIA RTX 5090 с bf16 и не гарантируют такие же показатели на другом оборудовании.

Telugu-Llama2-7B-v0-Instruct — языковая модель для выполнения инструкций, созданная в рамках совместной работы Ravi Theja и Ramsri Goutham. Она основана на Telugu-Llama2-7B-v0-Base и дообучена на наборах инструкций yahma_alpaca_cleaned_telugu_filtered_and_romanized и teknium_GPTeacher_general_instruct_telugu_filtered_and_romanized. Модель использует плотную архитектуру LlamaForCausalLM с 6,6 млрд параметров и контекстом 4096 токенов. Она генерирует ответы на текстовые инструкции; предусмотрена работа с телугу в родной письменности и латинизированной записи. В примерах показаны ответы на телугу. Разработчики отмечают высокую чувствительность к параметрам и формулировкам ввода и не рекомендуют модель для производственного использования. Лицензия — Llama 2.

Tokara-0.5B-Chat-v0.1 — небольшая диалоговая языковая модель Kendamarron на архитектуре Qwen2 с 463,9 млн параметров. В основе лежит Qwen/Qwen1.5-0.5B, дополнительно обученная на 5 млрд токенов японских и английских данных; диалоговые способности добавлены методом chat vector. Модель рассчитана на генерацию ответов и многоходовый чат на японском и английском языках. Контекстное окно — 32 768 токенов. В README отмечено, что для своего размера модель способна поддерживать диалог. При генерации может рано повторять текст; автор рекомендует repetition_penalty около 1,15–1,25. В однопроходной оценке Japanese MT-bench результаты различались по категориям: 1,3 за извлечение, 2,6 за гуманитарные темы, 2,5 за рассуждения, 3,8 за ролевые диалоги, 2,3 за STEM и 3,2 за письмо. Указана лицензия other, поэтому условия использования следует сверить с лицензией в репозитории.

Twice-KoSOLAR-16.1B-test — экспериментальная языковая модель Кюджина Хана (kyujinpy), созданная с помощью Mergekit на основе корейской KoSOLAR-10.7B-v0.1. В README описан метод объединения слоёв passthrough: модель расширена с 48 до 72 слоёв по схеме, вдохновлённой Depth-Up-Scaling. В метаданных указаны плотная архитектура LlamaForCausalLM, 15,9 млрд параметров, контекст 4096 токенов и формат safetensors. Модель предназначена для генерации текста и экспериментов с корейской и английской LLM, включая оценку на бенчмарках ARC, HellaSwag, MMLU, TruthfulQA и Ko-CommonGenV2. В README приведены результаты тестирования, но английские оценки для этой модели отмечены как NaN. Карточка сообщает о лицензии CC BY-NC-SA 4.0; условия лицензии следует соблюдать при использовании и распространении.

DrishtiSharma/wav2vec2-xls-r-pa-IN-a1 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0 для пакистанского варианта языка пакистанский панджаби. Это плотная архитектура Wav2Vec2ForCTC на 402,7 млн параметров; она принимает аудио и выдаёт распознанный текст. На оценочной выборке указаны loss 1,1508 и WER 0,4908. Модель подходит для транскрибации речи на пакистанском панджаби, например записей и голосовых сообщений. Опубликована в формате PyTorch под лицензией Apache-2.0. Указанный WER свидетельствует о заметных ошибках распознавания; карточка не приводит дополнительных сведений о надёжности на других источниках аудио и в иных условиях записи.

tarteel-ai/whisper-base-ar-quran — модель распознавания речи, созданная дообучением openai/whisper-base. Она предназначена для преобразования арабской речи, в том числе чтения Корана, в текст. Модель построена на архитектуре Whisper и содержит 51,7 млн параметров; репозиторий хранит веса в формате PyTorch. В карточке приведены результаты оценки: loss 0,0839 и WER 5,7544. Данные о наборе обучения и подробные ограничения не раскрыты. Модель распространяется по лицензии Apache-2.0.

Whisper-Hindi2Hinglish-Apex — модель распознавания речи от Oriserve, дообученная на базе openai/whisper-large-v3-turbo. Она преобразует речь на хинди в текст на хинглише — хинди, записанный латиницей, часто с английскими словами. Модель построена на архитектуре Whisper, содержит около 905 млн параметров и принимает аудио; карточка описывает настройку для шумной речи с индийским акцентом. По заявлению разработчиков, модель обучалась на примерно 700 часах аудио на хинди и показала улучшение среднего результата примерно на 42% относительно исходной предобученной модели на использованных бенчмарках. Она предназначена для транскрибирования разговоров и аудиозаписей на хинди в хинглиш; для запуска описано использование Transformers и OpenAI Whisper. В README также заявлено первое место в Speech-To-Text Arena, однако приведённые таблицы сравнивают результаты на отдельных наборах данных, а метрики WER рассчитаны по эталонным транскрипциям, предварительно транслитерированным в хинглиш. Модель распространяется под лицензией Apache-2.0. Карточка не приводит ограничений на длительность контекста; качество для языков и условий, отличных от шумной речи на хинди с индийским акцентом, не подтверждено описанными результатами.

ILRDF/whisper-large-v2-formosan-all — дообученная ILRDF модель распознавания речи на основе OpenAI Whisper large-v2. Она предназначена для транскрибации аудио на тайваньских языках коренных народов; в карточке отмечено, что для выбора языка используется идентификатор индонезийского языка Whisper. Модель содержит около 905,2 млн параметров, построена на архитектуре Whisper и распространяется в формате Safetensors для Transformers. Обучение выполнено в 4146 шагов с аугментацией данных, отключённой по карточке; указаны размер пакета 2×4 и накопление градиента 64. Модель принимает аудио и выдаёт распознанный текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель kpriyanshu256/whisper-medium-as-400-32-1e-05-bn — дообученная версия мультиязычной модели распознавания речи OpenAI Whisper Medium. Она предназначена для преобразования аудиозаписей в текст, с настройкой на датасете Common Voice 11.0; название карточки указывает на ассамию. Модель содержит 455,8 млн параметров, построена на архитектуре Whisper и опубликована в формате PyTorch. В карточке приведён результат оценки на тестовой выборке: WER 58,7981 и loss 1,0825. Высокий WER указывает на возможные ошибки распознавания, поэтому качество для конкретных записей стоит проверять отдельно. Лицензия — Apache-2.0.

Whisper Small Gujarati + Talpada — модель распознавания речи, дообученная автором princetunes на базе openai/whisper-small для транскрибации гуджаратской речи, включая региональный диалект Talpada. Модель содержит 153,1 млн параметров и сохранена в формате safetensors; в README указаны веса fp16 размером около 484 МБ. При обучении энкодер был заморожен, а часть декодера дообучалась на наборе shunyalabs/gujarati-speech-dataset. Модель предназначена для транскрибации коротких фраз и разговорной речи на гуджарати, особенно с диалектными словами. Обучающая выборка включала около 2 000 аудиофрагментов длительностью до 10 секунд; оценка проводилась на 30 примерах. Указанный WER 72,37% завышен из-за сравнения распознавания обрезанного 10-секундного аудио с полными транскриптами длиной до 25 секунд, поэтому он не отражает качество на равных условиях. Лицензия в предоставленных данных не указана.

yuriyvnv/whisper-small-mixed-pt — модель автоматического распознавания речи, созданная Yuriy VNV дообучением openai/whisper-small. Она принимает аудио и выдаёт текстовую транскрипцию на португальском языке. Модель содержит 153,1 млн параметров и построена на архитектуре Whisper; для обучения использовались португальские данные Common Voice 17.0 и синтетические аудиозаписи с фильтрацией WAVe. Модель предназначена для транскрибирования португальской речи и экспериментов с влиянием синтетических данных на качество распознавания. В README указаны WER 14,08% на тестовой части Common Voice и 30,54% на MLS; результат на Common Voice немного хуже CV-only базовой модели с WER 13,87%. Поэтому для рабочих систем, где важна точность, автор рекомендует рассмотреть другие варианты Whisper. Модель распространяется по лицензии Apache-2.0. Она оптимизирована для общего португальского языка; качество на других языках, акцентах и предметных областях из приведённых данных не следует.

Это двуязычная языковая модель семейства PicoDecoder, опубликованная организацией Beetle-FineWeb-2B на Hugging Face. Она предназначена для генерации текста на нидерландском и английском языках. Идентификатор модели указывает на вариант с последовательным обучением и настройкой языкового баланса; карточка также связывает семейство Beetle с экспериментами по обучению небольших языковых моделей. Модель доступна в формате Safetensors для Transformers и относится к задаче text-generation. Карточка не сообщает лицензию, размер параметров или длину контекста, поэтому эти характеристики нельзя надёжно указать. Информация о качестве и ограничениях конкретного чекпойнта также отсутствует; использовать его следует с проверкой результатов.

Модель erdemKocaogluu/berturk2berturk-tr-normalizer разработана на основе двух чекпойнтов BERTurk и предназначена для нормализации неформального турецкого текста. Она преобразует разговорные формы, опечатки, пропущенные буквы и диакритические знаки, а также диалектное написание в стандартный письменный турецкий, стараясь сохранить смысл и порядок слов. Архитектура — encoder-decoder на базе EncoderDecoderModel: энкодер использует веса BERTurk, декодер создан из второй копии BERTurk, а слои cross-attention обучены при дообучении. Модель применяет WordPiece-токенизатор BERTurk с словарём около 32 тысяч токенов; максимальная длина входа и выхода — 128 токенов. Модель особенно подходит для исправления предсказуемых ошибок, например восстановления турецких диакритических знаков и нормализации разговорных сокращений. Она слабее справляется с естественными нестандартными ошибками и длинными предложениями с несколькими частями; не перестраивает порядок слов и структуру предложения. Сильно искажённые или отсутствующие в словаре слова могут превратиться в [UNK], а длинные тексты обрезаются. Лицензия модели — CC BY-NC-SA 4.0.

Koichi Yasuoka разработал модель DeBERTa V2 large для разметки японского текста частями речи по универсальной системе UPOS. Она дообучена на текстах Aozora Bunko на основе KoichiYasuoka/deberta-large-japanese-aozora и присваивает тег UPOS каждому длинному слову; модель также предназначена для анализа зависимостей. Модель принимает японский текст и выдаёт метки для токенов. Архитектура — DeBERTa V2 с 435,4 млн параметров, контекст — до 512 токенов. Репозиторий содержит веса PyTorch. Лицензия — CC BY-SA 4.0.

samzirbo/gendered — модель семейства mT5, дообученная samzirbo на неизвестном наборе данных на базе samzirbo/mT5.en-es.pretrained. Она содержит 37,6 млн параметров и предназначена для генерации текста по текстовому запросу. Карточка не раскрывает конкретное назначение модели, поэтому специализацию, сценарии применения и языковое направление установить нельзя. На оценочном наборе указаны Loss 1,1747, BLEU 43,5153, METEOR 0,6866 и chrF++ 62,4637. Весы опубликованы в формате safetensors; лицензия и ограничения использования не сообщены.

japanese-stablelm-base-gamma-7b-Mistral-7B-Instruct-v0.1 — языковая модель, объединяющая Mistral-7B-Instruct-v0.1 от Mistral AI и Japanese StableLM Base Gamma 7B от Stability AI методом SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в диалогах. Основной сценарий — общение и выполнение запросов на японском языке; метаданные также отмечают поддержку японского языка и контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка указывает параметры слияния, но не приводит оценок качества или сравнительных тестов, поэтому пригодность для конкретных задач следует проверять отдельно.

Kainoverse-7b-v0.1-bangla — языковая модель с архитектурой Mistral, созданная объединением двух предварительно обученных моделей методом SLERP с помощью mergekit. В объединении использованы kainatq/Kainoverse-7b-v0.1 и rishiraj/bondhu-7b-alpha; конфигурация указывает kainatq/Kainoverse-7b-v0.1 как базовую модель. Число параметров — 7,1 млрд, контекст — до 32 768 токенов. Модель предназначена для генерации текста, с акцентом на бенгальский язык. Модель работает через библиотеку Transformers и распространяется в формате safetensors. Лицензия — Apache-2.0. Метаданные помечают модель как NSFW; соблюдайте осторожность при использовании с пользовательскими запросами и выводом. README не приводит сравнительных оценок качества или подробностей об обучающих данных.

Thorsten-Voice/Kokoro — это немецкая дообученная версия Kokoro-82M, созданная на датасете Thorsten-Voice с открытой лицензией CC0. Модель основана на архитектуре StyleTTS2 и синтезирует немецкую речь голосом Торстена. В репозитории есть чекпойнты обучения и голосовой пакет; по умолчанию используется чекпойнт эпохи 5. Модель предназначена для преобразования немецкого текста в речь. Благодаря компактному размеру базовой модели — 82 млн параметров — она рассчитана на локальный запуск на CPU в реальном времени или быстрее, в том числе офлайн. Для немецкой фонемизации нужны форки библиотек misaki и kokoro, а также espeak-ng. Известные ограничения: короткое немецкое ü может некорректно обрабатываться без специальной подстановки в G2P-фронтенде; дефисные сложные прилагательные иногда звучат неестественно. Очень длинные предложения могут обрезаться, поэтому рекомендуется разбивать текст по границам предложений. Модель распространяется по лицензии Apache-2.0.

vanitas106 дообучил модель семейства Llama 3 для генерации текста на основе instruct-модели unsloth/llama-3-8b-instruct-bnb-4bit. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста и диалоговых сценариев на вьетнамском языке. Для дообучения применялись Unsloth и библиотека TRL; веса опубликованы в формате safetensors. Лицензия — Apache 2.0.

shibing624 разработал модель на архитектуре Mengzi-T5-base и дообучил её на китайских данных для исправления орфографических ошибок. Она предназначена для автоматической коррекции китайских предложений и может использоваться через библиотеку pycorrector. Модель содержит 123,8 млн параметров и поддерживает генерацию текста в формате text-to-text. В README приведён результат оценки на тестовой выборке SIGHAN2015: precision 0,8321, recall 0,6390 и F1 0,7229 на уровне предложений. Модель распространяется по лицензии Apache-2.0.

MiDashengLM-7B-1021 (FP8) — версия модели MiDashengLM с весами FP8, опубликованная MiSpeech. Это мультимодальная аудиоязыковая модель на архитектуре MiDashengLM; карточка указывает размер 7B и поддержку задач audio-text-to-text и text-generation. В метаданных перечислены английский, китайский, тайский, индонезийский и вьетнамский языки. Модель предназначена для обработки аудио с формированием текстового ответа. Версия FP8 рассчитана прежде всего на ускорители Hopper, включая H100 и более новые: на них она использует аппаратную поддержку FP8 для повышения производительности и сокращения расхода памяти. На более старых GPU выигрыш в скорости может быть небольшим, но формат может помочь экономить видеопамять и место на диске. Модель получена слиянием MiSpeech dasheng-0.6B и Qwen2.5-Omni-7B с последующим дообучением; репозиторий содержит веса в формате safetensors compressed-tensors. Лицензия — Apache-2.0. README показывает загрузку через Transformers с trust_remote_code=True; длина контекста и подробные ограничения на качество в предоставленных данных не описаны.

facebook/mms-tts-ewe — модель синтеза речи на языке эве из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует текст на эве в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы доступна через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза эве и не заявлена как многоязычная.

facebook/mms-tts-ful — модель синтеза речи на языке фула, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на фула в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Данных о качестве синтеза и поддержке других языков в карточке нет.

facebook/mms-tts-kjh — модель синтеза речи на хакасском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания хакасских текстов. Модель использует архитектуру VITS и содержит около 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Стохастический предиктор длительности позволяет получать варианты произношения с разным ритмом, поэтому для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-lhu — модель синтеза речи на языке лаху, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на лаху. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, потоковыми слоями и декодером, похожим на HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм произношения. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-mam-dialect_northern — модель синтеза речи на северном диалекте языка мам, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на северном диалекте мам, например для речевых интерфейсов и создания аудиоверсий текстов. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.