I.6Перевод и языковая адаптация

rmihaylov/roberta-base-nli-stsb-bg — многоязычная модель на архитектуре XLM-RoBERTa для построения эмбеддингов предложений на болгарском языке. Разработчик обучил её на закрытых параллельных данных на болгарском и английском языках, используя подход Sentence-BERT: переводы одного предложения должны располагаться близко друг к другу в векторном пространстве. Модель чувствительна к регистру. Модель предназначена для оценки сходства предложений и задач, где требуется сопоставлять болгарские тексты по смыслу. Она содержит 305,2 млн параметров, принимает текст и выдаёт векторные представления; максимальный контекст — 514 токенов. Репозиторий содержит веса PyTorch, лицензия — MIT. Обучающие данные закрыты, поэтому состав и охват обучающей выборки нельзя независимо проверить. Карточка описывает создание эмбеддингов болгарских предложений, но не приводит количественных оценок качества.

Sailor-14B-Chat — чат-модель семейства Sailor, разработанная для работы с языками Юго-Восточной Азии. Она основана на Qwen2 и дообучена на открытых наборах данных для следования инструкциям и диалогов. Модель содержит 13,4 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов, диалогов, ответов на вопросы и рассуждений на индонезийском, тайском, вьетнамском, малайском и лаосском языках. В карточке также отмечены английский и китайский; практические сценарии включают чат-помощников и выполнение инструкций на языках региона. Использование возможно на условиях лицензии Apache-2.0.

SeaLLM-7B-v2.5 — чат-модель на базе Gemma-7b, разработанная проектом SeaLLMs для работы с языками Юго-Восточной Азии. Модель содержит 8,2 млрд параметров, использует плотную архитектуру GemmaForCausalLM и принимает текстовые запросы, выдавая текстовые ответы. Контекст составляет до 8192 токенов. Модель предназначена для многоязычных диалогов, следования инструкциям, ответов на вопросы и задач на математические рассуждения. В карточке приведены результаты оценивания на тестах общих знаний и математических задач для английского, китайского, вьетнамского, индонезийского и тайского; заявлена поддержка также малайского, кхмерского, лаосского, бирманского и филиппинского. Для корректной работы нужно соблюдать формат чата SeaLLM и правила добавления BOS-токена. Авторы сообщают о сильных результатах на многоязычных тестах, однако ответы могут быть неточными, вводящими в заблуждение или потенциально вредными; перед развёртыванием рекомендуется проверка безопасности. Условия использования определяются SeaLLMs Terms of Use; в метаданных лицензия обозначена как other.

Sophea-Genesis-1 — открытая языковая модель Kiefer SA на 27 млрд параметров, дообученная на базе Qwen3.6-27B. Она предназначена прежде всего для генерации грамматически корректного современного греческого языка, особенно правильных словоформ, и сохраняет общие возможности работы на греческом и английском языках: ответы на вопросы, понимание текстов и выполнение инструкций. Модель подходит для грекоязычных помощников, подготовки деловой и административной переписки, образовательных инструментов и формирования парадигм склонения и спряжения. По оценке разработчика на открытом наборе MORFES из 500 проверенных экспертами примеров модель показала лучшие среди сравнивавшихся открытых моделей результаты по распознаванию и генерации греческих словоформ. Заявленные преимущества относятся к оценкам разработчика; README не приводит подробностей о длине контекста. Модель распространяется с открытыми весами по лицензии Apache-2.0, допускающей изменение и коммерческое применение.

Taiwan LLM 7B v2.0.1 chat — это чат-модель на архитектуре Llama, разработанная для традиционного китайского языка и языковых и культурных особенностей Тайваня. Модель создана на основе yentinglin/Taiwan-LLM-7B-v2.0-base и дообучена методом supervised fine-tuning на общедоступных и синтетических текстовых данных. Модель предназначена для диалога, понимания и генерации текста на традиционном китайском языке. В карточке отмечены улучшения на бенчмарках TC-Eval, но конкретные результаты не приведены. Размер модели — 6,6 млрд параметров, контекст — 4096 токенов; для запуска указан Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Модель предоставляется без гарантий, а точность и пригодность ответов пользователь должен проверять самостоятельно. Разработчики не рекомендуют применять её для медицинской диагностики, юридических консультаций и финансовых решений.

Taiwan LLM 7B v2.0 base — модель семейства Llama, разработанная для традиционного китайского языка и языкового и культурного контекста Тайваня. Это плотная авторегрессионная модель с 6,6 млрд параметров и контекстом до 4096 токенов; она распространяется в формате Safetensors и предназначена для запуска через Transformers. Модель дообучена методом supervised fine-tuning на сочетании общедоступных и синтетических данных. Она подходит для генерации и понимания текста, а также для дальнейшей настройки под следование инструкциям и чат-приложения. В README заявлено улучшение результатов на бенчмарках, включая TC-Eval, и внимание к тайваньским языковым особенностям. Основной язык модели — традиционный китайский (zh-TW). Лицензия — Apache-2.0. Модель предоставляется без гарантий; её ответы следует проверять. Разработчики запрещают использовать её для высокорисковых задач, включая медицинскую диагностику, юридические консультации и финансовые инвестиции.

Taiwan LLM 7B v2.0 chat — чат-модель на базе архитектуры Llama, разработанная для традиционного китайского языка и языкового и культурного контекста Тайваня. Модель создана дообучением базовой yentinglin/Taiwan-LLM-7B-v2.0-base на смеси общедоступных и синтетических данных с применением supervised fine-tuning. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст в диалоговом формате. Заявлены понимание и генерация текста на традиционном китайском, а также улучшенные результаты на бенчмарках TC-Eval. Контекст — до 4096 токенов; файлы представлены в формате safetensors и предназначены для Transformers. Модель подходит для диалогов, ответов на вопросы и генерации текста с учетом языковых и культурных особенностей Тайваня. Лицензия — Apache-2.0. Результаты следует проверять; модель не предназначена для медицинской диагностики, юридических консультаций и финансовых рекомендаций.

Tamil LLaMA 7B Instruct v0.2 — диалоговая языковая модель Abhinand Balachandran для генерации ответов на тамильском и английском языках. Она предназначена для общения с пользователем и может использоваться для дальнейшей настройки под конкретные NLP-задачи. Модель построена на архитектуре LLaMA с декодером для авторегрессионной генерации текста и содержит 6,7 млрд параметров. Она дообучена на примерно 500 тысячах примеров на тамильском и английском языках; словарь включает около 16 тысяч тамильских токенов. Максимальный контекст — 4096 токенов. В README указана лицензия GNU GPL v3.0, тогда как метаданные Hugging Face указывают лицензию Llama 2; сведения о лицензии расходятся, поэтому перед использованием следует проверить условия в репозитории.

Typhoon Whisper Large v3 — модель распознавания тайской речи, разработанная командой Typhoon (SCB 10X) на архитектуре OpenAI Whisper Large v3. Это полная версия Whisper с 32 слоями декодера и примерно 905,2 млн параметров; модель дообучена на около 10 млн примеров тайской речи общей длительностью около 11 000 часов. Она принимает аудио и преобразует речь в текст, в том числе в сценариях офлайн-транскрибации, где важнее точность, чем скорость. При подготовке данных использовались GigaSpeech2, Common Voice и подборка общедоступных медиаматериалов; Typhoon сообщает о нормализации чисел, маркеров повторов и контекстных неоднозначностей. Модель рассчитана прежде всего на тайский язык и заявлена как устойчивая к разным акустическим условиям и манерам речи. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT. Модель специализирована на тайской речи: качество может снижаться для диалектов и акцентов, слабо представленных в обучающих данных. По сравнению с облегчёнными вариантами ей требуется больше вычислительных ресурсов; она лучше подходит для транскрибации без жёстких требований к задержке.

typhoon-ai разработала typhoon-whisper-medium — модель распознавания тайской речи на основе Whisper-medium от OpenAI, дообученная на примерно 10 846 часах тайской речи. Это полное дообучение базовых весов с поддержкой контекстной подсказки через объединённый с ними decoder LoRA-адаптер; файлы представлены в формате safetensors. Модель предназначена для транскрибирования речи на тайском языке, в том числе с использованием короткого списка имён и терминов для повышения вероятности их распознавания. В README приведены результаты на тайских тестовых наборах: CER 4,78% на GigaSpeech2-typhoon и 7,50% на TVSpeech. Для контекстного смещения требуется передавать подсказку в начальном prompt Whisper в формате «คำศัพท์ที่เกี่ยวข้อง: » и затем перечислять термины через пробел. Окно Whisper ограничивает аудио примерно 30 секундами, поэтому длинные записи нужно разбивать на фрагменты; prompt ограничен 224 токенами, и длинные списки терминов могут усекаться и ухудшать распознавание. Обучение преимущественно на тайских роликах YouTube означает, что точность вне этого домена может быть ниже. Указана лицензия MIT.

Ivydata разработала эту модель распознавания японской речи, дообучив facebook/wav2vec2-large-xlsr-53 на данных Common Voice, JVS и JSUT. Это акустическая модель Wav2Vec2 с архитектурой Wav2Vec2ForCTC и 405,7 млн параметров, предназначенная для преобразования японской речи в текст. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель можно использовать для расшифровки японской речи без языковой модели, например, в записях выступлений и других аудиоматериалах. В тесте на TEDxJP-10K автор сообщает CER 27,87%; приведённые примеры показывают, что распознавание может содержать ошибки. Модель распространяется по лицензии Apache-2.0.

Модель scottykwok/wav2vec2-large-xlsr-cantonese разработана участником scottykwok и представляет собой wav2vec 2.0 XLSR, дообученную для автоматического распознавания кантонской речи. Она принимает аудио и выдаёт текстовую транскрипцию; модель основана на wav2vec2-large-xlsr-53 и обучалась на Common Voice zh-HK версии 6.1.0. Архитектура — Wav2Vec2ForCTC, размер — 406,3 млн параметров. Для тестовой части Common Voice zh-HK автор сообщает CER 15,11%. Модель рассчитана на кантонский язык; карточка не приводит длину аудиозаписи или контекста. Распространяется по лицензии CC BY-SA 4.0.

Модель sumedh/wav2vec2-large-xlsr-marathi разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для автоматического распознавания речи на маратхи. Она использует архитектуру Wav2Vec2ForCTC, содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц, выдавая распознанный текст. Модель обучена на наборе OpenSLR64, где представлены только женские голоса, и показала WER 12,70% на тестовой части данных; автор сообщает, что она также хорошо работает с мужскими голосами. Подходит для транскрибирования речи на маратхи и создания текстовых расшифровок аудиозаписей. Лицензия — Apache-2.0. Результаты оценки получены на части OpenSLR64, поэтому точность на других записях и условиях может отличаться.

Wav2Vec2-Large-XLSR-53-Nepali — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на непальском языке. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования непальской речи в текст; в карточке показаны примеры распознанных фраз и результат оценки на тестовой части Common Voice — 5,97%. Для входной речи требуется частота дискретизации 16 кГц. Модель обучалась на данных Common Voice и OpenSLR. Репозиторий содержит веса PyTorch и Flax; размер модели — около 402,7 млн параметров. Лицензия — Apache-2.0. Карточка указывает распознавание без языковой модели, однако качество на других наборах данных и устойчивость к разным условиям записи не описаны.

MayBog/whisper-hebrew-nikud-v1 — модель автоматического распознавания речи, разработанная Maayan Bogin и дообученная на ivrit-ai/whisper-large-v3-turbo. Она преобразует речь на иврите в текст с диакритическими знаками никуд за один проход, объединяя транскрибацию и восстановление огласовок. Модель предназначена для транскрибации аудиозаписей и речевых фрагментов на иврите. Она использует архитектуру Whisper Large v3 Turbo и библиотеку Transformers; в репозитории указаны веса Safetensors. Лицензия — MIT. Для обработки длинных записей в примере предлагается разбиение на фрагменты по 30 секунд.

Whisper-Hindi2Hinglish-Prime — дообученная Oriserve модель распознавания речи на архитектуре Whisper large-v3 от OpenAI. Она преобразует аудио с индийским произношением хинди в транскрипцию на хинглиш — разговорную смесь хинди и английского, записанную латиницей. Модель построена для работы с Transformers и имеет около 905 млн параметров. Для дообучения использовали примерно 550 часов шумных аудиозаписей на хинди с индийским акцентом; набор данных был специально собран и размечен с помощью автоматической транскрибации и последующей правки человеком. По данным README, модель снижает ошибки распознавания на тестах Common Voice, FLEURS и Indic-Voices относительно исходной Whisper large-v3 и предназначена для аудио с фоновым шумом. README также сообщает о снижении ложных транскрипций на записях с одним шумом. Модель подходит для транскрибации разговорной речи на хинглиш, в том числе в шумной обстановке. В README указано, что доступна более новая версия Whisper-Hindi2Hinglish-Apex. Лицензия — Apache-2.0.

Карточка модели aung7090/whisper-large-v3-myanmar на Hugging Face совпадает с карточкой chuuhtetnaing/whisper-large-v3-myanmar, поэтому описание составлено по ней. chuuhtetnaing/whisper-large-v3-myanmar — дообученная модель распознавания речи на базе Whisper large-v3 от OpenAI. Она обучена на наборе chuuhtetnaing/myanmar-speech-dataset-openslr-80 и предназначена для транскрибации аудио на бирманском языке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors для Transformers. В карточке указаны результаты оценки на тестовом наборе: loss 0,1752 и WER 54,8976. Модель принимает аудио и выдаёт текст; практическое качество распознавания зависит от записи и речи. Лицензия — Apache-2.0.

TalTechNLP дообучила мультиязычную модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи. Обучение включало 1400 часов аудио с вручную подготовленными дословными транскрипциями на эстонском языке, около 4000 часов эстонских новостных аудиозаписей с автоматически созданными транскрипциями и контекстной подсказкой, а также около 500 часов англоязычных подкастов и видео YouTube. Модель особенно рассчитана на эстонскую речь с английскими терминами и фрагментами, например в технических подкастах. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров. Она принимает аудио и выдаёт текст; использовать её можно через Transformers, а опубликованный вариант в формате GGML — с инструментами на базе whisper.cpp. Лицензия — MIT. Карточка не сообщает отдельные метрики качества или гарантии точности распознавания.

Модель разработана Blgn94 для автоматического распознавания монгольской речи. Это дообученная на LoRA модель OpenAI Whisper Large v3 Turbo; адаптер объединён с базовыми весами, поэтому модель можно использовать как обычную Whisper-модель без PEFT. Она принимает аудио и выдаёт текстовую транскрипцию на монгольском языке кириллицей. Размер базовой модели — 809 млн параметров, библиотека для использования — Transformers. Модель предназначена для транскрибирования преимущественно чистой, заранее прочитанной монгольской речи. В сравнении на случайной выборке из 200 клипов Common Voice она показала WER 27,4% и CER 11,0%; автор отмечает, что эти результаты ориентировочные и не получены на полном валидационном наборе. Обучение проведено на примерно 57 тысячах аудиозаписей из Common Voice, FLEURS и MBSpeech. Модель хуже подходит для спонтанной разговорной речи, шумных записей, выраженных диалектов и телефонного аудио с полосой 8 кГц. Она обучена на транскрипциях только кириллической монгольской письменностью; оценка ошибки ещё снижалась к концу обучения. Лицензия — Apache-2.0.

thennal/whisper-medium-ml — модель распознавания речи на малаялам, созданная дообучением OpenAI Whisper Medium на Common Voice 11.0. Она принимает аудио и генерирует текстовую расшифровку; архитектура Whisper содержит около 455,8 млн параметров. В README приведены результаты оценки: WER 38,62 и CER 7,33 без нормализации, а после нормализации WER составляет 11,49. Автор отмечает, что нормализация Whisper имеет существенные проблемы для малаялама, поэтому метрики зависят от способа обработки текста. Модель распространяется по лицензии Apache-2.0.

hezarai/whisper-small-fa — модель распознавания речи на основе Whisper small, дообученная Hezar AI на персидской части набора Common Voice 13. Она преобразует персидскую речь в текст и предназначена для сценариев автоматической транскрибации. Модель распространяется в формате PyTorch и используется через библиотеку Hezar. В карточке не приведены сведения о лицензии и ограничениях качества.

whisper-small-faroese-5k-steps-100h — модель автоматического распознавания речи на фарерском языке, созданная Карлосом Даниэлем Эрнандесом Мена в Language and Voice Lab Университета Рейкьявика. Это дообученная версия openai/whisper-small: модель Whisper с 153,1 млн параметров обучали 5 000 шагов на 100 часах фарерской речи и транскрипций из набора Ravnursson Faroese Speech and Transcripts проекта Ravnur. Модель принимает аудио и преобразует речь в текст. Она предназначена для транскрибирования фарерской речи, в том числе материалов, связанных с Фарерскими островами. В репозитории указана лицензия CC BY 4.0.

vumichien/whisper-small-ja — модель распознавания японской речи, полученная дообучением Whisper Small от OpenAI на японской части Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую транскрипцию; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. Модель подходит для преобразования японской речи в текст. На указанном в карточке наборе оценки достигнуты значения WER 13,4679 и CER 8,6022. Базовая Whisper Small также поддерживает несколько языков и перевод аудио на английский, однако карточка этой версии описывает дообучение именно для японского распознавания. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

reallad/yi-6b-chat-translate2 — чат-модель на архитектуре Llama, дообученная reallad на основе reallad/yi-6b-chat-translate. Модель содержит 5,8 млрд параметров и предназначена для диалогов и генерации текста; назначение для перевода заявлено в названии базовой модели. Модель принимает текст и генерирует текст. Контекст — до 4096 токенов. В карточке указано обучение с использованием Unsloth и TRL. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

maywell/Yi-Ko-34B-Instruct — 34-миллиардная языковая модель Junbum Lee (Beomi), основанная на семействе Yi-Ko. Это авторегрессионный трансформер с архитектурой на основе Llama 2, представленный в формате Transformers и дообученный для общения: после дальнейшего обучения на корейском корпусе применялись SFT и DPO. Модель принимает текст и генерирует текст; для диалогов указаны шаблон ChatML и контекст до 4096 токенов. Модель рассчитана прежде всего на генерацию ответов на корейском и английском языках. Расширенный словарь SentencePiece содержит 78 464 токена, включая добавленную корейскую лексику; в карточке также приведены результаты на корейских языковых тестах. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и документацией репозитория. Это крупная модель на 34B параметров, требующая значительных вычислительных ресурсов; приведённые бенчмарки сами по себе не гарантируют качество для конкретных сценариев.

羽人-百川7B 是 Pleisto 基于 baichuan-inc/baichuan-7B 开发的多模одальная языковая модель с плотной архитектурой LlamaForCausalLM, дообученная с помощью многозадачного обучения с учителем. В модели 6,7 млрд параметров, она принимает текст и изображения, а её контекст составляет 4096 токенов. Модель предназначена для многоходового диалога, ответов на вопросы по изображениям и открытому домену, ролевого общения, генерации и понимания текста. В карточке также показаны примеры ответов на китайском и переводов на китайский с английского; метаданные указывают английский и китайский языки. Лицензия в предоставленных источниках не указана.

rifailabs выпустила дообученную версию OpenAI Whisper Small для автоматического распознавания речи на шикомори и суахили. Модель принимает аудио и генерирует текстовую транскрипцию; в карточке указано 153,1 млн параметров и формат весов safetensors. Она основана на мультиязычной архитектуре Whisper и распространяется по лицензии Apache-2.0. В README приведены результаты оценки: WER 39,50 и CER 13,76 на тестовом наборе. Датасет и подробности оценки не описаны, поэтому эти показатели не позволяют уверенно судить о качестве на других записях или языках.

Elron/bleurt-base-128 — версия BLEURT в формате PyTorch, основанная на оригинальной модели из статьи «BLEURT: Learning Robust Metrics for Text Generation» исследователей Google Research. Это модель семейства BERT с архитектурой BertForSequenceClassification и 136,7 млн параметров; она принимает текстовые последовательности и выдаёт оценку для задачи классификации текста. BLEURT предназначена для оценки качества текстовой генерации, например сравнения сгенерированного текста с эталонным. Контекст модели составляет 512 токенов. Для загрузки используются AutoTokenizer и AutoModelForSequenceClassification из Transformers. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

BlueBerry-3-GGUF — это GGUF-квантизированная версия модели BlueBerry-3, опубликованной artindnr и квантизированной mradermacher. Модель предназначена для генерации текста и доступна в форматах, совместимых с инструментами, поддерживающими GGUF. В метаданных указана архитектура mixture-of-experts, а также поддержка языков фарси, английского, арабского, французского, немецкого и испанского. Набор включает варианты квантования от Q2_K и Q3_K до Q8_0, включая IQ4_XS; размер файлов составляет примерно от 66 до 124 ГБ. Версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант высокого качества. Контекстное окно, точное число параметров, поддержка изображений или других модальностей, результаты тестирования и дополнительные ограничения в README не указаны. Модель распространяется по лицензии Apache-2.0.

Resemble AI Chatterbox — открытая модель синтеза речи из текста семейства Chatterbox. Эта версия относится к многоязычной линейке; в карточке указана Chatterbox Multilingual V3 размером 0,5 млрд параметров на основе Llama. Модель генерирует естественную разговорную речь на 23 языках, поддерживает клонирование голоса по образцу и управление выразительностью речи с помощью параметра exaggeration. Разработчик заявляет об улучшенном сходстве с голосом-образцом, сохранении акцента и снижении повторов и нежелательных продолжений. Модель предназначена для озвучивания текстов, локализации аудио и голосовых интерфейсов, включая агентов и интерактивные приложения. В README также описаны водяные знаки Perth в генерируемом аудио и оговорка: для корректного переноса голоса язык референсного аудио должен соответствовать языку генерации; несовпадение может повлиять на акцент. Модель распространяется по лицензии MIT; в репозитории указаны форматы PyTorch и safetensors.