I.15Доступность и ассистивные технологии

MERaLiON-2-10B-ASR — мультимодальная модель распознавания речи, разработанная Институтом исследований и информатики A*STAR (I2R) в Сингапуре. Это ASR-оптимизированная версия MERaLiON-2: архитектура объединяет речевой энкодер на основе Whisper Large v3 и текстовый декодер Gemma 2; число параметров — 8,1 млрд. Модель дообучена и объединена с базовыми моделями для распознавания речи на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках. Модель предназначена прежде всего для транскрибации аудио, в том числе речи с сингапурскими акцентами, местными разговорными выражениями и переключением языков. Она принимает монофоническое аудио с частотой 16 кГц; README указывает длительность до 300 секунд для аудиозапросов, но для удовлетворительного качества транскрибации рекомендует ограничивать аудио 30 секундами. Разработчики сообщают об улучшении распознавания на 5–30% относительно Whisper Large v3, однако результат зависит от языка и условий записи. Модель использует Transformers и распространяется по лицензии MERaLiON Public License. README исключает применение для вызова инструментов, математики и программирования; подтверждённые задачи модели относятся к распознаванию речи.

MERaLiON-2-3B — мультимодальная речевая языковая модель, разработанная I2R, A*STAR (Сингапур) для распознавания речи и работы с аудио в многоязычном контексте Юго-Восточной Азии. Версия 3B сочетает локализованный аудиоэнкодер Whisper-large-v3 с текстовым декодером Gemma-2-2b-it; в метаданных указано 2,1 млрд параметров. Модель принимает моно-аудио с частотой 16 кГц; README заявляет поддержку входных аудиозаписей до 300 секунд для вопросов и ответов по аудио, но для транскрибации рекомендует записи до 30 секунд. Основной сценарий этой облегчённой версии — автоматическое распознавание речи. Семейство ориентировано на английский, китайский, малайский, тамильский, индонезийский, тайский и вьетнамский языки, включая локальные акценты, сингапурский английский и переключение языков в речи. Модель выдаёт текст; README также описывает для семейства задачи понимания аудио, но не приводит отдельные результаты версии 3B. Модель доступна в формате safetensors через Transformers. Указана лицензия MERaLiON Public License; её конкретные условия следует сверять с текстом лицензии в репозитории. README исключает использование для вызова инструментов, математики и программирования.

Карточка модели inclusionAI/Ming-omni-tts-16.8B-A3B на Hugging Face совпадает с карточкой inclusionAI/Ming-omni-tts-0.5B, поэтому описание составлено по ней. Ming-omni-tts-0.5B — модель синтеза речи и аудио от InclusionAI. Она принимает текст и инструкции на естественном языке и генерирует речь с управляемыми темпом, высотой, громкостью, эмоцией и диалектом. Также модель поддерживает подбор голоса по описанию, более 100 встроенных голосов и генерацию речи, фоновых звуков и музыки в одном аудиоканале. Модель использует плотную архитектуру BailingMMNativeForConditionalGeneration, непрерывный аудиотокенизатор с частотой 12,5 Гц и стратегию Patch-by-Patch; размер в названии модели — 0,5 млрд параметров. В README описаны возможности для китайской речи, включая управление кантонским диалектом, а также нормализация математических выражений и химических формул. Модель распространяется по лицензии Apache-2.0. Заявленные в карточке оценки относятся к указанным разработчиком бенчмаркам и не гарантируют аналогичного качества на произвольных данных. README приводит пример запуска через репозиторий проекта, но не описывает подробно требования к оборудованию или полный интерфейс управления генерацией.

heretic-org/MiniCPM-V-4.6-heretic — версия модели OpenBMB MiniCPM-V 4.6, обработанная проектом Heretic с помощью метода abliteration. Это компактная мультимодальная модель для диалога по изображениям и видео, рассчитанная в том числе на эффективный запуск на мобильных устройствах. В основе MiniCPM-V 4.6 лежат визуальный энкодер SigLIP2-400M и языковая модель Qwen3.5-0.8B; применяются смешанные режимы сжатия визуальных токенов 4x/16x. Репозиторий содержит веса safetensors и заявленную лицензию Apache-2.0. Модель подходит для описания изображений, ответов на вопросы по визуальному содержимому, распознавания текста на изображениях и понимания видео. В README приведено сравнение с исходной моделью: на указанной авторами оценке число отказов снизилось с 71/100 до 3/100, а KL-дивергенция составила 0,0904. Эти показатели относятся к описанной оценке и не гарантируют качество на других запросах. Число параметров и длина контекста в предоставленных данных не указаны.

Мультимодальная модель Mistral 3, дообученная ryfkn на основе nuresens/ministral-3b-cpt-merged. Она предназначена для диалоговых задач с изображениями и текстом: принимает текстовый запрос вместе с изображением и формирует текстовый ответ. В метаданных указаны архитектура Mistral3ForConditionalGeneration, поддержка vision и интерфейс вызова инструментов; модель сохранена в формате safetensors и распространяется по лицензии Apache-2.0. Для обучения использовались Unsloth и библиотека TRL.

Vkt/model-facebookptbrlarge — модель распознавания речи, дообученная на Common Voice на основе facebook/wav2vec2-large-xlsr-53-portuguese. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст на португальском языке. В README приведены результаты на наборе оценки Common Voice: WER 0,1322 и loss 0,2206. Модель загружена в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения; результаты оценки относятся к указанному набору данных.

Moondream 2B 2025-04-14 4-bit — компактная vision-language модель проекта Moondream, связанного с репозиторием vikhyat/moondream. Она предназначена для эффективного запуска задач, объединяющих изображения и текст, включая создание подписей к изображениям, визуальные вопросы и ответы, обнаружение объектов и указание координат объектов на изображении. Модель использует 4-битное представление и имеет размер класса 2B параметров. Для этой версии применялось quantization-aware training: заявлено снижение потребления памяти на 42% при падении точности на 0,6%. На Nvidia RTX 3090 модель использует около 2450 МБ видеопамяти и работает со скоростью около 184 токенов в секунду. Поддерживаются потоковая генерация для подписей и обнаружения объектов, а также компиляция для ускорения обработки больших наборов изображений. В README не указаны архитектурные детали, поддерживаемые языки и размер контекста, поэтому эти характеристики нельзя определить по представленным данным. Для работы требуются Python-пакеты Pillow и torchao, а также загрузка через transformers с разрешением trust_remote_code. Модель распространяется по лицензии Apache-2.0.

NyxKrage/moondream3-preview-hf — реализация Moondream 3 Preview в соглашениях архитектуры Hugging Face Transformers, созданная NyxKrage на основе публичной версии модели от M87 Labs / Moondream AI. Это мультимодальная модель для анализа изображений с текстовым бэкбоном MoE: около 9 млрд параметров, из которых активно используется около 2 млрд. Репозиторий позволяет работать с моделью через Transformers API, включая generate(), Trainer и интеграции PEFT. Модель принимает изображение и текстовый запрос и может отвечать на вопросы об изображении, создавать подписи, находить объекты и указывать точки на изображении. Для запросов и подписей она выдаёт текст; для обнаружения и указания точек — структурированные координаты рамок и точек. Карточка демонстрирует шаблоны запросов на английском языке. Модель хранится в формате safetensors; метаданные указывают лицензию other. При пакетной обработке все изображения должны давать одинаковое число визуальных кропов, а запросы в одном пакете должны использовать один режим. Поэтому изображения и задачи с разной структурой нужно группировать и обрабатывать отдельно.

Moonshine Base Korean — модель распознавания речи, разработанная Useful Sensors и предназначенная для транскрибации корейской речи. Она относится к семейству Moonshine и использует архитектуру последовательность-в-последовательность с условной генерацией; в репозитории указаны веса в формате Safetensors. Метаданные относят модель к корейскому языку и задаче автоматического распознавания речи. В карточке семейства Moonshine описаны модели компактного размера для транскрибации в условиях ограниченных ресурсов, однако приведённые там параметры относятся к английским моделям и не подтверждают размер этой корейской версии. Модель принимает аудио и выдаёт текстовую расшифровку. Она подходит для создания корейских субтитров, расшифровки записей и приложений транскрибации речи в реальном времени. Карточка предупреждает, что генерация может содержать слова, которых не было в аудио, а также повторяющийся текст; особенно это возможно на коротких фрагментах и при обрезанных словах. Перед внедрением требуется оценка качества на целевых данных. Лицензия указана как other, без уточнения условий в предоставленных сведениях.

Moonshine Tiny UK — модель распознавания речи компании Moonshine AI, ранее известной как Useful Sensors. Это компактная seq2seq-модель с архитектурой Moonshine, предназначенная для транскрибации украинской речи в текст на устройствах с ограниченными вычислительными ресурсами и памятью. По README, модель содержит 27 млн параметров; в метаданных указан контекст 194 токена. Она принимает аудио и выдаёт текст, а библиотека для работы — Transformers. Модель рассчитана на разработчиков систем распознавания речи, в том числе для транскрибации в реальном времени и сценариев с недорогим оборудованием. В README приведены результаты оценки на Fleurs и Common Voice 17, но они не гарантируют точность в конкретных условиях. Возможны галлюцинации и повторы, особенно на коротких фрагментах и аудио с обрезанными словами. Лицензия обозначена как other; дополнительные условия в предоставленных данных не описаны.

MOSS-TTS — модель синтеза речи от MOSI.AI и команды OpenMOSS, вариант семейства MOSS-TTS с архитектурой MossTTSDelay. Она преобразует текст в речь и предназначена для озвучивания длинных материалов, клонирования голоса по короткому аудиопримеру и управляемого произношения. Модель поддерживает 20 языков, включая русский, и переключение языков внутри высказывания. Архитектура Delay использует параллельное предсказание RVQ с планированием задержек и ориентирована на устойчивую генерацию длинной речи. Заявлены синтез продолжительностью до часа, управление длительностью на уровне токенов и контроль произношения через Pinyin и IPA. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для озвучивания аудиокниг и длительных рассказов, многоязычного контента и создания голосовых приложений. Клонирование голоса не требует дообучения под конкретного диктора, но качество может зависеть от аудиообразца и языка. Заявления о качестве приведены авторами проекта; независимые результаты в предоставленных материалах не описаны.

Карточка модели subhash131/MOSS-TTS-v1.5 на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-TTS-v1.5, поэтому описание составлено по ней. MOSS-TTS-v1.5 — многоязычная модель синтеза речи, разработанная командой OpenMOSS-Team и продолжающая MOSS-TTS 1.0. Это плотная модель семейства moss_tts_delay; веса опубликованы в формате safetensors. Модель принимает текст и генерирует речь, поддерживает клонирование голоса по аудиореференсу, длинные высказывания, управление длительностью на уровне токенов, произношением через Pinyin и IPA, переключение языков и вставку пауз с помощью текстовых маркеров. Версия 1.5 улучшает синтез при явном указании языка, стабильность сходства голоса при клонировании и следование пунктуационным паузам; также она надёжнее работает, когда аудиореференс значительно длиннее целевого текста. Поддерживается 31 язык, включая китайский, кантонский, английский, русский, японский, арабский и ряд европейских и азиатских языков. Модель лицензирована по Apache-2.0. Для запуска README рекомендует Transformers 5.0.0; доступность и качество могут различаться по языкам, а без языкового тега некоторые языки могут звучать хуже, чем в версии 1.0.

Nemotron-Labs-Diffusion-VLM-8B — мультимодальная модель NVIDIA, расширяющая семейство Nemotron-Labs-Diffusion для работы с изображениями и текстом. Она принимает изображения и текст в чередующихся фрагментах и генерирует текст. Модель содержит 8 млрд параметров и использует плотную архитектуру: языковой блок на 34 слоя с размерностью 4096 и визуальный энкодер в стиле Pixtral на 24 слоя с размерностью 1024. Поддерживаются изображения размером до 1540 × 1540 пикселей и контекст длиной до 262 144 токенов. Языковая часть поддерживает авторегрессионный режим, диффузионное декодирование и self-speculation. При диффузионном декодировании модель может формировать блоки токенов параллельно, а затем проверять их авторегрессионно, используя общий KV-кэш. Это позволяет применять модель для диалога и ответов на вопросы по изображениям, сохраняя разные режимы генерации текста. Для работы README указывает Transformers версии 5.0.0 или новее. Лицензия обозначена как other; условия использования следует сверять с условиями NVIDIA.

Это мультиязычная модель распознавания речи на непали, разработанная Suman Paudel и созданная дообучением OpenAI Whisper Large v3 Turbo. Архитектура — авторегрессионный encoder–decoder Whisper; метаданные указывают 905,2 млн параметров, а в README приведена оценка 809 млн. Модель принимает аудио и выдаёт текст на непали; при обучении использовались записи с частотой 16 кГц в моно и транскрипции, нормализованные в NFC. Модель предназначена для автоматической транскрипции непальской речи. На тестовом наборе OpenSLR SLR54 указаны WER 14,76% и CER 3,48%; на FLEURS — 39,56% и 13,7%, на Common Voice 25.0 — 48,35% и 12,9%. Время обработки на NVIDIA L4 зависит от набора данных: указанный RTF составляет 0,0460–0,0979. Обучение проводилось только на чтении вслух. Точность на спонтанной разговорной речи, смешанной непали-английской или непали-хинди речи и диалектах не оценивалась; при декодировании внешняя языковая модель не используется. Лицензия CC-BY-NC-4.0 разрешает некоммерческое использование с соблюдением её условий.

OutcomesAI-Whisper-tiny-v1.1 — дообученная модель семейства Whisper, разработанная на основе piyushmaharana/outcomes-whisper-tiny-v1 и датасета big-transcript-pronounce. Она предназначена для автоматического распознавания речи и преобразования английской речи в текст. Модель содержит 29,4 млн параметров; веса представлены в формате Safetensors. В README приведены результаты оценки: loss 0,0602 и WER 2,82, однако описание методики оценки и ограничений отсутствует. Модель распространяется по лицензии Apache-2.0.

Это 6-битная MLX-квантизованная версия англоязычной модели распознавания речи NVIDIA Parakeet TDT 0.6B v2, подготовленная Spoke для локальной диктовки. Модель преобразует аудио в текст и предназначена для транскрибации речи; в тесте LibriSpeech test-clean на 250 примерах на M4 указана WER 1,87%, такая же, как у версии bf16. Квантизация затрагивает слои nn.Linear и nn.Embedding с размером группы 64; Conv1d, BatchNorm и LSTM предсказателя TDT остаются в bf16. В README также указаны скорость обработки 0,022 RTF и пиковое потребление памяти MLX 1,13 ГБ. Для загрузки нужно сначала квантизовать дерево модулей, поэтому стандартный вызов parakeet_mlx.from_pretrained сам по себе не загрузит этот чекпойнт. Лицензия — CC BY 4.0.

istupakov/parakeet-tdt-0.6b-v2-onnx — это версия модели NVIDIA Parakeet TDT 0.6B V2, преобразованная в формат ONNX для использования с библиотекой onnx-asr. Модель предназначена для автоматического распознавания речи и преобразования аудиозаписей, в частности WAV-файлов, в текст на английском языке. Базовая модель разработана NVIDIA, а экспорт в ONNX подготовлен для совместимости с onnx-asr. Модель имеет размер 0,6 млрд параметров и использует архитектуру Parakeet TDT; точные сведения о модальностях, максимальной длине контекста и дополнительных языках в README не указаны. Формат ONNX и поддержка onnx-asr позволяют запускать распознавание через соответствующую библиотеку, включая CPU-вариант. Ограничения модели связаны с заявленной специализацией на английской речи и отсутствием в доступных данных подробных характеристик качества, производительности и поддержки других аудиоформатов. Модель распространяется по лицензии CC BY 4.0.

ONNX-конверсия мультиязычной модели автоматического распознавания речи NVIDIA Parakeet TDT 0.6B V3. Исходную модель разработала NVIDIA, а конверсию для ONNX и интеграцию с библиотекой onnx-asr подготовил istupakov. Модель предназначена для преобразования речи из аудиофайлов в текст и может использоваться в приложениях транскрибации и других сценариях ASR. Модель имеет размер 0,6 млрд параметров и работает с аудио на входе, возвращая распознанный текст. В README заявлена поддержка английского, испанского, французского, немецкого, болгарского, хорватского, чешского, датского, нидерландского, эстонского, финского, греческого, венгерского, итальянского, латышского, литовского, мальтийского, польского, португальского, румынского, словацкого, словенского, шведского, русского и украинского языков. Формат ONNX позволяет использовать модель через onnx-asr, в том числе с CPU. К сильным сторонам относятся мультиязычность и возможность запуска в ONNX-совместимой инфраструктуре. README не содержит сведений о точности, ограничениях по длительности аудио, требованиях к ресурсам или поддерживаемых форматах помимо примера с WAV-файлом. Модель распространяется по лицензии CC BY 4.0.

Parakeet TDT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст, записанный строчными буквами, и рассчитана на транскрибирование отдельных аудиозаписей и пакетную обработку файлов. Модель построена на архитектуре FastConformer-TDT и содержит около 1,1 млрд параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и выдаёт текстовую строку. Предсказание длительности токенов в TDT позволяет пропускать часть пустых кадров и ускорять инференс. Модель обучали на 64 тысячах часов английской речи из частных и открытых наборов данных. В опубликованных результатах приведены показатели WER для нескольких тестовых наборов; например, 1,39% на LibriSpeech test-clean при жадном декодировании без внешней языковой модели. Модель доступна через NVIDIA NeMo для инференса и дообучения. Лицензия — CC BY 4.0.

PhoWhisper-small — модель автоматического распознавания речи на вьетнамском языке, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, созданная дообучением многоязычной Whisper на 844-часовом наборе аудиозаписей с разными вьетнамскими акцентами; модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration. Модель предназначена для преобразования вьетнамской речи в текст. Карточка сообщает о высоких результатах на тестовых наборах для распознавания вьетнамской речи. Репозиторий содержит веса PyTorch и ONNX, совместимые с Transformers.js, что позволяет использовать модель в приложениях на базе этой библиотеки. Лицензия — WTFPL.

PhoWhisper-tiny — модель распознавания вьетнамской речи, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, созданная дообучением многоязычной Whisper на 844-часовом наборе данных с различными вьетнамскими акцентами. Модель предназначена для автоматической транскрибации вьетнамской речи. В исследовании авторов PhoWhisper показала высокие результаты на тестовых наборах для распознавания вьетнамской речи. Вариант tiny содержит 29,4 млн параметров и использует архитектуру Whisper; репозиторий содержит веса PyTorch. Лицензия — BSD 3-Clause. Авторы просят цитировать статью PhoWhisper при публикации результатов или включении модели в программное обеспечение.

PSST medium — модель распознавания речи, созданная дообучением openai/whisper-medium.en на сегментах корпуса Santa Barbara Corpus of Spoken American English. Она предназначена для преобразования аудиозаписей разговорного американского английского в текст. Модель основана на архитектуре Whisper и содержит 455,8 млн параметров. Модель подходит для расшифровки разговорной речи, представленной в обучающем корпусе. Веса доступны в формате PyTorch по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробных ограничений.

Карточка модели nttruong1007/qb-smolvlm500 на Hugging Face совпадает с карточкой HuggingFaceTB/SmolVLM-500M-Instruct, поэтому описание составлено по ней. SmolVLM-500M-Instruct — компактная мультимодальная модель компании Hugging Face для диалогов по изображениям. Она построена на архитектуре Idefics3 и объединяет языковую модель SmolLM2-360M-Instruct с визуальным энкодером SigLIP; число параметров в предоставленных данных не указано. Модель принимает изображения и текстовые запросы, включая чередующиеся последовательности этих входов, и генерирует текст на английском языке. Модель предназначена для ответов на вопросы об изображениях, описания визуального содержимого, распознавания текста на изображениях, понимания документов и диаграмм, а также создания историй по визуальным материалам. Сжатое представление изображений и лёгкая архитектура рассчитаны на эффективный запуск: в README указано потребление около 1,23 ГБ видеопамяти для обработки одного изображения. Модель не генерирует изображения. В README приведены рекомендации по настройке разрешения изображений и использованию пониженной точности для экономии ресурсов. Ответы могут быть фактически неверными; модель не предназначена для решений с серьёзными последствиями для людей. Лицензия — Apache 2.0.

Gearnode/Qwen3-ASR Uzbek (v2) — дообученная Gearnode версия Qwen/Qwen3-ASR-1.7B для распознавания узбекской речи и преобразования аудио в текст. Модель построена на плотной архитектуре Qwen3ASRForConditionalGeneration и распространяется в формате Safetensors; она принимает аудио и выдаёт текстовую транскрипцию. Модель обучали пять эпох на примерно 160 тысячах примеров из Google FLEURS, Uzbek Speech Corpus и узбекских видео с YouTube по темам IT, новости и подкасты. В README модель названа лучшей среди сравниваемых вариантов для узбекской речи; для уменьшения повторов применяется постобработка. Модель предназначена прежде всего для транскрибации узбекской речи, в том числе записей новостей, подкастов и материалов по IT. Лицензия — Apache-2.0.

Qwen3-TTS-12Hz-0.6B-CustomVoice — многоязычная модель синтеза речи, разработанная командой Qwen. Это вариант CustomVoice с архитектурой Qwen3TTSForConditionalGeneration и токенизатором 12 Hz; модель поддерживает девять голосовых тембров и позволяет управлять интонацией, ритмом и эмоциональной окраской с помощью инструкций на естественном языке. Модель преобразует текст в речь на китайском, английском, японском, корейском, немецком, французском, русском, португальском, испанском и итальянском языках. Она рассчитана на потоковую генерацию с низкой задержкой; в README заявлена задержка синтеза от 97 мс. Для наилучшего звучания рекомендуется использовать голос на его родном языке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит число параметров этого чекпойнта; обозначение 0.6B входит в его название.

qwen-asr-0.6b-he — компактная модель распознавания речи на базе Qwen/Qwen3-ASR-0.6B, дообученная разработчиком flowty1 на специально собранном и размеченном корпусе иврита. Она преобразует аудио в текст и поддерживает потоковую транскрибацию с низкой задержкой, а также обработку аудиофайлов. Модель рассчитана прежде всего на распознавание речи на иврите; также проверена работа с английским и автоматическим определением языка. Размер составляет 0,6 млрд параметров. В README заявлена работа в реальном времени на CPU, а также запуск на NVIDIA GPU через vLLM, на Apple Silicon через MLX и локально на iPhone. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. На шумных или длинных записях компактная модель может повторять фрагменты или галлюцинировать. README рекомендует жадное декодирование и настройку штрафа за повторы и максимального числа новых токенов; для языков помимо иврита и английского качество не гарантируется.

Qwen-Audio — мультимодальная большая аудиоязыковая модель семейства Qwen, разработанная Alibaba Cloud. Она принимает речь, природные звуки, музыку, пение и текст, а на выходе формирует текст. Модель рассчитана на универсальное понимание аудио и поддерживает более 30 задач без отдельной настройки под каждую из них. Модель имеет плотную архитектуру QWenLMHeadModel и содержит 11,4 млрд параметров; заявленная длина контекста — 2048 токенов. В карточке отмечены китайский и английский языки. Среди сценариев — распознавание речи, ответы на вопросы об аудиозаписях, классификация звуков и анализ музыки. Это предварительно обученная модель; Qwen-Audio-Chat — отдельная версия, полученная инструкционным дообучением, и её возможности не следует автоматически приписывать этой модели. README сообщает о сильных результатах на тестовых наборах AISHELL-1, cochlscene, ClothoAQA и VocalSound, но не приводит численных оценок. Для запуска указаны Python 3.8+, PyTorch 1.12+ и FFmpeg; для пользователей GPU рекомендована CUDA 11.4+. Лицензия в предоставленных данных не указана.

SenseVoiceSmall — компактная мультиязычная модель понимания речи из экосистемы FunASR, разработанная командой FunAudioLLM. Она распознаёт речь, определяет язык и эмоции говорящего, а также обнаруживает звуковые события. Для каталога Hugging Face указана основная задача automatic-speech-recognition; модель принимает аудио и формирует текст с результатами распознавания. Модель использует сквозную неавторегрессионную архитектуру и предназначена для распознавания речи с низкой задержкой, в том числе в потоках и на периферийных устройствах. В README заявлена поддержка более 50 языков; среди языков, названных для версии Small, — китайский, кантонский, английский, японский и корейский. Авторы сообщают о высокой скорости вывода и результатах, превосходящих Whisper в ряде сравнений, особенно для китайского и кантонского. Помимо транскрипции, модель умеет распознавать эмоции и распространённые звуковые события, однако классификация событий уступает специализированным моделям. В карточке Hugging Face указана лицензия other; конкретные условия использования следует сверить с лицензией репозитория. Репозиторий также описывает экспортные и развёртываемые варианты, но опубликованные здесь метаданные указывают формат PyTorch.

simran14/small_8_17f — модель распознавания речи на базе Whisper Small, дообученная Simran14 на датасете Common Voice 17.0. Она предназначена для преобразования аудио в текст; в README для оценки на тестовой выборке указаны loss 0,0436 и WER 4,1154. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors для Transformers. Модель рассчитана на распознавание речи на языке маратхи, указанном в метаданных. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

ruisp/speecht5_finetuned_voxpopuli_it — модель синтеза речи из текста, созданная дообучением microsoft/speecht5_tts на наборе данных facebook/voxpopuli. Она использует архитектуру SpeechT5 и модель speechbrain/spkrec-xvect-voxceleb для получения вектора голоса диктора. Модель предназначена для преобразования текста в итальянскую речь; в README приведено значение loss 0,5126 на оценочной выборке. Модель распространяется в форматах PyTorch и Safetensors по лицензии MIT. В карточке не приведены сведения о естественности речи, поддержке нескольких голосов или практических ограничениях синтеза.