I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиDistil-Whisper distil-large-v2 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper как дистиллированная версия Whisper large-v2. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из исходной модели, а декодер сокращён до двух слоёв. В метаданных указано 905,2 млн параметров. Модель предназначена для транскрибации английской речи в коротких и длинных аудиозаписях и может использоваться как ускоренная замена Whisper large-v2. По данным карточки, она примерно в шесть раз быстрее и на 49% меньше исходной модели, сохраняя близкое качество распознавания; также её можно применять как вспомогательную модель для speculative decoding с Whisper. Поддерживаются форматы PyTorch, safetensors, ONNX и Flax. Модель принимает аудио и выдаёт текст. Она рассчитана только на распознавание английской речи; авторы рекомендуют вместо неё более новую distil-large-v3 для лучшей поддержки последовательной генерации на длинных записях. Лицензия — MIT.
Distil-Whisper distil-large-v3 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper и полученная дистилляцией OpenAI Whisper large-v3. Она предназначена для транскрибации коротких записей и длинных аудиофайлов; архитектура — кодировщик-декодировщик Whisper с сокращённым числом слоёв декодера. В README указано 756 млн параметров, тогда как метаданные каталога указывают 905,2 млн параметров. Модель рассчитана на английскую речь и поддерживает последовательный и пакетный алгоритмы обработки длинных записей. По данным README, качество на длинных аудио близко к Whisper large-v3, а распознавание выполняется примерно в 6,3 раза быстрее; для одиночных длинных файлов, где важна скорость, рекомендуется пакетный алгоритм, а для точности и пакетной обработки — последовательный. Модель доступна по лицензии MIT. Она предназначена для распознавания речи на английском языке; вывод включает текстовую транскрипцию, а при соответствующих настройках — временные метки сегментов.
Distil-Large-v3.5 — англоязычная модель распознавания речи из семейства Distil-Whisper, созданная в совместной работе Бофэном Хуаном, Эсташем Ле Бианом, Стивеном Чжэном и Вайбхавом Шриваставом. Это дистиллированная версия OpenAI Whisper-Large-v3 с архитектурой Whisper encoder-decoder; в метаданных указано 905,2 млн параметров. Модель предназначена для преобразования речи в текст, включая короткие аудиозаписи и длинные записи с последовательной или разбитой на фрагменты обработкой. Авторы сообщают об обучении на 98 тысячах часов разнообразных публичных данных, использовании teacher-модели с расширенным графиком обучения и аугментации SpecAugment. По оценкам авторов, модель примерно в 1,5 раза быстрее Whisper-Large-v3-Turbo и показывает хорошие результаты на коротких записях; также её можно использовать как черновую модель для speculative decoding с Whisper-Large-v3. Модель рассчитана на английскую речь. Она поддерживается библиотекой Transformers версии 4.39 и новее, веса опубликованы в формате safetensors. Лицензия — MIT. Результаты зависят от типа аудио: на приведённой авторами оценке ошибка распознавания длинных записей выше, чем коротких; заявленные метрики основаны на нормализованном тексте и конкретных тестовых наборах.
primeline/distil-whisper-large-v3-german — модель распознавания немецкой речи, разработанная Флорианом Циммермайстером и основанная на технике дистилляции Whisper. Она предназначена для транскрибации немецкой речи как локально, так и в составе конвейеров распознавания. В карточке описана версия с 756 млн параметров и размером 1,51 ГБ в bfloat16; метаданные указывают архитектуру Whisper с 905,2 млн параметров и формат safetensors. Модель обучена на отфильтрованных данных Common Voice, многоязычного LibriSpeech и внутренних данных. Автор заявляет о более быстром выводе с минимальной потерей качества относительно немецкой версии Whisper large v3; при оптимизации, например с TensorRT, модель может применяться для распознавания речи в реальном времени. Указанный язык — немецкий. Лицензия — Apache-2.0.
OpenVINO/distil-whisper-large-v3-int8-ov — версия модели distil-large-v3 от Distil-whisper, преобразованная в формат OpenVINO IR и сжата до INT8 с помощью NNCF. Модель предназначена для автоматического распознавания речи по аудио; архитектура основана на Whisper и содержит около 905,2 млн параметров. Квантизация выполнена с параметрами INT8_ASYM и group_size 128. Модель совместима с OpenVINO версии 2025.2.0 и выше и Optimum Intel 1.23.0 и выше. В метаданных указан английский язык. Лицензия — MIT, как у исходной модели. Карточка отсылает к описанию исходной модели за подробностями об ограничениях. Заявленная совместимость ограничена указанными версиями OpenVINO и Optimum Intel.
Eureka-Audio-Instruct — компактная аудиоязыковая модель на 1,7 млрд параметров, разработанная авторами Eureka-Audio. Она принимает аудио и формирует текстовые ответы для распознавания речи, вопросов об аудиозаписи, описания звуков, распознавания эмоций в речи и классификации звуковых событий. Архитектура объединяет аудиоэнкодер на основе Whisper, разреженный MoE-адаптер и языковую основу Qwen3-1.7B-Base; контекст составляет 32 768 токенов. Модель предназначена для транскрибации и широкого анализа аудио. Авторы сообщают о конкурентных результатах на аудиобенчмарках при меньшем размере по сравнению с рядом моделей на 7–30 млрд параметров и о более быстром декодировании относительно крупных моделей. Метаданные указывают поддержку английского и китайского языков. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Качество может различаться в зависимости от языка, типа записи и задачи; README не приводит здесь численных результатов оценивания, поскольку таблицы опущены. Для работы необходимы аудиовход и совместимая программная среда Transformers.
Это конверсия модели OpenAI Whisper small в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для автоматического распознавания речи и используется через CTranslate2 или проекты на его основе, например faster-whisper. Репозиторий содержит веса FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на множестве языков, включая русский и английский. Лицензия — MIT.
guillaumekln/faster-whisper-tiny — конверсия модели Whisper tiny от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи; исходная модель — openai/whisper-tiny. Веса сохранены в FP16. При загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий лицензирован по MIT.
stillerman/fdt-disfluency-distilbert-66m-v5 — модель-разметчик для удаления речевых дисфлуентностей из транскриптов живой речи. Она помечает каждое слово тегом KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего короткая процедура реконструкции собирает очищенный текст. Модель основана на DistilBERT с архитектурой DistilBertForTokenClassification и содержит 65,2 млн параметров; контекст — 512 токенов. Версия v5 сохраняет слова like, когда они вводят цитату или сравнение, и удаляет их как заполнитель в соответствующем контексте. Модель предназначена для очистки разговорных транскриптов, в том числе в браузере через int8 ONNX и transformers.js; автор сообщает о времени обработки порядка 10–50 мс на высказывание и метриках exact match 0,9745 и DELETE-F1 0,9916. Архив модели также содержит веса safetensors. Она удаляет или корректирует только помеченные токены и не перефразирует текст. Лицензия репозитория — Apache-2.0, однако обучение частично использовало DailyDialog с лицензией CC BY-NC-SA, поэтому автор рекомендует считать модель исследовательским артефактом и не применять её для коммерческого развертывания без дополнительной проверки условий.
stillerman/fdt-disfluency-mini-11m — компактная модель разметки слов в расшифровках живой речи, разработанная в рамках проекта FluencyAI. Она присваивает каждому слову один из тегов KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая реконструкция формирует очищенный текст. Модель предназначена для удаления речевых запинок и лишних слов с сохранением исходной формулировки, имён и чисел. Модель основана на BERT с архитектурой L4/H256 и содержит около 11,1 млн параметров; максимальный контекст — 512 токенов. Для репозитория доступны ONNX и safetensors, включая квантованный int8 ONNX-вариант для запуска через transformers.js в браузере. В карточке заявлены exact-match 0,9065 и DELETE-F1 0,9854 на валидационных данных. Модель обучалась на синтетически дополненных разговорных корпусах, включая DailyDialog с лицензией CC BY-NC-SA. Основная лицензия репозитория — Apache-2.0, однако из-за обучающих данных автор рекомендует считать модель исследовательским артефактом и не применять её для коммерческого развёртывания без отдельной проверки условий использования данных.
philschmid/flan-t5-base-samsum — модель на базе google/flan-t5-base, дообученная разработчиком philschmid на наборе диалогов SAMSum. Она предназначена для суммаризации переписок и разговоров: на вход подаётся текст диалога, на выходе — краткое резюме. Модель использует архитектуру T5 и содержит 123,8 млн параметров; максимальная длина контекста — 512 токенов. Доступны веса PyTorch. На оценочном наборе указаны значения ROUGE-1 47,24, ROUGE-2 23,51 и ROUGE-L 39,63. Карточка не описывает поддержку языков и не приводит иных ограничений или рекомендаций по применению. Лицензия — Apache-2.0.
Luigi разработал Gemma-4-E2B meeting agent (zh-TW) — дообученную версию Gemma-4-E2B для работы с расшифровками совещаний на устройствах с ограниченными ресурсами. Модель принимает фрагменты китайской речи на традиционном письме Тайваня вместе с журналом предыдущих заметок и по заданному протоколу формирует краткие заметки с временными отметками и ссылками на источник: решения, поручения, предложения, открытые вопросы и ключевые цифры. В версиях начиная с v8 она также составляет связное резюме и заголовок встречи по заметкам. В основе лежит Google Gemma-4-E2B-it-qat-q4_0-unquantized; модель дообучена с LoRA-адаптером и распространяется в том числе в формате GGUF Q4_0 размером 3,35 ГБ. Для телефонов подготовлена версия LiteRT-LM, рассчитанная на CPU; README приводит результаты измерений на Galaxy Note10+ и указывает, что на этом устройстве CPU быстрее GPU. Модель предназначена для специализированного протокола с последовательной подачей фрагментов стенограммы, а не для произвольного диалога. Указанный в примере контекст запуска GGUF — 32 768 токенов; мобильная версия использует контекст 4k на окно и перезапускает сессию на компактном журнале при достижении 8k токенов. Лицензия — Apache-2.0.
Это неофициальная обёртка для Transformers модели GigaAM-v2-CTC, разработанной SberDevices. Она предоставляет интерфейс библиотеки Transformers для распознавания русской речи и совместима с привычными средствами загрузки моделей, извлечения признаков и токенизации в этой библиотеке. Модель принимает аудио и преобразует речь в текст, поэтому подходит для автоматической расшифровки русскоязычных записей. В репозитории указаны веса в форматах PyTorch и Safetensors, а для работы приведены версии PyTorch, Torchaudio, Transformers и Accelerate. Лицензия — MIT. Это сторонняя обёртка исходной модели; README не сообщает её размер, длину контекста или результаты оценки качества.
istupakov/gigaam-v3-onnx — это набор моделей автоматического распознавания речи, преобразованных в формат ONNX из GigaAM v3. Разработчик конвертации — istupakov; исходная модель указана как ai-sage/GigaAM-v3, а связанные модели GigaAM разработаны командой Salute Developers. Модель предназначена для преобразования русской речи из WAV-аудио в текст и интеграции с библиотекой onnx-asr. Доступны варианты на архитектурах CTC и RNN-T, включая версии E2E CTC и E2E RNN-T с расстановкой пунктуации и нормализацией текста. Модели ориентированы на русский язык и поддерживают выполнение через ONNX, в том числе с CPU. Размер модели, максимальная длина контекста, точные требования к аудио и другие архитектурные характеристики в README не указаны. Преобразование в ONNX может быть удобно для развёртывания и инференса в совместимых средах, однако ограничения исходной GigaAM v3 и различия между вариантами CTC и RNN-T требуют выбора модели под конкретный сценарий. Лицензия — MIT.
Карточка модели Audio8/GPA-v1.5 на Hugging Face совпадает с карточкой Edge0/GPA-v1.5, поэтому описание составлено по ней. GPA v1.5 — разработанная AutoArk-AI единая авторегрессионная аудиоязыковая модель для распознавания речи и синтеза речи. Репозиторий содержит чекпойнт для PyTorch и Hugging Face Transformers, а также поддерживает дообучение через Trainer. В метаданных указаны архитектура ArkASR, около 504,7 млн параметров, контекст 32 768 токенов и форматы PyTorch и Safetensors; базовая модель — Qwen/Qwen3-0.6B. Модель предназначена для преобразования речи в текст и генерации речи по тексту с условием на референсный голос. В README описаны сценарии локального запуска и развёртывания сервисов, а также приведены оценки ASR на англоязычном LibriSpeech и китайском AISHELL-1. Карточка заявляет поддержку английского и китайского языков. Указанная лицензия — Apache-2.0. В нативной версии GPA v1.5 преобразование голоса пока обозначено как планируемая функция, поэтому не следует считать его доступной возможностью этого чекпойнта. Для работы TTS требуются отдельные ресурсы токенизатора Spark; оптимизированные ONNX-файлы размещены в отдельном репозитории.
Granite-4.0-1b-speech — компактная речевая модель IBM на 1 млрд параметров, полученная адаптацией Granite-4.0-1b-base для работы с аудио. Она предназначена для многоязычного распознавания речи и перевода речи в текст, в том числе перевода между английским и французским, немецким, испанским, португальским и японским; также поддерживается перевод с английского на итальянский и китайский. Модель принимает аудио и выдаёт текст. Для распознавания имён и аббревиатур можно использовать списки ключевых слов; авторы также отмечают высокую скорость распознавания и пригодность для устройств с ограниченными ресурсами. Модель построена на архитектуре Granite Speech и распространяется в формате safetensors для Transformers. Лицензия — Apache 2.0. README описывает обучение на открытых корпусах для распознавания и перевода речи, включая синтетические данные для японского распознавания и распознавания с подсказками по ключевым словам. Модель рассчитана на английский, французский, немецкий, испанский, португальский и японский языки. Итальянский и китайский указаны для перевода только с английского. Результаты могут зависеть от языка, акустических условий и соответствия данных пользователя обучающим корпусам; ключевые слова помогают распознавать заданные имена и аббревиатуры.
Granite Speech 4.0 1B Loom — экспорт речевой модели IBM Granite 4.0 1B Speech, подготовленный для запуска в loom.cpp. Репозиторий содержит веса в формате GGUF; по README, параметры модели не изменялись при экспорте, а сама модель перенесена в формат упаковки loom.cpp. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст. Она поддерживает английский, французский, немецкий, испанский, португальский и японский языки. Запуск предусмотрен через библиотеку loom-py-rt, которая предоставляет высокоуровневый интерфейс с настройками оконной обработки, сэмплирования и сборки результата. Модель основана на IBM Granite 4.0 1B Speech; размер 1B указан в названии, однако точное число параметров в метаданных отсутствует. Репозиторий распространяется по лицензии Apache-2.0. Указанный формат GGUF и связка с loom.cpp ориентированы на работу в соответствующей программной среде.
Granite Speech 4.1 2B — компактная речевая модель IBM для многоязычного распознавания речи и перевода речи. Она дообучена на базе ibm-granite/granite-4.0-1b-base и принимает аудио, выдавая текст. Модель обучалась на 174 000 часах аудио из открытых корпусов и синтетических данных. Модель поддерживает английский, французский, немецкий, испанский, португальский и японский языки. Она предназначена для транскрибации и перевода речи в обе стороны между этими языками и английским; также заявлены переводы с английского на итальянский и китайский. Архитектура использует двойную CTC-голову с графемным и BPE-выходами. Модель умеет расставлять пунктуацию и регистр, а также учитывать заданные ключевые слова для распознавания имён, аббревиатур и технической лексики. Модель ориентирована на обработку речи в корпоративных приложениях. В README не приведены результаты, позволяющие сравнить качество на всех языках и сценариях; дополнительные возможности временных меток и атрибуции говорящих относятся к отдельному варианту granite-speech-4.1-2b-plus. Лицензия — Apache 2.0.
Granite Speech 5.0 TurboCTC — компактная модель распознавания английской речи от IBM с 470 млн параметров. Она предназначена для быстрой транскрибации речи в текст и рассчитана на развертывание на ноутбуках, смартфонах и других устройствах с ограниченными ресурсами. Модель использует акустический энкодер Conformer с блочным self-attention, self-conditioning и временным уменьшением частоты представлений. Она обучена на примерно 60 000 часах английского аудио и применяет CTC с жадным неавторегрессионным декодированием, что обеспечивает высокую скорость вывода. Поддерживается Transformers; для локального запуска также описаны варианты MLX Audio и transcribe.cpp. Модель подходит для корпоративной транскрибации с низкой задержкой и высокой пропускной способностью. Обучающие данные включают общедоступные аудиокорпуса и синтетические примеры, в том числе речь с числами, валютами и адресами. Поддерживается английский язык; лицензия — Apache 2.0. Модель ориентирована на английскую речь, поэтому её не следует считать многоязычной.
danieleV9H/hubert-base-libri-clean-ft100h-v3 — англоязычная модель распознавания речи, созданная дообучением facebook/hubert-base-ls960 на наборе LibriSpeech ASR. Она принимает аудио и выдаёт текстовую расшифровку; архитектура — HuBERT с CTC-головой, размер — 113,3 млн параметров. На указанном в карточке наборе оценки модель достигла WER 0,1332 и loss 0,1120. Модель подходит для транскрибации английской речи, особенно аудиокниг и записей, похожих на LibriSpeech. Доступна под лицензией Apache-2.0.
InteractiveOmni-8B — плотная омнимодальная модель SenseNova для интерактивного общения с изображениями, аудио, текстом и видео. Она принимает мультимодальные входные данные и генерирует связные текстовые и речевые потоки; поддерживает многошаговое взаимодействие и долговременную память. Модель предназначена для мультимодального понимания, речевого диалога и генерации речи, а также для сценариев, где требуется сочетать аудио-визуальный ввод с текстовыми ответами. В README заявлены результаты уровня SOTA на открытых тестах понимания изображений, аудио и видео, а также речевого общения; приведены сценарии запуска через Transformers с требованием версии не ниже 4.51.0 и FlashAttention 2. В репозитории доступны файлы ONNX и safetensors. Лицензия — MIT. Размер 8B указан в названии модели; поддерживаемые языки по карточке — китайский и английский.
lemura-arabic-asr-qwen3 — модель распознавания арабской речи от Lemura Labs, дообученная на базе Qwen/Qwen3-ASR-1.7B. Это генеративная ASR-модель: аудиоэнкодер передаёт аудиоконтекст декодеру на основе Qwen3, который выдаёт транскрипцию как текст. Модель предназначена для современного литературного арабского языка и диалектов Персидского залива, Египта, Леванта, Ирака и Магриба, включая марокканскую дариджу; поддерживает переключение между арабским и английским. Модель рассчитана на расшифровку голосовых сообщений, звонков, медиаматериалов и аудио для голосовых агентов. Список направляющих слов можно использовать для распознавания имён, брендов и специальной терминологии. Веса bf16 опубликованы в формате safetensors; для вывода подходят Transformers и ms-swift. Входное аудио должно быть монофоническим с частотой 16 кГц; базовое окно обработки — 30 секунд, поэтому длинные записи нужно делить на фрагменты. Рекомендуется жадное декодирование. Лицензия — Apache-2.0. Качество может снижаться на незнакомых акцентах, в новых предметных областях и при сильном шуме или удалённой записи; марокканская дариджа остаётся особенно сложным случаем. Модель не оценивалась для скрытой идентификации говорящих и не предназначена для такого применения; возможны смещения из обучающих корпусов.
Llama-Chat-Summary-3.2-3B — языковая модель PrithivMLmods для контекстной суммаризации диалогов и текстов. Она дообучена на базе meta-llama/Llama-3.2-3B-Instruct и предназначена для создания кратких сводок с сохранением важных деталей из длинных чатов, обсуждений и документов. Модель имеет плотную архитектуру LlamaForCausalLM на 3,2 млрд параметров, принимает текст и генерирует текст. В карточке указана поддержка контекста до 131 072 токенов; модель рассчитана прежде всего на английский язык. Она может пригодиться для сводок обращений в поддержку, стенограмм встреч, статей и отчётов, а также для подготовки контекста для последующих систем. Карточка не приводит количественных оценок качества или подробностей обучения. Для работы с ней автор рекомендует Transformers; отмечено, что для развёртывания следует использовать выделенные эндпоинты, поскольку модель пока не подходит для serverless API. Лицензия — CreativeML Open RAIL-M.
Карточка модели XiaomiMiMo/MiMo-Audio-7B-Base на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-Audio-7B-Instruct, поэтому описание составлено по ней. MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.
Карточка модели ahmadsm1/MiMo-Audio-7B-Instruct на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-Audio-7B-Instruct, поэтому описание составлено по ней. MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.
Ming-Lite-Omni — мультимодальная модель от InclusionAI, дообученная на Ling-lite. Она использует архитектуру MoE с маршрутизаторами для разных модальностей и выделенными энкодерами. По данным разработчика, активируется 2,8 млрд параметров; модель объединяет обработку изображений, текста, аудио и видео, а также генерацию текста, речи и изображений. Она предназначена для мультимодального диалога, распознавания и понимания речи, преобразования текста в речь, анализа изображений и видео, генерации и редактирования изображений. Модель подходит для приложений, где нужно принимать смешанные мультимодальные запросы и формировать текстовые, речевые или визуальные ответы без отдельных моделей для каждой задачи. README приводит результаты оценок на задачах понимания изображений, видео и речи, а также генерации изображений. Контекст, поддерживаемые языки и ограничения качества в предоставленных источниках не описаны. Лицензия — MIT.
MiniCPM-o-2_6-GGUF — это GGUF-квантизованные версии мультимодальной модели MiniCPM-o-2_6, разработанной openbmb и подготовленной для распространения пользователем bartowski. Модель предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. По данным карточки, модель поддерживает работу с текстом, изображениями, несколькими изображениями, видео и аудио. Заявлены сценарии оптического распознавания символов, автоматического распознавания речи, синтеза речи, клонирования голоса, потокового режима и диалогов в реальном времени. Указана многоязычная поддержка, однако конкретный перечень языков, архитектура, количество параметров и размер контекста в карточке не приведены. Основное преимущество набора — широкий мультимодальный охват и возможность локального запуска в различных вариантах квантизации. Доступны форматы от F32 до Q2 и IQ-квантизаций с размером файлов примерно от 2,78 до 30,46 ГБ; варианты Q4–Q6 отмечены как рекомендуемые для баланса качества и требований к памяти. Более сильная квантизация уменьшает потребление памяти, но может снижать качество. Для работы требуется совместимый рантайм и аппаратные ресурсы, соответствующие выбранному файлу. Лицензия в README не указана; условия лицензии исходной модели следует проверять в репозитории openbmb/MiniCPM-o-2_6.
moona3k подготовил 8-битную квантованную версию Qwen/Qwen3-ASR-1.7B для библиотеки MLX и компьютеров Apple Silicon. Модель предназначена для автоматического распознавания речи и транскрибации аудио; при использовании mlx-qwen3-asr поддерживаются временные метки слов и HTTP-сервер. Архитектура — плотная Qwen3-ASR с аудиоэнкодером и текстовым декодером; линейные слои и эмбеддинги квантованы до 8 бит с размером группы 64, остальные указанные в README тензоры хранятся в float16. Размер загрузки — около 2 ГБ. Модель поддерживает английский, китайский, японский, корейский, немецкий, французский, испанский, русский, арабский и хинди. В описанном тесте на 100 аудиофрагментах LibriSpeech test-clean её гипотезы и показатели WER/CER совпали с версией fp16, однако эти результаты ограничены данным набором и настройками оценки. Для запуска требуется пакет mlx-qwen3-asr версии 0.4.1 или новее; лицензия — Apache-2.0.
Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-52 — дообученная версия facebook/mms-1b-all для автоматического распознавания речи. Она основана на архитектуре wav2vec2, содержит 1,3 млрд параметров и принимает аудио, выдавая текст. Дообучение выполнено на наборе BEMGEN - BEM; на оценочном наборе указаны Loss 12.0449 и CER 0.0516. Модель предназначена для преобразования речи в текст. Базовая MMS-1B-All поддерживает более тысячи языков, однако языковой охват именно этой дообученной версии в карточке не уточнён. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
facebook/mms-1b-l1107 — мультиязычная модель распознавания речи из проекта Massively Multilingual Speech (MMS), разработанного Vineel Pratap и коллегами. Она преобразует аудиозапись в текст и предназначена для автоматического распознавания речи на 1107 языках. Модель основана на архитектуре wav2vec 2.0 с выходной головой CTC и содержит около 1,3 млрд параметров. Репозиторий содержит веса PyTorch и Safetensors; в README указана частота дискретизации 16 кГц. Метаданные связывают модель с датасетом Google FLEURS. Модель охватывает большое число языков, включая языки с ограниченными ресурсами, что подходит для транскрибирования разнообразной речи. Качество для конкретного языка и аудиозаписи может различаться; поддержка языка не гарантирует одинаковую точность для всех диалектов и условий записи. Лицензия CC-BY-NC 4.0 допускает использование с атрибуцией, но запрещает коммерческое применение.