I.7Речь, диалоги и встречи

Это совместимая с Hugging Face Transformers версия модели AI4Bharat IndicConformer для автоматического распознавания речи. Репозиторий основан на ai4bharat/indicconformer_stt_hi_hybrid_ctc_rnnt_large и адаптирует модель для использования со стандартными средствами Transformers вместо NeMo. Архитектура относится к семейству IndicConformer; метаданные указывают класс IndicConformerForCTC и форматы весов Safetensors. Модель преобразует аудиозаписи речи в текст и рассчитана на языки Индии. README перечисляет хинди, телугу, бенгальский, тамильский, гуджарати и малаялам; теги метаданных содержат также ассамский, каннада, маратхи, ория, пенджаби, урду, непали, санскрит и другие языки региона. Для обучения указаны наборы Shrutilipi и Bhashini. Репозиторий распространяется по лицензии Apache-2.0. Число параметров в предоставленных данных отсутствует; заявленный контекст — 5000 токенов.

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; карточка сообщает результат оценки: loss 0,4954 и глобальный WER 21,7486. Метрики относятся к указанному набору оценки, описание которого в карточке отсутствует. Модель принимает аудио и выдаёт текст. В метаданных указан формат safetensors, библиотека Transformers и лицензия MIT. Подтверждённая поддержка хинди унаследована от базовой модели, однако сведения о данных обучения и других языках этой версии отсутствуют.

Это дообученная модель Whisper на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; в README приведены результаты оценки: loss 0,6319 и Global WER 14,3953. Базовая модель ориентирована на индийские языки, с подтверждённой поддержкой хинди. Модель принимает аудио и выдаёт текстовую транскрипцию. Она распространяется в формате safetensors и имеет лицензию MIT. Данные обучения в карточке не раскрыты, поэтому результаты и пригодность для конкретных акцентов, условий записи или других языков следует проверять на собственных аудио.

Kuray107/librispeech-100h-supervised — модель распознавания речи, дообученная на основе facebook/wav2vec2-large-lv60. Она использует архитектуру wav2vec2 с выходной головой CTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудио в текст; в карточке указано значение WER 0,0345 на оценочном наборе, но подробности о наборе и методике оценки не приведены. Модель принимает аудио и выдаёт текст. Идентификатор и описание указывают на связь с LibriSpeech, однако README не раскрывает языки, конкретные сценарии применения и ограничения качества. Веса доступны в формате PyTorch по лицензии Apache 2.0.

Ming-flash-omni 2.0 — мультимодальная модель семейства Ling-2.0 от InclusionAI с архитектурой Mixture-of-Experts: 100 млрд параметров суммарно и 6 млрд активных. Она принимает изображения, текст, видео и аудио, а генерирует текст, изображения и аудио; в метаданных также заявлен интерфейс для вызова инструментов. Модель предназначена для диалога и задач, где нужно переключаться между модальностями: анализа изображений и видео, распознавания речи, синтеза речи и музыки, генерации и редактирования изображений. В README отдельно отмечены распознавание растений, животных и культурных объектов, клонирование голоса с нулевым примером и управление характеристиками звучания, а также удаление объектов и композиция сцен. В README заявлены потоковый видеодиалог, распознавание речи, включая диалектную речь, и генерация изображений с управлением. Метаданные указывают английский язык. Модель опубликована по лицензии MIT. Заявления о лидерстве в бенчмарках и качестве приведены авторами модели; независимые результаты в предоставленных данных отсутствуют.

MIO-7B-Base — базовая мультимодальная авторегрессионная модель, разработанная командой M-A-P и соавторами из исследовательских организаций. Она предназначена для генерации и понимания текста, изображений, речи и видео в единой последовательности токенов. В основе — плотная архитектура LLaMA с 5,8 млрд параметров; модель использует дискретные представления разных модальностей и контекст до 4096 токенов. Исследовательская работа описывает сценарии визуальных вопросов и ответов, распознавания и синтеза речи, создания подписей к видео, редактирования изображений и смешанной генерации текста с изображениями. Модель основана на Yi-6B-Base и дообучена для мультимодальных задач; переданные метаданные также связывают её с Yi-6B-Chat. Для этой версии в карточке указана лицензия Apache-2.0. Публикация сообщает о конкурентных результатах в ряде тестов, но отмечает сложности с вычислительной стоимостью длинных мультимодальных контекстов и разрешением генерируемых изображений. Указанный в метаданных pipeline_tag — text-generation; мультимодальные задачи и характеристики описаны в публикации о семействе MIO.

Карточка модели NostraEmpire/mirror-qwen2-audio-7b-instruct на Hugging Face совпадает с карточкой Qwen/Qwen2-Audio-7B-Instruct, поэтому описание составлено по ней. Qwen2-Audio-7B-Instruct — мультимодальная аудиоязыковая модель серии Qwen2-Audio, разработанная командой Qwen. Это чат-модель с плотной архитектурой Qwen2-Audio и примерно 7 млрд параметров, предназначенная для голосового общения и анализа аудио по текстовым инструкциям. Модель принимает аудиосигнал, может вести голосовой диалог без текстового ввода и отвечать на вопросы или выполнять инструкции об аудиозаписи. Поддерживается пакетный инференс; взаимодействие в примерах использует формат ChatML. В метаданных указан английский язык, а карточка описывает работу с речевыми инструкциями и различными аудиовходами. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Для запуска требуется актуальная версия Transformers с поддержкой Qwen2-Audio; карточка советует устанавливать библиотеку из исходного кода, иначе возможна ошибка распознавания архитектуры. Карточка не приводит подробных результатов оценки качества или перечня ограничений по аудиоформатам.

Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-62 — дообученная версия facebook/mms-1b-all, созданная на наборе BEMGEN - BEM. Это модель распознавания речи на базе wav2vec2 с архитектурой Wav2Vec2ForCTC, предназначенная для преобразования аудио в текст. В карточке приведён результат оценки на тестовом наборе: CER 0,0532 и loss 12,3468. Размер модели — 1,3 млрд параметров. Языковая поддержка унаследована от многоязычной базовой MMS, рассчитанной более чем на тысячу языков, однако язык и область применения конкретного дообучения не уточнены. Для использования весов действует лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

Moonshine Base — компактная модель автоматического распознавания речи, разработанная Useful Sensors. Это последовательностная модель типа encoder-decoder с 61 млн параметров, предназначенная для транскрибирования английской речи в английский текст. Она рассчитана на разработчиков, которым нужно развернуть распознавание речи в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами; поддержка Transformers упрощает использование в соответствующих приложениях. Модель принимает аудио и выдаёт текст, обучена на 200 000 часах аудио с расшифровками и лицензирована по MIT. По оценке разработчиков, Moonshine показывает более высокую точность на стандартных наборах данных, чем сопоставимые по размеру системы распознавания речи. Модель может ошибочно добавлять слова, которых нет в аудио, и повторять фрагменты текста; эти проблемы могут быть заметнее на коротких записях и аудио с обрезанными словами. Она предназначена для транскрибирования английской речи, а не для вывода субъективных характеристик говорящего или принятия высокорисковых решений. Перед применением в конкретной области требуется отдельная оценка качества.

Moonshine Tiny GGUF — это компактная модель автоматического распознавания речи, разработанная UsefulSensors и преобразованная в формат GGUF проектом cstr для использования с CrispASR. Репозиторий содержит варианты с разной степенью квантования; обучение, дообучение и изменение архитектуры в этой версии не выполнялись. Модель предназначена для транскрибации аудио на английском языке, включая локальную обработку на CPU. Архитектура включает свёрточный входной слой Conv1d, трансформерный энкодер из 6 слоёв и трансформерный декодер из 6 слоёв; используется размерность 288, 8 attention-голов, partial RoPE и активации SiLU/GELU. Модель содержит около 27 миллионов параметров. Доступны варианты F32 размером 104 МБ, Q8_0 размером 33 МБ и Q4_K размером 21 МБ; Q4_K предлагает наиболее выгодный компромисс между размером и качеством. Сильными сторонами являются небольшой размер, высокая скорость и возможность работы на CPU: для F32 заявлена производительность 11,2 раза быстрее реального времени. На LibriSpeech заявлены показатели WER 4,55% для записи clean и 11,68% для записи other. Ограничение модели — поддержка только английского языка; качество и производительность могут зависеть от акустики и характеристик аудио. Модель и её конверсия распространяются по лицензии MIT.

onnx-community/moonshine-tiny-ONNX — модель для автоматического распознавания речи, основанная на UsefulSensors/moonshine-tiny и предназначенная для использования с библиотекой Transformers.js. Она преобразует аудиозаписи в текст и подходит для сценариев транскрибации речи в JavaScript-приложениях, включая обработку удалённых аудиофайлов. Модель доступна в формате ONNX и интегрируется через pipeline с задачей automatic-speech-recognition. В README не указаны архитектура, точный размер, поддерживаемые языки, максимальная длина контекста и набор модальностей, поэтому эти характеристики нельзя достоверно оценить. В качестве сильных сторон можно отметить совместимость с Transformers.js и пример готового применения; ограничения по качеству, языкам и производительности в предоставленных данных не описаны. Модель распространяется по лицензии MIT.

MOSS-Transcribe-preview-2B — англоязычная модель распознавания речи в текст, разработанная OpenMOSS Team. Она принимает аудио и предназначена для транскрибации английской речи, в том числе для исследовательских и оценочных сценариев. Модель построена на языковой основе Qwen3-1.7B-base и аудиокодировщике Qwen3-Omni-MoE; gated-MLP-адаптер передаёт аудиопризнаки в пространство эмбеддингов языковой модели. По README, модель содержит около 2,4 млрд параметров, тогда как метаданные Hugging Face указывают 10,1 млрд. Контекст составляет 32 768 токенов. Модель обучалась на открытых англоязычных корпусах распознавания речи и дообучалась с reinforcement learning на обучающих разбиениях Open ASR Leaderboard. В README приведены результаты оценки на нескольких наборах данных; TED-LIUM в этой оценке не использовался. Ограничения включают возможное снижение качества на других языках, при сильных акцентах, шуме, перекрывающейся речи, записи на расстоянии и узкоспециальной терминологии; результаты для важных решений следует проверять вручную. Распространяется по лицензии Apache-2.0.

MSP-AVSR — мультимодальная модель распознавания речи из семейства Multimodal Speech Perception (MSP). Она объединяет аудиопредставления Wav2Vec2 из MSP-ASR и визуальные представления AV-HuBERT из MSP-VSR с помощью двунаправленного перекрёстного внимания и предсказывает английскую расшифровку через CTC. Модель принимает синхронизированные монофоническое аудио с частотой 16 кГц и видео говорящего; при оценке также поддерживается обработка только аудио или только видео через соответствующую предварительно обученную ветвь. Архитектура использует отдельные аудио- и видеоэнкодеры, проекции в общее пространство размерности 768 и двунаправленное перекрёстное внимание с 12 головами и масками заполнения. Видеопредставления приводятся к частоте аудиокадров, после чего объединённые признаки обрабатываются полносвязным блоком и общей CTC-головой. В опубликованных оценках WER на чистом тесте LRS2 составил 3,93%; результаты на шумных данных и AVCocktail заметно хуже и зависят от сегментации и декодирования. Модель предназначена для распознавания речи с использованием аудио и видео говорящего, в том числе при акустических помехах. Для декодирования с поиском по 3-граммной языковой модели README указывает отдельный процессор MSP-Processor-With-LM и зависимости pyctcdecode и kenlm. Данные карточки указывают базовые модели MSP-ASR и MSP-VSR и лицензию Apache-2.0.

OWSM-CTC v4 — открытая многоязычная речевая модель семейства Open Whisper-style Speech Model, разработанная авторами проекта OWSM и распространяемая через ESPnet. Это модель на основе энкодера с иерархическим многозадачным self-conditioned CTC; она выполняет распознавание речи, перевод речи и определение языка в одной нерекуррентной модели. Версия v4 обучалась три эпохи на 320 тысячах часов открытых аудиоданных. Модель предназначена для преобразования речи в текст и поддерживает обработку аудио с частотой 16 кГц. Для коротких записей ожидается фиксированная длительность 30 секунд с дополнением или усечением; для длинных записей ESPnet может разделять аудио на перекрывающиеся фрагменты. CTC-декодирование не предоставляет временные метки слов или сегментов. Для применения нужны ESPnet и espnet_model_zoo. Лицензия — CC BY 4.0.

ParakeetKit Pro — модель для автоматического распознавания речи из семейства Parakeet, подготовленная для использования через Argmax Pro SDK. Репозиторий содержит модель в формате TensorFlow Lite; метаданные указывают библиотеку WhisperKit и поддержку аудиовхода. Модель предназначена для локальной транскрибации речи на устройстве. Карточка сообщает, что эти модели совместимы только с Argmax Pro SDK. Лицензия обозначена как other, поэтому условия использования следует сверять с лицензией в репозитории и условиями SDK.

Parakeet TDT 0.6B v2 GGUF — это англоязычная модель автоматического распознавания речи, разработанная NVIDIA, преобразованная в формат GGUF проектом CrispStrobe/CrispASR. Модель предназначена для транскрибации аудио в текст с использованием CLI CrispASR и поддерживает вывод с сохранением регистра, пунктуации и встроенными временными метками на уровне слов. Модель содержит около 600 млн параметров и использует 24-слойный FastConformer-энкодер с TDT-декодером Token-and-Duration Transducer, двухслойным LSTM-предиктором и словарём из 1024 SentencePiece-токенов. Она принимает монофонический звук с частотой 16 кГц и поддерживает только английский язык. Доступны варианты F16 размером 1,24 ГБ, Q8_0 размером 735 МБ и Q4_K размером 468 МБ; Q4_K рекомендован как вариант по умолчанию, а Q8_0 обеспечивает качество, близкое к полной точности. Сильные стороны модели — специализация на английском языке, высокая точность распознавания, пунктуация, регистр и встроенные временные метки без отдельной CTC-модели выравнивания. Ограничения — отсутствие поддержки других языков и зависимость от среды CrispASR для заявленного сценария использования; характеристики качества для конкретных аудиоданных в README не приведены. Модель распространяется по лицензии CC-BY-4.0, требующей указания авторства.

Это многоязычная модель распознавания речи NVIDIA Parakeet-TDT-0.6B-v3, подготовленная в формате MLX с квантованием смешанной точности Q4/Q8 и сохранённая в safetensors. Вариант создан на основе проверенного чекпойнта mlx-community/parakeet-tdt-0.6b-v3 и предназначен для транскрибации аудио на Apple Silicon с использованием MLX и совместимого загрузчика parakeet_unified_mlx.py. Веса занимают 0,401 ГБ: матрицы энкодера используют Q4, а точечные свёртки и компоненты предиктора и joint — Q8; часть тензоров хранится в BF16. Исходная модель поддерживает 25 европейских языков. В полной оценке на FLEURS для немецкого, французского, нидерландского, шведского, датского и финского языков получен макро-WER 11,17%; качество сопоставимо с контрольным вариантом INT4, а объём весов меньше. Лицензия — CC-BY-4.0. Модель работает в офлайн-режиме с полным контекстом и жадным декодированием; потоковая обработка не заявлена. Результаты могут меняться в зависимости от акцента, предметной области, шума и условий записи. Для целевого аудиораспределения нужна отдельная оценка; текущие подробные тесты охватывают только шесть из 25 языков.

Parakeet TDT+CTC 110M GGUF — это конвертированная и квантованная версия англоязычной модели автоматического распознавания речи NVIDIA Parakeet TDT+CTC 110M. Конверсию в формат GGUF и поддержку выполнения через CrispASR подготовил проект CrispStrobe/CrispASR; обучение, дообучение и изменение архитектуры в этом репозитории не выполнялись. Модель предназначена для транскрибации монофонической аудиозаписи с частотой 16 кГц, включая пакетную обработку и запуск на устройствах с ограниченными ресурсами. Она распознаёт только английскую речь и формирует текст с сохранением регистра и пунктуации. Доступны варианты F16 размером около 230 МБ, Q8_0 около 139 МБ и рекомендуемый Q4_K около 91 МБ. Заявлена производительность примерно до 45-кратного реального времени на M1 Metal для Q4_K. Архитектура включает 17-слойный FastConformer-энкодер примерно на 110 млн параметров, 1-слойный LSTM-предиктор, гибридные TDT и CTC-головы, а также словарь из 1024 SentencePiece-токенов. В CrispASR по умолчанию используется CTC-декодирование, поскольку упрощённый однос层ный предиктор недостаточен для полноценного TDT-декодирования. Сильные стороны модели — малый размер, низкие требования к оперативной памяти и высокая скорость; ограничение — только английский язык и более низкое качество по сравнению с крупными вариантами Parakeet, включая возможные ошибки в отдельных словах. Распространяется по лицензии CC-BY-4.0 с условиями исходной модели NVIDIA.

nectec/Pathumma-whisper-th-large-v3 — модель распознавания речи команды Pathumma Audio Team. Она основана на Whisper large-v3 от OpenAI и дообучена для распознавания тайского языка; карточка также указывает английский среди языков модели. Модель содержит около 905,2 млн параметров и доступна в формате safetensors для библиотеки Transformers. Модель предназначена для преобразования аудиозаписей в текст. Её можно использовать для транскрибации тайской и английской речи. README содержит пример запуска через класс pipeline в Transformers, но не приводит подробностей о данных дообучения или результатах оценки качества. Лицензия — Apache-2.0.

PCS — это мультиязычная модель постобработки текста, разработанная на базе XLM-RoBERTa-base и конвертированная в формат GGUF для использования с CrispASR и CrisperWeaver. Она предназначена прежде всего для обработки результатов систем автоматического распознавания речи, выдающих текст без пунктуации и с сохранением всех букв в нижнем регистре. Модель за один проход восстанавливает пунктуацию, включая точки, запятые, вопросительные и восклицательные знаки, двоеточия, точки с запятой и другие знаки, выполняет truecasing и определяет границы предложений. Архитектура включает 12-слойный энкодер XLM-RoBERTa-base с размерностью 768, 12 головами внимания и токенизатором SentencePiece, а также четыре классификационные головы для пост- и предпозиционной пунктуации, сегментации предложений и посимвольного определения регистра. PCS поддерживает 47 языков, однако наилучшее качество заявлено для английского, немецкого, французского, испанского, итальянского, португальского, нидерландского, польского, русского, украинского, чешского и датского языков, на которых обучались классификационные головы. Доступны полноточная версия F16 размером около 903 МБ и квантованная Q4_K размером около 155 МБ, что делает последнюю более подходящей для локального использования. Ограничения включают зависимость качества от языка и особенностей входного текста, а также отсутствие функций распознавания речи: модель обрабатывает уже полученный текст. Лицензия MIT.

Это исследовательский контрольный чекпойнт на базе LED-base для суммаризации совещаний и диалогов. Модель разработана и опубликована Immich; она обучена на подходящем подмножестве AMI Meeting Corpus с seed 73. Вариант baseline предназначен для суммаризации полной записи совещания или для иерархического конвейера сегментации, извлечения и генерации. Модель построена на архитектуре LED и содержит 95,2 млн параметров. Она принимает текст и генерирует текстовое резюме; для загрузки указаны Transformers и AutoModelForSeq2SeqLM. Репозиторий содержит веса safetensors. Лицензия — MIT. Карточка описывает конкретный экспериментальный baseline и не приводит оценок качества или подробностей о поддерживаемых языках.

Sabomako/Qwen3-Omni-30B-A3B-Thinking-heretic — производная модель семейства Qwen3-Omni, созданная дообучением Qwen/Qwen3-Omni-30B-A3B-Thinking. По карточке базовой модели это мультимодальная модель с архитектурой MoE и компонентом Thinker, предназначенная для рассуждений по тексту, аудио и видео с текстовыми ответами; семейство также заявлено как способное обрабатывать изображения. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Семейство Qwen3-Omni поддерживает 119 языков для текста, 19 языков для входящей речи и 10 языков для речевого вывода. Описаны потоковое взаимодействие с низкой задержкой и настройка поведения системными промптами, однако карточка этой конкретной производной не объясняет, что именно меняет вариант heretic, и не подтверждает сохранение всех возможностей базовой модели. Метаданные указывают лицензию other, поэтому конкретные условия использования следует сверить с файлами репозитория.

qwen-asr-0.6b-he — компактная модель распознавания речи на базе Qwen/Qwen3-ASR-0.6B, дообученная разработчиком flowty1 на специально собранном и размеченном корпусе иврита. Она преобразует аудио в текст и поддерживает потоковую транскрибацию с низкой задержкой, а также обработку аудиофайлов. Модель рассчитана прежде всего на распознавание речи на иврите; также проверена работа с английским и автоматическим определением языка. Размер составляет 0,6 млрд параметров. В README заявлена работа в реальном времени на CPU, а также запуск на NVIDIA GPU через vLLM, на Apple Silicon через MLX и локально на iPhone. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. На шумных или длинных записях компактная модель может повторять фрагменты или галлюцинировать. README рекомендует жадное декодирование и настройку штрафа за повторы и максимального числа новых токенов; для языков помимо иврита и английского качество не гарантируется.

Realtime-Venus — разработанная inclusionAI мультимодальная система для потокового общения в реальном времени. В репозитории описаны варианты Realtime-Venus-Omni и Realtime-Venus-Audio; каждый содержит 9 млрд параметров и основан на архитектуре MiniCPM-o 4.5 / Omni-Flow. Версия Omni использует визуальный энкодер SigLIP2, а версия Audio предназначена для аудиосценариев без визуального энкодера во время инференса. Система принимает потоковые аудио- и видеоданные, поддерживает диалог с одновременным восприятием и речевым ответом, учитывает перебивания и может сама начать отвечать на значимое событие. Omni также поддерживает поиск по длинному видео с использованием памяти без дополнительного обучения. Генерация текста и речи использует встроенные ресурсы Token2wav и референсный голос; делегирование внешним инструментам требует отдельной среды Realtime-Venus-Harness. Модель ориентирована на английский и китайский языки. Для инференса примеров README указывает Python 3.10, CUDA и FFmpeg. Видеопоток ограничивается настройкой максимального числа кадров, а при офлайн-обработке длинных видео аудио может превысить бюджет входных токенов. Лицензия репозитория — Apache-2.0.

Røst-v3-wav2vec2-315m — модель распознавания датской речи, разработанная в Alexandra Institute в рамках проекта CoRal. Это архитектура Wav2Vec2-XLS-R с классификатором CTC, дообученная на датасете CoRal-v3, который включает разговорную и прочитанную вслух речь с разными диалектами, возрастными группами и голосами. По метаданным модель содержит 402,7 млн параметров; в таблицах README для этой версии указано 315 млн. Модель предназначена для преобразования датской речи в текст, в том числе для транскрибирования разговоров и чтения вслух. На оценке CoRal-v3 Character Error Rate составил 13,7% для разговорной речи и 5,9% для прочитанной вслух. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия OpenRAIL, адаптированная под датасет CoRal-v3, допускает коммерческое применение с ограничениями, в частности на синтез речи и биометрическую идентификацию.

gigant разработал румынскую модель распознавания речи на основе facebook/wav2vec2-xls-r-300m, дообучив её на румынской части Common Voice 8.0 и дополнив данными из набора синтезированной румынской речи. Это модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC; число параметров — около 402,7 млн. Для декодирования с языковой моделью предусмотрена 5-граммовая модель, обученная на корпусе парламентских текстов Румынии. Модель предназначена для транскрибации румынской речи из аудиоклипов с частотой дискретизации 16 кГц. В README указано первое место на Romanian Speech Recognition в Robust Speech Challenge; на тестовой части Common Voice 8.0 приведены WER 0,1174 и CER 0,0294 без оптимизации 5-граммовой языковой моделью. Вывод приводится в нижнем регистре и без пунктуации. Для декодирования с языковой моделью нужны pyctcdecode и kenlm. Лицензия — Apache-2.0.

SALMONN-2 8B — открытая аудиоязыковая модель, представленная в репозитории marcoyang/SALMONN-2-8B. Она предназначена для понимания речи, музыки и других аудиозаписей, включая паралингвистические характеристики. Архитектура объединяет аудиоэнкодер SPEAR, многослойный адаптер слияния признаков и Qwen3-8B; в чекпойнт включены объединённые веса Qwen LoRA, аудиоэнкодер, аудиоконнектор и файлы токенизатора. Модель распространяется в формате safetensors и использует библиотеку Transformers с пользовательским кодом модели. Модель подходит для ответов на вопросы об аудио, анализа речи и музыки, а также сравнения нескольких аудиозаписей и мультимодального контекстного обучения. В README указано обучение на 18,2 тыс. часов аудиотекстовых данных и представлены результаты на бенчмарках понимания аудио. Метаданные задают pipeline_tag feature-extraction, однако по описанному назначению пользователя главная задача — генерация текстовых ответов по аудио. Лицензия — Apache-2.0. Для загрузки через Transformers требуется разрешить пользовательский код репозитория; данные README не уточняют поддерживаемые языки, длину контекста или конкретные ограничения качества.

Samantha-omni — дообученная мультимодальная модель Guilherme34 на основе семейства MiniCPM-O. Модель с плотной архитектурой MiniCPMO и 7,1 млрд параметров предназначена для диалога с изображениями, речью и видео, включая мультимодальное взаимодействие в реальном времени. Она поддерживает контекст до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. Модель подходит для диалога по изображениям и видео, распознавания и синтеза речи, а также многоязычных мультимодальных сценариев. Карточка заявляет уровень GPT-4o для задач зрения, речи и потокового взаимодействия, но не приводит сравнительных тестов, поэтому это заявление не подтверждено приведёнными данными. Лицензия в предоставленных сведениях не указана.

cswk/sayit-asr-gguf — это набор GGUF-весов для локального автоматического распознавания речи (ASR), используемый приложением SayIt для Windows, разработанным как open-source приложение для голосового ввода. Репозиторий поддерживается авторами SayIt, но сами модели не обучались ими: это неизменённые конверсии моделей NVIDIA и Alibaba FunAudioLLM и Qwen, переопубликованные из репозитория handy-computer. В состав входят Parakeet, SenseVoice, Nemotron, Fun-ASR Nano и Qwen3-ASR в нескольких вариантах квантования и размерах. Набор предназначен для диктовки, голосового ввода и преобразования речи в текст на потребительском оборудовании через runtime transcribe.cpp. Поддерживаются разные сценарии: Parakeet оптимален для быстрого распознавания английской речи, SenseVoiceSmall требует минимальный объём памяти, Fun-ASR-Nano подходит для китайской диктовки, а Nemotron и Qwen3-ASR предлагают более широкое языковое покрытие. В зависимости от файла доступны английский, китайский, японский, корейский, кантонский и другие языки; для отдельных моделей заявлена поддержка до 30 и более языковых вариантов или 32 локалей. Файлы имеют размер от 253 МБ до 1,52 ГБ, используют квантование Q4_K_M, Q5_K_M или Q8_0 и требуют примерно от 0,35 до 2,6 ГБ оперативной памяти во время работы. Ключевое ограничение — это не единая модель, а набор специализированных вариантов с разной точностью, скоростью, языками и требованиями к памяти; например, Parakeet предназначен только для английского и возвращает пустую строку на китайской речи. GGUF-файлы совместимы с transcribe.cpp и несовместимы с llama.cpp и whisper.cpp. Лицензия указана как mixed-upstream-licenses: условия использования зависят от лицензий исходных моделей и компонентов.

fatymatariq/segmentation-3.0 — опубликованная модель сегментации речи на основе pyannote.audio 3.0, обученная Séverin Baroudi. Она принимает монофонический звук с частотой 16 кГц блоками по 10 секунд и выдаёт матрицу кадровых оценок для семи классов: тишина или неречевая активность, три отдельных говорящих и три возможные пары одновременно говорящих. Модель предназначена для сегментации говорящих, обнаружения речевой активности и перекрывающейся речи; для диаризации полной записи её используют в составе отдельного конвейера с моделью эмбеддингов говорящих. Обучение проводилось на наборах AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Модель доступна в формате PyTorch по лицензии MIT. Для загрузки README требует принять условия использования базовой модели pyannote/segmentation-3.0; сама по себе эта модель обрабатывает только короткие фрагменты аудио.