I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейМодель Lguyogiro/wav2vec2-large-mms-1b-nhi-adapterft-ilv_fold1 — дообученная на наборе audiofolder модель распознавания речи, основанная на facebook/mms-1b-all. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но карточка этой версии не уточняет целевой язык. На указанном наборе оценки модель показала loss 0,6054, WER 0,3871 и CER 0,1165. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
ifrz/wav2vec2-large-xlsr-galician — модель автоматического распознавания речи на галисийском языке, созданная путём дообучения facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Обучение проводилось на размеченных аудиоданных OpenSLR 77 и Mozilla Common Voice 8.0; для оценки указана метрика WER 7,12. Модель принимает монофоническую речь с частотой дискретизации 16 кГц и преобразует её в текст. Подходит для транскрибирования галисийской речи и распознавания аудио на галисийском языке. Распространяется по лицензии Apache-2.0.
Whisper Base LiteRT — это экспорт модели openai/whisper-base в формате LiteRT TFLite, разработанный OpenAI. Модель предназначена для автоматического распознавания речи и преобразования аудиосигнала в текст; её можно использовать в приложениях и на устройствах, поддерживающих выполнение LiteRT-моделей. В репозитории представлена модель whisper_base_30s_f32.tflite с вычислениями в формате FP32 и раздельными сигнатурами encode и decode. Энкодер принимает входной тензор float32 размерности [1,80,3000] и возвращает представление размерности [1,1500,512]. Декодер принимает это представление, последовательность токенов int32 размерности [1,128] и дополнительный тензор внимания, формируя выходные логиты размерности [1,128,51865]. По имени файла экспорт рассчитан на аудиофрагменты длительностью до 30 секунд. Сильной стороной модели является перенос Whisper в компактный формат LiteRT TFLite, подходящий для интеграции в среды с поддержкой этого формата. README не содержит сведений о точном перечне языков, требованиях к ресурсам, производительности, качестве распознавания или особенностях поддержки потоковой обработки, поэтому эти характеристики нельзя надёжно оценить. Репозиторий распространяется по лицензии Apache 2.0.
aneforge/whisper-base.en — англоязычная модель распознавания речи семейства Whisper от OpenAI, опубликованная ANEForge для запуска через ANEForge на Apple Neural Engine. Репозиторий содержит байт-в-байт копию весов openai/whisper-base.en в формате safetensors; архитектура — плотная WhisperForConditionalGeneration, размер — 51,7 млн параметров. Модель преобразует аудио в текстовую расшифровку. Она принимает монофонический аудиосигнал с частотой 16 кГц; базовая модель предназначена для английской речи. ANEForge компилирует граф модели в программу для Apple Neural Engine и загружает веса из репозитория. Модель распространяется по лицензии Apache-2.0. README описывает её как неизменённую копию исходной модели, поэтому отдельное дообучение не подтверждается; назначение репозитория — совместимость с ANEForge. Подробности о точности и ограничениях распознавания следует смотреть в карточке исходной модели.
inesc-id/WhisperLv3-FT — дообученная модель распознавания речи на основе OpenAI Whisper large-v3, созданная на датасете 425. Это мультиязычная архитектура Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. В карточке приведён результат оценки на тестовом наборе: loss 0,1162 и WER 3,9720; единицы измерения и условия оценки не описаны. Базовая модель поддерживает транскрибацию и перевод аудио в текст, однако для этой версии README не уточняет конкретные языки, сценарии применения или ограничения. Лицензия — Apache-2.0.
ihanif/whisper-turbo-ar-v2 — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo, созданная Hanif Rahman. Она предназначена для преобразования аудио в текст; обучение проводилось на наборе Common Voice 17.0. В карточке приведены результаты оценки: WER 39,2011 и орфографический WER 39,8068. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors для Transformers. Лицензия — MIT. В карточке нет сведений о целевом языке или специальной области применения; суффикс ar в имени репозитория сам по себе этого не подтверждает.
base_phase3 — модель распознавания речи на архитектуре wav2vec2, дообученная nguyenminhly на основе nguyenminhly/base_phase2. Она предназначена для преобразования аудиозаписей в текст. В метаданных указаны 113,3 млн параметров и формат PyTorch. В README приведены результаты оценки: WER 0,1305 и loss 0,2736; названы 44 000 шагов обучения и 49,44 эпохи. Язык распознавания и состав обучающих данных не описаны, поэтому область применения по языку или тематике определить нельзя. Модель распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.
laion/clap-htsat-fused — мультимодальная модель CLAP (Contrastive Language-Audio Pretraining), разработанная LAION для сопоставления аудио с текстовыми описаниями. Она обучена на наборе LAION-Audio-630K, содержащем аудио-текстовые пары; архитектура включает аудиоэнкодер HTSAT и механизм слияния признаков. Модель насчитывает 132,1 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для классификации аудиозаписей без обучения на конкретных классах: пользователь передаёт аудио и варианты текстовых меток, а модель оценивает их соответствие. Она также извлекает аудио- и текстовые эмбеддинги, что подходит для поиска аудио по описанию и сопоставления звука с текстом. Карточка сообщает о сильных результатах в поиске аудио по тексту и классификации с нулевым числом примеров. Метаданные указывают английский язык; лицензия — Apache-2.0. Результаты зависят от формулировок текстовых меток и охвата обучающих данных; карточка не описывает гарантии качества для отдельных языков и аудиодоменов.
Это потоковая модель диаризации речи Sortformer, преобразованная сообществом mlx-community из модели NVIDIA diar_streaming_sortformer_4spk-v2.1 в формат MLX с помощью mlx-audio 0.3.2. В основе архитектура FastConformer из 17 слоёв, энкодер Transformer из 18 слоёв и модули Sortformer; модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятности активности говорящих для каждого кадра. Она рассчитана на потоки и записи с числом говорящих до четырёх, используя кэш говорящих и контекст для обработки длинных потоков и границ аудиофрагментов. Модель подходит для разметки того, кто и когда говорит в аудиозаписи или потоке, а также для определения активности речи. README описывает веса в формате MLX, распространяемые как safetensors; для работы используется библиотека mlx-audio. Это конверсия исходной модели NVIDIA, а не самостоятельное дообучение. README отсылает к карточке исходной модели за дополнительными сведениями; лицензия и языковая специализация в предоставленных данных не описаны.
mkrausio/EmoWhisper-AnS-Small-v0.1 — модель распознавания речи семейства Whisper, опубликованная Maurice Kraus (mkrausio) на Hugging Face. Карточка репозитория автоматически сгенерирована и не описывает отдельно обучение или назначение варианта AnS; она показывает загрузку через Transformers для задачи automatic speech recognition. Внешнее описание производной модели указывает, что EmoWhisper используется для получения аудиоэмбеддингов в системах анализа эмоций и характеристик голоса. Модель имеет архитектуру WhisperForConditionalGeneration и около 153,1 млн параметров; принимает аудио и выдаёт текстовую транскрипцию. Языки, контекстное окно, лицензия, обучающие данные и сравнительные показатели качества в доступных материалах не установлены. Ограничения включают недостаток документированных сведений о целевой настройке и качестве. Происхождение от базовой модели Whisper следует из семейства и внешнего описания, но конкретный идентификатор базы не подтверждён в карточке; условия лицензии также не указаны.
RASMUS/Finnish-ASR-Canary-v2 — модель автоматического распознавания речи на финском языке, опубликованная пользователем RASMUS и дообученная на базе NVIDIA Canary-v2. Она предназначена для преобразования финской речи в текст, включая короткие записи, разговорную речь, подкасты, интервью, лекции и многоговорящие записи; для длинных аудиофайлов предусмотрены сценарии с VAD и диаризацией. Модель основана на архитектуре Fast-Conformer с attention encoder-decoder и содержит около 1 млрд параметров. Она работает с аудио и генерирует текст на финском языке, использует библиотеку NVIDIA NeMo и поддерживает дополнительное beam search-декодирование с 6-граммовой KenLM-моделью для повышения качества. Заявленные значения WER составляют 4,58% на Common Voice, 7,75% на FLEURS, 7,03% на CSS10 и 11,65% на VoxPopuli; качество зависит от типа речи и согласованности нормализации транскриптов. Сильные стороны модели — специализация на финском языке, хорошие результаты на нескольких речевых доменах и поддержка длинных записей с временными метками и диаризацией. Ограничения включают зависимость от NVIDIA NeMo и требовательную инфраструктуру; в документации для окружения тестирования указана NVIDIA GPU с не менее чем 48 ГБ VRAM. Модель распространяется по лицензии MIT.
Fun-ASR-MLT-Nano-2512 — мультиязычная модель распознавания речи из семейства Fun-ASR, разработанного командой FunASR. Чекпойнт содержит около 800 млн параметров и обучен на сотнях тысяч часов многоязычной речи. Он предназначен для преобразования аудио в текст на 31 языке, с особым вниманием к языкам Восточной и Юго-Восточной Азии. Модель поддерживает управление языком распознавания; интерфейс FunASR также предоставляет настройку горячих слов и обратную текстовую нормализацию (ITN). В README приведены результаты для семейства Fun-ASR, но они не относятся непосредственно к этому чекпойнту. Возврат временных меток, диаризация говорящих и обучение модели отмечены как пока не поддерживаемые функции. Для запуска используется библиотека FunASR. Модель распространяется по лицензии Apache-2.0.
Fun-ASR-Nano-2512-GGUF — это квантованные и неквантованные GGUF-версии модели Fun-ASR-Nano-2512, подготовленные handy-computer для работы с transcribe.cpp. Базовая модель разработана Tongyi Lab и распространяется через FunAudioLLM. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой 16 кГц. Модель поддерживает китайский, английский и японский языки, а также семь китайских диалектов и 26 региональных вариантов мандаринского языка. Архитектура включает замороженный SenseVoiceEncoderSmall, двухслойный аудиоадаптер и встроенную языковую модель Qwen3-0.6B; общий объём обучаемых параметров составляет около 800 млн. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 557 МБ до 1,67 ГБ. Поддерживается обратная текстовая нормализация. Сильные стороны модели — высокая точность на английском, китайском и японском языках, компактные квантованные варианты и возможность локального запуска на CPU, Metal или Vulkan через transcribe.cpp. Ограничения: модель не поддерживает потоковую обработку, автоматический перевод, определение языка, временные метки и встроенное разбиение длинных записей на фрагменты. Указана лицензия FunASR Model Open Source License Agreement v1.1.
Fun-ASR-Nano-2512-hf — версия модели распознавания речи Fun-ASR-Nano от FunAudioLLM, подготовленная для работы с библиотекой Transformers. Это плотная end-to-end модель, принимающая аудио и генерирующая текстовую транскрипцию. Она поддерживает китайский, английский и японский языки; для китайского заявлена поддержка семи диалектных групп и 26 региональных акцентов. Обучение проводилось на десятках миллионов часов реальной речи. Модель предназначена для транскрибирования аудио, в том числе китайской речи с региональными особенностями, а также английской и японской речи. Для этого HF-чекпойнта README описывает запуск через нативную поддержку Transformers и генерацию текста. Указанная в карточке лицензия — Apache-2.0. Экспорт не содержит ветвь CTC и поэтому не предоставляет зависящие от неё временные метки и диаризацию говорящих. Проверки README охватывают короткие примеры и отдельные пакетные сценарии; они не являются оценкой точности, скорости или минимальных требований к памяти. Стандартный pipeline automatic-speech-recognition в описанной версии Transformers завершался ошибкой индексации токенов; автор рекомендует использовать указанный в README маршрут через any-to-any или нативные processor/generate API.
handy-computer/gigaam-v3-ctc-gguf — это GGUF-конверсия модели GigaAM-v3, разработанной ai-sage, для запуска в transcribe.cpp. Модель предназначена для офлайн-распознавания русской речи и преобразования аудио в текст с использованием жадного RNN-T-декодирования. Несмотря на идентификатор репозитория, в README указано, что представлен вариант с RNN-T-декодером. В основе лежит 16-слойный Conformer-энкодер; исходная GigaAM-v3 относится к моделям размером 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная версия дообучена для вывода строчных русскоязычных текстов без пунктуации и использует символьный словарь из 33 элементов. Поддерживаются несколько вариантов точности и квантизации: F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M, размер файлов составляет примерно от 183 до 888 МБ. Сильные стороны модели — работа полностью офлайн, поддержка различных уровней квантизации и хорошее качество на русской речи: заявленный WER на полном тестовом наборе FLEURS ru составляет около 8,07–8,12% в зависимости от формата. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка; выдаёт текст без пунктуации и нормализации, а временные метки доступны на уровне токенов. Для работы требуется transcribe.cpp и входной файл WAV с частотой 16 кГц и одним каналом. Лицензия — MIT, унаследованная от базовой модели.
Модель представляет собой GGUF-конверсию GigaAM-v3 для библиотеки transcribe.cpp, подготовленную командой handy-computer на основе ai-sage/GigaAM-v3. Это офлайн-модель автоматического распознавания русской речи с жадным декодированием RNN-T. Она предназначена для преобразования 16 кГц моноаудио в текст и локального запуска без внешней языковой модели или подключения к интернету. В основе используется 16-слойный Conformer-энкодер; исходная модель GigaAM-v3 имеет около 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная конверсия выводит строчные русские тексты без пунктуации, использует словарь из 33 символов и поддерживает токенные временные метки. Потоковая обработка, перевод и автоматическое определение языка не поддерживаются. Доступны варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 183 до 888 МБ. На полном тестовом наборе FLEURS ru из 775 высказываний показатель WER составляет около 8,07–8,12% в зависимости от квантизации. Модель ориентирована на русскую речь в различных доменах, включая естественную речь, колл-центры, фоновую музыку и речь с нетипичными характеристиками. Ограничения включают отсутствие пунктуации и нормализации текста, отсутствие потокового режима и ограничения базового декодирования для длинных аудиофайлов. Модель распространяется по лицензии MIT, унаследованной от базовой модели.
Anilosan15/kani-tts-400m-0.3-tr — турецкая дообученная версия Kani-TTS 400M на архитектуре LFM2. Разработчик адаптировал модель на примерно 61 час многоголосых турецких аудиоданных из публичных YouTube-каналов, подготовленных с сегментацией, очисткой и выравниванием транскриптов. В обучении использованы два голоса, обозначаемые тегами sıla и taha. Модель преобразует текст в турецкую речь и предназначена для озвучивания повествовательных текстов и закадрового голоса. Дообучение нацелено на улучшение турецкого произношения, просодии и естественности; теги голосов позволяют выбирать между двумя голосами. Размер — около 460 млн параметров, нативный контекст — 128 000 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о независимой оценке качества, поэтому пригодность синтеза для конкретных сценариев стоит проверять на собственных текстах. Модель обучена на данных, собранных с публичных YouTube-каналов; условия использования этих аудиоданных в карточке не раскрыты.
Kitten TTS Mini 0.8 (MLX) — конверсия модели синтеза речи KittenML/kitten-tts-mini-0.8 в формат MLX, опубликованная сообществом mlx-community. Модель предназначена для преобразования текста в речь; карточка указывает задачу text-to-speech и формат весов safetensors. Исходные веса были в ONNX; квантованные веса ONNX деквантизировали до float при конверсии для MLX. Модель распространяется по лицензии Apache-2.0. В карточке не описаны поддерживаемые языки, голоса и длина контекста.
Модель Zencastr Laughter Detection разработана Zencastr для обнаружения смеха в разговорной речи, записанной на близко расположенные микрофоны, в частности в подкастах. Она принимает аудио и классифицирует его по кадрам, а затем объединяет оценки в события с приблизительными временными отметками. Входной сигнал преобразуется в лог-мел-спектрограмму на частоте 16 кГц; оценки выдаются с шагом 160 мс на перекрывающихся четырёхсекундных окнах. Модель содержит 113,2 млн параметров и основана на EAT-base, дообученной с LoRA для обнаружения смеха; доступны веса Safetensors и варианты ONNX для CPU и GPU. Модель предназначена для разметки подкастов и разговорных записей, поиска эпизодов смеха и анализа звуковых событий. В README приведены разные режимы настройки порога для приоритета точности или полноты. На тестах, описанных авторами, модель показала высокую точность обнаружения на нескольких разговорных наборах данных, однако порог влияет на баланс ложных срабатываний и пропусков; точность временных отметок ограничена. Проверка параметров проводилась на внутренних подкастных записях Zencastr. Лицензия — MIT.
Maya1 — авторегрессионная модель синтеза речи, разработанная Maya Research и опубликованная на Hugging Face. Она принимает текст вместе с описанием желаемого голоса на естественном языке, например с указанием тембра, высоты, темпа, акцента и манеры речи, и генерирует аудио. Для управления выражением речи поддерживаются встроенные маркеры эмоций и вокальных событий; модель предсказывает дискретные акустические токены SNAC, которые декодируются в звуковую волну. В основе лежит decoder-only трансформер семейства Llama примерно на 3,3 млрд параметров: 28 слоёв, 24 головы внимания и 8 key-value голов. В README заявлены инкрементальная выдача аудио, развёртывание на одной GPU и интеграция с vLLM. Метаданные указывают контекст 131 072 токена и язык карточки en; это не гарантирует одинаковое качество речи на всех языках. Модель предназначена для озвучивания текста с настраиваемым голосом и выразительной подачей, в том числе в голосовых интерфейсах и службе поддержки. Лицензия — Apache 2.0. Ограничения включают вариативность произношения и разборчивости между языками и акцентами, приблизительное следование описаниям голоса, возможные пропуски, повторы и ошибки в именах или числах, а также снижение согласованности на длинных фрагментах. Маркеры выражения не задают точные временные границы, длительность или интенсивность. Для развёртывания нужны вычислительные ресурсы и отдельные меры защиты и контроля приложения.
plaincompute/mlx-MOSS-Transcribe-Diarize-8bit — восьмибитная версия MOSS-Transcribe-Diarize для запуска через MLX на Apple Silicon. Веса текстовой части модели квантизированы методом MLX affine quantization с bits=8 и group_size=64; аудиоэнкодер Whisper и VQ-адаптер не квантизированы. Репозиторий основан на vanch007/mlx-MOSS-Transcribe-Diarize. Модель предназначена для распознавания речи из аудиофайлов и разделения транскрипта по говорящим. Метаданные указывают задачу automatic-speech-recognition и поддержку speaker diarization. Используется архитектура MossTranscribeDiarizeForConditionalGeneration с аудиоэнкодером Whisper. Лицензия — Apache-2.0.
hts98/Model2 — модель автоматического распознавания речи на архитектуре Whisper с 455,8 млн параметров. Разработчик указывает, что модель дообучена на основе hts98/Model1; задача обучения названа, но набор данных обозначен как None. Модель принимает аудио и генерирует текстовую транскрипцию. Она распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит сведений о целевых языках, сценариях применения, результатах оценки или известных ограничениях. Поэтому качество распознавания и пригодность для конкретных типов аудио по имеющимся данным определить нельзя.
Moonshine Streaming Small — German — это модель распознавания немецкой речи от Moonshine AI. Она принимает аудио и выдаёт текстовую расшифровку; потоковая архитектура сочетает временной аудиофронтенд с частотой 50 Гц и Transformer-энкодер со скользящими окнами, поэтому транскрипцию можно получать по мере поступления речи. В README указано 112,9 млн параметров, тогда как метаданные каталога сообщают 48,2 млн; точный размер здесь не приводится из-за расхождения источников. Модель использует немецкий токенизатор на 12 288 токенов и предназначена для локального запуска на устройствах с ограниченными ресурсами. Чекпойнт Stage B дообучен на весах Stage A; репозиторий содержит конвертированный файл safetensors. Обучающие данные включают большой корпус подкастов с автоматическими псевдоаннотациями и меньший набор расшифрованной речи. В тестах на двух наборах немецкой читаемой речи макро-WER составил 7,35 при указанном в README правиле остановки. Лицензия — MIT. Модель может ошибаться в именах собственных, числах и переключениях между языками, поскольку большая часть обучающих расшифровок создана автоматически. Она склонна к повторениям на коротких или зашумлённых записях; в README рекомендуется ограничивать длину вывода. Качество не оценивалось на телефонной речи, детской речи, сильных диалектах и шумных дальних записях.
simran14/mr-val-f2 — дообученная модель распознавания речи на архитектуре Whisper, разработанная на базе simran14/mr-val-e. Она предназначена для преобразования аудиозаписей в текст; в метаданных указан датасет Common Voice 17.0. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors. В README приведён результат оценки WER 0,5368 на тестовом наборе, однако подробности протокола оценки и условия применения не описаны. Лицензия в предоставленных данных не указана.
naflexclap_base_pf8_pt16_moderntext.160m — чекпойнт семейства NaFlexCLAP, опубликованный rwightman. Модель предназначена для сопоставления аудио и текстовых описаний и классификации звуков без дообучения на целевых классах: пользователь задаёт названия классов или текстовые запросы, а модель оценивает их соответствие аудиозаписи. README сообщает о 160,6 млн параметров и описывает аудиобашню с конфигурацией 768/12/12 и текстовую башню с двунаправленным кодированием, MAP-пулингом и нормализацией QK; веса доступны в форматах PyTorch и safetensors. В README приведены сравнительные оценки на наборах CLAP и MAEB, включая ESC-50, UrbanSound и задачи поиска по аудио и тексту. Результаты классификации чувствительны к формулировке текстового шаблона, поэтому качество может заметно меняться при изменении prompt. Карточка не указывает языки модели или её контекстное окно. Лицензия — MIT.
pyannote/overlapped-speech-detection — открытая модель для обнаружения участков аудиозаписи, в которых одновременно говорят два или более человека. Она разработана для экосистемы pyannote.audio; среди авторов и разработчиков указаны Hervé Bredin, Antoine Laurent и участники команды pyannote.audio. Модель предназначена для анализа многоголосой речи и может использоваться как компонент систем автоматической диаризации, распознавания речи и обработки записей встреч, разговоров и других аудиоданных с перекрывающейся речью. Результатом работы является временная шкала интервалов, в которых обнаружена одновременная активность нескольких говорящих. Модель работает с аудио; сведения о поддерживаемых языках, размере, точной архитектуре и максимальной длине контекста в README не указаны. Pipeline основан на pyannote.audio 2.1 и обучался или оценивался с использованием данных AMI, DIHARD и VoxConverse. Сильная сторона модели — специализированное обнаружение перекрывающейся речи, полезное для последующей overlap-aware resegmentation и повышения качества анализа многоголосых записей. Ограничения включают отсутствие в README подробных количественных метрик, информации о языковой универсальности, вычислительных требованиях и гарантируемой производительности в конкретных условиях. Модель распространяется под лицензией MIT, однако для использования через указанный pipeline требуется принять условия доступа к модели pyannote/segmentation на Hugging Face и применить токен доступа.
Parakeet TDT 0.6B V3 GGUF — квантованная сборка модели автоматического распознавания речи NVIDIA Parakeet TDT 0.6B V3, подготовленная в формате GGUF Q4_K_M. Модель предназначена для преобразования речи в текст и использования в приложении Vibe, где она работает совместно с Silero VAD для транскрибации ограниченных по длительности и длинных аудиозаписей. В README указано, что это модель размером 0,6 млрд параметров в GGUF-представлении; сведения о поддерживаемых языках, точной архитектуре, максимальном контексте, модальностях и показателях качества не приведены. Ключевое преимущество — адаптация для локального использования через Vibe и совместимость с механизмом определения речевой активности. Ограничения по качеству, производительности и аппаратным требованиям не описаны. Для исходной модели указана лицензия CC-BY-4.0; перед использованием следует ознакомиться с условиями этой лицензии.
BuzzASR Polish — одноязычная модель автоматического распознавания польской речи, разработанная в рамках набора BuzzASR и дообученная полным циклом на основе openai/whisper-large-v3. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 907,3 млн параметров; для польского заменён токенизатор, а при дообучении применялись речевые и текстовые данные. Модель предназначена для преобразования польской речи в текст, например для транскрибации записей и аудио. В README приведены результаты на тестовых выборках FLEURS и Common Voice 25.0; на объединённой выборке указаны CER 7,75% и WER 23,31%. Лицензия модели — MIT. Модель рассчитана только на польский язык. README предупреждает, что качество на других предметных областях и диалектах может отличаться от результатов на использованных тестовых наборах.
pyannote/segmentation — открытая модель семейства pyannote-audio для сегментации речи по говорящим, разработанная командой pyannote. Она предназначена для обнаружения речевых фрагментов, речи нескольких говорящих одновременно и уточнения временных границ сегментов, в том числе при повторной сегментации результатов VBx. Модель принимает аудио и выдаёт оценки по временным участкам, используемые для этих задач. Модель реализована на PyTorch и используется через pyannote.audio; README указывает версию 2.1.1. Карточка описывает воспроизводимые эксперименты на наборах AMI Mix-Headset, DIHARD3 и VoxConverse. Для загрузки требуется принять условия доступа на Hugging Face и использовать токен. Лицензия — MIT. README предупреждает, что для промышленного применения pyannoteAI предлагает более быстрые и качественные варианты. Приведённые параметры обработки зависят от набора данных, поэтому качество на других записях может отличаться.
senga-nt-canon-mat-tts — дообученная модель Microsoft SpeechT5 для синтеза речи по тексту. В метаданных указаны архитектура SpeechT5, библиотека Transformers и формат весов safetensors; README сообщает значение loss 0,2274 на наборе оценки. Модель предназначена для преобразования текста в аудио. Подробности о голосе, языках синтеза, данных обучения и практических сценариях в карточке не раскрыты. Использование регулируется лицензией MIT.