I.9Аудио и музыка

Модель Gabor Madarasz — система автоматического распознавания речи на венгерском языке, дообученная на базе facebook/mms-1b-all. Она использует архитектуру Wav2Vec2ForCTC с 1,3 млрд параметров и предназначена для преобразования венгерской речи в текст. Модель рассчитана на запись речи одного говорящего, например подкасты, аудиокниги и другие чёткие аудиозаписи. В карточке приведены результаты тестирования: WER 19,93% и CER 5,19% на тестовой части FLEURS для венгерского языка, а также WER 16% на 500 отложенных примерах Common Voice. Для уменьшения ошибок распознавания похожих по звучанию слов рекомендуется декодирование с языковой моделью, например KenLM через beam search. Лицензия — CC0-1.0.

Wav2Vec_VinData — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. В README приведены результаты оценки: WER 0,3143, CER 0,1316 и loss 0,8569. Данные обучения и оценки, целевой язык и предполагаемые сценарии применения не описаны, поэтому эти результаты не позволяют определить качество модели для конкретного языка или условий записи. Модель распространяется по лицензии Apache-2.0.

microsoft/wavlm-base-plus-sd — модель Microsoft для диаризации речи, дообученная на базе WavLM-Base-Plus. Она принимает речевой сигнал с частотой дискретизации 16 кГц и выдаёт покадровые предсказания для различения говорящих. Модель основана на архитектуре Transformer из семейства WavLM и содержит 113,3 млн параметров. Базовый WavLM предварительно обучен на Libri-Light, GigaSpeech и VoxPopuli с использованием самообучения, учитывающего содержание речи и идентичность говорящего. Для диаризации эту версию дообучили на LibriMix, добавив линейный классификационный слой. Она предназначена для анализа записей с несколькими говорящими; заявленная задача — классификация аудиокадров. Модель ориентирована на английскую речь. В описании не приведены метрики качества или подробности о работе с перекрывающейся речью и шумом. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

handy-computer/whisper-base.en-gguf — это конвертация англоязычной модели OpenAI Whisper base.en в формат GGUF для работы с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст. Это encoder-decoder Transformer, обрабатывающий аудио окнами по 30 секунд и поддерживающий пакетированное декодирование длинных записей. Модель ориентирована на сценарии локальной транскрибации английской речи, включая обработку WAV-файлов с частотой 16 кГц и монофоническим каналом. Доступны варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M; их размер составляет от 59 до 292 МБ. Для LibriSpeech test-clean заявленная ошибка распознавания WER составляет от 4,13% до 4,30% в зависимости от варианта. Модель не поддерживает потоковую обработку, перевод речи, автоматическое определение языка и выдаёт сегментные временные метки. Преимуществами являются компактные квантизованные варианты, возможность использования через transcribe.cpp и близкое к исходной модели качество распознавания при существенно меньшем размере. Основные ограничения — поддержка только английского языка, отсутствие потокового режима и функций перевода, а также зависимость качества и скорости от выбранного уровня квантизации и оборудования. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели OpenAI.

BauyrjanQ/whisper-kk — модель распознавания речи на базе Whisper-small от OpenAI, дообученная для автоматического преобразования речи в текст. Она подходит для транскрибирования аудио; в README приведена оценка WER 24,8145 на тестовом наборе, однако датасет и условия оценки не описаны. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и формат PyTorch. Репозиторий создан 7 июля 2023 года. Лицензия — Apache-2.0.

Finnish-NLP разработала эту модель как дообученную на финских данных версию OpenAI Whisper Large V3 для распознавания финской речи. Модель семейства Whisper содержит около 905,2 млн параметров и принимает аудио, выдавая распознанный текст; она доступна в формате Safetensors и рассчитана на использование с Transformers. Модель предназначена для транскрибирования финской речи. В карточке приведены результаты на тестовых наборах Common Voice 11 и Google Fleurs: после 32 000 шагов дообучения WER составил 8,23 на Common Voice 11 и 8,21 на Fleurs. Используется лицензия Apache 2.0.

mlx-community/whisper-large-v3-turbo — модель автоматического распознавания речи, преобразованная в формат MLX из large-v3-turbo. Разработчик исходной модели в README не указан, как и подробности об архитектуре, размере, поддерживаемых языках и длине контекста. Модель предназначена для транскрибирования аудиофайлов в текст с использованием библиотеки mlx-whisper и может применяться в сценариях автоматического распознавания речи на совместимом с MLX оборудовании. Сильной стороной является адаптация к экосистеме MLX, однако доступные данные не позволяют оценить точность, производительность, языковое покрытие и ограничения модели. Лицензия в README не указана.

Это англоязычная версия модели OpenAI Whisper small, преобразованная командой handy-computer в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст, включая обработку длинных аудиозаписей с декодированием по фрагментам. Поддержка потоковой обработки, перевода и автоматического определения языка отключена; доступны сегментные временные метки. Модель построена на архитектуре Transformer encoder-decoder и обрабатывает аудио окнами длительностью 30 секунд. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 172 до 969 МБ. На тестовой выборке LibriSpeech test-clean заявленная частота ошибок слов составляет 2,97–3,11% в зависимости от варианта квантования. Квантованные версии требуют меньше памяти и могут быть удобнее для локального запуска, но точность зависит от выбранного формата и условий обработки. Модель ориентирована только на английский язык и не предназначена для перевода или мультиязычного распознавания. Для работы требуется transcribe.cpp; входные данные должны быть представлены как монофонический WAV с частотой 16 кГц либо предварительно преобразованы в этот формат. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Whisper-squeezeformer-v9_train_CM — дообученная на Common Voice модель распознавания речи на основе Whisper-small от OpenAI. Она предназначена для преобразования аудио в текст; в README приведён результат оценки на тестовом наборе: WER 16,4239 и loss 0,4028. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors. Метаданные указывают английский язык. Лицензия — Apache-2.0. Подробности о целевом варианте английского языка, настройках обучения и ограничениях применения в карточке не приведены.

patrickvonplaten/xls-r-300m-sv-cv8 — модель распознавания речи на базе wav2vec 2.0 XLS-R, дообученная на шведской части набора Mozilla Common Voice 8.0 (sv-SE). Она принимает аудио и преобразует речь в текст; архитектура использует CTC. На оценочной выборке карточка сообщает WER 0,2525 и loss 0,2779. Модель рассчитана на автоматическую транскрипцию шведской речи. Распространяется по лицензии Apache-2.0.

bilalRHCH/Arabic-text-to-speech — дообученная на базе Qwen/Qwen3-0.6B модель OmniVoice для синтеза речи из текста. Она поддерживает арабский язык и относится к многоязычному семейству OmniVoice, которое заявляет поддержку более 600 языков. Модель принимает текст и генерирует речь; поддерживает zero-shot клонирование голоса по короткому аудиопримеру и настройку голоса по атрибутам, включая пол, возраст, высоту голоса и акцент. Также заявлены управление невербальными звуками и коррекция произношения с помощью фонем или pinyin. В README указана архитектура в стиле diffusion language model и скорость синтеза до 40 раз выше реального времени. Карточка описывает возможности семейства OmniVoice, поэтому точные характеристики реализации именно этой версии могут отличаться. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

Audio8-ASR-0.1B ONNX Runtime — локальный пакет распознавания речи, связанный с основной моделью Audio8-ASR-0.1B. Он включает ONNX-графы и средства инференса через ONNX Runtime, а также веб-интерфейс, локальный HTTP API и CLI для транскрибирования аудиофайлов. Модель автоматически определяет язык речи; заявлена поддержка английского, китайского, кантонского, французского, японского, немецкого и корейского языков. Пакет содержит варианты графов декодера fp32, int8 и int4, а аудиобашни — fp32 и int8. По умолчанию используются int8 для декодера и аудиобашни; есть опциональное усиление заданных ключевых слов при декодировании. Репозиторий предназначен для локального инференса на CPU через ONNX Runtime; для GPU требуется совместимый пакет ONNX Runtime GPU и доступный провайдер. Для работы аудио преобразуется в моно и передискретизируется до 16 кГц. Runtime обрезает аудио длиннее 30 секунд, а контекст декодера ограничен 512 токенами. Сильное усиление ключевых слов может приводить к ошибочным вставкам или повторам. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.

Карточка модели theoracleguy/diar_streaming_sortformer_4spk-v2.1-fp32 на Hugging Face совпадает с карточкой mlx-community/diar_streaming_sortformer_4spk-v2.1-fp32, поэтому описание составлено по ней. Это потоковая модель диаризации речи Sortformer, преобразованная сообществом mlx-community из модели NVIDIA diar_streaming_sortformer_4spk-v2.1 в формат MLX с помощью mlx-audio 0.3.2. В основе архитектура FastConformer из 17 слоёв, энкодер Transformer из 18 слоёв и модули Sortformer; модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятности активности говорящих для каждого кадра. Она рассчитана на потоки и записи с числом говорящих до четырёх, используя кэш говорящих и контекст для обработки длинных потоков и границ аудиофрагментов. Модель подходит для разметки того, кто и когда говорит в аудиозаписи или потоке, а также для определения активности речи. README описывает веса в формате MLX, распространяемые как safetensors; для работы используется библиотека mlx-audio. Это конверсия исходной модели NVIDIA, а не самостоятельное дообучение. README отсылает к карточке исходной модели за дополнительными сведениями; лицензия и языковая специализация в предоставленных данных не описаны.

FL33TW00D-HF/distil-whisper-large-v3 — это конвертация модели distil-whisper/distil-large-v3-ggml из формата GGML в пользовательский формат Ratchet. Разработчик и автор конвертации в карточке обозначены как FL33TW00D-HF; исходная модель связана с проектом distil-whisper. README не содержит подробных сведений об архитектуре, размере, модальностях, языках, длине контекста, назначении, сильных сторонах или ограничениях модели. Из названия и ссылки можно предположить принадлежность к семейству Distil-Whisper, однако конкретные характеристики этой версии в карточке не подтверждены. Модель распространяется по лицензии Apache-2.0.

allendou/FireRedASR2-LLM-vllm — версия модели распознавания речи FireRedASR2-LLM, выпущенной командой FireRedASR2. Это система ASR на основе архитектуры Encoder-Adapter-LLM: аудиокодировщик и адаптер передают представление речи языковой модели Qwen2. Размер модели — 7,1 млрд параметров, контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и ориентирован на запуск через vLLM. Модель преобразует речь в текст на китайском языке, включая мандаринский диалект и более 20 региональных акцентов, и на английском; поддерживает смешение китайского и английского языков, а также распознавание текста песен. В описанных авторами тестах средняя ошибка распознавания составила 2,89% CER для мандаринского китайского и 11,55% CER для китайских диалектов. Эти показатели относятся к указанным тестовым наборам и не гарантируют такое же качество на произвольной записи. Лицензия Apache-2.0 допускает коммерческое использование с соблюдением её условий.

FunAudioLLM/fsmn-vad-GGUF — это GGUF-версия модели FSMN-VAD из экосистемы FunASR, подготовленная для запуска через FunASR llama.cpp runtime. Модель предназначена для детектирования участков речи в аудиозаписях и сегментации длинного аудио перед распознаванием речи. Модель использует FSMN-энкодер и CMVN, занимает около 1,7 МБ и рассчитана на работу на CPU и периферийных устройствах без Python, в виде нативного C++-компонента на базе ggml/GGUF. Она поддерживает китайский и английский языки, а границы сегментов, согласно README, совпадают с PyTorch-фронтендом fsmn-vad примерно в пределах 10 мс. Модель удобна для потоковой или локальной подготовки аудио к ASR, включая использование с инструментами FunASR, SenseVoice и Paraformer через параметр --vad. Она не выполняет распознавание речи самостоятельно и требует совместимого FunASR llama.cpp runtime. Распространяется по лицензии Apache-2.0.

cstr/gigaam-v3-GGUF — это набор конвертированных и квантизированных представлений модели GigaAM-v3, разработанной ai-sage. Модель предназначена для автоматического распознавания русской речи и транскрибации аудиозаписей, в частности для использования с backend gigaam в CrispASR. Репозиторий содержит только преобразование формата и численного представления весов без обучения, дообучения или изменения архитектуры и возможностей исходной модели. GigaAM-v3 — Conformer-модель примерно на 220 млн параметров, предварительно обученная на около 700 тыс. часов русской речи с целью HuBERT-CTC. Доступны варианты с головами RNN-T и CTC, а также SentencePiece-вокабуляром или посимвольным кириллическим вокабуляром. Варианты e2e поддерживают пунктуацию, регистр и inverse text normalization; посимвольные варианты выдают строчные буквы без пунктуации. Форматы f16, q8_0 и q4_k занимают примерно 449–154 МБ. Аудио должно быть монофоническим с частотой 16 кГц, а практическое окно обработки составляет около 25 секунд. Вариант e2e-rnnt-q8_0 рекомендуется как наиболее точный и сбалансированный: он показывает средний WER 8,4%, сохраняет результаты PyTorch-эталона и обеспечивает меньший размер по сравнению с f16. CTC быстрее декодируется, а q4_k экономит память, но может немного снижать точность регистра и пунктуации. Длинные записи требуют нарезки, обычно выполняемой средствами VAD и chunking в CLI; модель использует полное внимание с квадратичной сложностью по длине последовательности. Распространение выполняется по лицензии MIT, унаследованной от исходной модели.

HeartMuLa-oss-3B-happy-new-year — модель генерации музыки, разработанная командой HeartMuLa. Она предназначена для создания музыки по текстовому описанию и управляемой генерации песен с текстом; авторы отмечают качество музыки и управляемость текстом как ключевые характеристики. В метаданных указаны архитектура HeartMuLa с плотной моделью и веса в формате safetensors. Модель распространяется по лицензии Apache 2.0. В карточке перечислена поддержка китайского, английского, японского, корейского и испанского языков. Подробности о длине контекста, параметрах запуска и ограничениях качества в доступных материалах не приведены.

aadel4/kid-whisper-medium-en-myst — модель автоматического распознавания речи на базе OpenAI Whisper medium-en, дообученная на наборе Myst Train длительностью 125 часов. Она преобразует аудио в текст и предназначена для транскрибирования речи; в README приведена оценка WER 8,31 на Myst Dev длительностью 20,9 часа. Модель имеет архитектуру WhisperForConditionalGeneration и около 455,8 млн параметров, распространяется в формате PyTorch и использует библиотеку Transformers. Лицензия — Apache-2.0.

Marvis-AI разработала Marvis TTS — компактную модель синтеза речи для потокового и разговорного озвучивания текста на устройствах пользователя. Модель основана на архитектуре Sesame CSM-1B: мультимодальный трансформер обрабатывает чередующиеся текстовые и аудиотокены RVQ с кодеком Kyutai Mimi. По карточке модель содержит 265 млн параметров; контекст — 2048 токенов. Репозиторий распространяет веса в формате safetensors, библиотека — Transformers, лицензия — Apache-2.0. Модель предназначена для потокового преобразования текста в речь с естественной интонацией и непрерывной подачей, без предварительного разбиения текста на фрагменты. Её можно применять в голосовых помощниках, озвучивании контента, средствах доступности и разговорных приложениях. Карточка указывает оптимизацию прежде всего для английского; в метаданных также отмечен английский язык. README описывает работу с голосовым клонированием по короткой эталонной записи и развёртывание на мобильных и настольных устройствах. Качество клонирования зависит от чистоты и разборчивости эталонной аудиозаписи, а шум ухудшает результат. Модель может ошибочно произносить новые слова, особенно в коротких фразах; для языков, кроме английского, качество может быть ниже. Пользователь отвечает за соблюдение законодательства и получение согласия при синтезе или клонировании голоса.

MiDashengLM-7B-1021-GGUF — аудиоязыковая модель MiSpeech, представленная в виде GGUF-сборок для локального запуска. Это производная модель, связанная с Qwen/Qwen2.5-Omni-7B и mispeech/dasheng-0.6B; README указывает на fp32-версию как источник конвертированных GGUF-файлов. Модель принимает аудио и текстовые инструкции и формирует текстовые ответы в диалоге. Модель предназначена для описания аудио, распознавания речи, классификации звуков и паралингвистических признаков, а также ответов на вопросы по аудио. В README приведены результаты на тестах музыкальных и звуковых подписей, ASR, классификации и аудиовопросов. Доступны варианты GGUF в точностях от BF16 и F32 до низкобитных квантований. Для запуска требуется форк llama.cpp разработчиков; лицензия репозитория — Apache-2.0.

MOSS-Transcribe-Diarize LiteRT — это порт модели OpenMOSS-Team/MOSS-Transcribe-Diarize, опубликованный Luigi и предназначенный для автоматического распознавания речи с одновременной диаризацией говорящих и разметкой временных интервалов высказываний. Модель обрабатывает аудио и генерирует текст с тегами говорящих и временными метками; заявлены поддерживаемые языки Chinese и English. Архитектура объединяет Whisper-medium encoder, модуль VQAdaptor и 4-кратное объединение временных отсчётов с языковой частью на базе Qwen3-0.6B. Исходная модель имеет размер около 0,9 млрд параметров. Реализация LiteRT разделена на encoder, embedder и decoder в формате TFLite; производственный набор использует int8-квантизированные encoder и embedder и int4 decoder. Доступны варианты f32, fp16, q8 и int4, включая конфигурации с KV cache для окон длительностью примерно до 90 секунд или более, в зависимости от варианта. Сильные стороны модели — единый конвейер распознавания речи и определения говорящих, точное соответствие эталонной PyTorch-реализации для f32-варианта и высокая близость к ней для квантизированных версий. Версия v2 с QAT повышает устойчивость int4-модели к тишине и устраняет зацикленные галлюцинации на беззвучных фрагментах. Ограничения включают заметные требования к памяти и вычислительным ресурсам, зависимость производительности от явной настройки числа CPU-потоков и снижение точности при агрессивной квантизации. Для Android GPU рекомендуется fp16, а для CPU — q8 или int4. Лицензия Apache-2.0.

Карточка модели pytror/musicgen-small на Hugging Face совпадает с карточкой facebook/musicgen-small, поэтому описание составлено по ней. MusicGen Small — модель генерации музыки по текстовому описанию, разработанная командой FAIR в Meta AI. Это версия семейства MusicGen с 300 млн параметров, построенная на авторегрессионном Transformer и аудиотокенизаторе EnCodec: модель предсказывает четыре кодбука аудио за один проход. Она обучена на аудиоданных с частотой 32 кГц и генерирует музыку по текстовым подсказкам; в README также описан режим с аудиоподсказкой для семейства MusicGen, но этот чекпойнт предназначен для генерации по тексту. Модель подходит для создания музыкальных фрагментов по описанию жанра, настроения или инструментов, а также для изучения управляемой генерации музыки. Лучше реагирует на английские описания. Модель не генерирует реалистичный вокал, может затихать до окончания фрагмента и не одинаково хорошо охватывает разные музыкальные стили и культуры; для получения нужного результата может потребоваться подбор формулировки запроса. Веса распространяются по лицензии CC-BY-NC 4.0, код — по MIT; для прикладного использования авторы рекомендуют отдельно оценивать риски.

NaFlexCLAP mediumd pf4 pt20 moderntextp — чекпойнт аудиотекстовой модели CLAP из семейства NaFlexCLAP; в карточке приведены результаты сравнительных тестов, но разработчик модели явно не назван. Модель содержит около 139,7 млн параметров. Аудиобашня имеет ширину 512, 20 слоёв и 8 голов внимания, использует gated attention; карточка описывает также текстовую башню, но не сообщает модальности через конкретный формат входа или выходов.

OmniVoice-BG — модель синтеза болгарской речи, разработанная автором репозитория preslaff и дообученная на аудиокнижной речи из набора raditotev/bg-audiobooks-tts. Она предназначена для озвучивания болгарского текста с более естественным, близким к речи носителей произношением, чем у базовой OmniVoice. Модель можно использовать как замену весов OmniVoice при синтезе речи; для исправления лексического ударения и постоянства голоса нужны отдельные компоненты системы OmniVoice-BG, работающие при обслуживании запросов. Архитектура OmniVoice использует диффузионное предсказание codec-токенов Higgs Audio V2; базовый backbone — Qwen3-0.6B. Выход — монофоническая речь с частотой 24 кГц. Опубликованы веса safetensors в формате float32. Модель распространяется по лицензии Apache-2.0. README сообщает о выборе чекпойнта с наилучшей валидационной потерей и подтверждении качества сравнительным прослушиванием, но не приводит количественных оценок качества синтеза.

Parakeet CTC 0.6B GGUF — это квантизированные GGUF-версии модели автоматического распознавания речи parakeet-ctc-0.6b, разработанной совместно командами NVIDIA NeMo и Suno.ai и подготовленной для работы с transcribe.cpp. Модель предназначена для офлайн-транскрибации английской речи в текст на 16 кГц моноаудио с использованием жадного CTC-декодирования без внешней языковой модели. В основе модели лежит FastConformer-Large примерно на 600 млн параметров с линейной CTC-головой. Поддерживается только английский язык; результат выводится строчными буквами без пунктуации. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка, но может возвращать токеновые временные метки. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 469 МБ до 2,44 ГБ. На наборе LibriSpeech test-clean показатель WER составляет 1,84–1,90% в зависимости от квантизации. Сильные стороны модели — высокая точность распознавания английской речи, простой и быстрый CTC-декодер, а также возможность локального запуска через transcribe.cpp на CPU, Metal или Vulkan. Ограничения включают работу только с английским языком, отсутствие пунктуации, перевода и потокового режима. Модель распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели NVIDIA.

bofenghuang/phonemizer-wav2vec2-ctc-french — модель распознавания французской речи, построенная на архитектуре wav2vec2 с выходной CTC-головой. В метаданных указано 402,7 млн параметров; модель опубликована в формате safetensors и использует аудио на входе. Модель предназначена для преобразования аудиозаписей на французском языке в текст. В карточке указан датасет Mozilla Common Voice 13.0. Лицензия — MIT. README содержит только краткое указание на инференс аудио и не описывает подробности качества или ограничения.

A7oad/qaf-tasmi-v6 — модель автоматического распознавания речи, опубликованная пользователем A7oad на Hugging Face. Она построена на архитектуре wav2vec2 с классом Wav2Vec2ForCTC и содержит около 402,8 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст; для загрузки указана библиотека Transformers. Карточка модели создана автоматически и не сообщает о языках, данных обучения, оценках качества или конкретных условиях применения. Лицензия в карточке не указана. Поэтому пригодность для отдельных языков и акустических условий по доступным сведениям оценить нельзя.

Xenova/speecht5_tts — модель синтеза речи на основе Microsoft SpeechT5, адаптированная сообществом Xenova для работы в Transformers.js. Репозиторий содержит ONNX-веса, совместимые с JavaScript-средой и веб-приложениями. Для генерации полного аудиосигнала используется отдельный вокодер SpeechT5 HiFi-GAN. Модель преобразует текст в речь и поддерживает управление характеристиками голоса через speaker embeddings. Она предназначена для озвучивания текста в браузере или Node.js, создания голосовых интерфейсов и других приложений text-to-speech. В примере используется частота дискретизации 16 кГц; выход представлен как аудиомассив Float32Array. Доступны варианты вычислений fp32, fp16, q8 и q4, что позволяет выбирать между качеством, скоростью и потреблением памяти. В README не указаны точный размер модели, языковой охват, максимальная длина контекста и дополнительные модальности. Для получения наилучшей точности рекомендуются не квантизированные веса fp32. Модель требует токенизатор, процессор, speaker embeddings и вокодер, поэтому сама по себе не является полностью автономным генератором аудио. Лицензия в предоставленных данных не указана.

OK923/ultimate_wav2vec2_aug — модель распознавания речи на основе архитектуры Wav2Vec2, опубликованная OK923. Это версия с дообучением на наборе данных, который в карточке не описан. Модель содержит 402,8 млн параметров и предназначена для преобразования аудиоречи в текст; для работы используется библиотека Transformers. В карточке приведены результаты оценки: loss 0,2547 и WER 0,3097. Эти значения относятся к неописанному набору оценки, поэтому их нельзя напрямую переносить на другие данные и сценарии. Модель распространяется под лицензией Apache-2.0.