I.9Аудио и музыка

Mercury-T1 — экспериментальная модель речи в режиме полного дуплекса, дообученная для диалога с учётом времени реплик. Автор и базовая модель в карточке не названы; чекпойнт опубликован под кодовым именем, пока связанная с ним статья проходит анонимное рецензирование. Модель обучали два эпохи на 4 440 синтетически созданных полнодуплексных диалогах; временные метки слов получены принудительным выравниванием отрендеренной аудиозаписи. Она принимает аудио и предназначена для речевого диалога с временной структурой. Кадры имеют длительность 80 мс, частота аудио — 24 кГц. В README приведены измерения согласованности текста и аудио на 100 отложенных диалогах, однако некоторые значения для этого чекпойнта отсутствуют; для базовой модели указаны полнота слов 79,1% и 6 серьёзных несовпадений из 100. Данные, код обучения и скрипты оценки не опубликованы, поэтому результаты трудно независимо проверить. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

gslm-scaling-155m-3p1b — компактная плотная TransformerLM-модель из работы *Scaling Properties of Speech Language Models* (EMNLP 2024). Репозиторий содержит только веса FP32: 154 680 320 параметров. Модель обучалась на 3 070 080 000 токенах, предсказывая последовательности акустических единиц mHuBERT, полученных кластеризацией K-means на 25 Гц; словарь содержит 500 единиц, а также специальные токены EOS и PAD. Модель предназначена для исследования и генерации последовательностей речевых токенов. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования сгенерированных единиц в аудио требуется отдельный вокодер, который в репозитории не поставляется. Веса распространяются по лицензии Apache-2.0.

gslm-scaling-85m-8p5b — исследовательский речевой языковой трансформер, опубликованный Tiago Cuervo как контрольная точка для работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит 85 339 392 параметра и обучалась на 8,528 млрд токенов. Доступны веса FP32 в формате safetensors; лицензия — Apache-2.0. Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: объединённые подряд одинаковые кластеры K-means из слоя 11 mHuBERT с частотой 25 Гц и словарём из 500 кластеров. Её используют для генерации таких единиц и изучения масштабирования речевых языковых моделей. README приводит оценки на sBLIMP и sStoryCloze/tStoryCloze. Вокодер в комплект не входит, поэтому для преобразования предсказанных единиц в слышимую речь нужны дополнительные артефакты.

Mercury-M10 — экспериментальный чекпойнт модели RaonDuplex для полнодуплексного преобразования речи в речь, дообученный для диалога с учётом временных меток. По карточке, модель обучали два эпоха на 4 440 синтетически созданных полнодуплексных диалогах; временные метки слов получены принудительным выравниванием озвученного аудио. Модель работает с аудио с частотой 24 кГц, кадры имеют длительность 80 мс (12,5 кадра в секунду). Авторы сообщают об оценке согласованности текста и аудио на 100 диалогах, однако в таблице часть результатов отсутствует, а сравнение не использует эталонную расшифровку. Чекпойнт опубликован под кодовым именем на время анонимного рецензирования; обучающий код, данные и скрипты оценки не предоставлены. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Mercury-M21 — экспериментальная модель полного дуплексного преобразования речи в речь, дообученная для диалога с учётом времени. Чекпойнт основан на базовой модели из серии абляций fd-tico; автор выпустил его под кодовым названием, пока связанная с ним статья проходит анонимное рецензирование. Модель принимает аудио и генерирует аудио; кадры обрабатываются с частотой 12,5 кадра в секунду, частота аудио — 24 кГц. Модель обучали два эпохи на 4 440 синтетических полнодуплексных диалогах; временные метки слов получены принудительным выравниванием синтезированного аудио. В карточке приведены измерения согласованности текста и аудио на 100 диалогах, однако в таблице есть пропуски, и оценка не использует эталонные расшифровки. Обучающий код, данные и скрипты оценки не опубликованы. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Wav2Vec2-Ru-Child — модель автоматического распознавания русской речи, разработанная Dysata и дообученная на вручную транскрибированных записях детского чтения. Она основана на архитектуре wav2vec2 с CTC-декодированием и предназначена для распознавания детской речи, побуквенного выравнивания эталонного текста с аудио и анализа произношения. В карточке указаны 24 трансформерных слоя, 16 голов внимания и размер словаря 37 токенов: буквы русского алфавита и служебные символы. Метаданные каталога сообщают о 402,7 млн параметров; README приводит другую оценку — около 317 млн. Для оптимального качества модель рассчитана на русские аудиозаписи WAV с частотой 16 кГц. Скрытые состояния последнего слоя можно использовать как признаки для отдельного классификатора произношения. Модель ориентирована на детскую речь и может хуже распознавать взрослых говорящих; поддерживается только русский язык. Репозиторий распространяется под лицензией MIT.

DistilGPT2-Beatles-Lyrics-finetuned — языковая модель семейства GPT-2, дообученная на наборе Huggingartists - Beatles. Она продолжает заданный текст и создаёт фрагменты, стилизованные под лирику The Beatles, поэтому подходит для творческих экспериментов и генерации текстов по подсказке. Архитектура — GPT2LMHeadModel; модель распространяется в формате PyTorch и рассчитана на контекст до 1024 токенов. Указана лицензия Apache-2.0. Карточка не сообщает об оценках качества или ограничениях сверх специализации на текстах в стиле Beatles.

gslm-scaling-155m-4p9b — исследовательский чекпойнт модели GSLM, опубликованный как конечная точка кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Разработчик карточки — tiagoCuervo. Модель содержит 154 680 320 параметров; это веса FP32 в формате safetensors, обученные на 4 933 120 000 токенах. Архитектура — плотный TransformerLM из библиотеки slm-research. Модель авторегрессионно генерирует последовательности дискретных речевых единиц: свёрнутые последовательные кластеры кодбука K-means модели mHuBERT слоя 11 с частотой 25 Гц и размером кодбука 500. Её можно применять для экспериментов с моделированием речи и оценки языкового поведения речевых моделей; README приводит результаты на sBLIMP и sStoryCloze/tStoryCloze. Вокодер в репозитории не поставляется, поэтому для преобразования сгенерированных единиц в аудио нужны отдельные артефакты. Лицензия — Apache-2.0.

gslm-scaling-85m-1p4b — плотная TransformerLM-модель для исследования масштабирования speech language models, опубликованная tiagoCuervo как контрольная точка из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Чекпойнт содержит 85 339 392 параметра и обучался на 1,36448 млрд токенов; доступны веса FP32 в формате safetensors, лицензия — Apache-2.0. Модель авторегрессионно предсказывает последовательности акустических единиц: объединённые по повторам кластеры K-means от слоя 11 mHuBERT с частотой 25 Гц, K=500. Её можно применять для генерации таких единиц и оценки свойств речевых языковых моделей; в README приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Вокодер в репозиторий не входит, поэтому для преобразования сгенерированных единиц в речь нужны дополнительные компоненты. Карточка не указывает языковую специализацию модели.

Mercury-M18nc — экспериментальный чекпойнт модели RaonDuplexModel для двустороннего речевого общения с учётом времени. Разработчик выпустил его под кодовым названием, пока связанная с ним статья проходит анонимное рецензирование. Модель дообучена на 4 440 синтетических диалогах с временными метками слов, полученными принудительным выравниванием аудио; обучение длилось два эпоха. Модель предназначена для сценариев преобразования речи в речь в режиме полного дуплекса, где собеседники могут говорить одновременно. В README указаны частота кадров 12,5 кадра в секунду и аудио с частотой дискретизации 24 кГц. На 100 тестовых диалогах согласованность символов между текстовым потоком решений и сгенерированным аудио составила в среднем 88,9%, а полнота слов — 72,7%; результаты ниже, чем у нетренированной базовой модели. Обучающие данные, код и скрипты оценки не опубликованы. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

gslm-scaling-309m-19p8b — экспериментальный речевой языковой Transformer, опубликованный tiagoCuervo как контрольная точка для конечного бюджета обучения в работе «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит 308 845 568 параметров и обучалась на 19 759 950 000 токенах; веса представлены в FP32 и формате safetensors. Модель предсказывает последовательности дискретных речевых единиц: объединённые подряд одинаковые кластеры K-means токенизатора mHuBERT, извлечённые на слое 11 с частотой 25 Гц и размером словаря 500. Генерацию можно использовать для продолжения последовательности таких единиц; сам вокодер в репозитории не включён, поэтому для преобразования единиц в звук потребуется отдельный компонент. README приводит оценки на sBLIMP и sStoryCloze, а также tStoryCloze. Лицензия — Apache-2.0.

Mercury-M13 — экспериментальный чекпойнт модели RaonDuplex, дообученный для разговоров с учётом времени и одновременного обмена речью. Модель принимает аудио и предназначена для преобразования речи в речь в сценариях с полнодуплексным диалогом. Кадры формируются с частотой 12,5 кадра в секунду, аудио имеет частоту 24 кГц; в обучении использовались временные метки слов и собственные синтетические диалоги модели. В отчёте авторов согласованность между текстовым потоком решений и созданным аудио составила 71,4% по символам и 45,4% полноты на уровне слов на 100 диалогах. Эти результаты ниже показателей исходной модели, поэтому качество соответствия речи тексту может быть слабым. Код обучения, данные и скрипты оценки не опубликованы. Модель доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

gslm-scaling-20m-2p1b — компактная плотная TransformerLM-модель Tiago Cuervo, опубликованная как конечная точка кривой масштабирования из исследования «Scaling Properties of Speech Language Models» (EMNLP 2024). Веса FP32 содержат 20 710 912 параметров; при обучении модель получила 2 066 400 000 токенов, по 131 200 токенов на обновление. Репозиторий использует библиотеку slm-research и формат safetensors. Модель предсказывает последовательности речевых единиц: кластеры K-means размером 500, полученные из слоя 11 mHuBERT с частотой 25 Гц, с объединением повторяющихся соседних единиц. Она предназначена для экспериментов с языковым моделированием речи и оценки закономерностей в речевых последовательностях. В README приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Модель принимает токенизированные единицы речи и генерирует новые; готового вокодера в комплекте нет, поэтому сама по себе она не выдаёт аудиосигнал. Лицензия — Apache-2.0.

gslm-scaling-309m-3p0b — исследовательский чекпойнт семейства Speech Language Model, подготовленный Tiago Cuervo как конечная точка эксперимента по масштабированию из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотный TransformerLM примерно с 309 млн параметров; веса сохранены в FP32 и формате safetensors. Модель обучалась на 3,022 млрд токенов и генерирует последовательности речевых единиц: схлопнутые подряд идущие кластеры mHuBERT K-means уровня 11 с частотой 25 Гц и словарём из 500 единиц. Чекпойнт предназначен для исследования генерации речевых последовательностей и оценки свойств масштабирования speech language models. В карточке приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования сгенерированных единиц в звук нужен отдельный вокодер; он в репозитории не включён. Для загрузки используется библиотека slm-research. Лицензия — Apache-2.0.

Это исследовательский речевой языковой Transformer от Tiago Cuervo: чекпойнт на 85 339 392 параметра, представляющий конечную точку эксперимента по масштабированию из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель обучалась на 108 869 760 000 токенах и предсказывает последовательности дискретных речевых единиц: объединённые соседние коды кластеризации K-means для слоя 11 mHuBERT с частотой 25 Гц и размером словаря 500. Модель предназначена для генерации продолжений таких речевых токенов и изучения масштабирования речевых языковых моделей. В README приведены результаты на sBLIMP и sStoryCloze/tStoryCloze. Указаны веса FP32 в формате safetensors и лицензия Apache-2.0. Для преобразования сгенерированных единиц в звук потребуется отдельный вокодер, который в репозитории не включён.

MC हिमाल — Nepali Rapper (Merged) — это разговорная генеративная модель на базе Qwen3-8B, созданная akarki15. Модель предназначена для общения в образе непальского рэпера и генерации рэп-текстов о Непале; обучение проводилось на примерно 50 диалогах с непальскими рэперами. LoRA-адаптер был объединён с базовыми весами fp16, поэтому для запуска не требуется PEFT. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 7,6 млрд параметров и контекст до 40 960 токенов. Она принимает текст и генерирует текст; примеры показывают смешение непальского письма, латиницы и английского. Репозиторий содержит веса safetensors и GGUF. Лицензия — Apache-2.0. Небольшой объём обучающих диалогов может ограничивать разнообразие и надёжность ответов за пределами рэп-персоны и тематики Непала.

gslm-scaling-155m-19p4b — исследовательский речевой языковой чекпойнт, опубликованный Tiago Cuervo как конечная точка кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит около 155 млн параметров, представлена весами FP32 в формате safetensors и предназначена для генерации последовательностей дискретных речевых единиц: она предсказывает токены mHuBERT K-means с частотой 25 Гц, полученные из слоя 11 при K=500. В README приведён пример генерации продолжения последовательности токенов. Чекпойнт обучен на 19,4176 млрд токенов, с размером обновления 524 800 токенов. Для оценки приведены результаты на sBLIMP и sStoryCloze/tStoryCloze. Это текстовый генератор над речевыми токенами, а не готовая система синтеза речи: вокодер в комплект не входит. Для синтеза звучащей речи потребуется отдельный вокодер и соответствующие речевые артефакты. Лицензия — Apache-2.0.

gslm-scaling-155m-65p3b — исследовательская модель генерации последовательностей дискретных речевых токенов, опубликованная tiagoCuervo как контрольная точка для исследования «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная TransformerLM-модель с 154 680 320 параметрами; веса представлены в FP32 и формате safetensors. Модель обучалась на 65 311 360 000 токенах и предсказывает последовательности объединённых подряд одинаковых кодов кластеризации K-means из слоя 11 mHuBERT с частотой 25 Гц и размером словаря 500. Модель принимает последовательность токенов речи и генерирует продолжение, что подходит для экспериментов с языковым моделированием речи и оценки масштабирования таких моделей. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования сгенерированных токенов в звук требуется внешний вокодер: он не включён в репозиторий. Лицензия — Apache-2.0.

gslm-scaling-823m-26b — исследовательская речевая языковая модель из работы «Scaling Properties of Speech Language Models» (EMNLP 2024); репозиторий содержит веса модели FP32. Модель на архитектуре TransformerLM предсказывает последовательности речевых единиц: схлопнутые повторы 25-Гц K-means-токенов слоя 11 mHuBERT с размером словаря K=500 и отдельными токенами EOS и PAD. Модель предназначена для генерации речевых токенов и исследований свойств масштабирования speech-language models. Для получения аудио нужны отдельные средства декодирования и вокодер: они в репозитории не приложены. В README приведены оценки на sBLIMP и StoryCloze; для подготовки данных, оценки и декодирования автор рекомендует кодовую базу slm-research. Лицензия весов — Apache-2.0; исходные наборы данных и вокодер CodeHiFiGAN имеют собственные лицензии.

gslm-scaling-823m-8p3b — исследовательский чекпойнт модели генерации последовательностей речевых токенов, связанный с работой «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит 823 179 264 параметра и обучалась на 8 272 980 000 токенах; опубликованы веса FP32 в формате safetensors. Архитектура — плотная TransformerLM из семейства SLM. Модель предсказывает последовательности склеенных подряд одинаковых единиц mHuBERT K-means уровня 11 с частотой 25 Гц и словарём K=500. Эти единицы можно использовать для генерации речевого представления, но вокодер в репозитории не поставляется, поэтому готовый аудиосигнал модель самостоятельно не выдаёт. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze. Модель предназначена для экспериментов с языковыми моделями речи и изучения масштабирования таких моделей. Для загрузки используется библиотека slm-research. Лицензия — Apache-2.0.

Phartakos MLX — модель-генератор звуков метеоризма, подготовленная pequodresearch для локального запуска на компьютерах Apple Silicon. Это безусловная генеративная модель на основе многомасштабного waveform U-Net с диффузионным процессом: она создаёт монофоническое аудио с частотой 32 кГц, обычно длительностью одну секунду. Для генерации используется полный 200-шаговый ancestral DDPM; модель работает только на этапе инференса. Модель предназначена для создания коротких звуковых эффектов. В тесте сравнения длительности двухсекундные образцы получили больше предпочтений, однако не достигли заранее заданного порога принятия, поэтому длительность по умолчанию — одна секунда. Генерация может звучать неправдоподобно, повторяться или фрагментироваться, а также напоминать обучающие записи. Для работы требуются Apple Silicon и macOS 14 или новее. Модель распространяется по лицензии MIT.

nikitastheo/phonelm-phones-deu-eng — причинная языковая модель на архитектуре GPT-2, обученная автором репозитория с помощью скрипта Hugging Face Accelerate для causal language modeling. Название репозитория указывает на работу с фонемами для немецкого и английского языков, однако README не поясняет формат входных данных и конкретные сценарии применения. Модель предназначена для генерации продолжения текста; доступный контекст составляет 512 токенов. Опубликованные веса хранятся в формате safetensors. Лицензия и сведения о качестве модели в предоставленных данных отсутствуют.

gslm-scaling-823m-16p5b — исследовательский речевой языковой Transformer на 823 млн параметров от Tiago Cuervo. Это FP32-чекпойнт конечной точки кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024), обученный на 16,499 млрд токенов. Модель генерирует последовательности дискретных речевых единиц: схлопнутых подряд идущих кластеров K-means из слоя 11 mHuBERT с частотой 25 Гц; EOS имеет индекс 500, PAD — 501. Репозиторий помечен задачей text-generation и содержит веса safetensors. Для генерации модель принимает последовательность токенов и предсказывает следующие речевые единицы. README приводит оценки на sBLIMP и StoryCloze, но не описывает пользовательские сценарии или поддержку естественных языков. Вокодер в комплект не входит, поэтому из одних весов нельзя получить звучащую речь. Лицензия — Apache-2.0.

Это плотная TransformerLM-модель для генерации речевых единиц, опубликованная tiagoCuervo как контрольная точка эксперимента по масштабированию speech language models из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит 85 339 392 параметра и обучалась на 2 728 960 000 токенах. На вход она принимает последовательности дискретных речевых единиц: склеенных повторов кодов mHuBERT layer 11, полученных k-means-квантованием с частотой 25 Гц и размером словаря 500. Модель предсказывает следующие единицы; для преобразования результата в звук нужен отдельный вокодер, который в репозитории не включён. В README приведены результаты на sBLIMP и sStoryCloze, но не описаны поддерживаемые естественные языки или практические сценарии диалога. Веса доступны в формате safetensors и FP32, библиотека запуска — slm-research. Лицензия — Apache-2.0. Это исследовательская контрольная точка для изучения закономерностей масштабирования моделей речи, а не готовая система синтеза речи с комплектом токенизатора и вокодера.

Модель XXXTENTACION создана Алексеем Коршуком в рамках проекта HuggingArtists на базе архитектуры GPT-2. Это авторски ориентированная языковая модель для генерации текста, обученная на текстах песен XXXTENTACION; её можно использовать для создания бота в стиле артиста и генерации похожих текстов. Модель принимает текстовый запрос и продолжает его, поддерживает английский язык и имеет контекст длиной 1024 токена. Модель предназначена для творческих экспериментов и генерации текстов, стилизованных под корпус обучения. Она наследует ограничения и смещения GPT-2, а результаты также могут отражать содержание и предвзятость исходных текстов. Лицензия в предоставленных данных не указана.

Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.

Это конверсия модели распознавания речи Whisper large-v3-turbo от OpenAI в формат CTranslate2. Репозиторий Mobius Labs предназначен для использования с CTranslate2 и совместимыми проектами, включая faster-whisper; модель автоматически используется в форке faster-whisper от Mobius Labs. Модель принимает аудио и преобразует речь в текст. В метаданных перечислена поддержка многих языков, включая русский, английский, китайский, немецкий, испанский, французский и другие. Репозиторий распространяется по лицензии MIT. Это конверсия весов, а не отдельное дообучение.

handy-computer/whisper-base-gguf — это конверсия мультиязычной модели распознавания речи OpenAI Whisper base в формат GGUF для использования с transcribe.cpp. Модель разработана на основе openai/whisper-base и предназначена для автоматического преобразования аудио в текст, определения языка и перевода речи с любого поддерживаемого языка на английский. Для длинных записей используется декодирование фрагментами с окнами по 30 секунд; потоковая обработка не поддерживается, доступны сегментные временные метки. Модель построена на архитектуре encoder-decoder Transformer и поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 59 до 292 МБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 5,10–5,36% в зависимости от квантования, что указывает на высокое качество распознавания английской речи; качество заметно различается между языками, поэтому для менее распространённых языков требуется дополнительная проверка. Модель подходит для локальной транскрибации, субтитров, голосового ввода, анализа аудиозаписей и перевода речи. Квантованные варианты снижают требования к памяти при небольшом ухудшении качества, но README не содержит данных о точных требованиях к оборудованию и полной производительности. Распространяется по лицензии Apache-2.0.

Whisper medium GGUF — это квантованная версия мультиязычной модели автоматического распознавания речи OpenAI Whisper medium, подготовленная handy-computer для работы с transcribe.cpp. Модель предназначена для преобразования речи в текст, определения языка и перевода речи с любого поддерживаемого языка на английский. Она подходит для транскрибации аудио, субтитров, голосовых архивов и других сценариев speech-to-text. Потоковая обработка не поддерживается; длинные записи обрабатываются чанками на основе окон длительностью 30 секунд, доступны сегментные временные метки. Модель использует архитектуру encoder-decoder Transformer и поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты GGUF с точностью F32, F16 и квантованием Q8_0, Q6_K, Q5_K_M и Q4_K_M; размер файлов составляет примерно от 504 МБ до 3,06 ГБ. На тесте LibriSpeech test-clean указанный показатель WER составляет 2,59–2,64% в зависимости от варианта квантования. Сильными сторонами являются мультиязычность, определение языка, перевод речи и сохранение близкого к исходной модели качества при уменьшении размера. Ограничения включают отсутствие streaming, зависимость производительности от оборудования и заметно различающееся качество между языками: приведённые оценки WER и CER показывают особенно слабые результаты для ряда малоресурсных языков. Модель распространяется по лицензии Apache-2.0.

whisper-small-gguf — набор GGUF-конвертаций модели OpenAI Whisper small, подготовленный handy-computer для работы с transcribe.cpp. Это мультиязычная encoder-decoder Transformer-модель для автоматического распознавания речи, определения языка и перевода речи на английский язык. Поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и другие. Модель обрабатывает аудио окнами по 30 секунд, а длинные записи расшифровывает с помощью пакетного разбиения на фрагменты. Потоковая обработка не поддерживается; доступны сегментные временные метки. Для скачивания предлагаются варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 172 до 969 МБ. На тесте LibriSpeech test-clean заявленная WER составляет 3,33–3,40% в зависимости от варианта, при этом качество существенно различается между языками и может быть слабее для некоторых из них. Модель подходит для локальной транскрипции аудио, многоязычного распознавания речи, определения языка и перевода речи на английский. Квантизованные версии уменьшают требования к памяти при близком качестве, но точность зависит от языка, качества записи и выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.