I.7Речь, диалоги и встречи

Hhsjsnns/whisper-small-hinglish — дообученная версия Whisper Small от OpenAI для автоматического распознавания речи. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и принимает аудио, выдавая текстовую транскрипцию. В метаданных указана поддержка хинди и английского языков; модель дообучена на Common Voice 13.0. Модель подходит для транскрибирования речи на хинди и английском, в том числе смешанной хинглиш-речи. Опубликована в формате safetensors для Transformers и распространяется по лицензии Apache-2.0. README не содержит подробностей об оценке качества и специфических ограничениях модели.

Sekiraw/whisper-small-hyper-tuned-v2 — дообученная Sekiraw модель распознавания речи на основе openai/whisper-small. Она принимает аудио и предназначена для преобразования речи в текст; карточка сообщает о дообучении на неизвестном наборе данных и приводит результаты оценки: loss 0,2138 и WER 0,3859. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 153,1 млн параметров и опубликована в формате safetensors для Transformers. Карточка не описывает целевые языки, набор данных или специальные сценарии применения, поэтому качество распознавания в конкретных условиях по указанным оценкам определить нельзя. Лицензия — Apache-2.0.

OvozifyLabs разработала Whisper Small, дообученную модель распознавания речи на основе openai/whisper-small. Она преобразует аудио в текст и предназначена для транскрибирования речи на узбекском, английском и русском языках, в том числе голосовых сообщений и аудио в реальном времени или офлайн. Модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса доступны в формате safetensors. Авторы стремились улучшить распознавание узбекской речи и выровнять качество между тремя языками. В README приведено сравнение на тестовом наборе примерно из двух часов голосовых сообщений из публичных групп Telegram: WER модели составляет 34,5%. Этот результат относится к описанному тесту и не гарантирует такое же качество на других данных. Модель распространяется по лицензии Apache-2.0.

onnx-community/whisper-tiny.en — это веб-совместимая версия модели openai/whisper-tiny.en, разработанной OpenAI. Репозиторий содержит веса в формате ONNX для использования с библиотекой Transformers.js, прежде всего в браузерных и других JavaScript-сценариях, где требуется запуск модели на стороне клиента. Модель предназначена для задач автоматического распознавания речи и ориентирована на английский язык, что следует из идентификатора tiny.en. Ключевой особенностью является формат ONNX и совместимость с Transformers.js; точные сведения о размере, архитектуре, длине контекста и поддерживаемых модальностях в карточке не указаны. Лицензия также не указана, поэтому условия распространения следует уточнять в исходном репозитории openai/whisper-tiny.en.

whisper-tiny-minds14-en-US — дообученная tomragus модель семейства Whisper на базе openai/whisper-tiny, обученная на наборе PolyAI/minds14. Она предназначена для автоматического распознавания речи и преобразования аудио в текст, в частности для транскрибации англоязычных аудиозаписей с акцентом на вариант английского языка en-US. В README приведены результаты оценки: WER 0,3359 и нормализованный WER 0,3418. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Это компактный вариант Whisper; в метаданных для базовой модели указана многоязычная поддержка, однако эта версия дообучена на англоязычном наборе данных и ориентирована на en-US.

Plim/xls-r-1b-cv_8-fr — акустическая модель распознавания французской речи, дообученная на датасете Mozilla Foundation Common Voice 8.0, конфигурация fr. Она основана на facebook/wav2vec2-xls-r-1b и использует архитектуру wav2vec2 с CTC-декодированием; число параметров — около 1,3 млрд. Модель принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для автоматической транскрипции французской речи, в том числе записей, похожих на данные Common Voice. В README приведены результаты оценки: на тестовой выборке Common Voice WER составляет 18,33 без языковой модели и 15,40 с ней; на dev-выборке speech-recognition-community-v2 — 31,33 и 25,05 соответственно. Лицензия — Apache-2.0. Показатели зависят от набора данных и декодирования, а результатов для тестовой выборки audio в карточке нет.

Wav2Vec2-XLSR-300m-es — модель распознавания испанской речи, созданная polodealvarado путём дообучения facebook/wav2vec2-xls-r-300m на испанской части Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на испанском языке в текст. На оценочной выборке автор сообщает WER 0,146 без языковой модели и WER 0,109 с пятиграммовой языковой моделью; CER с ней составляет 0,036. Репозиторий включает PyTorch-веса и процессор с конфигурацией для пятиграммной языковой модели. Модель распространяется по лицензии Apache 2.0. Результаты приведены для Common Voice 8.0; точность на других типах записей и в иных акустических условиях может отличаться.

AlexN/xls-r-300m-pt — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на португалоязычной части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает результат WER 0,2382 на оценочной выборке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Модель anton-l/xtreme_s_xlsr_300m_voxpopuli_en — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания английской речи. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на английском языке в текст, в частности для распознавания речи из набора VoxPopuli.EN. На оценочной выборке указаны WER 0,1549 и CER 0,0966. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает ограничения распознавания и условия работы с разными акустическими условиями.

AudioCPP-Voxtral-Mini-4B-Realtime-2602-GGUF — репозиторий с квантованными GGUF-чекпойнтами модели Voxtral Mini 4B Realtime для автоматического распознавания речи. Чекпойнты предназначены для запуска через C++/GGML-фреймворк audio.cpp, разработанный проектом 0xShug0, и содержат встроенную спецификацию модели и необходимые дополнительные компоненты. Репозиторий поддерживается пространством mistral-experimental; исходный разработчик базовой модели в README явно не указан. Модель рассчитана на офлайн- и потоковое ASR, включая локальное распознавание речи через CLI и серверные интерфейсы audio.cpp. Доступны варианты Q8_0 размером около 4,8 GiB и Q4_K размером около 2,9 GiB. Q8_0 позиционируется как сбалансированный вариант с высоким качеством и меньшим потреблением памяти по сравнению с BF16, а Q4_K — как более компактный и быстрый вариант, качество которого рекомендуется проверять на конкретной предметной области. В README не указаны поддерживаемые языки, точные параметры архитектуры, модальности кроме аудио и размер контекста. По приведённым CUDA-измерениям Q8_0 обеспечивает около 14,7–16,7-кратной скорости реального времени в офлайн-режиме и примерно 5,4-кратной скорости в потоковом режиме, снижая пиковое потребление VRAM относительно BF16. Q4_K в тестах был ещё быстрее, а расшифровки почти полностью совпали с Q8_0, однако результаты зависят от GPU, драйверов, backend, длины аудио и настроек декодирования. Для работы требуется audio.cpp с подходящим backend, например CUDA, Metal, Vulkan или CPU. Лицензия в README не указана.

Audio Flamingo 3 (AF3) — большая аудиоязыковая модель NVIDIA для понимания и анализа речи, звуков и музыки. Она принимает аудио и текстовые инструкции, отвечает на вопросы об аудиозаписях, выполняет рассуждения по их содержанию и поддерживает диалог в несколько ходов. Модель доступна через Transformers; заявлена поддержка аудио длительностью до 10 минут и текстового контекста до 16 000 токенов. Архитектура объединяет аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; в варианте AF3-Chat также предусмотрен потоковый синтез речи. Модель обучалась на наборах данных для общих звуков, музыки и речи. В карточке указана поддержка английского языка. AF3 предназначена для исследований и разработок в области аудиоответов на вопросы, анализа длинных записей и голосовых диалогов. Она оптимизирована для NVIDIA GPU, а использование на CPU может быть медленнее. Лицензия обозначена как other; README ограничивает модель некоммерческими исследовательскими целями.

Audio-Interaction — потоковая модель диалога с аудио на входе и текстом на выходе. По карточке модель использует аудиокодировщик Qwen2.5-Omni и языковую часть Qwen2; метаданные указывают 3,1 млрд параметров, контекст 32 768 токенов и библиотеку Transformers. Модель обрабатывает звук последовательными фрагментами и на каждом решает, продолжать ли слушать или начать текстовый ответ. Она предназначена для голосовых ассистентов и диалоговых систем, которым важно реагировать до завершения всей реплики. Поддерживает потоковое взаимодействие, а также офлайн-сценарии распознавания речи и перевода речи в текст. В режиме слушания выдаёт управляющие маркеры, а в режиме ответа генерирует текст; синтеза речи нет. Входной звук рассчитан на моно 16 кГц, решения принимаются с шагом 0,4 секунды, а неполные хвостовые фрагменты короче 10 кадров отбрасываются. Для голосового ответа модель нужно дополнить системой TTS. Лицензия — Apache-2.0.

base_phase3 — модель распознавания речи на архитектуре wav2vec2, дообученная nguyenminhly на основе nguyenminhly/base_phase2. Она предназначена для преобразования аудиозаписей в текст. В метаданных указаны 113,3 млн параметров и формат PyTorch. В README приведены результаты оценки: WER 0,1305 и loss 0,2736; названы 44 000 шагов обучения и 49,44 эпохи. Язык распознавания и состав обучающих данных не описаны, поэтому область применения по языку или тематике определить нельзя. Модель распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.

Bloom-1b7-dialogsum-IT-baseline — дообученная инструктивная версия многоязычной авторегрессионной модели BigScience BLOOM-1b7. Модель предназначена для суммаризации диалогов по инструкции и генерирует текст в ответ на текстовый запрос. Архитектура — плотная языковая модель BloomForCausalLM с 2,1 млрд параметров; длина контекста — до 4096 токенов. Карточка указывает на обучение на датасете для суммаризации диалогов, но не приводит подробностей о данных, оценке качества или ограничениях. Модель распространяется под лицензией bigscience-bloom-rail-1.0.

Модель 1Developer/cali-whisper-tiny.en-drop-005-production — дообученная версия Whisper tiny.en, созданная на основе 1Developer/cali-whisper-tiny.en-drop-004-production и обученная на датасете audiofolder. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки: loss 0,0002 и WER 0,0; этих значений недостаточно, чтобы судить о качестве на других данных. Используются архитектура Whisper и библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0.

cali-whisper-tiny.en-drop-007-production — дообученная модель семейства Whisper, разработанная 1Developer на основе 1Developer/cali-whisper-tiny.en-drop-006-production. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; в README указано обучение на датасете audiofolder. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. В README приведены результаты на оценочной выборке: Loss 0.0000 и WER 0.0, однако подробности методики и набора оценки не описаны. Лицензия — Apache-2.0. Суффикс tiny.en в названии указывает на англоязычную версию Whisper Tiny; явное подтверждение языкового охвата в карточке отсутствует.

Conformer-CTC Small (en) — небольшая английская модель распознавания речи NVIDIA NeMo на архитектуре Conformer-CTC, подготовленная для запуска в loom.cpp. Репозиторий содержит экспорт в формате GGUF; согласно карточке, веса не изменены относительно nvidia/stt_en_conformer_ctc_small. Модель принимает аудио и преобразует его в текст, подходит для транскрибации англоязычной речи. Для запуска предусмотрена библиотека loom-py-rt, которая выполняет необходимые для модели обработку аудио и сборку результата. Репозиторий распространяется по лицензии CC BY 4.0.

MigoXV опубликовал форматную конверсию офлайн-модели NVIDIA Sortformer v1: веса FP32 перенесены из официального архива в формат PyTorch safetensors без дообучения и квантизации. Для загрузки требуется реализация sortformer-dia; одних Transformers недостаточно. Модель анализирует аудиозапись целиком и определяет временные сегменты речи для максимум четырёх говорящих, сохраняя перекрывающуюся речь. Транскрипцию и распознавание личности говорящего между разными записями она не выполняет. Поддерживается обработка монофонического аудио LINEAR16 с указанной частотой дискретизации на CPU или CUDA в FP32. По умолчанию запрос ограничен 120 секундами, а максимальный размер пакета равен одному. Репозиторий содержит веса и конфигурацию, а не код модели; для запуска нужна среда проекта sortformer-dia. Лицензия весов — CC-BY-NC-4.0, допускающая использование на условиях этой лицензии, включая её ограничения на коммерческое использование. Это конверсия модели NVIDIA, а не официальный выпуск NVIDIA.

stillerman/fdt-disfluency-distilbert-66m-v2 — модель разметки токенов на основе DistilBERT, обученная для удаления речевых запинок из транскриптов живой речи. Она помечает каждое слово тегом KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая реконструкция собирает очищенный текст. Модель предназначена для автоматической очистки разговорных транскриптов, в том числе в браузере через ONNX и transformers.js. Модель содержит 65,8 млн параметров, использует архитектуру distilbert-base-cased и имеет контекст до 512 токенов. По описанию, обучение проводилось на синтетически искажённых разговорных корпусах; указаны exact-match 0,9755 и F1 для DELETE 0,9934. Подход ограничен удалением и простыми изменениями регистра и пунктуации: модель не перефразирует текст и не предназначена для исправления произвольных ошибок распознавания речи. Опубликованы веса Safetensors и квантованный ONNX. Лицензия репозитория — Apache-2.0, однако модель обучалась в том числе на DailyDialog с лицензией CC BY-NC-SA, поэтому автор рекомендует не использовать её для коммерческого развёртывания без дополнительной проверки условий.

stillerman/fdt-disfluency-distilbert-66m-v4 — модель разметки токенов на базе DistilBERT, разработанная Stillerman для очистки расшифровок живой речи. Она помечает каждое слово тегом KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая реконструкция собирает очищенный текст. Модель удаляет слова-паразиты и повторы, сохраняя остальную формулировку без перефразирования. Модель содержит 65,2 млн параметров, использует архитектуру distilbert-base-cased и контекст до 512 токенов. Версия v4 обучена на синтетических внесениях речевых сбоев в разговорные корпуса; метрики на валидации: exact-match 0,9724 и DELETE-F1 0,9896. Для браузерного применения доступна квантованная ONNX-модель int8 для transformers.js, с заявленной скоростью около 10–50 мс на высказывание. Область обработки намеренно ограничена словами-паразитами и повторами: исправления с заменой слов, в том числе конструкции «I mean», сохраняются как есть. Лицензия репозитория — Apache-2.0, однако в обучении частично использован DailyDialog под CC BY-NC-SA, поэтому README рекомендует считать модель исследовательским артефактом и не применять её в коммерческих целях без дополнительной правовой проверки.

waveletdeboshir/gigaam-rnnt — неофициальная обёртка для Transformers модели GigaAM-v2-RNNT, разработанной SberDevices. Она предназначена для автоматического распознавания русской речи и преобразования аудиозаписей в текст. В репозитории указаны классы модели, извлечения признаков и токенизатора, совместимые с интерфейсом Transformers, включая загрузку через Auto-классы. Модель представлена в форматах PyTorch и Safetensors; карточка указывает библиотеку Transformers и лицензию MIT. README сообщает, что это оригинальная модель GigaAM-v2-RNNT с интерфейсом Transformers, но сам репозиторий является неофициальной обёрткой. Размер модели и длина контекста в доступных данных не приведены.

GPA (General Purpose Audio) — компактная модель, объединяющая распознавание речи, синтез речи и преобразование голоса в одном авторегрессионном трансформере с общей языковой основой. Репозиторий Audio8 включает обучающие и дообучающие конвейеры, примеры инференса и средства развертывания; карточка также описывает отдельный дистиллированный вариант GPA-TTS для синтеза речи на устройствах с ограниченными ресурсами. Основной GPA построен на плотной архитектуре Qwen3ForCausalLM, содержит 246,5 млн параметров и поддерживает контекст до 32 768 токенов. В модели объединены обработка аудио и текста для ASR, TTS и преобразования голоса; заявлены английский и китайский языки. Проект подчёркивает потоковый и параллельный инференс, а GPA-TTS — клонирование голоса по короткому образцу и локальную работу без внешней LLM. Модель предназначена для голосовых приложений, включая облачное развертывание и сценарии на периферийных устройствах. Репозиторий лицензирован по Apache-2.0. Приведённые в README таблицы результатов частично опущены, поэтому по этой карточке нельзя независимо оценить сравнительное качество модели.

Granite-speech-3.3-8b — компактная речевая языковая модель IBM, основанная на Granite 3.3 8B Instruct и выпущенная в редакции 3.3.2 19 июня 2025 года. Она предназначена для автоматического распознавания речи (ASR), автоматического перевода речи (AST), а также текстовых задач при работе без аудио. Модель использует двухэтапную схему: сначала преобразует аудио в текст, затем отдельным вызовом обрабатывает полученный текст с помощью базовой языковой модели Granite. Модель поддерживает входную речь на английском, французском, немецком, испанском и португальском языках. Она ориентирована на преобразование речи в текст и перевод между этими языками и английским, а также на перевод с английского на японский и китайский (мандарин). В редакции 3.3.2 применены дополнительные обучающие данные и более глубокий акустический энкодер, что улучшает точность транскрибации, особенно для английского языка. Модель рассчитана на корпоративные приложения, обрабатывающие речевые данные, и поддерживается библиотеками Transformers и vLLM. Ключевое ограничение — необходимость явно выполнять второй этап для обработки транскрибированного текста, поскольку распознавание речи и языковая обработка не объединены в один проход. Размер модели составляет около 8 миллиардов параметров согласно идентификатору и базовой модели, однако точная архитектура и максимальная длина контекста в предоставленных данных не указаны. Модель распространяется по лицензии Apache 2.0.

Модель artoowang/hf-audio-wav2vec2-bert-CV16-en-finetune — дообученная на базе hf-audio/wav2vec2-bert-CV16-en система автоматического распознавания речи. Она принимает аудио и преобразует английскую речь в текст; архитектура — Wav2Vec2-BERT с CTC-выходом, размер — 402,7 млн параметров. В README приведены значения на тестовой выборке: WER 0,0879 и loss 0,3271. Модель подходит для транскрибации английской речи, например записей и аудиофрагментов. Карточка не описывает датасет дообучения, условия записи или ограничения качества, поэтому приведённые метрики нельзя переносить на другие аудиоданные без проверки. Формат весов — safetensors, библиотека — Transformers; лицензия в предоставленных данных не указана.

Huihui-gemma-3n-E4B-it-abliterated-i1-GGUF — квантизированная GGUF-версия инструкционной мультимодальной модели Huihui-gemma-3n-E4B-it-abliterated, разработанной Huihui AI и подготовленной в виде квантизаций mradermacher. Модель предназначена для работы с текстом, аудио и видео, включая задачи автоматического распознавания речи, автоматического перевода речи и преобразования аудио или видео в текст. В метаданных указан английский язык. Модель относится к семейству Gemma 3n и имеет размер E4B; точная архитектура и размер контекстного окна в README не указаны. Доступны варианты GGUF с разными уровнями квантизации от i1-Q2_K до i1-Q6_K размером примерно от 4,0 до 5,8 ГБ. Более компактные варианты требуют меньше памяти, но могут уступать по качеству; README отдельно рекомендует i1-Q4_K_M как быстрый вариант и отмечает компромисс между размером, скоростью и качеством. К сильным сторонам относятся мультимодальность, поддержка аудио- и видеосценариев и возможность локального запуска через совместимое с GGUF программное обеспечение. Ограничениями являются зависимость качества от выбранной квантизации, отсутствие в README подробных оценок производительности и неизвестные параметры контекста. Модель распространяется по лицензии Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

Indic-Transcribe-core — многоязычная модель распознавания речи, разработанная Bodhan AI на основе NVIDIA Canary-1B-v2. Она использует энкодер FastConformer и декодер Transformer и предназначена для транскрибации речи на 25 языках Южной Азии и английском с выводом в письменности исходного языка. Модель поддерживает автоматическое определение языка и смешанную речь, например хинглиш, и рассчитана на работу с аудио из реальных шумных условий. Модель подходит для транскрибации записей и голосовых сервисов в образовании, сельском хозяйстве и здравоохранении. Для аудио длиннее 45 секунд README рекомендует использовать поставляемый механизм разбиения на фрагменты: обычный однопроходный режим ограничен по длине и может давать повторы. Определение языка может ошибаться, особенно для языков хинди-пояса, которые модель иногда относит к хинди; если язык известен, его рекомендуется задавать явно. В README заявлена готовность к коммерческому использованию, однако метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией репозитория.

JoyFox-OmniFlow-9B — мультимодальная модель общего назначения от JoyFox на основе OpenBMB MiniCPM-o 4.5. Она поддерживает диалог на английском, китайском и других языках, выполнение инструкций, ответы на сложные вопросы, математические рассуждения, генерацию кода, ролевые сценарии и вызов инструментов. Модель принимает текст, изображения, видеокадры и аудио, а также поддерживает потоковое взаимодействие в режиме full-duplex с одновременным аудио- и визуальным вводом и текстовым или речевым выводом. Архитектура MiniCPMO включает языковую модель, визуальный и аудиоэнкодеры, мультимодальные проекционные слои и модуль синтеза речи. В README указан размер 9B, а метаданные сообщают 7,6 млрд параметров; контекст — до 40 960 токенов. Релиз распространяется в BF16 Safetensors и включает ресурсы для TTS и клонирования голоса по образцу аудио. Для полной потоковой генерации речи требуются дополнительные зависимости minicpmo-utils[all]. Модель загружается через Transformers; в README описана проверка полной загрузки на GPU NVIDIA RTX PRO 6000 Blackwell. Независимые внешние результаты бенчмарков не приведены; качество потокового взаимодействия зависит от конфигурации аудио и видео и среды выполнения. Возможны неточные, предвзятые или неподходящие ответы, а схемы и аргументы вызова инструментов требуют проверки. Лицензия — Apache-2.0.

Модель toiar/khasi-asr-transcribe-diarize — дообученная на Khasi версия аудиомодели MOSS-Transcribe-Diarize от OpenMOSS-Team. Она предназначена для транскрибирования речи на Khasi, английском и хинди, включая режимы с временными метками и диаризацией говорящих, а также вывод только с метками говорящих. Базовая модель имеет размер 0,9 млрд параметров и поддерживает длинные аудиозаписи с временными метками, диаризацией и аннотациями акустических событий. Модель принимает аудио и преобразует его в текстовые транскрипты с разметкой говорящих. Она распространяется в формате safetensors по лицензии Apache-2.0. В проверках отмечались ошибки записи чисел в Khasi; при транскрибировании коротких высказываний на хинди возможен переход с деванагари на латиницу.

Kyutai STT 1B (en/fr) — GGUF представляет собой конвертированные и квантизованные версии модели kyutai/stt-1b-en_fr, разработанной Kyutai. Репозиторий cstr предоставляет веса в формате GGUF для использования с CrispASR; обучение, дообучение и изменение архитектуры не выполнялись. Модель предназначена для автоматического распознавания речи и транскрибации аудио на английском и французском языках. Она принимает монофонический звук с частотой 24 кГц, автоматически преобразуя вход с 16 кГц при необходимости. Доступны варианты F16 размером около 2 ГБ, Q8_0 размером около 1,1 ГБ и Q4_K размером около 636 МБ; Q4_K заявлен как оптимальный компромисс между размером и качеством. Архитектура включает нейронный аудиокодек Mimi с CNN SEANet, восьмислойным трансформером и RVQ с 32 кодовыми книгами на частоте 12,5 Гц, а также каузальную языковую модель-трансформер из 16 слоёв примерно на 1 млрд параметров с размерностью 2048, RoPE, SwiGLU и RMSNorm. В отличие от encoder-decoder-моделей вроде Whisper и Parakeet, весь конвейер работает авторегрессионно: аудио преобразуется в дискретные токены, после чего модель предсказывает текстовые токены. Сильными сторонами являются поддержка двух языков, несколько вариантов квантизации и возможность локального запуска через CrispASR. Ограничения включают специализацию только на английской и французской речи, зависимость от совместимого программного обеспечения и отсутствие в представленном описании подробных метрик качества, ограничений по длительности аудио и характеристик производительности. Для производных материалов указана лицензия CC BY 4.0; она соответствует лицензии исходной модели и не предоставляет прав сверх условий upstream-лицензии.

LFM2-Audio-1.5B — сквозная аудиоязыковая модель Liquid AI для диалогов в реальном времени и задач преобразования речи. Она объединяет языковую модель LFM2 с аудиоэнкодером FastConformer и RQ-трансформером, который генерирует аудио в виде дискретных токенов Mimi. В карточке указано 1,5 млрд параметров для модели в целом; языковая основа содержит 1,2 млрд параметров, а аудиоэнкодер — 115 млн. Основа использует гибридную архитектуру свёрточных слоёв и attention. Модель принимает аудио и может отвечать аудио, текстом или чередовать оба формата. Режим чередующейся генерации предназначен для разговорных сценариев с низкой задержкой, а последовательная генерация подходит для распознавания речи и синтеза речи. Поддерживается английский язык. Для работы предусмотрена библиотека liquid-audio с демонстрационным интерфейсом Gradio. Модель разработана Liquid AI. В README приведены результаты сравнительных оценок диалоговых и ASR-возможностей, но фактическое качество зависит от сценария и данных. Репозиторий содержит веса safetensors и указанную лицензию other; конкретные условия лицензии следует проверять в карточке модели.