I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиМодель andrewbawitlung/whisper-large-v3-turbo-mizonal3-E3-lus-v2026.06 разработана как дообученная версия openai/whisper-large-v3-turbo на наборе данных MiZonal v3.0. Это плотная модель Whisper для автоматического распознавания речи; размер составляет 905,2 млн параметров, веса опубликованы в формате safetensors. Версия E3 обучалась с аугментацией скорости речи и предназначена для транскрибирования аудио. В README приведены результаты на оценочном наборе: WER 14,1847, CER 2,7327 и коэффициент реального времени 0,0546. Карточка не уточняет язык аудио, поэтому языковую поддержку и область применения по этим данным определить нельзя. Модель распространяется по лицензии Apache-2.0.
inesc-id/WhisperLv3-FT — дообученная модель распознавания речи на основе OpenAI Whisper large-v3, созданная на датасете 425. Это мультиязычная архитектура Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. В карточке приведён результат оценки на тестовом наборе: loss 0,1162 и WER 3,9720; единицы измерения и условия оценки не описаны. Базовая модель поддерживает транскрибацию и перевод аудио в текст, однако для этой версии README не уточняет конкретные языки, сценарии применения или ограничения. Лицензия — Apache-2.0.
French Medium Whisper — дообученная модель распознавания речи из семейства Whisper, созданная на основе openai/whisper-medium и обученная на наборе данных Common Voice 11.0. Она преобразует французскую речь в текст и подходит для транскрибации аудио и оценки систем распознавания французской речи. В карточке приведены результаты на тестовой выборке: WER 15,8969 без нормализации и 11,1406 с нормализацией. Модель содержит 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch. Лицензия — Apache-2.0. Результаты сравнения с Whisper Medium приведены для тестовых наборов разных версий Common Voice, поэтому они не гарантируют превосходство на других аудио и сценариях.
Модель dianavdavidson/whisper-medium_vaani_62419_ratio_alldata_lr_1e-4_lgid_None_epochs_100_FT — дообученная версия мультиязычной модели Whisper medium от OpenAI для распознавания речи и преобразования её в текст. Она содержит 455,8 млн параметров, построена на архитектуре WhisperForConditionalGeneration и рассчитана на аудиовход; для загрузки весов используется формат safetensors и библиотека Transformers. В README приведены результаты оценки: loss 0,6258 и Global WER 13,6881, однако датасет и условия оценки не описаны, поэтому эти показатели не позволяют судить о качестве на конкретных языках и сценариях. Модель распространяется по лицензии Apache-2.0. README не уточняет специализацию дообучения, поддерживаемые языки этой версии или практические ограничения, поэтому её пригодность для конкретной предметной области следует оценивать на собственных аудиоданных.
Whisper-small-mlx — модель автоматического распознавания речи в формате MLX, размещённая сообществом mlx-community. Она конвертирована из версии Whisper «small» и предназначена для запуска с библиотекой MLX и примерами MLX от ML Exploration, включая транскрибацию аудиофайлов. Модель работает с аудио и решает задачи преобразования речи в текст. В README не указаны точные архитектурные характеристики, число параметров, размер контекста, поддерживаемые языки и дополнительные модальности. Сильная сторона модели — адаптация формата Whisper для экосистемы MLX; ограничением является отсутствие в предоставленных данных подробностей о производительности, качестве распознавания и совместимости с конкретными типами аудио. Лицензия в README не указана.
Xenova/whisper-tiny — версия модели OpenAI Whisper tiny, подготовленная командой Xenova в формате ONNX для совместимости с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибирования аудио, в том числе непосредственно в JavaScript-приложениях и веб-среде. В README указано, что репозиторий содержит ONNX-веса базовой модели openai/whisper-tiny. Точные сведения о размере, архитектуре, поддерживаемых языках, контекстном окне и модальностях в карточке не приведены. Ключевое преимущество — готовность к использованию через Transformers.js и возможность обрабатывать аудио по URL; при этом README не содержит данных о точности, производительности и ограничениях качества распознавания. Лицензия указана как Apache-2.0.
Модель primeline/whisper-tiny-german-1224 — модель распознавания речи на архитектуре Whisper tiny, разработанная Флорианом Циммермайстером. Она предназначена для преобразования немецкой речи в текст: например, для расшифровки записей, автоматического создания субтитров, голосового управления, голосового поиска и диктовки. Модель содержит 29,4 млн параметров по метаданным каталога; в README для семейства Whisper tiny приведена оценка 39 млн параметров. Для обучения использовали около 6000 часов немецкой речи из публичных, проприетарных и синтетических источников. Модель поддерживает входное аудио и выдаёт текст; в метаданных указаны форматы ONNX и safetensors. Лицензия — Apache-2.0.
Kuray107/wsj0-full-supervised — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-lv60. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в карточке указаны результаты оценки: loss 0,0623 и WER 0,0343. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не уточняет языки, условия записи и ограничения применения, поэтому область надёжной работы за пределами указанной оценки определить нельзя.
X-ASR-zh-en — двуязычная модель автоматического распознавания речи, разработанная GilgameshWind и упакованная проектом OpenASR для нативного выполнения в runtime OpenASR. Она предназначена для преобразования китайской и английской речи в текст, включая речь с переключением между языками, потоковые субтитры с низкой задержкой, диктовку на устройствах и офлайн-транскрибацию аудиофайлов. Модель построена по рецепту icefall/k2 как кэш-ориентированный Zipformer2 RNN-T трансдьюсер: 6-стековый 19-слойный encoder Zipformer2, stateless RNN-T decoder и tanh joiner с BPE-словарём на 5000 токенов. Размер модели составляет около 0,16 млрд параметров. Доступны варианты fp16, q8_0 и q4_k размером примерно от 112 до 315 МБ; q8_0 рекомендован как компромисс между качеством и занимаемой памятью. Модель оптимизирована для CPU и GPU, поддерживает потоковую и офлайн-обработку, а инференс выполняется без Python. К сильным сторонам относятся компактность, низкое потребление памяти, локальная обработка, поддержка китайского и английского языков и пригодность для устройств с ограниченными ресурсами. README не содержит абсолютных показателей точности, поэтому качество распознавания в различных условиях оценить нельзя; приведённое сравнение квантованных вариантов отражает только отклонение от транскрипта fp16 на одном тестовом фрагменте. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели.
Модель anton-l/xtreme_s_xlsr_300m_fleurs_asr — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и содержит около 409,5 млн параметров. Модель принимает аудио и выдаёт распознанный текст; репозиторий содержит веса PyTorch. В README приведены метрики оценки: CER 0,3330 и WER 0,8344. Датасет и языки обучения не определены в доступной карточке, поэтому применимость к конкретным языкам и условиям записи по этим данным оценить нельзя. Лицензия — Apache-2.0.
A2R-30B-A3B — дообученная мультимодальная модель PleasedPenguin на базе Qwen/Qwen3-Omni-30B-A3B-Instruct. Она отвечает на вопросы о говорящих в аудиозаписи, определяя, кто произносит реплики, а не только распознавая сказанное. Модель обучена методом GRPO на CASH-60K и предназначена для задач атрибуции говорящих и анализа многоголосых аудиозаписей. Модель использует архитектуру Qwen3 Omni MoE и загружается как объединённый чекпойнт через Transformers без отдельного шага подключения адаптера. Входная модальность — аудио, результат — текст; карточка указывает английский язык. Репозиторий распространяется под лицензией Apache 2.0. В README формат структурированного блока ответа описан частично, поэтому для разбора результата следует учитывать указанное в карточке требование анализировать последний блок.
smerchi/Arabic-Morocco-Speech_To_Text — дообученная модель распознавания речи на основе Whisper large-v3 от OpenAI. Она предназначена для преобразования аудио на арабском языке в текст; в карточке указан датасет Voice_Cleverlytics. Модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса представлены в формате Safetensors. Для запуска предусмотрена библиотека Transformers. Модель подходит для транскрибации речи на арабском языке, в частности марокканского варианта, о котором говорит название репозитория. Базовая Whisper large-v3 поддерживает многоязычное распознавание речи и перевод аудио в текст, однако карточка этой производной модели не приводит отдельные оценки качества или подробности обучения. Лицензия — Apache-2.0.
Arcle V1 — мультимодальная базовая модель на 5,84 млрд параметров, разработанная Абхинавом Анандом в ArcleIntelligence. Она объединяет языковое и математическое рассуждение, обработку изображений и документов, распознавание и синтез речи, понимание видео и генерацию изображений в одной модели с единым проходом. В основе — гибридная архитектура Mamba-2 и причинного self-attention; заявленное окно контекста составляет 2 097 152 токена, из которых проверено 131 072. Метаданные указывают языки английский, хинди, испанский и французский. Модель рассчитана на локальный офлайн-запуск; README приводит требования около 24 ГБ видеопамяти или 24 ГБ системной памяти при запуске на CPU. Модель предназначена для диалогов, математических и общеобразовательных вопросов, работы с изображениями и документами, транскрипции и синтеза речи, понимания видео, а также генерации изображений. В README приведены результаты по распознаванию английской речи и извлечению текста из документов; при этом качество на сканах и многостраничных макетах заметно ограничено, а генератор изображений создаёт абстрактные композиции вместо точного изображения заданных объектов. Репозиторий распространяется по лицензии Apache-2.0.
Audio8-ASR-0.1B ONNX Runtime — локальный пакет распознавания речи, связанный с основной моделью Audio8-ASR-0.1B. Он включает ONNX-графы и средства инференса через ONNX Runtime, а также веб-интерфейс, локальный HTTP API и CLI для транскрибирования аудиофайлов. Модель автоматически определяет язык речи; заявлена поддержка английского, китайского, кантонского, французского, японского, немецкого и корейского языков. Пакет содержит варианты графов декодера fp32, int8 и int4, а аудиобашни — fp32 и int8. По умолчанию используются int8 для декодера и аудиобашни; есть опциональное усиление заданных ключевых слов при декодировании. Репозиторий предназначен для локального инференса на CPU через ONNX Runtime; для GPU требуется совместимый пакет ONNX Runtime GPU и доступный провайдер. Для работы аудио преобразуется в моно и передискретизируется до 16 кГц. Runtime обрезает аудио длиннее 30 секунд, а контекст декодера ограничен 512 токенами. Сильное усиление ключевых слов может приводить к ошибочным вставкам или повторам. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.
batisay-ko-turbo — разработанная BatiAI корейская модель распознавания речи на базе Whisper large-v3-turbo с 809 млн параметров, дообученная на корейской речи из нескольких предметных областей. Она предназначена для локальной расшифровки телефонных звонков, совещаний, лекций и повседневных разговоров; модель принимает аудио и выдаёт текст. Для запуска рекомендуются whisper.cpp и, на Apple Silicon, вариант MLX. В README приведены результаты на отдельных тестах, включая CER 5,67% на доменном наборе колл-центра и 17,1% для ggml q5_0 на небольшом наборе реальных звонков; эти цифры относятся к описанным выборкам и настройкам. Базовая версия обучена на отобранных примерно 4 300 часах данных, включая обычную речь, совещания, лекции, разговоры и телефонную речь с частотой 8 кГц. Репозиторий предлагает варианты ggml q5_0 и q4_0, а README рекомендует q5_0 как компромисс размера, скорости и качества. Карточка указывает лицензию BatiAI Community v2: личное, внутреннее, исследовательское, некоммерческое и государственное использование разрешено; для внешнего SaaS, перепродажи и некоторых коммерческих случаев требуется согласование с разработчиком.
BELLE-2/Belle-whisper-large-v3-zh-punct — дообученная командой BELLE-2 модель распознавания речи на архитектуре Whisper large-v3, предназначенная для транскрибации китайской речи с расстановкой знаков пунктуации. Модель содержит 905,2 млн параметров, принимает аудио с частотой дискретизации 16 кГц и выдаёт текст. Опубликована в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель обучена с использованием LoRA на наборах AISHELL-1, AISHELL-2, WenetSpeech и HKUST. По результатам карточки, её качество близко к Belle-whisper-large-v3-zh на китайских ASR-бенчмарках; отмечено сопоставимое распознавание встреч и небольшое улучшение на WenetSpeech meeting. CER в таблице рассчитан после удаления пунктуации, поэтому эти результаты отдельно не оценивают точность расстановки знаков препинания.
Cohere Transcribe Arabic 07-2026 GGUF — это квантизированная версия модели автоматического распознавания речи CohereLabs/cohere-transcribe-arabic-07-2026, разработанной Cohere Labs и адаптированной для запуска через C++-runtime CrispASR. Модель предназначена для транскрибации аудио, прежде всего арабской речи, на локальных системах с использованием CPU, Metal, CUDA или Vulkan. Модель содержит около 2 млрд параметров и использует архитектуру FastConformer-энкодер из 48 слоёв и причинный Transformer-декодер из 8 слоёв. Она принимает монофонический звук с частотой 16 кГц, использует 128 mel-признаков и поддерживает контекст декодера до 1024 токенов. Вариант поддерживает только языки Arabic и English; наличие токенов других языков в словаре не означает фактической поддержки. Заявленный результат исходной модели — около 11% WER на арабском подмножестве FLEURS. Доступны варианты с точностью F16, Q8_0 и Q4_K, включая Q4_K с Arabic-калиброванной importance matrix, которая рекомендуется для 4-битного запуска. GGUF удобен для локального инференса и сравнительно эффективен по памяти, однако качество квантованных вариантов может отличаться от эталонной точности. Для работы требуется CrispASR или совместимый runtime; модель не предназначена для языков, кроме Arabic и English, а неверно указанный язык может приводить к правдоподобным, но ошибочным результатам. Распространяется по лицензии Apache 2.0.
Это порт модели Cohere Transcribe Arabic от CohereLabs в формат OpenVINO, подготовленный для запуска распознавания речи на Intel NPU. Базовая модель содержит 2 млрд параметров и предназначена для транскрибации арабской, диалектной и английской речи. В комплект входят варианты FP16 и INT8 для Conformer-энкодера и декодера, декодер с кэшем KV и NumPy-раннер для инференса без PyTorch. Для INT8-пайплайна с кэшем KV автор приводит результат 9,03% WER на 150 арабских аудиозаписях FLEURS; разница с исходной моделью на GPU составила 0,07 процентного пункта. На Intel Core Ultra 7 255H указана скорость обработки примерно в 3,5 раза выше реального времени. Порт также поддерживает запуск на других устройствах OpenVINO, но INT8-энкодер не компилируется CPU-плагином; для CPU рекомендуется FP16. Лицензия — Apache 2.0, как у базовой модели.
syv.ai, датская компания, дообучила Cohere Transcribe для распознавания речи с разметкой говорящих и временными метками слов. Модель на архитектуре Cohere ASR содержит 151,3 млн параметров и принимает аудио, выдавая транскрипцию с метками говорящих и временными отметками. Она предназначена для коротких аудиозаписей длительностью до 30 секунд; для более длинных записей в README предлагаются вспомогательные скрипты с разбиением на окна и сопоставлением голосов между ними. Указана поддержка английского языка. Модель подходит для расшифровки подкастов, интервью, встреч и других записей с несколькими участниками. README рекомендует развёртывание через vLLM и приводит результаты производительности на RTX 3090. Лицензия — Apache-2.0. Ограничения: предел одного прохода — 30 секунд; до четырёх говорящих поддерживаются лучше, а при пяти-восьми точность снижается, особенно при плотной речи с перекрытиями. Идентификаторы говорящих действуют только в пределах одного вызова модели; для длинных записей требуется дополнительное связывание сегментов.
Lakoc/DeCRED_small_cv_2 — дообученная модель распознавания речи на базе архитектуры JointCTCAttentionEncoderDecoder. Модель обучена на Common Voice 13.0 и предназначена для преобразования речи в текст. В карточке приведены результаты оценки: CER 0,0663 и WER 0,1563. Репозиторий содержит веса в формате safetensors. Описание сценариев применения, языков, условий лицензии и ограничений в карточке отсутствует, поэтому их нельзя уточнить. Модель опубликована 15 июня 2024 года.
DeSTA2.5-Audio — аудиоязыковая модель, разработанная командой DeSTA-ntu как модель общего назначения для понимания аудио и диалога с аудиоданными. Она принимает аудио и формирует текстовые ответы; в метаданных для неё указан тип задачи audio-text-to-text и архитектура DeSTA25AudioModel на базе Llama 3.1 8B Instruct. Модель обучалась в рамках подхода с самостоятельно сгенерированными данными для межмодального выравнивания. Авторы заявляют, что метод масштабируется без специализированных данных инструкционного дообучения для отдельных задач, помогает сохранять языковые способности и уменьшать катастрофическое забывание. В качестве связанного набора данных указан DeSTA-AQA5M — 5 млн пар аудио и текста из 7 000 часов аудио. Модель предназначена для ответов на вопросы по аудио и других сценариев общего понимания аудиозаписей. Метаданные указывают объединение с DeSTA-ntu/Llama-3.1-8B-Instruct и Meta-Llama/Llama-3.1-8B-Instruct; веса опубликованы в формате safetensors. В README не приведены сведения о лицензии, поэтому условия использования следует сверить с карточкой модели и лицензией базовой модели. Практические ограничения и подробные показатели качества в предоставленных материалах не описаны.
FluidInference/diar-streaming-sortformer-coreml — набор моделей для диаризации речи, преобразованных из NVIDIA Sortformer в формат CoreML для устройств Apple Silicon. Модели предназначены для потоковой и пакетной обработки аудио в приложениях на iOS и macOS, включая определение временных сегментов и вероятностей речи до четырёх говорящих. Интеграция предусмотрена через библиотеку FluidAudio на Swift. В основе лежит nvidia/diar_streaming_sortformer_4spk-v2.1; указано отношение к базовой модели finetune. Модели используют мел-спектрограммы и внутренние эмбеддинги состояния говорящих, поддерживают конфигурации с низкой задержкой и конфигурацию NVIDIA High для более высокого качества при офлайн-обработке. Для вариантов Fastest и NVIDIA Low заявлена задержка около 1,04 секунды, для NVIDIA High — около 30,4 секунды. v2.1, согласно README, более устойчива в сценариях совещаний. Максимальное число отслеживаемых говорящих — четыре. Сильные стороны — потоковая обработка, наличие вариантов с разным компромиссом между задержкой и качеством, а также оптимизация под экосистему Apple. Ограничения включают фиксированную поддержку четырёх говорящих и отсутствие в предоставленных данных сведений о языках, точности, требованиях к аудио и качестве в различных акустических условиях. Модели распространяются по лицензии CC BY 4.0.
RASMUS/Finnish-ASR-Canary-v2 — модель автоматического распознавания речи на финском языке, опубликованная пользователем RASMUS и дообученная на базе NVIDIA Canary-v2. Она предназначена для преобразования финской речи в текст, включая короткие записи, разговорную речь, подкасты, интервью, лекции и многоговорящие записи; для длинных аудиофайлов предусмотрены сценарии с VAD и диаризацией. Модель основана на архитектуре Fast-Conformer с attention encoder-decoder и содержит около 1 млрд параметров. Она работает с аудио и генерирует текст на финском языке, использует библиотеку NVIDIA NeMo и поддерживает дополнительное beam search-декодирование с 6-граммовой KenLM-моделью для повышения качества. Заявленные значения WER составляют 4,58% на Common Voice, 7,75% на FLEURS, 7,03% на CSS10 и 11,65% на VoxPopuli; качество зависит от типа речи и согласованности нормализации транскриптов. Сильные стороны модели — специализация на финском языке, хорошие результаты на нескольких речевых доменах и поддержка длинных записей с временными метками и диаризацией. Ограничения включают зависимость от NVIDIA NeMo и требовательную инфраструктуру; в документации для окружения тестирования указана NVIDIA GPU с не менее чем 48 ГБ VRAM. Модель распространяется по лицензии MIT.
FireRedPunc — это модель для автоматической расстановки пунктуации в неразмеченном тексте, полученном от систем автоматического распознавания речи. Она основана на FireRedTeam/FireRedPunc, разработанной командой FireRedTeam, и представлена в формате GGUF для использования с CrispASR. Модель поддерживает китайский и английский языки и предназначена прежде всего для обработки результатов ASR. В основе лежит BERT-base на архитектуре LERT с 12 слоями, размерностью скрытого представления 768, 12 головами внимания и примерно 102 млн параметров. Линейный классификатор предсказывает пять классов: пробел, запятую, точку, вопросительный и восклицательный знаки. Используется словарь chinese-bert-wwm-ext из 21 128 токенов WordPiece, максимальная длина последовательности составляет 512 токенов; более длинный текст автоматически разбивается на фрагменты. Модель удобна для постобработки транскрипций речи и может работать с различными ASR-бэкендами CrispASR. Доступны варианты F16, Q8_0 и Q4_K: Q8_0 рекомендуется как обеспечивающий качество, близкое к полной точности, тогда как Q4_K занимает меньше места, но может чаще пропускать пунктуацию. Модель распространяется по лицензии Apache 2.0; данный вариант является только конвертацией и квантованием исходной модели без изменения архитектуры или обучения.
Fun-ASR-Nano-2512-GGUF — конвертированная в формат GGUF версия модели FunAudioLLM/Fun-ASR-Nano-2512-hf, разработанной FunAudioLLM. Модель предназначена для автоматического распознавания речи и работает через audio.cpp в автономном офлайн-режиме, включая запуск на CPU и NVIDIA CUDA. Это мультиязычная ASR-модель с поддержкой двух вариантов весов: Q8_0 размером около 1,05 ГБ и F16 размером около 1,68 ГБ. В файлы встроены конфигурация модели и процессора, tokenizer, chat template и спецификация пакета audio.cpp. Точные архитектурные параметры, число параметров, список языков и размер контекста в README не указаны. К сильным сторонам относятся автономная работа без внешнего сервиса, мультиязычное распознавание, готовность к использованию в audio.cpp и проверка транскрипции на CPU и NVIDIA H100 CUDA. Ограничения модели: она работает только офлайн и не предоставляет потоковый режим или временные метки. Для CUDA веса encoder и adaptor в варианте Q8_0 сохраняются в исходном формате, а веса decoder по умолчанию загружаются в BF16; этот тип можно изменить параметром сессии. Модель и конвертированные веса распространяются по лицензии FunASR Model Open Source License Agreement v1.1. Перед использованием и распространением необходимо ознакомиться с условиями этой лицензии.
Fun-ASR-Nano-2512-hf — версия модели распознавания речи Fun-ASR-Nano от FunAudioLLM, подготовленная для работы с библиотекой Transformers. Это плотная end-to-end модель, принимающая аудио и генерирующая текстовую транскрипцию. Она поддерживает китайский, английский и японский языки; для китайского заявлена поддержка семи диалектных групп и 26 региональных акцентов. Обучение проводилось на десятках миллионов часов реальной речи. Модель предназначена для транскрибирования аудио, в том числе китайской речи с региональными особенностями, а также английской и японской речи. Для этого HF-чекпойнта README описывает запуск через нативную поддержку Transformers и генерацию текста. Указанная в карточке лицензия — Apache-2.0. Экспорт не содержит ветвь CTC и поэтому не предоставляет зависящие от неё временные метки и диаризацию говорящих. Проверки README охватывают короткие примеры и отдельные пакетные сценарии; они не являются оценкой точности, скорости или минимальных требований к памяти. Стандартный pipeline automatic-speech-recognition в описанной версии Transformers завершался ошибкой индексации токенов; автор рекомендует использовать указанный в README маршрут через any-to-any или нативные processor/generate API.
gemma-3n-E4B-it-MLX-4bit — это 4-битная квантованная версия мультимодальной модели gemma-3n-E4B-it, разработанной Google. Квантование в формате MLX предоставлено командой LM Studio с использованием mlx_vlm; модель оптимизирована для работы на устройствах с Apple Silicon. Модель предназначена для задач преобразования изображений, аудио и видео в текст, включая автоматическое распознавание и перевод речи, а также сценарии audio-text-to-text и video-text-to-text. В README не указаны точные архитектурные параметры, число параметров, поддерживаемые языки и размер контекстного окна. Ключевые преимущества — сниженное потребление памяти и вычислительных ресурсов благодаря 4-битной квантовании и адаптация к экосистеме Apple Silicon. Возможные ограничения связаны с потерей точности из-за квантования, а также с отсутствием в предоставленных данных подробных характеристик качества и совместимости. Для доступа и использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует уточнять в её тексте.
Это конвертированные в ONNX модели GigaAM v2, подготовленные для запуска через библиотеку onnx-asr. Репозиторий содержит варианты архитектуры CTC и RNN-T для автоматического распознавания речи; пример применения из карточки — транскрибация WAV-файла. Модель предназначена для распознавания русской речи по аудио. ONNX позволяет использовать её в совместимой среде выполнения, включая CPU-вариант onnx-asr. Репозиторий распространяется по лицензии MIT. Размер моделей и длина контекста в предоставленных данных не приведены.
Это конвертированная в формат MLX модель GigaAM v3 RNNT для распознавания русской речи на устройствах Apple Silicon. Она основана на чекпойнте ai-sage/GigaAM-v3, ревизии RNNT; архитектура включает 16-слойный Conformer-энкодер с размерностью 768 и 16 головами внимания. Веса представлены в fp16 и занимают около 423 МБ. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт посимвольную транскрипцию русского текста. RNNT-выход состоит из строчных букв русского алфавита без пунктуации; автор сообщает о меньшем WER по сравнению с CTC и приводит результаты оценки на 200 аудиофрагментах. Для пунктуации или нормализации текста потребуется дополнительная обработка. Репозиторий предназначен для запуска на Apple Silicon с MLX; README также описывает совпадение транскрипций с исходной реализацией PyTorch на проверенной выборке. Лицензия — MIT.
patrickvonplaten/hubert-xlarge-ls960-ft-4-gram — модель распознавания английской речи, созданная на основе Facebook hubert-xlarge-ls960-ft и дополненная 4-граммной языковой моделью. Для языковой модели используются официальные n-граммы LibriSpeech. Архитектура — HuBERT-XLarge с CTC-выходом; число параметров по метаданным — 1,3 млрд. Модель принимает аудио и выдаёт распознанный текст, подходит для транскрибации речи и оценки на наборах LibriSpeech clean и other. В README приведены результаты WER 1,71 для clean и 3,06 для other. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.