I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиData2Vec-Audio-Large-960h — акустическая модель Facebook для автоматического распознавания английской речи. Это крупная Transformer-модель семейства data2vec с архитектурой Data2VecAudioForCTC и 402,7 млн параметров; она предварительно обучена и дообучена на 960 часах аудио из LibriSpeech. Модель принимает речь с частотой дискретизации 16 кГц и выводит текстовую транскрипцию. Модель предназначена для транскрибирования аудиозаписей и оценки систем распознавания речи на наборах LibriSpeech. В карточке приведены результаты WER 1,89 для раздела clean и 4,07 для other. Эти показатели относятся к указанной оценке на LibriSpeech и не гарантируют аналогичного качества на других данных. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Она рассчитана на английскую речь и требует аудио с частотой 16 кГц; карточка не описывает поддержку других языков или сценариев работы.
RodrigoLimaRFL/distil-whisper-nurc-sp-fine-tuned — модель распознавания речи на базе Whisper, дообученная автором на наборе данных NURC-SP. Она предназначена для преобразования аудиозаписей в текст; обучение на NURC-SP указывает на специализацию на речевых данных этого набора. Модель содержит 905,2 млн параметров и распространяется в формате safetensors. Модель принимает аудио и выдаёт текст, pipeline Hugging Face — automatic-speech-recognition. В метаданных указан португальский язык. Лицензия — MIT. Подробности об оценке качества и ограничениях применения в карточке не приведены.
OpenASR/firered2-llm — это модель автоматического распознавания речи FireRedASR2-LLM, разработанная FireRedTeam и упакованная проектом OpenASR для нативного локального запуска. Она предназначена для преобразования аудиозаписей в текст, прежде всего на нормативном мандаринском китайском, китайских диалектах и акцентах, а также на английском языке. Модель использует архитектуру Encoder-Adapter-LLM с декодером масштаба большой языковой модели и содержит более 8 млрд параметров. Доступная сборка q4_k распространяется в формате .oasr, имеет размер около 5,10 ГБ и пиковое потребление оперативной памяти около 9,39 ГБ. Она работает на CPU и GPU через OpenASR, без Python во время инференса и без передачи аудио в облако. Заявленная средняя CER составляет 2,89% на четырёх общедоступных мандаринских тестах и 11,55% на 19 тестах китайских диалектов и акцентов. К сильным сторонам относятся высокая точность для китайской речи, поддержка диалектов и акцентов, двуязычность и полностью локальное выполнение. Ограничения — крупный размер модели и значительные требования к памяти; в README не указаны поддерживаемая длительность контекста, полный перечень вариантов английской речи и показатели для других языков. Модель и её упаковка распространяются по лицензии Apache-2.0.
Fun-Audio-Chat-8B — большая аудиоязыковая модель семейства FunAudioChat, предназначенная для естественных голосовых взаимодействий с низкой задержкой. В карточке Hugging Face указаны архитектура FunAudioChatForConditionalGeneration, около 8 млрд параметров и формат safetensors; модель работает с английским и китайским языками. Модель поддерживает ответы на вопросы по аудио, понимание речи, выполнение речевых инструкций и вызов функций голосом, а также взаимодействия с эмпатичной речью. В ней используются представления речи с двумя разрешениями: общий тракт с частотой 5 Гц и уточняющая часть на 25 Гц. Авторы заявляют о снижении вычислительных затрат при сохранении качества речи и сильных результатах в аудиобенчмарках. Для инференса в README указано около 24 ГБ видеопамяти; обучение требует четырёх GPU по 80 ГБ. Модель распространяется по лицензии Apache-2.0.
gemma-3n-E4B-it-MLX-6bit — это 6-битно квантованная версия модели gemma-3n-E4B-it от Google, адаптированная командой LM Studio с использованием MLX и mlx_vlm. Модель оптимизирована для работы на устройствах Apple Silicon и предназначена для локального запуска через совместимое программное обеспечение. В карточке указаны сценарии image-text-to-text, audio-text-to-text, video-text-to-text, автоматического распознавания речи и автоматического перевода речи. Ключевые характеристики исходной архитектуры, точный размер модели, поддерживаемые языки и максимальная длина контекста в README не указаны. Квантование снижает требования к памяти и делает модель более подходящей для локального использования на Apple Silicon, но может уменьшать точность по сравнению с исходной версией. Модель может генерировать неточные, вредные или неподходящие результаты, поэтому выводы требуют проверки. Использование регулируется лицензией Gemma; для доступа на Hugging Face необходимо ознакомиться с лицензией Google и принять её условия.
Granite-speech-3.2-8b — компактная speech-language модель IBM, созданная на базе ibm-granite/granite-3.2-8b-instruct и предназначенная для обработки речи. Она поддерживает автоматическое распознавание речи (ASR) и автоматический перевод речи (AST), прежде всего для английского языка. Модель выпущена 2 апреля 2025 года и ориентирована на корпоративные приложения, работающие с аудиовходами. Модель использует двухпроходную архитектуру: сначала преобразует аудиофайл в текст, после чего отдельным явно инициируемым вызовом обрабатывает транскрипцию базовой языковой моделью. В состав входят речевой энкодер на базе 10 Conformer-блоков с обучением CTC, блочный механизм внимания для аудиофрагментов длительностью 4 секунды и speech projector. Указанный размер базовой языковой модели — 8 миллиардов параметров. Для входа используются монофонические аудиоданные с частотой 16 кГц. Сильными сторонами модели являются компактность, поддержка как распознавания, так и перевода речи, а также возможность перевода с английского на французский, испанский, итальянский, немецкий, португальский, японский и китайский языки. Ограничения включают необходимость выполнять два последовательных вызова, основную ориентацию на английскую речь и отсутствие преимуществ перед специализированными Granite-моделями при работе только с текстом. Модель распространяется по лицензии Apache 2.0.
Это дообученная модель Whisper на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; в названии модели указаны хинди, хинглиш и смешанные письменности. В README приведены результаты оценки: loss 0,4115 и Global WER 27,8641; описание датасета и подробности применения не раскрыты. Модель распространяется под лицензией MIT.
Модель представляет собой дообученную версию Whisper, разработанную на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; название модели указывает на работу с хинглишем и смешанными письменностями. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для библиотеки Transformers. На оценочном наборе указаны loss 0,4475 и глобальный WER 28,015. Лицензия — MIT. Данные обучения, подробности об оценочном наборе и более точное описание поддерживаемых языков в карточке не раскрыты.
Kotoba-Whisper-v2.1 — японская модель автоматического распознавания речи, разработанная Kotoba Technologies совместно с Асахи Усио. Она основана на kotoba-tech/kotoba-whisper-v2.0 и использует архитектуру Whisper с 905,2 млн параметров. Встроенный конвейер дополнительно расставляет пунктуацию в распознанном тексте. Модель предназначена для транскрибации японской речи. В README приведены оценки CER на японских тестовых наборах CommonVoice 8, JSUT Basic 5000 и ReazonSpeech; для нормализованного CER результаты совпадают с версией v2.0, поскольку добавленная пунктуация при нормализации удаляется. Модель доступна через Transformers версии 4.39 и новее. Лицензия — Apache-2.0.
itsskofficial/livewhisper-hi-vaani — преобразованная в формат CTranslate2 модель для распознавания речи на хинди и транскрибирования её текстом письмом деванагари. Репозиторий подготовлен для использования с faster-whisper в приложении LiveWhisper для голосового ввода в Windows; в README указаны веса float16 и размер около 3 ГБ. Модель основана на ARTPARK-IISc/whisper-large-v3-vaani-hindi, а автор репозитория сообщает о результатах на FLEURS: WER 10,3% и CER 3,0%, а также точности написания переключений кодов в хинди 96%. Лицензия — Apache-2.0. README уточняет, что репозиторий меняет формат файлов и добавляет необходимые конфигурации faster-whisper; метаданные классифицируют связь с базовой моделью как дообучение.
Llama-Chat-Summary-3.2-3B-GGUF — это квантизированная версия языковой модели Llama-Chat-Summary-3.2-3B, разработанной prithivMLmods и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и прежде всего для суммаризации контекстных диалогов и чатов. Она обучалась с использованием набора данных Context-Based-Chat-Summary-Plus и поддерживает английский язык. Модель содержит около 3 миллиардов параметров и представляет собой текстовую autoregressive-модель без заявленной поддержки изображений или других модальностей. В репозитории доступны варианты с разной степенью квантизации, включая F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-варианты, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов варьируется примерно от 1,5 до 6,4 ГБ. Для запуска указаны llama.cpp и LM Studio; README не сообщает размер контекстного окна. Сильными сторонами модели являются специализация на суммаризации диалогов, сравнительно небольшой размер и наличие множества вариантов квантизации для локального запуска. Более сильные варианты, такие как Q6_K_L, Q6_K и Q5_K, позиционируются как обеспечивающие высокое качество, а Q4_K_M — как сбалансированный вариант для большинства сценариев. Более агрессивная квантизация уменьшает требования к памяти, но снижает качество. Модель ориентирована на английские тексты, поэтому её возможности для других языков README не подтверждает. Лицензия — CreativeML OpenRAIL-M.
BuzzASR/macedonian — одноязычная модель автоматического распознавания речи на македонском языке, созданная командой BuzzASR дообучением Whisper large-v3 от OpenAI. Она принимает аудио и генерирует текстовую транскрипцию; подсказка языка и задачи уже задана в конфигурации генерации. Модель содержит около 905,2 млн параметров, построена на архитектуре Whisper и распространяется в формате safetensors для Transformers. Модель предназначена для транскрибации македонской речи. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25, где авторы сообщают о снижении CER относительно Whisper large-v3 без дообучения. Лицензия — MIT. Проверка охватывает указанные тестовые наборы; точность на других предметных областях, диалектах и условиях записи может отличаться.
Megrez-3B-Omni — разработанная Infinigence AI компактная мультимодальная модель для понимания изображений, текста и аудио. Она расширяет Megrez-3B-Instruct и предназначена для диалогов и анализа запросов, содержащих текст, изображения или речь, включая вопросы по изображениям, распознавание текста на изображениях и ответы на устные инструкции. Для аудиоввода используются энкодеры Qwen2-Audio или Whisper large-v3, а для изображений — SigLIP-400M; модель поддерживает китайский и английский языки и многоходовой диалог. В карточке указано около 2,6 млрд параметров и контекст 4096 токенов; веса представлены в формате safetensors. Модель рассчитана на локальное и серверное применение, в том числе на устройствах с ограниченными ресурсами. В README приводятся результаты сравнительных тестов для визуального, языкового и речевого понимания, однако они зависят от условий оценки. Известные ограничения включают возможность галлюцинаций; для OCR авторы предупреждают, что сэмплирование может менять распознанный текст, а его отключение способно вызвать повторения. Лицензия репозитория — Apache-2.0.
Карточка модели natalie5/Ming-UniAudio-16B-A3B на Hugging Face совпадает с карточкой inclusionAI/Ming-UniAudio-16B-A3B, поэтому описание составлено по ней. Ming-UniAudio-16B-A3B — аудиомодель от inclusionAI для совместного понимания, генерации и редактирования речи. Она использует архитектуру BailingMM и единый непрерывный аудиотокенизатор MingTok-Audio на основе VAE и каузального Transformer, объединяющий семантические и акустические признаки. Модель принимает и выдаёт аудио; единая языковая модель поддерживает задачи понимания и генерации речи, а Diffusion Head предназначен для синтеза с высоким качеством звучания. Модель подходит для распознавания и анализа речи, синтеза аудио и редактирования речи по инструкциям на естественном языке, включая семантические и акустические изменения без ручного указания временных отрезков. В карточке заявлены конкурентные результаты на тестах понимания и генерации речи. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Описание не приводит размер контекста и перечень поддерживаемых языков.
Модель csikasote/mms-1b-all-bemgen-combined-train-droctc-gdro-3e-2-dat-5e-1-no-sd-0.00-42 — дообученная csikasote версия facebook/mms-1b-all для автоматического распознавания речи. Это плотная модель архитектуры wav2vec2 с головой CTC, содержащая 1,3 млрд параметров и принимающая аудио для преобразования речи в текст. Она дообучена на наборе BEMGEN — BEM; в карточке приведены результаты оценки: loss 12,2996 и CER 0,0527. Модель подходит для распознавания речи в аудиозаписях на языках, поддерживаемых базовой MMS-моделью; карточка не уточняет, какие именно языки и условия записи проверялись при дообучении. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Это дообученная модель распознавания речи на архитектуре wav2vec2, основанная на facebook/mms-1b-all. Она обучена на наборе BEMGEN - BEM и предназначена для преобразования аудио в текст. В карточке приведены результаты оценки на тестовом наборе: loss 12.7139 и CER 0.0530. Модель содержит 1,3 млрд параметров, использует формат safetensors и библиотеку Transformers. Базовая модель поддерживает более тысячи языков, однако языковая поддержка именно этого дообучения в карточке не уточнена. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
fidoriel/moonshine-base-de — модель распознавания речи на базе архитектуры Moonshine, созданная переносным дообучением англоязычной UsefulSensors/moonshine-base для немецкого языка. Она преобразует аудиоречь в текст и предназначена для сценариев автоматической транскрипции на немецком языке. В метаданных указан класс MoonshineForConditionalGeneration, формат весов Safetensors и контекст 194 токена. В оценке на тестовой части Common Voice указаны WER 0,069 и CER 0,024. Модель распространяется по лицензии CC BY-NC-SA 4.0: требуется указание авторства, использование ограничено некоммерческими целями, а производные работы должны распространяться на тех же условиях. Финансирование исходного проекта обеспечило Федеральное министерство исследований, технологий и космоса Германии.
Nemotron-3.5 Hinglish Fine-Tuned — модель распознавания речи, дообученная автором репозитория на наборе Noisy Hinglish ASR для распознавания хинди и речи с переключением между хинди и английским. Она основана на nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b и использует архитектуру FastConformer RNNT с prompt-streaming; размер базовой модели — 638 млн параметров. Репозиторий включает экспортированные модели ONNX для развёртывания, а базовая архитектура поддерживает потоковую обработку аудио. Модель предназначена для транскрибации разговорной Hinglish-речи и шумной речи на хинди. В приведённых автором тестах WER для разговорной Hinglish составил 24,57% против 42,17% у базовой модели, а для шумного хинди — 31,67%; на чистом хинди отмечено небольшое ухудшение WER. Модель распространяется по лицензии Apache-2.0.
Nemotron Czech 0.6B v1 — независимая адаптация twobe3 модели NVIDIA Nemotron 3.5 ASR Streaming 0.6B для распознавания чешской речи. Это полный чекпойнт NeMo с токенизатором, предназначенный для локальной транскрипции и потокового распознавания; он не является чекпойнтом для Transformers. В репозитории также приведена конверсия GGUF Q8_0 для запуска в NeMo-Speech.cpp. Модель дообучена на 30 039 проверенных аудиотекстовых парах Common Voice Czech 27.0. В исторической оценке на тестовом наборе Common Voice сообщается нормализованный WER 9,18% против 16,22% у исходной модели при одинаковых настройках потокового распознавания и размере аудиофрагмента 320 мс. Эти результаты не гарантируют точность на других записях: оценка не была новым слепым тестом, а качество на звонках, шумной речи, спонтанных разговорах и других языках отдельно не проверялось. Указанные 320 мс — размер аудиофрагмента, а не измеренная сквозная задержка. Модель принимает аудио и выдаёт текстовую транскрипцию. Для GGUF Q8_0 не следует предполагать те же показатели WER, что и для исходного чекпойнта NeMo. Веса и материалы выпуска распространяются по лицензии OpenMDW-1.1.
Garnet-Owl/nemo-voice-typing-asr — это англоязычная потоковая модель распознавания речи NVIDIA NeMo, экспортированная в ONNX и квантизованная до INT4 для запуска на процессоре. Архитектура RNN-T включает трансформерный энкодер из 24 слоёв с размером скрытого состояния 1024, двухслойный LSTM-предиктор с размером состояния 640 и совместную сеть с словарём из 1024 токенов плюс blank. Вход — монофонический PCM-сигнал с частотой 16 кГц; распознавание идёт чанками по 560 мс с жадным декодированием. Модель предназначена для потоковой транскрипции английской речи, в том числе диктовки с микрофона в приложения. Для запуска через ONNX Runtime README указывает современный процессор x86-64 с AVX2, около 900 МБ оперативной памяти и 600 МБ места на диске; GPU не требуется. Упаковка выполнена Microsoft / GitHub Copilot и распространяется по MIT, а исходные веса ASR — по NVIDIA Open Model License; комплектный Silero VAD имеет лицензию MIT.
orb-1-mini — компактная модель Orbal для очистки английской диктовки после распознавания речи. Она принимает текст, созданный движком распознавания, и исправляет заполнители пауз, повторы, оговорки и самокоррекции, а также пунктуацию, заглавные буквы и запись чисел. Модель сохраняет слова и их порядок, не сокращает текст, не пересказывает его и не добавляет новую информацию. Предусмотрены промпты для обычной очистки, сообщений в чате и писем. Модель основана на Qwen/Qwen3.5-0.8B и дообучена с помощью LoRA на синтетических примерах, затем объединена и квантизирована до 4-битного формата MLX. Это плотная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration; размер файлов — около 0,42 ГБ. Она предназначена для локального запуска на Apple silicon, например в приложении Orbal для macOS. README сообщает результаты проверки на 178 английских диктовках: для основного промпта 100% примеров прошли проверку на отсутствие добавленного содержания, а смысл сохранился в 99% случаев по слепой оценке. Модель рассчитана только на английский язык. Формы чисел выше 99 и выражения времени вроде «half past two» исключались из обучения и могут оставаться в исходной словесной форме; длинные диктовки обрабатываются медленнее. Указана лицензия Apache-2.0.
ParakeetKit Pro — набор моделей распознавания речи, опубликованный Argmax Inc. Модели предназначены для преобразования аудио в текст и доступны в формате Core ML для работы с Argmax Pro SDK на поддерживаемых устройствах. Репозиторий заявляет совместимость только с Argmax Pro SDK. В метаданных указаны задачи автоматического распознавания речи и аудиовход; лицензия обозначена как other. Сведения о конкретной архитектуре, размере, языковой поддержке и условиях лицензии в доступных данных отсутствуют.
Parakeet TDT 0.6B V2 CoreML — модель автоматического распознавания речи, разработанная командой FluidInference на основе Parakeet TDT 0.6B V2 от NVIDIA. Она преобразована в формат CoreML для высокопроизводительного локального вывода на устройствах Apple, включая Apple Silicon и iOS. Модель предназначена для транскрибирования англоязычной речи в реальном времени и интеграции в приложения на macOS и iOS. Она использует архитектуру FastConformer-TDT, содержит около 0,6 млрд параметров, принимает аудио с частотой дискретизации 16 кГц и поддерживает английский язык. Заявлены macOS 14+, iOS 17+ и интеграция со Swift через репозиторий FluidAudio. К сильным сторонам относятся оптимизация для устройств Apple, возможность выполнения распознавания непосредственно на устройстве, высокая заявленная скорость работы — коэффициент реального времени около 110× на M4 Pro — и относительно небольшой пиковый объём памяти около 800 МБ. Ограничения включают поддержку только английского языка, зависимость от платформ Apple и отсутствие в README подробных сведений о точности, устойчивости к шуму и поддерживаемых вариантах входного аудио. Модель распространяется по лицензии CC-BY-4.0.
Это 8-битная версия модели NVIDIA Parakeet TDT 0.6B v2 в формате MLX, подготовленная CosmicFusion Labs для приложения диктовки WhisperBud на macOS. Она предназначена для автоматической транскрибации английской речи в текст на устройствах Apple Silicon. Модель использует архитектуру Parakeet TDT с 0,6 млрд параметров и принимает аудио, выдавая текстовую расшифровку. По данным разработчика, квантизация MLX с 8-битными весами сокращает размер загрузки с 2472 до 933 МБ и ускоряет загрузку модели; транскрипты совпадали с результатами того же 8-битного пути квантизации при загрузке. В собственном тесте авторов средний WER составил 11,6% на англоязычной речи; модель работала в 2–4 раза быстрее Whisper medium.en на M1 Pro. Модель рассчитана на локальную диктовку и транскрибацию речи на Apple Silicon. Она поддерживает английский язык; подтверждений поддержки других языков нет. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).
Это GGUF-квантизированная версия модели parakeet-tdt_ctc-110m, разработанной совместно командами NVIDIA NeMo и Suno.ai и адаптированной для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования английской речи в текст с пунктуацией и капитализацией. Она поддерживает обработку аудио в формате 16 кГц, моно WAV и может использоваться для локальной транскрипции записей без внешней языковой модели. Модель построена на архитектуре FastConformer с полным механизмом внимания и содержит около 110 млн параметров. В исходной гибридной модели применяются TDT/RNNT-транзьюсер и вспомогательная CTC-голова; при конвертации в GGUF CTC-голова удалена. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 90 до 457 МБ. Заявленная точность на LibriSpeech test-clean составляет 2,43% WER для F32, F16 и Q8_0 и до 2,53% для Q4_K_M. Модель поддерживает только английский язык, не предназначена для перевода, определения языка или потокового распознавания. Полное внимание позволяет обрабатывать до 20 минут аудио за один проход, однако модель работает в офлайн-режиме. Лицензия унаследована от базовой модели и указана как CC-BY-4.0; подробные условия следует уточнять в карточке исходной модели NVIDIA.
Модель Immich — контрольная точка BigBird-Pegasus для суммаризации диалогов и встреч. Она обучена на подходящей части AMI Meeting Corpus с seed 42 и предназначена для создания краткого содержания полной встречи либо для иерархического конвейера сегментации, извлечения и генерации. Архитектура — BigBird-Pegasus для последовательной генерации текста; модель содержит 366,8 млн параметров и поддерживает контекст до 4096 токенов. Модель ориентирована на англоязычные записи встреч AMI. Лицензия — MIT. Карточка описывает обученную контрольную точку, но не приводит метрик качества или подробностей поведения при обработке длинных и шумных диалогов.
Pyannote-Community-1-CoreML — это пакет компонентов Core ML для офлайн-диаризации речи, то есть определения участков речи и разделения их по говорящим. Пакет опубликован aufklarer и основан на pipeline pyannote/speaker-diarization-community-1; он входит в речевой инструментарий soniqo.audio и предназначен для работы на устройствах Apple с Apple Silicon. Это не единая сквозная модель: принимающее приложение должно выполнять powerset-декодирование, оценку числа говорящих, выбор масок с учётом перекрытий, кластеризацию VBx и восстановление временной шкалы. В состав входят сегментационная модель PyanNet на 1,49 млн параметров и модель Masked WeSpeaker на 6,86 млн параметров, обе в формате скомпилированных Core ML и с точностью FP32. Сегментация обрабатывает монофонические аудиоданные 16 кГц окнами по 10 секунд, а WeSpeaker использует такие же окна и три маски по 589 кадров. Дополнительно поставляются преобразования PLDA в формате safetensors для перехода от 256 к 128 измерениям и кластеризации VBx. Графы работают с фиксированным размером батча 1 и требуют iOS 17 или macOS 14 либо более новых версий. Поддерживается многоязычная речь. Сильные стороны пакета — автономная работа без Python, интеграция с нативным Swift runtime и высокая скорость на Apple M5 Pro: около 25-кратного ускорения относительно реального времени в заявленном тесте. На подмножестве VoxConverse получены DER 4,65% и JER 21,42%, что совпало с исходным Community-1, однако проверка охватывала только пять записей. Точность может заметно зависеть от записи: на одной встрече AMI DER составил 23%, а оценка числа говорящих была точной только для трёх из пяти записей, поэтому рекомендуется задавать известное или ограниченное число участников. Идентификаторы говорящих локальны для результата; для сопоставления личности можно использовать 256-мерные центроиды. Лицензия пакета — CC BY 4.0 с указанием авторства и происхождения компонентов.
A7oad/qaf-tasmi-v6 — модель автоматического распознавания речи, опубликованная пользователем A7oad на Hugging Face. Она построена на архитектуре wav2vec2 с классом Wav2Vec2ForCTC и содержит около 402,8 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст; для загрузки указана библиотека Transformers. Карточка модели создана автоматически и не сообщает о языках, данных обучения, оценках качества или конкретных условиях применения. Лицензия в карточке не указана. Поэтому пригодность для отдельных языков и акустических условий по доступным сведениям оценить нельзя.
Ertas AI разработала MiniLM L12 cross-encoder как первый этап двухэтапной системы для поиска фрагментов стенограммы перед созданием ответа на запрос по QMSum. Модель оценивает релевантность пары «запрос — текстовое окно» и помогает отобрать фрагменты встречи для последующего суммаризатора. Это дообученная модель на базе cross-encoder/ms-marco-MiniLM-L-12-v2 с архитектурой BERT и примерно 40 млн параметров. Модель обучена на английских запросах и стенограммах встреч из QMSum; рекомендуемый размер окна при обучении и использовании — 375 слов. Контекст ограничен 512 токенами, поэтому более длинные окна могут обрезаться, а размеры, отличные от обучающего, дают входы вне распределения. В опубликованной конфигурации система с этим локатором получила ROUGE-1 35,41 на тестовом наборе QMSum, но README отмечает, что преимущество над протокольной конфигурацией не подтверждено как устойчивое к смене seed. Модель предназначена для английских стенограмм встреч и не проверялась на других типах документов. Релевантность определяется перекрытием с размеченными эталонными фрагментами QMSum. Лицензия — Apache 2.0.
Qwen2-Audio-7B-Instruct — мультимодальная аудиоязыковая модель серии Qwen2-Audio, разработанная командой Qwen. Это чат-модель с плотной архитектурой Qwen2-Audio и примерно 7 млрд параметров, предназначенная для голосового общения и анализа аудио по текстовым инструкциям. Модель принимает аудиосигнал, может вести голосовой диалог без текстового ввода и отвечать на вопросы или выполнять инструкции об аудиозаписи. Поддерживается пакетный инференс; взаимодействие в примерах использует формат ChatML. В метаданных указан английский язык, а карточка описывает работу с речевыми инструкциями и различными аудиовходами. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Для запуска требуется актуальная версия Transformers с поддержкой Qwen2-Audio; карточка советует устанавливать библиотеку из исходного кода, иначе возможна ошибка распознавания архитектуры. Карточка не приводит подробных результатов оценки качества или перечня ограничений по аудиоформатам.