I.7Речь, диалоги и встречи

Ayush Auti разработал Ayush5605/dialogue-summarizer — модель FLAN-T5, дообученную на датасете SAMSum для создания кратких сводок диалогов. Она подходит для суммирования переписок, стенограмм встреч и разговоров с клиентами, сохраняя основную информацию. Модель использует архитектуру T5 и содержит 38,5 млн параметров. Она принимает текст и генерирует текстовую сводку; в первую очередь обучена на англоязычных диалогах. Контекст ограничен 512 токенами, а более длинные разговоры могут обрезаться. Лицензия — MIT.

DiariZen — модель для диаризации речи, представленная командой BUT для задания MLC-SLM Challenge. Компонент EEND построен на WavLM-Large и слоях Conformer. Модель предварительно обучена на одноканальных записях речи с дальнего расстояния из нескольких публичных наборов данных, затем разрежена структурным прореживанием до 80% и дообучена на данных MLC-SLM. Модель предназначена для анализа аудиозаписей встреч и определения активности речи и говорящих. В README приведены результаты оценки DER на американском, австралийском и британском вариантах английского, где DiariZen показала меньшую ошибку, чем базовая система Pyannote. Репозиторий содержит веса PyTorch; лицензия CC BY-NC 4.0 разрешает использование только на некоммерческих условиях.

Это версия модели NVIDIA Sortformer для офлайн-разметки активности и временных сегментов речи до четырёх говорящих. Репозиторий mlx-community содержит конвертацию исходной модели nvidia/diar_sortformer_4spk-v1 в формат MLX с помощью mlx-audio 0.3.2; архитектура включает FastConformer из 18 слоёв, Transformer Encoder из 18 слоёв и модули Sortformer. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт вероятности активности каждого говорящего по кадрам. Она подходит для диаризации аудиозаписей с несколькими собеседниками и разметки речевой активности, максимум для четырёх голосов. В карточке указана лицензия исходной модели; отдельные условия лицензирования этой конвертации не приведены.

DiCoW_v3_MLC — модель распознавания речи с учётом диаризации, разработанная командой BUT Speech@FIT Брненского технического университета для соревнования MLC-SLM. Она объединяет Whisper large-v3-turbo с подходом DiCoW: результаты определения говорящих используются как дополнительное условие, чтобы распознавать речь выбранного участника разговора. Модель содержит 905,2 млн параметров и предназначена для расшифровки многоязычных разговоров и встреч; основное внимание уделено английскому языку. Модель дообучена на данных MLC-SLM после обучения на NOTSOFAR-1, AMI Meeting Corpus и Libri2Mix. Для работы с реальными записями ей нужны результаты диаризации; качество распознавания зависит от их точности. В README приведены результаты на наборе разработки MLC-SLM, но они охватывают английские варианты и не гарантируют аналогичное качество для всех поддерживаемых языков. Лицензия репозитория — CC BY 4.0; README также упоминает базовую модель с лицензией MIT и обучающие данные под CC BY 4.0.

Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

Модель jonatasgrosman/exp_w2v2t_ru_unispeech-sat_s423 — версия UniSpeech-SAT Large, дообученная для автоматического распознавания русской речи. Её разработчик дообучил microsoft/unispeech-sat-large с помощью инструмента HuggingSound на обучающей части Common Voice 7.0 для русского языка. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Она предназначена для транскрибирования русской речи в задачах распознавания голосовых записей. Веса опубликованы в формате PyTorch; размер модели — около 402,7 млн параметров. Модель распространяется по лицензии Apache-2.0. Её обучение на Common Voice 7.0 ограничивает основания для ожидания качества на других языках, условиях записи и типах речи; перед использованием в таких сценариях качество следует проверить.

Это конверсия модели distil-whisper/distil-medium.en в формат CTranslate2, опубликованная Systran для распознавания речи. Её можно запускать через CTranslate2 и совместимые проекты, включая faster-whisper. Модель принимает аудио и выдаёт текстовую транскрипцию на английском языке. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT.

Это версия Whisper large-v3, дообученной автором базовой модели и преобразованной в формат CTranslate2 для запуска через библиотеку faster-whisper. Модель предназначена для автоматического распознавания речи и транскрибирования аудиозаписей, в том числе в сценариях реального времени, пакетной обработки и высоконагруженных API. В карточке заявлены ускорение вывода до 4 раз и снижение потребления памяти; фактические показатели зависят от оборудования и длины аудио. Используется точность float16. README связывает исходное дообучение с Common Voice и L2 Arctic, но не приводит метрик качества или подробностей языкового и акцентного покрытия. Метаданные указывают английский язык. Лицензия — Apache-2.0.

Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, опубликованная aTrain-core. Она предназначена для распознавания речи и используется через CTranslate2 и совместимые проекты, в том числе faster-whisper. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Метаданные указывают поддержку множества языков, включая русский и английский. Для использования модели требуется совместимое программное обеспечение на основе CTranslate2. Лицензия репозитория — MIT.

Это конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель принимает аудио и преобразует речь в текст; её можно использовать для транскрибации аудиозаписей и интеграции распознавания речи в приложения на faster-whisper. Веса сохранены в FP16; при загрузке можно выбрать другой compute_type. Репозиторий не описывает отдельное дообучение: это конверсия openai/whisper-medium. Модель распространяется по лицензии MIT. Карточка этой конверсии не приводит подробностей об ограничениях качества; поддерживаемые языки и возможности исходного Whisper medium здесь отдельно не описаны.

Systran/faster-whisper-tiny.en — конверсия модели OpenAI Whisper tiny.en в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи на английском языке и преобразования аудио в текст. Веса сохранены в FP16; при загрузке тип вычислений можно изменить параметром compute_type в CTranslate2. Репозиторий распространяется по лицензии MIT. Карточка ссылается на исходную модель OpenAI для подробностей о её характеристиках.

stillerman/fdt-disfluency-small-29m-v2 — модель разметки слов в расшифровках разговорной речи, разработанная в рамках проекта FluencyAI digital-twin. Она помечает каждое слово тегом KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая реконструкция удаляет слова-паразиты и выполняет предусмотренные изменения пунктуации и регистра. Модель предназначена для очистки транскриптов живой речи с сохранением исходной формулировки. Это BERT L4/H512 для классификации токенов; в метаданных указано 32,4 млн параметров и контекст 512 токенов. Репозиторий содержит веса safetensors и квантованный ONNX-вариант int8 для запуска через transformers.js, в том числе в браузере с WebGPU. В README указаны exact-match 0,9255 и DELETE-F1 0,9874 на валидации. Модель удаляет помеченные слова, но не переписывает фразы и не исправляет содержание, имена или числа. Обучающие данные включают синтетически внесённые речевые сбои поверх разговорных корпусов; среди них DailyDialog под лицензией CC BY-NC-SA, поэтому автор рекомендует не использовать модель для коммерческого развертывания без отдельной проверки прав. Лицензия репозитория — Apache-2.0.

Fun-ASR-Nano-2512-8bit — конвертированная в формат MLX 8-битная версия многоязычной модели распознавания речи Fun-ASR-Nano-2512 от FunAudioLLM. Репозиторий подготовлен mlx-community с помощью mlx-audio-plus версии 0.1.4; метаданные указывают семейство FunASR и плотную архитектуру. Модель принимает речь и преобразует её в текст, поддерживает более 13 языков, прямой перевод речи на английский и подсказки с предметным контекстом. В README также описан потоковый вывод, а базовая модель предназначена для распознавания диалектов, акцентов и речи на фоне музыки. Лицензия в предоставленных данных не указана.

Fun-ASR-Nano-2512-fp16 — версия Fun-ASR-Nano-2512, преобразованная сообществом mlx-community в формат MLX с точностью fp16 с помощью mlx-audio-plus 0.1.4. Это компактная многоязычная модель распознавания речи на архитектуре FunASR, принимающая аудио и выдающая текст. Она поддерживает более 13 языков, распознавание с пользовательским контекстом, потоковый вывод и перевод речи в английский текст. Модель подходит для транскрибации аудио и речи в реальном времени, а также для распознавания терминологии в специализированных областях с подсказками. Перевод речи в английский текст заявлен как отдельный сценарий. Полный перечень языков доступен в карточке исходной модели, но в предоставленных данных он не указан. Репозиторий содержит веса safetensors в преобразованном формате MLX; базовая модель — FunAudioLLM/Fun-ASR-Nano-2512.

Fun-ASR-Nano-2512 — модель автоматического распознавания речи, разработанная командой FunAudioLLM в Tongyi Lab. Репозиторий bezzam/Fun-ASR-Nano-2512-hf содержит вариант модели для Transformers; исходная модель построена как система ASR на основе аудиоэнкодера и языковой модели-декодера, включает около 800 млн параметров и распространяется под лицензией Apache-2.0. Модель преобразует речь в текст, поддерживает китайский, английский и японский языки, китайские диалекты и региональные акценты, а также распознавание пения и рэпа. Разработчик указывает сценарии распознавания в шумной обстановке и потоковой транскрипции с низкой задержкой. Карточка HF отмечает ограничение текущего HF-чекпойнта: для транскрипции он пригоден, но путь CTC отключён, поэтому временные метки и диаризация могут быть недоступны или ненадёжны.

cstr/funasr-nano-GGUF — это GGUF-версия модели Fun-ASR-Nano-2512, разработанной Alibaba и FunAudioLLM и перепакованной для работы с backend funasr в CrispASR. Модель предназначена для автоматического распознавания и транскрибации речи на китайском (мандарин и кантонский), английском, японском и корейском языках. Архитектура включает 70-блочный SANM-энкодер SenseVoiceSmall, двухблочный Transformer-аудиоадаптер и декодер на базе Qwen3-0.6B с 28 слоями и GQA. Речь передаётся в языковую модель через ChatML-промпт, а генерация выполняется авторегрессионно с использованием KV-кэша. В репозитории доступны варианты F16, Q8_0 и Q4_K; последний имеет размер около 897 МБ и рекомендован как вариант по умолчанию. Опубликованные веса используют только путь через LLM-декодер, без рабочего CTC-декодера. Модель подходит для локальной транскрибации аудиозаписей и интеграции в приложения через CrispASR. Сильными сторонами являются компактный размер, поддержка нескольких языков и близкое к исходному качество у квантованных вариантов. Ограничение — английский вывод может быть в верхнем регистре и без пунктуации; для нормализации регистра и расстановки знаков препинания требуется отдельная модель. Код распространяется по Apache-2.0, а веса — по FunASR Model License v1.1: коммерческое использование разрешено при указании авторства Alibaba и FunAudioLLM.

GigaAM-v3 RNNT — модель распознавания речи, разработанная Sber и опубликованная в исходном виде в репозитории ai-sage/GigaAM-v3; эта версия подготовлена для loom.cpp. Она преобразует аудио в текст и рассчитана на распознавание русской и английской речи. В основе лежит архитектура Conformer с предсказанием RNNT. Репозиторий содержит неизменённые веса исходной модели, упакованные в один файл GGUF для запуска через loom-py-rt. Модель подходит для транскрибации аудиозаписей и обработки речи приложениями, использующими loom.cpp. Лицензия — MIT. Карточка не приводит численный размер модели или длину контекста; эти характеристики здесь не указаны.

Granite-Speech-4.1-2B-NAR — модель распознавания речи от IBM, предназначенная для быстрой транскрипции в сценариях, чувствительных к задержке. Она обрабатывает аудио и выдаёт текст на английском, французском, немецком, испанском и португальском языках. Репозиторий построен на базе granite-4.0-1b-base и использует архитектуру NLE: CTC-энкодер речи на Conformer, Q-Former-проектор и двунаправленный LLM-редактор с LoRA. Вместо последовательной генерации модель за один проход исправляет гипотезу CTC, что ускоряет вывод; заявленная производительность составляет около 1820 RTFx на H100 при пакетной обработке. Модель рассчитана на автоматическое распознавание речи, а не на генерацию произвольного текста. Точность зависит от языка и акустических условий; качество может быть ниже для португальского, при дальнем микрофоне и перекрывающейся речи. Консервативное редактирование снижает риск добавления слов, но в шумной записи модель может пропускать слова. Лицензия — Apache 2.0.

iky1e подготовил квантизованную версию Granite Speech 5.0 470M TurboCTC для инференса на устройствах Apple Silicon с использованием Granite-MLX и Swift. Это модель распознавания речи на базе архитектуры GraniteSpeech5ForCTC, преобразованная из чекпойнта IBM в формат MLX: веса квантизованы до 8 бит, часть тензоров сохранена в FP16. Размер файла весов составляет около 466 МиБ — примерно 52% от исходного; в описанном сравнении согласие транскриптов с исходной моделью составило 99,8825% по метрике пословного совпадения, которая не измеряет точность относительно человеческой расшифровки. Модель предназначена для преобразования английской речи в текст, в том числе из длинных аудиозаписей; инструмент Granite-MLX также принимает видеофайлы и может сохранять результат в TXT, SRT, WebVTT или JSON. Для обработки длинных записей используются блоки с контекстом, жадное CTC-декодирование и ограничение памяти. Репозиторий распространяется по лицензии Apache-2.0. Для запуска описан нативный Swift runtime Granite-MLX на Apple Silicon.

facebook/hubert-xlarge-ls960-ft — модель распознавания речи от Facebook на базе архитектуры HuBERT. Это версия HuBERT Extra-Large, дообученная на 960 часах LibriSpeech; базовая модель — facebook/hubert-xlarge-ll60k. Архитектура использует самонаблюдаемое обучение речевых представлений с маскированным предсказанием и офлайн-кластеризацией, а для распознавания применяет CTC. Модель преобразует аудиозаписи английской речи в текст и предназначена для задач автоматического распознавания речи. Для входа требуется аудио с частотой дискретизации 16 кГц. В карточке упоминаются LibriSpeech и Libri-Light, но дообучение этой версии проводилось на LibriSpeech. Модель выпущена по лицензии Apache-2.0.

HyperCLOVA X SEED 8B Omni — мультимодальная модель компании NAVER на основе плотного авторегрессионного Transformer с 8 млрд параметров. Она объединяет текстовые, визуальные и речевые представления в общем семантическом пространстве и поддерживает взаимодействие между модальностями в контексте до 32 тыс. токенов. Модель принимает текст, изображения, видео и аудио, а выдаёт текст, изображения и аудио; генерация видео не поддерживается. Модель предназначена для диалога и мультимодальных задач: ответов на вопросы по изображениям и видео, генерации и редактирования изображений, распознавания и перевода речи, синтеза речи, а также обычной генерации текста. В README она описана как корейско-ориентированный этап разработки универсальных мультимодальных моделей HyperCLOVA X. Для инференса NAVER предлагает OmniServe с API, совместимым с OpenAI; приведённая конфигурация запуска требует 4 GPU NVIDIA A100 по 80 ГБ. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

Ichigo-llama3.1-s-instruct-v0.4 — звуковая языковая модель, разработанная Homebrew Research. Это версия Llama 3.1, дообученная методом supervised fine-tuning на более чем 1 млрд токенов датасета Instruction Speech WhisperVQ v4. Модель принимает звук и текст, а генерирует текст; она рассчитана на понимание речи и текстовые диалоги на английском языке. Версия v0.4 улучшает устойчивость к шуму и поддерживает многоходовые речевые диалоги. Её можно применять для ответов на вопросы по аудио, диалогового взаимодействия с речевым вводом и исследований понимания звука. Модель имеет 7,5 млрд параметров, архитектуру LlamaForCausalLM и контекст 131 072 токена. Выпущена под лицензией Apache-2.0.

Kimi-Audio-7B — базовая аудиомодель с открытыми весами от Moonshot AI. Она объединяет обработку аудио и языковую модель с параллельными выходами для текстовых и аудиотокенов; аудио на входе представляется непрерывными акустическими и дискретными семантическими токенами. Модель насчитывает 7,1 млрд параметров, имеет контекст 8192 токена и распространяется в формате Safetensors. Модель предназначена для распознавания речи, ответов на вопросы об аудиозаписях, описания звуков, распознавания эмоций и классификации звуковых событий и сцен, а также генерации речи и аудиодиалога. Для генерации аудио предусмотрена потоковая обработка чанками. В карточке указаны английский и китайский языки; обучение проводилось на более чем 13 млн часов аудио и текстовых данных. Это базовая модель без дообучения, поэтому для готовых прикладных сценариев требуется fine-tuning; автор рекомендует вариант Kimi-Audio-7B-Instruct для использования без дополнительной настройки. Лицензия — MIT.

LFM2-2.6B-Transcript-GGUF — компактная языковая модель Liquid AI, созданная на основе LFM2-2.6B при сотрудничестве с AMD. Это квантованный вариант в формате GGUF, предназначенный для запуска через llama.cpp и совместимые инструменты, прежде всего на локальных устройствах с ограниченными ресурсами. Модель специализируется на суммаризации длинных расшифровок совещаний продолжительностью примерно 30–60 минут. Она формирует структурированные результаты, включая ключевые пункты, принятые решения и задачи, а также может создавать краткие и подробные резюме, выделять участников и обсуждавшиеся темы. Поддерживаются сценарии внутренних встреч, звонков с клиентами, заседаний совета директоров, исполнительных брифингов и работы с чувствительными данными без передачи информации в облако. Заявлены запуск на CPU, GPU и NPU, использование менее 3 ГБ RAM для длинных встреч и быстрое получение резюме. Поддерживаемый язык — английский. Модель рассчитана на однократное взаимодействие со специальным форматом входных данных, содержащим сведения о встрече и реплики участников; рекомендуется системная инструкция для анализа расшифровки и температура 0,3. Ограничениями являются узкая специализация на суммаризации встреч, англоязычная поддержка и зависимость качества от соблюдения рекомендованного формата. В метаданных указана лицензия lfm1.0; тип лицензии обозначен как other.

LongCat-Flash-Omni — открытая мультимодальная модель, разработанная Meituan для понимания текста, изображений, видео и аудио, а также взаимодействия с аудио и видео в реальном времени и потоковой генерации речи. В карточке описана архитектура Mixture-of-Experts с 560 млрд параметров и 27 млрд активируемых параметров; метаданные репозитория указывают 17,7 млрд параметров. Модель принимает контекст до 128 тыс. токенов и рассчитана на диалоговые и многомодальные сценарии. Модель предназначена для анализа изображений и видео, распознавания речи, перевода речи в текст и аудиовизуального диалога. В README приведены результаты сравнительных оценок по мультимодальным, визуальным и аудиозадачам. Для запуска описаны адаптации SGLang; указаны требования Python 3.10+, PyTorch 2.8+ и CUDA 12.9+. Репозиторий распространяется по лицензии MIT. Авторы отмечают, что модель не была специально разработана и всесторонне проверена для всех прикладных сценариев.

M-CTC-T — многоязычная модель распознавания речи от Meta AI, представленная в PyTorch. Это трансформерный энкодер примерно с 1,4 млрд параметров, CTC-головой на 8065 символьных меток и отдельной головой идентификации языка на 60 меток. На вход модель принимает мел-частотные фильтробанковские признаки аудио с частотой дискретизации 16 кГц и выдаёт посимвольную транскрипцию с сохранением пунктуации и регистра. Модель обучалась на Common Voice и VoxPopuli, а затем дополнительно на Common Voice. Она предназначена для автоматической транскрибации речи и может использоваться как акустическая модель. В метаданных указан английский язык; README описывает модель как многоязычную, однако конкретный перечень языков в доступных данных не приведён. Репозиторий содержит PyTorch-представление модели, перенесённое из Flashlight C++ в PyTorch. Лицензия — Apache-2.0. Карточка не сообщает показатели качества; распознавание ограничено поддерживаемыми языками и акустическими условиями, а модель ожидает аудио, преобразованное в признаки для сигнала 16 кГц.

knkarthick/MEETING_SUMMARY — англоязычная модель суммаризации на архитектуре BART, дообученная на корпусе совещаний AMI, а также на наборах SAMSUM, DIALOGSUM и XSUM. Она предназначена для составления краткого содержания встреч и диалогов, а также для суммаризации текста. Модель содержит 252,8 млн параметров и рассчитана на входной контекст до 1024 токенов. Модель принимает текст и генерирует текстовое резюме. Веса доступны в форматах PyTorch, safetensors и TensorFlow. Лицензия — Apache-2.0.

knkarthick выпустил эту модель после дообучения facebook/bart-large-xsum на данных XSUM, SAMSum, DialogSum и AMI. Это encoder-decoder модель BART для суммаризации текстов, в первую очередь диалогов и совещаний. Она содержит 252,8 млн параметров, принимает текст длиной до 1024 токенов и формирует текстовое резюме. Модель распространяется в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0. Модель подходит для краткого изложения стенограмм встреч и разговоров, а также других текстов. Карточка указывает английский язык. Ограничение контекста в 1024 токена может затруднить обработку длинных стенограмм целиком; качество для языков, кроме английского, не подтверждено.

MGM-Omni-32B — мультимодальная модель-чатбот семейства MGMOmni, разработанная командой MGM-Omni. Это компонент восприятия MLLM: он принимает текст, изображения, видео и речь, а отвечает текстом; для синтеза речи авторы указывают отдельную модель MGM-Omni-TTS. Модель содержит 32 млрд параметров, использует архитектуру MGMOmniForCausalLM и поддерживает контекст до 128 000 токенов. Модель предназначена для диалогов с мультимодальными данными, понимания речи, изображений и видео, включая длинные аудиозаписи. В карточке заявлены поддержка английского и китайского языков и возможность воспринимать речь длительностью до часа. MGM-Omni-32B дообучена на Qwen/Qwen2.5-VL-32B-Instruct. Лицензия — Apache-2.0.

MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.