I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиNavAI · whisper-base-uzbek — модель автоматического распознавания узбекской речи, разработанная NavAI на основе openai/whisper-base и дообученная на 753 часах аудио с человеческими расшифровками. Архитектура — WhisperForConditionalGeneration; в метаданных указано 51,7 млн параметров. Модель принимает аудио и выдаёт текст, преимущественно на узбекском языке латиницей. Модель предназначена для транскрибации узбекской речи. В тестировании на четырёх отложенных наборах её макро-WER составляет 15,13%, а микро-WER — 14,05%; значения измерены при жадном декодировании с общей нормализацией текста. Для лучших результатов рекомендуется явно задавать язык «uz»; длинное аудио обрабатывается окнами по 30 секунд. Слабее модель справляется с редкими иностранными именами, шумной и дальнеполевой записью, а также сильными диалектными особенностями. Она обучена для узбекского языка в латинской графике. Лицензия модели — Apache-2.0.
Модель bofenghuang/whisper-large-v2-cv11-german — дообученная версия Whisper Large v2, созданная для распознавания немецкой речи. Её обучили на немецкой части набора Mozilla Common Voice 11.0; модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. Модель преобразует аудио в текст, включая регистр букв и пунктуацию. Для входной речи требуется частота дискретизации 16 кГц. В карточке для Common Voice 11.0 указана оценка WER 5,76; результат получен на этом наборе и не гарантирует такую же точность на других данных. Модель распространяется по лицензии Apache-2.0.
Это модель автоматического распознавания речи на швейцарском немецком, созданная слиянием Whisper large-v3 от OpenAI и LoRA-адаптера Flurin17, а затем преобразованная в формат MLX. Чекпойнт FP16 на базе safetensors предназначен для Apple Silicon и совместим с mlx-whisper, mlx-audio и oMLX; он принимает аудио и выдаёт транскрипцию текстом. Модель подходит для транскрибации записей на швейцарском немецком, включая обработку через локальный сервер oMLX. В метаданных указан немецкий язык; адаптер нацелен на швейцарский немецкий. Лицензия репозитория обозначена как other, поэтому условия использования следует сверить с карточкой модели и лицензиями базовых компонентов.
juancopi81/whisper-medium-es — модель автоматического распознавания речи, созданная Juan Carlos Piñeros дообучением OpenAI Whisper Medium на наборе Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую расшифровку; карточка указывает испанский язык. Архитектура — WhisperForConditionalGeneration, размер — 455,8 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для транскрибирования испанской речи. В README приведены результаты оценки: WER 5,4218 на оценочном наборе и WER 5,88 на Google FLEURS. Модель распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные ограничения или условия, кроме лицензии.
FarukSTT — модель распознавания речи и преобразования аудио в текст для тунисского арабского диалекта Derja. Она разработана на основе Whisper Large v3 с дообучением на 54 156 парах аудио и транскрипций реальной разговорной речи. Модель обрабатывает переключение между арабским, французским и английским языками в одной фразе; размер — 905,2 млн параметров. В тесте на валидационной выборке FARUKxAUTO/tunisian-asr-cleaned версия v2 показала WER 31,99% против более 50% у исходной Whisper Large v3. Модель предназначена для транскрибации тунисской речи из разговоров, интервью, подкастов и встреч, а также для подготовки текста Derja к последующей обработке. Она ориентирована на диалект, а не на литературный арабский; заявленная точность подходит для транскрибации с проверкой человеком, а в сильном шуме качество может снижаться. В карточке указана лицензия MIT.
Fun-ASR-Nano-2512 — компактная модель распознавания речи от Tongyi Lab, входящая в экосистему FunASR. По карточке модели, она содержит 800 млн параметров и обучена на десятках миллионов часов реальной речи. Модель предназначена для преобразования речи в текст, включая потоковую транскрипцию с низкой задержкой. Она распознаёт китайский, английский и японский языки; для китайского заявлена поддержка семи диалектов и 26 региональных акцентов. Также карточка описывает распознавание пения и рэпа, работу с фоновой музыкой, дальним звуком и шумными условиями, а метаданные указывают многоязычную поддержку. Репозиторий использует FunASR и формат PyTorch. Лицензия — Apache 2.0. В карточке упомянута точность до 93% для дальнего звука и шумной среды, но методика и условия этого показателя в доступном тексте не раскрыты. Возврат временных меток и диаризация говорящих перечислены как TODO, поэтому эти возможности не следует считать поддерживаемыми этой версией.
Это NVFP4-квантизованная сборка в формате GGUF модели Gemma 4 E4B IT от Google DeepMind, подготовленная для запуска через llama.cpp и другие совместимые движки. В основе указана QAT-версия Gemma 4 E4B IT; архитектура — Gemma4ForConditionalGeneration, с 4,3 млрд эффективных параметров (7,5 млрд с эмбеддингами) и 42 слоями. В репозитории есть варианты весов NVFP4 и BF16, а также MTP-модель для ускорения генерации. Модель принимает текст, изображения и аудио и генерирует текст. Она предназначена для диалога, анализа изображений и аудио, рассуждений, программирования и локального запуска; заявлены контекст до 128 тыс. токенов, поддержка более 140 языков и структурированного вызова инструментов. Для мультимодального ввода требуется файл mmproj.gguf. NVFP4 уменьшает требования к памяти, а QAT призван сохранить качество, однако качество конкретной квантизованной сборки может отличаться от исходных весов. Лицензия — Apache 2.0.
NB-Whisper Base beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper и дообученная от openai/whisper-small. Она предназначена для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Модель относится к семейству Whisper; в метаданных указано 51,7 млн параметров. Она принимает аудио и выдаёт текст, поддерживается библиотекой Transformers и доступна в форматах PyTorch, TensorFlow, Flax, ONNX и safetensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежские речевые базы, парламентские выступления, телесубтитры и аудиокниги. Разработчики сообщают о высоком качестве для норвежской транскрибации среди ASR-моделей сопоставимого размера. Это публичная бета с лицензией CC BY 4.0. Разработчики предупреждают, что модель может галлюцинировать, пропускать фрагменты и нормализовать устную речь в грамматически правильный письменный текст; поэтому результат может не быть дословной транскрипцией.
Nemotron-3-Nano-Omni-30B-A3B-JANGTQ-CRACK — мультимодальная модель dealignai на базе NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Это вариант с дообучением CRACK v2 и смешанной низкоразрядной схемой JANGTQ: 8-битными весами внимания и 2-битными маршрутизируемыми экспертами. В архитектуре сочетаются Mamba-2, внимание и MoE; базовая модель содержит 30B параметров с 3B активных, а в метаданных этой модели указано 1,9B параметров. Для запуска заявлена библиотека MLX; README рекомендует vMLX или jang-tools. Модель предназначена для диалогов, рассуждений и мультимодальной работы с текстом, изображениями и аудио, включая речь. В карточке заявлена поддержка видео при использовании отдельного мультимодального дополнения. Контекст составляет 262 144 токена. README приводит результаты 81,5% на MMLU-200 и 91,6% на HarmBench-320, а также сообщает об удалении обучения отказам: модель может выдавать вредные ответы и требует собственного защитного слоя перед применением. Лицензия указана как other; конкретные условия следует проверять в репозитории.
Модель mukowaty/punctuate-16 восстанавливает пунктуацию в тексте, выполняя поклассовую разметку токенов. Она основана на XLM-RoBERTa и работе Oliver Guhr; в модели около 305,2 млн параметров, а максимальный контекст составляет 514 токенов. В метаданных указана поддержка болгарского, английского, немецкого, французского, испанского, итальянского, польского, нидерландского, чешского, португальского, словенского, греческого, шведского, венгерского, румынского, словацкого и датского языков. Модель подходит для автоматического восстановления знаков препинания в текстах, где пунктуация была удалена или утрачена, например при подготовке распознанной речи к чтению. Она выпущена в формате PyTorch. Сведения о лицензии в доступных источниках отсутствуют.
kredor/punctuate-all — модель классификации токенов на базе дообученной XLM-RoBERTa-base. Она восстанавливает пунктуацию в тексте, предсказывая для токенов знаки препинания, включая точку, запятую, вопросительный знак, дефис и двоеточие. Модель рассчитана на английский, немецкий, французский, испанский, болгарский, итальянский, польский, нидерландский, чешский, португальский, словацкий и словенский языки. В отчёте указаны общая точность 0,98 и F1 0,95 для точки, 0,86 для запятой и 0,86 для вопросительного знака; качество распознавания дефиса и двоеточия ниже. Модель содержит около 305,2 млн параметров, использует контекст до 514 токенов и распространяется по лицензии MIT.
88plug/Qwen2.5-Omni-7B-W4A16 — это INT4-квантованная версия базовой модели Qwen/Qwen2.5-Omni-7B, подготовленная 88plug методом посттренировочной квантализации. Модель предназначена для генерации текста и диалоговых сценариев с мультимодальным вводом: поддерживает обработку текста, изображений и аудио, а исходная архитектура также включает генерацию речи в реальном времени. Модель имеет архитектуру Thinker с языковой моделью, аудиобашней, визуальным модулем и компонентами синтеза речи Talker и Token2Wav. Квантованы линейные слои 28 трансформерных блоков языкового ядра в формате W4A16 с INT4-весами, BF16-активациями и размером группы 128. Аудио-, визуальные и речевые компоненты, эмбеддинги, LM head и нормализации сохранены в BF16. Размер весов составляет около 3,5 ГБ; заявлена работа на одной видеокарте с 8 ГБ памяти, например RTX 3080 с 10 ГБ. В конфигурациях запуска указан контекст до 32768 токенов, а заявленным языком является English. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей базовой 7B-модели. Она подходит для локального развертывания через vLLM, включая обработку аудио и изображений; для полноценного вывода речи рекомендуется vLLM-Omni. Основные ограничения связаны с поддержкой окружений: TGI не поддерживает используемый формат compressed-tensors, обычный vLLM возвращает только текст, SGLang не поддерживает этот формат нативно, а интеграция с Hugging Face Inference Widget может работать нестабильно. Модель распространяется по лицензии Apache-2.0.
Модель kangkys/Qwen3-0.6B-JSON-SFT-GRPO — дообученная на базе NotoriousH2/Qwen3-0.6B-JSON-SFT компактная языковая модель семейства Qwen3 с архитектурой Qwen3ForCausalLM и примерно 507,9 млн параметров. Она предназначена для генерации текста в диалоговом режиме; базовая модель специализируется на извлечении метаданных, поручений, решений и препятствий из корейских протоколов совещаний с выдачей результата в формате JSON. Модель принимает текст и генерирует текст; в метаданных также отмечен интерфейс вызова инструментов. Контекст составляет до 40 960 токенов. Для дообучения использовались Unsloth и библиотека Hugging Face TRL. Модель разработал kangkys, лицензия — Apache-2.0.
NVIDIA Citrinet CTC 256 Librispeech — компактная модель распознавания английской речи, разработанная NVIDIA и распространяемая для NeMo. Это extra-small вариант архитектуры Citrinet-CTC примерно с 10 млн параметров; модель использует CTC-декодирование и обучена на 960 часах английской речи из LibriSpeech. Она принимает монофоническое аудио WAV с частотой дискретизации 16 кГц и возвращает транскрипцию в виде строки: строчными буквами английского алфавита, с пробелами и апострофами. Модель подходит для транскрибирования отдельных записей и пакетов аудиофайлов, а также как предварительно обученный чекпойнт для дальнейшего дообучения. Для развёртывания в производственных системах README указывает совместимость с NVIDIA Riva. В приведённых результатах WER составляет 3,8% на LibriSpeech test-clean и 9,8% на test-other при жадном декодировании. Качество может снижаться на технической лексике, разговорных вариантах речи и речи с акцентом, недостаточно представленных в обучающих данных. Модель выпущена под лицензией CC BY 4.0.
Yehor/w2v-bert-uk-v2.1 — модель автоматического распознавания украинской речи, разработанная на основе facebook/w2v-bert-2.0 и дообученная на датасете Yehor/openstt-uk. Она принимает аудио и преобразует речь в текст; опубликована в формате safetensors и рассчитана на использование через библиотеку Transformers. Размер модели — 402,7 млн параметров. В карточке приведены метрики на тестовом наборе: WER 17,34% и CER 3,33%. Модель распространяется по лицензии Apache-2.0.
Модель jonatasgrosman/wav2vec2-large-xlsr-53-greek — система автоматического распознавания греческой речи, созданная дообучением facebook/wav2vec2-large-xlsr-53. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель основана на архитектуре wav2vec2, использует CTC-выход и содержит около 402,7 млн параметров. Для дообучения использовались обучающая и валидационная части Common Voice 6.1 и CSS10. В оценке на греческой тестовой выборке Common Voice указаны WER 11,62% и CER 3,36%; результаты могут отличаться при других настройках оценки. Модель распространяется по лицензии Apache-2.0.
GetmanY1/wav2vec2-xlarge-fi-150k-finetuned — модель автоматического распознавания финской речи, разработанная Ярославом Гетманом и Тамашем Гросом. Это дообученная на распознавании версия GetmanY1/wav2vec2-xlarge-fi-150k, основанная на архитектуре Wav2Vec2 и классе Wav2Vec2ForCTC; число параметров по метаданным — 1,3 млрд. Модель преобразует финскую речь в текст. Для её обучения использовали 4600 часов аудио с частотой дискретизации 16 кГц: разговорную речь из Lahjoita puhetta и записи заседаний финского парламента. На вход следует подавать аудио с частотой дискретизации 16 кГц. Модель предназначена для транскрибации финской речи, включая разговорную речь и парламентские выступления. Выпускается по лицензии Apache-2.0.
Модель Facebook Wav2Vec2-XLS-R-2b-21-EN переводит речь с 21 языка на английский. Это модель SpeechEncoderDecoderModel: энкодер инициализирован чекпойнтом facebook/wav2vec2-xls-r-2b, декодер — facebook/mbart-large-50; связка дообучена на парах перевода из набора CoVoST 2. Модель принимает аудио и генерирует текстовый перевод на английском языке. Она предназначена для перевода устной речи, например аудиозаписей и голосовых сообщений. Поддерживаются французский, немецкий, испанский, каталанский, итальянский, русский, китайский, португальский, персидский, эстонский, монгольский, нидерландский, турецкий, арабский, шведский, латышский, словенский, тамильский, японский, индонезийский и валлийский языки как исходные; целевой язык — английский. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. README указывает на результаты оценки на CoVoST 2 и описывает модель как стандартную последовательностную модель с методом generate.
Wav2Vec2-XLS-R-300M-21-EN — модель Facebook для перевода речи с 21 языка на английский. Это модель типа SpeechEncoderDecoderModel: кодировщик основан на facebook/wav2vec2-xls-r-300m, декодер — на facebook/mbart-large-50; модель дообучена на парах перевода из набора CoVoST 2. Она принимает аудио на французском, немецком, испанском, каталанском, итальянском, русском, китайском, португальском, персидском, эстонском, монгольском, нидерландском, турецком, арабском, шведском, латышском, словенском, тамильском, японском, индонезийском и валлийском языках и генерирует перевод на английском. Модель подходит для перевода устной речи и аудиозаписей, например для создания английской версии многоязычного аудиоконтента. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. В карточке приведена ссылка на оценку качества на CoVoST 2, но конкретные численные результаты здесь не указаны.
robinhad/wav2vec2-xls-r-300m-uk — модель распознавания украинской речи, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указан Common Voice как набор данных. Для оценки приведены WER 0,1222 и CER 0,0204. Модель предназначена для автоматической транскрипции украинской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Подробности о тренировочных данных, условиях записи и известных ограничениях в карточке не раскрыты.
Модель oddadmix/whisper-medium-arabic-dialectal-v2 — дообученная версия OpenAI Whisper Medium для распознавания разговорной арабской речи разных диалектов. Она принимает аудио и генерирует текстовую расшифровку без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small; архитектура — WhisperForConditionalGeneration, веса хранятся в формате safetensors. В README указано 769 млн параметров; тестирование на сбалансированной выборке примерно из 2 600 аудиофрагментов дало WER 0,3415 и CER 0,128.
SungBeom разработал модель распознавания речи на основе Whisper Small и дообучил её на нескольких крупных наборах данных AI Hub с корейской речью. Она преобразует аудио в текст и рассчитана на распознавание речи в разных сценариях, включая клиентские обращения, разговоры и общую корейскую речь. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch через библиотеку Transformers. Обучение на нескольких наборах данных призвано повысить устойчивость к различиям между речевыми доменами. При этом качество ASR зависит от домена, а карточка указывает, что распознавание диалектов, детской и пожилой речи может требовать дополнительной адаптации. Лицензия — Apache-2.0.
IonGrozea/whisper-small_ro-80mel — модель распознавания румынской речи, созданная дообучением openai/whisper-small на объединённом корпусе румынских аудиозаписей объёмом около 445 часов. Модель Whisper содержит 153,1 млн параметров и принимает аудио в виде мел-спектрограмм с 80 полосами; на выходе формирует текстовую транскрипцию. В метаданных указана поддержка румынского языка и лицензия Apache 2.0. Модель предназначена для транскрибирования румынской речи. В README сообщается о WER 0,0925 и CER 0,0293 на валидационной выборке из 25 348 примеров, оценённой с beam=5. Эти результаты относятся к описанному протоколу оценки; качество на других наборах данных и акустических условиях может отличаться.
NavAI Whisper Small Uzbek — это модель автоматического распознавания речи, созданная NavAI на основе дообучения openai/whisper-small. Она принимает аудио и генерирует текстовую транскрипцию на узбекском языке. По карточке модели, обучение проведено на 753 часах речи с человеческими расшифровками из открытых корпусов; размер в метаданных — 153,1 млн параметров. Модель реализована на архитектуре Whisper и распространяется в формате safetensors через библиотеку Transformers. Модель предназначена для транскрибирования узбекской речи, в том числе пакетной обработки записей. Для лучших результатов рекомендуется явно указывать язык uz; длинные записи обрабатываются окнами по 30 секунд. В тестировании на четырёх отложенных наборах whisper-small показала макро-WER 11,57% и микро-WER 10,69%; результаты зависят от набора и условий записи. Выход рассчитан на узбекский язык в латинской графике. Слабее распознаются редкие иностранные имена и речь с дальнего расстояния, шумом или выраженным диалектом. Модель унаследует возможные смещения обучающих данных. В метаданных указана лицензия Apache-2.0; карточка также приводит требования атрибуции для одного из использованных обучающих корпусов.
MediaCatch/xls-r-300m-danish-mc-v2 — модель распознавания речи, разработанная MediaCatch и дообученная на базе MediaCatch/xls-r-300m-danish-mc на предварительно обработанном датасете. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель предназначена для автоматического преобразования датской речи в текст. На указанном в карточке наборе оценки показала WER 0,0875 и loss 0,1570. Принимает аудио и выдаёт текст; библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не описывает состав и условия записи обучающих данных, ограничения по акустическим условиям или рекомендуемую область применения.
Cadence — мультиязычная модель AI4Bharat для восстановления пунктуации в тексте, в том числе в расшифровках речи. Она основана на Gemma 3 1B: модель преобразована в двунаправленный энкодер и дообучена на больших текстовых корпусах. В Hugging Face она представлена с задачей token-classification и весами Safetensors; лицензия — MIT. Модель обрабатывает английский и 22 индийских языка, учитывая особенности разных письменностей. Она предсказывает точки, запятые, вопросительные и восклицательные знаки, кавычки, скобки и другие знаки. Один экземпляр работает с разными языками без отдельного указания языка; доступны пакетная обработка и скользящее окно для длинных текстов. Cadence подходит для восстановления пунктуации в текстах и речевых транскриптах на поддерживаемых языках. Для длинных входов поведение зависит от настройки скользящего окна: без неё текст длиннее максимальной длины обрезается. Токенизатор плохо поддерживает письмо мейтей; для манипури README рекомендует транслитерацию в бенгальское письмо. Для языков вне официального списка качество может различаться.
Distil-Whisper distil-medium.en — англоязычная модель распознавания речи, разработанная как дистиллированный вариант Whisper medium.en. Она предназначена для транскрибирования коротких и длинных аудиозаписей и может использоваться как ускоренная замена Whisper в системах распознавания речи, а также как вспомогательная модель для спекулятивного декодирования. Модель использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели и заморожен, а декодер сокращён до двух слоёв. В README заявлено ускорение в 6 раз при размере на 49% меньше и качестве в пределах 1% WER от Whisper на тестах вне обучающего распределения. Репозиторий содержит 455,8 млн параметров; доступны форматы PyTorch, Safetensors, ONNX и Flax. Модель принимает аудио и генерирует текст, поддерживает только распознавание английской речи. Для Hugging Face Transformers требуется версия 4.35 или новее. Лицензия — MIT.
Distil-Whisper large-v3 German — модель распознавания речи, созданная Sanchit Gandhi как версия с дистилляцией знаний модели openai/whisper-large-v3. Она предназначена для транскрибации немецкой речи в текст и обучена на немецкой части Common Voice 15.0. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. В ней сохранён и заморожен энкодер исходной модели, а декодер сокращён до двух слоёв. При обучении использовались дистилляция по распределению выходов модели-учителя и функция потерь по размеченным аудиоданным. В оценке на наборе Common Voice модель показала WER 6,324 после нормализации и 8,233 по орфографической метрике. Модель принимает аудио и выдаёт текст. Карточка описывает поддержку немецкого языка; результаты и назначение подтверждены для немецкой речи. Модель распространяется по лицензии MIT.
Gemma 4 E2B IT QAT NVFP4 GGUF — мультимодальная разговорная модель на основе контрольной точки Gemma 4 E2B IT с QAT-оптимизацией и преобразованием весов в формат GGUF с квантованием NVFP4. Модель разработана Google DeepMind; этот вариант подготовлен WhiskyAKM для запуска через llama.cpp и другие совместимые с GGUF движки. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом встраиваний; архитектура — Gemma4ForConditionalGeneration, 35 слоёв. Модель принимает текст, изображения и аудио и формирует текстовые ответы. Она предназначена для диалогов, анализа изображений и аудио, локального запуска и сценариев с вызовом инструментов; заявлены контекст до 128 тыс. токенов и поддержка более 140 языков. QAT и NVFP4 снижают требования к памяти, а файлы GGUF позволяют использовать модель в llama.cpp. Для обработки изображений и аудио нужен движок с мультимодальной поддержкой. Лицензия — Apache-2.0.
MiniCPM-o 4.5 — мультимодальная модель с 7,6 млрд параметров от OpenBMB. Она объединяет языковую модель Qwen3-8B с компонентами для зрения и речи в сквозной архитектуре MiniCPMO и предназначена для диалога с изображениями, аудио и видео, включая обработку потоков в реальном времени. Модель принимает изображения высокого разрешения, аудио и видео, а также может одновременно обрабатывать непрерывные аудио- и видеопотоки и выдавать текст и речь. Поддерживает распознавание документов, двуязычный речевой диалог на английском и китайском языках, настройку голоса, клонирование голоса по образцу и проактивные комментарии к происходящему. Контекст — до 40 960 токенов; заявлена поддержка более 30 языков. В README описаны режимы instruct и thinking, обработка изображений до 1,8 млн пикселей и видео до 10 кадров в секунду. Модель подходит для мультимодальных помощников, анализа изображений и видео, OCR и голосового взаимодействия в реальном времени. Возможности и скорость зависят от способа запуска и оборудования; README рекомендует для базового вывода PyTorch на GPU NVIDIA и предупреждает о возможной несовместимости версий Transformers. Лицензия — Apache-2.0.