I.9Аудио и музыка

Wav2Vec2-XLS-R-1B — разработанная Facebook AI многоязычная модель для предварительного обучения речевых представлений на архитектуре wav2vec 2.0. Она содержит 1,3 млрд параметров и обучена на 436 тысячах часов немаркированной речи из нескольких корпусов, включая VoxPopuli, MLS, Common Voice, BABEL и VoxLingua107; заявлена поддержка 128 языков. Для подачи аудио требуется частота дискретизации 16 кГц. Модель предназначена для дообучения под конкретную задачу: распознавание речи, перевод речи или классификацию, в том числе идентификацию языка. Это базовый речевой энкодер, а не готовая универсальная система распознавания или перевода; для прикладного использования нужны подходящая выходная голова и дообучение. Распространяется по лицензии Apache 2.0.

akuzdeuov/whisper-base.kk — модель распознавания речи на базе Whisper-base, дообученная для казахского языка на Kazakh Speech Corpus 2, содержащем более 1 000 часов размеченных аудиоданных. Модель предназначена только для распознавания казахской речи и выдаёт текстовую расшифровку аудио. Модель поддерживает транскрибирование коротких записей длительностью до 30 секунд; для более длинных записей в Transformers можно включить обработку фрагментами. В README указана доля ошибок WER 15,36% на тестовой выборке. Репозиторий содержит веса в формате safetensors; размер модели составляет 51,7 млн параметров. Модель распространяется по лицензии Apache-2.0.

FarukSTT — модель распознавания речи и преобразования аудио в текст для тунисского арабского диалекта Derja. Она разработана на основе Whisper Large v3 с дообучением на 54 156 парах аудио и транскрипций реальной разговорной речи. Модель обрабатывает переключение между арабским, французским и английским языками в одной фразе; размер — 905,2 млн параметров. В тесте на валидационной выборке FARUKxAUTO/tunisian-asr-cleaned версия v2 показала WER 31,99% против более 50% у исходной Whisper Large v3. Модель предназначена для транскрибации тунисской речи из разговоров, интервью, подкастов и встреч, а также для подготовки текста Derja к последующей обработке. Она ориентирована на диалект, а не на литературный арабский; заявленная точность подходит для транскрибации с проверкой человеком, а в сильном шуме качество может снижаться. В карточке указана лицензия MIT.

Gemma 3n E4B it MLX 8bit — 8-битная квантизированная версия мультимодальной модели gemma-3n-E4B-it, разработанной Google и адаптированной командой LM Studio с использованием MLX и mlx_vlm. Модель оптимизирована для запуска на устройствах с Apple Silicon и предназначена для задач преобразования изображений, аудио и видео в текст, включая распознавание речи, автоматический перевод речи и обработку мультимодальных запросов. Модель использует архитектуру и возможности исходной gemma-3n-E4B-it, однако README не содержит подробностей о внутренней архитектуре, фактическом числе параметров, поддерживаемых языках или размере контекста. Ключевое преимущество этой версии — 8-битное представление, ориентированное на эффективный локальный запуск на Apple Silicon. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от оборудования и отсутствие в предоставленных данных точных характеристик мультимодальных возможностей. Модель распространяется по лицензии Gemma. Для доступа к исходной модели на Hugging Face требуется ознакомиться с лицензией Google и принять её условия. LM Studio не является создателем или владельцем модели и не гарантирует её точность, безопасность или пригодность для конкретных задач.

NB-Whisper Medium Verbatim — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper Medium. Это вариант, дополнительно обученный на 200 шагах: он выдаёт текст в нижнем регистре без пунктуации и точнее сохраняет формулировки говорящего, не исправляя грамматические ошибки. Модель содержит 455,8 млн параметров и работает с аудио; поддерживаемые языки — норвежский, букмол, нюнорск и английский. Модель подходит для дословной расшифровки речи, в том числе для лингвистического анализа. Она доступна для Transformers и в форматах PyTorch, Safetensors, ONNX и Flax; для эффективной работы с моделью среднего размера рекомендуется GPU. Для длинных записей README советует обрабатывать аудио частями. Лицензия — Apache 2.0.

litus-ai/whisper-small-ita — версия Whisper Small, разработанная Litus AI и дообученная для итальянской речи на части собственных данных компании. Модель предназначена для автоматического распознавания речи и рассчитана на сценарии с ограниченным вычислительным бюджетом, где важна точность транскрипции. Архитектура — WhisperForConditionalGeneration, число параметров — 153,1 млн; модель работает с аудио и выдаёт текст. Помимо слов, транскрипция может включать специальные маркеры смеха, междометий, вздохов, шума, неразборчивой речи, самоисправлений и переключения на английский. Карточка приводит сравнение с другими моделями на внутренних тестах для итальянских совещаний и телефонных звонков, но не содержит численных результатов. Модель доступна по лицензии Apache-2.0.

GigaChat Audio 10B (A1.8B) — аудионативная языковая модель ai-sage, созданная на основе текстовой GigaChat 3.1 Lightning. Conformer-энкодер речи и адаптер модальности передают аудиоэмбеддинги в декодер Mixture-of-Experts; модель также выполняет текстовые задачи. В названии указаны 10B параметров и активная конфигурация A1.8B, однако метаданные не содержат отдельного значения общего размера модели. Модель предназначена для вопросов и ответов по аудио, классификации звука, поиска событий и фрагментов по времени, создания описаний и кратких пересказов аудио с временными отметками. README также заявляет поддержку использования инструментов. В карточке приведены сравнительные результаты на аудио-бенчмарках и отмечено, что добавление аудиомодальности меняет качество текстовых задач: на части тестов результаты базовой модели снижаются, на других растут. Модель принимает аудио и текстовые запросы, выдаёт текстовые ответы и описания с временными отметками. Для temporal grounding заявлено обучение на длинных аудиозаписях с временной разметкой из TimeGround-1M. Лицензия — MIT.

KB-Whisper Large — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab). Это дообученная версия Whisper large-v3 от OpenAI с архитектурой Whisper и примерно 905 млн параметров; модель принимает аудио и генерирует текстовые транскрипции. Она предназначена прежде всего для шведской речи: обучение проводилось на более чем 50 000 часах шведского аудио с текстовыми расшифровками, а в оценках на FLEURS, CommonVoice и NST авторы сообщают о среднем снижении WER на 47% относительно исходной Whisper large-v3. Доступны варианты транскрипции с разной степенью подробности: стандартный Stage 2, более сжатый Subtitle и более дословный Strict. Модель можно использовать через Transformers, а также в форматах ONNX и CTranslate2; карточка также описывает применение с WhisperX для получения временных меток слов. Лицензия — Apache-2.0. Основное назначение — транскрибация шведской речи; карточка не приводит отдельных ограничений качества для других языков.

getonit/transcription-cleanup-llama3.2-1b — текстовая генеративная модель, опубликованная пользователем или организацией getonit на Hugging Face. По названию репозитория и сообщению об изменении «transcription-cleanup-1b v5_punct» она предназначена для очистки и пунктуационного оформления транскрипций. В карточке модели также указаны английский язык, разговорный режим и задача генерации текста. Модель основана на архитектуре LlamaForCausalLM с примерно 1 млрд параметров, 16 слоями, размером скрытого состояния 2048, 32 attention heads и 8 key-value heads. Заявлено контекстное окно до 131 072 токенов; опубликованная MLX-версия использует 4-битное квантование и занимает около 695 МБ. Поддерживается запуск через MLX и совместимый OpenAI API-сервер. Сильные стороны — небольшой размер, низкие требования к памяти и специализация на обработке транскрипций, однако в доступной карточке отсутствуют результаты оценки качества, подробности обучающего набора, точные границы возможностей, сведения о поддерживаемых языках помимо английского и описание ограничений. Лицензия в доступных материалах не указана, поэтому условия коммерческого и иного использования по этим данным установить нельзя.

TransLynx Pakistani Punjabi Whisper Small — модель распознавания речи, разработанная командой TransLynx путём дообучения мультиязычной Whisper Small от OpenAI. Она преобразует речь на пакистанском пенджаби в текст на письме шахмукхи. Для языка внутри Whisper используется токен урду «ur»; параметры языка и задачи транскрибирования заданы в конфигурации генерации. Модель предназначена для транскрибации аудио, создания субтитров, голосовых интерфейсов и конвейеров обработки речевых данных на пакистанском пенджаби. В README указаны WER 7,07% на валидационной выборке и 11,50% на тесте с диктором, не участвовавшим в обучении. Обучение проводилось на 3 500 записях семи дикторов, произносивших один и тот же набор из 500 предложений. Модель ориентирована на текстовый вывод шахмукхи и не предназначена для распознавания восточного пенджаби на письме гурмукхи. Ограниченный набор предложений и дикторов может снижать качество на спонтанной речи, при шуме, иных диалектах и незнакомой лексике. Лицензия — Apache-2.0.

Typhoon Whisper Large v3 — модель распознавания тайской речи, разработанная командой Typhoon (SCB 10X) на архитектуре OpenAI Whisper Large v3. Это полная версия Whisper с 32 слоями декодера и примерно 905,2 млн параметров; модель дообучена на около 10 млн примеров тайской речи общей длительностью около 11 000 часов. Она принимает аудио и преобразует речь в текст, в том числе в сценариях офлайн-транскрибации, где важнее точность, чем скорость. При подготовке данных использовались GigaSpeech2, Common Voice и подборка общедоступных медиаматериалов; Typhoon сообщает о нормализации чисел, маркеров повторов и контекстных неоднозначностей. Модель рассчитана прежде всего на тайский язык и заявлена как устойчивая к разным акустическим условиям и манерам речи. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT. Модель специализирована на тайской речи: качество может снижаться для диалектов и акцентов, слабо представленных в обучающих данных. По сравнению с облегчёнными вариантами ей требуется больше вычислительных ресурсов; она лучше подходит для транскрибации без жёстких требований к задержке.

theainerd разработал эту модель, дообучив facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи на хинди. Это модель семейства wav2vec 2.0 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров; она принимает аудио и выдаёт распознанный текст. Для входной речи требуется частота дискретизации 16 кГц. Модель предназначена для распознавания хинди, в том числе в условиях низких ресурсов и переключения между языками; в README приведён результат оценки 72,62% на тестовых данных Common Voice для хинди, но метрика не уточнена. Базовая модель предварительно обучена на речи 53 языков, однако это дообучение ориентировано на хинди. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Phonepadith дообучил модель Whisper для автоматического распознавания речи на лаосском языке. Модель принимает аудио и преобразует его в текст; она предназначена для транскрибации лаосской речи, голосового управления, создания субтитров и расшифровок, языковых приложений и лингвистических исследований. В карточке указана архитектура Whisper, а в метаданных — 905,2 млн параметров и формат safetensors. README называет базой Whisper Large V3 Turbo, тогда как метаданные связывают модель с openai/whisper-large-v3; поэтому точную базовую версию следует считать неоднозначной. Для распознавания речи модель дообучена на наборе Phonepadith/laos-speech-dataset. Лицензия указана как other. Модель может хуже распознавать смешение лаосского и английского, шумную речь и сильные диалектные акценты; токенизатор Whisper иногда нормализует тоновые знаки и пробелы в лаосском тексте.

Belle-whisper-large-v2-zh — модель распознавания китайской речи, созданная командой BELLE-2 путём полного дообучения Whisper large-v2 от OpenAI. Она предназначена для транскрибации китайской речи и показывает улучшение относительно исходной модели на тестах AISHELL-1, AISHELL-2, WenetSpeech и HKUST. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт текст; в метаданных указаны архитектура Whisper, 905,2 млн параметров и форматы PyTorch и Safetensors. Лицензия — Apache-2.0. Результаты в README показывают снижение CER на перечисленных китайских тестовых наборах. Эти показатели относятся к конкретным бенчмаркам и не гарантируют такого же качества на других условиях записи, диалектах или типах аудио.

reazonspeech-nemo-v2 — модель автоматического распознавания речи, разработанная Reazon Research и обученная на корпусе ReazonSpeech v2.0. Она преобразует японскую речь из аудиозаписей в текст и предназначена в том числе для расшифровки длинных записей продолжительностью до нескольких часов. Модель основана на улучшенной архитектуре Conformer из Fast Conformer с линейно масштабируемым механизмом внимания. Это субсловная RNN-T-модель с 619 млн параметров: кодировщик использует Longformer attention с локальным контекстом 256 и одним глобальным токеном, а словарь декодера содержит 3000 токенов SentencePiece unigram. Для использования разработчик рекомендует библиотеку reazonspeech. Модель ориентирована на японскую речь и длительные аудиозаписи. Лицензия Apache-2.0.

BuzzASR/sindhi — одноязычная модель автоматического распознавания речи на синдхи, разработанная в рамках набора BuzzASR и дообученная методом полного fine-tuning на базе openai/whisper-large-v3. Это плотная модель архитектуры Whisper с 907,3 млн параметров; репозиторий содержит веса Safetensors для Transformers. Для языка и задачи распознавания речи настроена конфигурация генерации, поэтому отдельно задавать язык при вызове не требуется. Модель предназначена для транскрибации аудио на синдхи. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25.0, а также на их объединении; авторы сообщают о снижении CER примерно в 7,3 раза относительно Whisper large-v3 без дообучения на объединённом тестовом наборе. Обучение использовало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Модель моноязычная: она рассчитана на синдхи, а качество на других языках, в иных предметных областях и диалектах может отличаться от результатов тестирования. Лицензия — MIT.

Это побайтная копия модели NVIDIA stt_ar_fastconformer_hybrid_large_pcd_v1.0, созданная пользователем dev-ahmedhany для резервного доступа к исходному чекпойнту. Модель распознаёт арабскую речь и выдаёт текст с пунктуацией, капитализацией и диакритическими знаками (ташкиль). Она построена на архитектуре FastConformer и использует гибридный подход Transducer-CTC; для работы предназначена библиотека NeMo. Модель подходит для транскрибации арабской речи с восстановлением знаков препинания и диакритики. Репозиторий не меняет исходные веса NVIDIA. Лицензия — CC-BY-4.0.

Vekol-STT Sorani — компактная модель распознавания речи на центральнокурдском языке (сорани), разработанная Revge и дообученная на базе OpenAI Whisper Base. Она преобразует аудио в текст на арабском письме и предназначена для локальной работы без подключения к сети, в том числе на CPU. Модель содержит 51,7 млн параметров; доступны форматы ONNX и Safetensors, а README также описывает варианты размером 72 МБ и 36 МБ для int8 и int4. Для запуска можно использовать ONNX Runtime или Transformers с PyTorch. Модель обучалась на Common Voice 25.0 для ckb и FLEURS для ckb_iq. На тестовой выборке Common Voice с разделением по дикторам заявлены WER 29,0% и CER 7,95% без учёта пробелов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Качество распознавания зависит от аудио и может быть недостаточным для задач, требующих высокой точности; показатели README относятся к указанной тестовой выборке.

ARK-ASR-3B — мультиязычная модель распознавания речи, представленная разработчиками проекта AutoArk. Она предназначена для преобразования речи в текст и может использоваться для транскрибации аудио и развёртывания сервиса распознавания через Transformers или vLLM. По карточке модели, в тестах Open ASR Leaderboard она показала средний WER 5,04% на англоязычном коротком аудио и CER 1,80% на AISHELL-1 для китайского языка. Модель содержит около 3,1 млрд параметров и использует авторегрессионную архитектуру Transformers: аудиоэнкодер в стиле Whisper, MLP-адаптер и декодер Qwen. Она принимает аудио с частотой дискретизации 16 кГц и генерирует текст; нативный контекст составляет 32 768 токенов. Заявлена поддержка китайского, английского, немецкого, японского, французского, корейского, испанского, польского, итальянского, румынского, венгерского, чешского, нидерландского, финского, хорватского, словацкого, словенского, эстонского и литовского языков. Веса представлены в формате safetensors, для загрузки используются Transformers и пользовательский код архитектуры arkasr; лицензия — Apache-2.0. Для запуска по инструкции карточки требуется включить trust_remote_code=True. Приведённые показатели относятся к указанным тестовым наборам и сами по себе не гарантируют аналогичное качество на других аудио, акцентах и условиях записи.

MOSS-Transcribe-Diarize 0.9B — мультимодальная модель семейства MOSS от OpenMOSS для расшифровки длинных аудио- и видеозаписей. Она за один проход преобразует запись в текст с временными метками и анонимными метками говорящих, совместно выполняя распознавание речи и диаризацию. Также модель может размечать акустические события и учитывать пользовательские инструкции и подсказки с терминами.

Карточка модели xqiuresearch/MOSS-Transcribe-Diarize-vuln на Hugging Face совпадает с карточкой xqiuresearch/MOSS-Transcribe-Diarize, поэтому описание составлено по ней. MOSS-Transcribe-Diarize 0.9B — мультимодальная модель семейства MOSS от OpenMOSS для расшифровки длинных аудио- и видеозаписей. Она за один проход преобразует запись в текст с временными метками и анонимными метками говорящих, совместно выполняя распознавание речи и диаризацию. Также модель может размечать акустические события и учитывать пользовательские инструкции и подсказки с терминами.

NVIDIA Conformer-CTC Small (en-US) — модель распознавания английской речи, разработанная NVIDIA и обученная с помощью NeMo. Это небольшая нерекуррентная модель архитектуры Conformer с CTC-декодированием, примерно на 13 млн параметров. Она принимает монофонические WAV-записи с частотой дискретизации 16 кГц и преобразует речь в текст в нижнем регистре, используя английский алфавит, пробелы и апострофы. Модель предназначена для транскрибации аудиозаписей, пакетной обработки файлов и использования в качестве предобученного чекпойнта для дообучения на других данных. Она совместима с NeMo и NVIDIA Riva; для повышения точности в Riva можно подключить внешнюю языковую модель. Обучение проводилось на нескольких тысячах часов английской речи из публичных корпусов. По опубликованным результатам WER составляет 3,7% на LibriSpeech test-clean и 8,1% на test-other при жадном декодировании. Модель может хуже распознавать акцентную речь, технические термины и разговорные варианты, недостаточно представленные в обучающих данных. Лицензия — CC BY 4.0.

AmberNet LangID — модель AmberNet для определения языка устной речи по аудио. Она принимает монофонический сигнал с частотой 16 кГц в формате float32 и относит его к одному из 107 языков набора VoxLingua107. Модель содержит 28,9 млн параметров и выдаёт оценки по языковым классам, а также языковой эмбеддинг размерности 512 для кластеризации и поиска ближайших примеров. Модель рассчитана на распознавание языка в аудиозаписях и может запускаться через PyTorch или ONNX Runtime. По данным карточки, на CPU она обрабатывает аудио примерно в 72 раза быстрее реального времени; для пакетной обработки можно передавать истинную длину каждого фрагмента, чтобы маскировать дополнение. Репозиторий содержит веса в формате Safetensors и граф ONNX. Лицензия указана как other, конкретные условия в доступных данных не раскрыты.

JetlinkSTT-v1.0-7B — многоязычная модель распознавания речи, размещённая Jetlink как управляемая организацией копия модели семейства Qwen3-ASR. Метаданные указывают на дообучение Qwen/Qwen3-ASR-1.7B; модель принимает аудио и предназначена для преобразования речи в текст и определения языка. Модель поддерживает потоковую и офлайн-обработку, длинные записи, пакетный запуск и сценарии транскрибации. В README заявлена устойчивость к шуму, сложным речевым паттернам и пению, в том числе под музыку. Указана поддержка 52 языков и диалектов исходным семейством, включая русский, английский, китайский и другие перечисленные языки. Модель подходит для транскрибации звонков и встреч, создания субтитров, голосовых помощников и аналитики речи. Практическая производительность и требования к памяти зависят от оборудования, длительности аудио, пакетного размера, конкуренции запросов и выбранного серверного ПО. Для юридических, медицинских и критически важных сценариев README рекомендует проверку человеком. Лицензия — Apache-2.0.

NVIDIA FastConformer-CTC Large — модель распознавания английской речи, разработанная NVIDIA и предназначенная для работы в наборе инструментов NeMo. Она преобразует аудиозапись в текст и может использоваться как готовый чекпойнт для транскрибации или как основа для дообучения на другом наборе данных. Модель построена на архитектуре FastConformer, оптимизированной версии Conformer с восьмикратным свёрточным понижением частоты дискретизации; размер версии Large составляет около 115 млн параметров. На вход подаётся монофоническое аудио WAV с частотой 16 кГц, результатом является строка с распознанной речью в нижнем регистре. Модель обучалась на составном наборе англоязычных речевых данных, охватывающем несколько доменов. Модель рассчитана на транскрибацию английской речи в аудиофайлах и может применяться для пакетной обработки записей. Качество может снижаться на технической терминологии, разговорных вариантах речи и речи с акцентом. Лицензия — CC BY 4.0.

NavAI · whisper-base-uzbek — модель автоматического распознавания узбекской речи, разработанная NavAI на основе openai/whisper-base и дообученная на 753 часах аудио с человеческими расшифровками. Архитектура — WhisperForConditionalGeneration; в метаданных указано 51,7 млн параметров. Модель принимает аудио и выдаёт текст, преимущественно на узбекском языке латиницей. Модель предназначена для транскрибации узбекской речи. В тестировании на четырёх отложенных наборах её макро-WER составляет 15,13%, а микро-WER — 14,05%; значения измерены при жадном декодировании с общей нормализацией текста. Для лучших результатов рекомендуется явно задавать язык «uz»; длинное аудио обрабатывается окнами по 30 секунд. Слабее модель справляется с редкими иностранными именами, шумной и дальнеполевой записью, а также сильными диалектными особенностями. Она обучена для узбекского языка в латинской графике. Лицензия модели — Apache-2.0.

Voxtral-Mini-3B-2507-GGUF — это конверсия 3-миллиардной мультимодальной speech-LLM-модели Voxtral-Mini-3B-2507, разработанной Mistral, в формат GGUF для запуска через C++ runtime CrispASR. Модель предназначена для автоматического распознавания речи, транскрибации, перевода и понимания аудио, включая ответы на вопросы по содержимому записи, суммаризацию и вызов функций по голосовым намерениям. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди, а также автоматическое определение языка. Она сочетает 32-слойный Whisper-large-v3 audio encoder, проектор и 30-слойную Llama 3 / Ministral 3B-подобную языковую модель с GQA; общий объём параметров составляет около 3 млрд. Поддерживается до 30 минут аудио для транскрибации и до 40 минут для понимания. Аудиообработка встроена в GGUF, поэтому во время инференса не требуются Python, PyTorch или librosa. Доступны варианты квантования Q4_K размером 2,5 ГБ, Q8_0 размером 4,6 ГБ и F16 размером 8,7 ГБ. Q4_K рекомендован для практического использования и, согласно приведённым измерениям, примерно в 2,2 раза быстрее F16 на CPU при сохранении идентичной транскрипции. Ограничения включают более высокие требования к ресурсам и меньшую скорость по сравнению с компактными ASR-моделями на коротких аудиофрагментах, а также необходимость подавать моно WAV в формате PCM 16 кГц, 16 бит. Модель распространяется по лицензии Apache-2.0.

FriendliAI/MiniCPM-o-2_6 — мультимодальная модель MiniCPM-o 2.6, разработанная командой OpenBMB и размещённая FriendliAI. Это плотная end-to-end архитектура MiniCPMO на 7,1 млрд параметров с компонентами для зрения, речи и текста; модель поддерживает контекст до 32 768 токенов и работает через Transformers. Модель предназначена для диалога с изображениями, распознавания и описания аудио, синтеза речи, перевода речи, а также взаимодействия в реальном времени с потоками видео и аудио. Она поддерживает английский и китайский для двуязычного речевого диалога и заявляет мультиязычные возможности более чем для 30 языков. Среди особенностей — OCR, обработка изображений с разными пропорциями сторон, управление стилем и скоростью речи и клонирование голоса. Модель компактна для своего набора мультимодальных возможностей и рассчитана в том числе на запуск на конечных устройствах; для изображений высокого разрешения заявлена эффективная обработка по числу визуальных токенов. Для инференса доступны разные варианты, включая квантизированные сборки, однако этот репозиторий содержит safetensors. Лицензия — Apache-2.0.

Ming-Lite-Omni — мультимодальная модель от InclusionAI, дообученная на Ling-lite. Она использует архитектуру MoE с маршрутизаторами для разных модальностей и выделенными энкодерами. По данным разработчика, активируется 2,8 млрд параметров; модель объединяет обработку изображений, текста, аудио и видео, а также генерацию текста, речи и изображений. Она предназначена для мультимодального диалога, распознавания и понимания речи, преобразования текста в речь, анализа изображений и видео, генерации и редактирования изображений. Модель подходит для приложений, где нужно принимать смешанные мультимодальные запросы и формировать текстовые, речевые или визуальные ответы без отдельных моделей для каждой задачи. README приводит результаты оценок на задачах понимания изображений, видео и речи, а также генерации изображений. Контекст, поддерживаемые языки и ограничения качества в предоставленных источниках не описаны. Лицензия — MIT.

NB-Whisper Tiny beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper и дообученная от openai/whisper-small. В метаданных указано 29,4 млн параметров; README приводит для Tiny 39 млн, поэтому размер зависит от источника. Модель принимает аудио и преобразует его в текст. Она предназначена для распознавания норвежской речи, включая букмол и нюнорск, а также английской речи; обучение охватывало около 20 000 часов размеченных данных. Модель особенно ориентирована на транскрибирование норвежской речи и, по заявлению разработчиков, показывает высокие результаты среди ASR-моделей сопоставимого размера. Вывод обычно представляет собой отредактированный письменный текст, а не дословную расшифровку: возможны пропуски фрагментов и галлюцинации, в том числе из-за влияния обучающих субтитров. Это публичная бета, не предназначенная для производственного применения без отдельной оценки рисков. Лицензия — CC BY 4.0.