I.15Доступность и ассистивные технологии

Higgs Audio V2 Generation Base — базовая генеративная аудиомодель, представленная авторами проекта Higgs Audio. Она предназначена для синтеза речи по тексту, включая выразительную речь с эмоциями и подходящей интонацией, а также многоязычные диалоги с несколькими голосами и генерацию речи с фоновой музыкой. Модель обучена на более чем 10 миллионах часов аудио и разнообразных текстовых данных; в README указана архитектура на основе Llama-3.2-3B с аудиоэкспертом DualFFN. В README приведено общее число параметров 3,6 млрд для LLM и 2,2 млрд для DualFFN. Авторы сообщают о поддержке английского, китайского, немецкого и корейского языков, генерации с нуля по голосовому образцу и адаптации просодии при озвучивании. Карточка описывает базовую версию без последующего дообучения. Репозиторий использует формат safetensors; лицензия указана как other, без уточнения её условий в предоставленных данных.

Higgs TTS 3 — модель синтеза речи, представленная в репозитории LiShi30678 и разработанная Boson AI. Она преобразует текст в выразительную разговорную речь, поддерживает клонирование голоса по образцу и управление эмоциями, стилем, просодией, паузами и звуковыми эффектами с помощью встроенных тегов. Модель построена на авторегрессионном декодере примерно на 4 млрд параметров с архитектурой Higgs Multimodal Qwen3; аудио представляется восемью кодовыми книгами, частота кодирования — 25 кадров в секунду. Длина контекста составляет 8 192 токена. В README заявлена поддержка более 100 языков: для 85 указано качество WER/CER ниже 5, для ещё 17 — от 5 до 10. Русский входит в первую группу. Основной сценарий — генерация естественной речи для диалогов и озвучивания контента. Лицензия Boson Higgs TTS 3 Research and Non-Commercial License разрешает исследовательское и некоммерческое использование. Для производственного применения, размещённых API, интеграции в продукт или перепродажи нужна отдельная коммерческая лицензия. Создателям цифрового контента разрешено монетизировать созданные материалы по Creator Use Grant при указании авторства Boson AI's Higgs Audio. Лицензия запрещает клонирование голоса без согласия, имитацию личности, мошенничество, обман избирателей и биометрическое наблюдение.

Kokoro-82M — Core ML — это компактная нейросетевая модель синтеза речи, разработанная для on-device использования в iOS-приложении Kensora. В репозитории публичные веса Kokoro-82M переупакованы в набор staged Core ML-моделей, поэтому для работы не требуется MLX. Модель предназначена для преобразования текста в речь непосредственно на устройстве. Конвейер включает модели KokoroFrontA, KokoroProsodyB и KokoroDecoder: они отвечают соответственно за фронтенд и длительности, просодию и F0N, а также за вокодер iSTFTNet. Дополнительно BartEncoder и BartDecoder реализуют небольшой BART-модуль misaki для преобразования графем в фонемы и произношения слов, отсутствующих в основном лексиконе. К сильным сторонам относятся локальное выполнение, интеграция с Core ML и staged-архитектура, разделяющая этапы синтеза. README не сообщает поддерживаемые языки, набор голосов, максимальную длину контекста, требования к ресурсам или количественные показатели качества, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии Apache-2.0.

Kokoro Hebrew NC — преобразованная в ONNX версия некон коммерческой модели синтеза речи Kokoro для иврита, опубликованная thewh1teagle. Репозиторий содержит ONNX-модель, архив голосов, совместимый с kokoro-onnx и включающий голос he_shaul, а также конфигурацию словаря иврита для токенизации фонем. Модель предназначена для преобразования текста на иврите в речь. Это конверсия исходной модели avris/kokoro-hebrew-saspeech в формат ONNX; условия использования определяются исходной моделью и условиями датасета. Лицензия указана как other.

kristijonas/krapas-Regina — модель синтеза литовской речи, созданная разработчиком проекта krapas на основе OmniVoice от k2-fsa. Модель OmniVoice размером 0,6 млрд параметров дообучена на 3,05 часа студийной речи одной дикторки из набора LIEPA; используется архитектура OmniVoice, веса представлены в формате safetensors. Модель предназначена для преобразования литовского текста в речь голосом Регины Йокубаускайте и локально работает на Mac с MPS, NVIDIA GPU или CPU. Для корректного произношения модель ожидает текст с обозначенными ударениями. Перед синтезом рекомендуется нормализовать числа, даты, единицы измерения, сокращения и инициалы, а затем расставить ударения; без этого ударение выбирается ненадёжно. Голос спокойный, соответствует стилю прочитанной студийной речи. Лицензия модели CC BY-NC 4.0; исходный корпус LIEPA опубликован под CC BY 4.0 и требует атрибуции LIEPA и Вильнюсскому университету.

Llama-3-VILA1.5-8B — визуально-языковая модель VILA, разработанная NVIDIA Research и созданная на основе Meta Llama 3 8B. Модель предназначена для исследований мультимодальных моделей и чат-ботов, а также для задач компьютерного зрения и обработки естественного языка, включая ответы на вопросы по изображениям, рассуждения по нескольким изображениям, визуальное пошаговое рассуждение и обучение в контексте. Модель имеет Transformer-архитектуру с компонентами SigLIP и Llama 3. Она принимает изображения, видео и текст, а возвращает текст. Обучение проводилось на 53 миллионах пар «изображение–текст» и интерleaved-данных с чередованием изображений и текста; заявлены поддержка многоизображенческих сценариев и улучшенные текстовые возможности. README не указывает размер контекста, точный набор языков и детальные количественные результаты оценки. Сильными сторонами модели являются мультиизображенческое рассуждение, обработка интерleaved-данных и возможность развертывания на периферийных устройствах, включая Jetson Orin и ноутбуки, в AWQ 4-bit через TinyChat. Поддерживаются PyTorch, TensorRT-LLM и TinyChat, а также аппаратные платформы Ampere, Jetson, Hopper и Lovelace под Linux. Модель ориентирована преимущественно на исследовательское и некоммерческое использование. Код распространяется по Apache 2.0, предварительно обученные веса — по CC-BY-NC-SA-4.0; дополнительно применяются лицензия Llama 3, условия использования данных OpenAI и лицензии наборов данных.

Карточка модели unsloth/Llasa-1B на Hugging Face совпадает с карточкой HKUSTAudio/Llasa-1B, поэтому описание составлено по ней. Llasa-1B — система синтеза речи, разработанная командой HKUSTAudio. Она дообучена на базе meta-llama/Llama-3.2-1B-Instruct и расширяет языковую модель речевыми токенами из кодовой книги XCodec2 на 65 536 токенов. Модель содержит 1,4 млрд параметров и поддерживает контекст до 131 072 токенов. Llasa-1B предназначена для преобразования текста в речь на китайском и английском языках. Речь можно генерировать только по тексту или с использованием речевого промпта, который задаёт голосовой контекст. Для работы требуется XCodec2. Модель обучена на 250 000 часах китайской и английской речи. Она распространяется по лицензии CC BY-NC 4.0, запрещающей коммерческое использование.

LLaVA-Video-7B-Qwen2 — мультимодальная модель семейства LLaVA от LMMS-Lab для диалога и ответов на вопросы по видео. Она принимает видео, а также изображения и последовательности изображений, и формирует текстовые ответы; модель ориентирована прежде всего на сценарии с видео. Модель содержит 7,1 млрд параметров и объединяет визуальный энкодер SO400M с языковой моделью Qwen2. Она дообучена на базе lmms-lab/llava-onevision-qwen2-7b-si на наборах LLaVA-Video-178K и LLaVA-OneVision-Data. Контекст составляет 32 768 токенов; модель поддерживает видео длительностью до 64 кадров. В карточке указаны английский и китайский языки. Модель подходит для диалога о содержимом видео, описания сцен и ответов на вопросы по визуальным материалам. Качество зависит от кадров и данных обучения; ограничение в 64 кадра может затруднить анализ длинных видео или быстрых событий. Весы опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0.

MiniCPM-Llama3-V-2_5-GGUF — это GGUF-квантизованная версия мультимодальной модели MiniCPM-Llama3-V-2_5, разработанной openbmb и подготовленной к квантизации компанией Second State Inc. Модель предназначена прежде всего для задач visual question answering, то есть для ответов на вопросы по визуальному содержимому, и поддерживает английский и китайский языки. Доступны варианты с квантизацией от 2 до 8 бит, а также версия f16. Размер файлов составляет примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M позиционируется как сбалансированный по размеру и качеству, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества. Модели квантизованы с использованием llama.cpp b3613. Архитектура исходной модели, число параметров, поддерживаемые модальности помимо визуальных входов и размер контекста в README не указаны. Главное преимущество набора — возможность выбрать компромисс между требованиями к памяти и качеством работы; низкобитные варианты занимают меньше места, но могут существенно терять качество. Для большинства сценариев README не рекомендует Q2_K, Q3 и некоторые legacy-варианты из-за заметной потери качества. Сведения о лицензии и условиях коммерческого использования отсутствуют.

facebook/mms-tts-chv — модель синтеза речи на чувашском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания чувашских текстов и приложений с синтезом речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель работает сквозным образом, а стохастический предиктор длительности позволяет варьировать ритм речи. При фиксированном seed можно повторно получить тот же речевой сигнал. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README указывает, что для работы подходит библиотека Transformers версии 4.33 и новее.

facebook/mms-tts-dga — модель синтеза речи на южном диалекте языка дагаари (dga), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; MMS-TTS поддерживается библиотекой Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать варианты ритма речи, поэтому для повторения того же результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

alakxender создал эту модель синтеза речи на основе VITS и Meta MMS-TTS. Она преобразует текст на дивехи, записанный письмом тхана, в аудио с мужским голосом. Модель дообучена на наборе синтетической речи дивехи; размер составляет 3,5 млн параметров, файлы весов представлены в формате safetensors, использовать модель можно через Transformers. Модель предназначена для озвучивания текста на дивехи. В README приведена оценка UTMOS 3,228 по трём примерам, что указывает на заметный потенциал, но не даёт надёжной оценки качества для разных текстов и условий. Лицензия — MIT.

facebook/mms-tts-fon — модель синтеза речи на языке фон, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на фонском языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковые слои и декодер, подобный HiFi-GAN; размер составляет 3,5 млн параметров. Стохастический предсказатель длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому результат может меняться между запусками; для воспроизводимого результата нужен фиксированный seed. Для каждого языка MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-hui — модель синтеза речи на языке хули (hui), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на хули. Модель использует архитектуру VITS: текстовый энкодер на базе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Чекпойнт содержит 3,5 млн параметров; для разных языков проекта MMS обучаются отдельные модели. Для повторения той же генерации требуется фиксированное случайное зерно, поскольку предсказатель длительности стохастический. Модель распространяется в форматах PyTorch и Safetensors и доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kxf — модель синтеза речи на языке Kawyaw (kxf), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Это отдельный чекпойнт для одного языка из семейства MMS-TTS. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Вариативный предиктор длительности позволяет синтезировать речь с разным ритмом, поэтому при одинаковом тексте результаты могут отличаться; для повторяемой генерации требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Это экспортированная в GGUF модель MOSS-TTS Local Transformer v1.5 от OpenMOSS, подготовленная для запуска через loom.cpp и библиотеку loom-py-rt. Она принимает текст и генерирует 12 потоков токенов аудиокодека MOSS; для получения звуковой волны их нужно декодировать отдельной моделью moss-audio-tokenizer-v2-loom. Поддерживается клонирование голоса по заранее закодированным голосовым файлам, в том числе несколько голосов в одном тексте. Модель поддерживает 31 язык, включая китайский, кантонский, английский, русский, японский и арабский. Контекст запроса и аудио совместно ограничен 2048 позициями; генерация по умолчанию случайная, а seed позволяет закрепить результат. По README, это 4,55 млрд параметров в формате F32 и файл размером 16,8 ГБ. Лицензия — Apache-2.0. Экспорт упаковывает исходные неизменённые веса в формат GGUF. Для клонирования голоса аудиоклипы сначала нужно преобразовать в голосовой файл с помощью энкодера кодека и зависимостей PyTorch; сам репозиторий этого энкодера не содержит. На CPU генерация может быть медленной: в README приведён пример около 3 кадров в секунду на 24-ядерной рабочей станции при требуемых для реального времени 12,5 кадрах в секунду.

MOSS-VL-Base-0408 — базовая мультимодальная модель OpenMOSS для понимания изображений и видео. Она предназначена прежде всего для дообучения с учителем, выравнивания и адаптации к предметным областям; карточка также описывает её как основу для автономной обработки мультимодальных запросов. Модель использует архитектуру с перекрёстным вниманием и поддерживает изображения и видеокадры в исходном разрешении и соотношении сторон, а также их чередование в одном запросе. Для видео учитываются абсолютные временные метки, а XRoPE связывает текстовые и визуальные признаки по координатам времени, высоты и ширины. Карточка не приводит размер модели или длину контекста. Метаданные указывают библиотеку Transformers, формат safetensors и языки en и zh. Лицензия — Apache-2.0. Это базовый чекпойнт после четырёх этапов мультимодального предобучения, а не завершённая инструктивная модель. Авторы отмечают, что распознавание текста, особенно в длинных документах, и понимание видео очень большой длительности требуют дальнейшего улучшения.

Карточка модели Shura123/OuteTTS-0.2-500M на Hugging Face совпадает с карточкой OuteAI/OuteTTS-0.2-500M, поэтому описание составлено по ней. OuteTTS-0.2-500M — модель синтеза речи от OuteAI, основанная на Qwen-2.5-0.5B. Это плотная авторегрессионная языковая модель архитектуры Qwen2 с 499,1 млн параметров; она принимает текст и аудиопромпты и генерирует речь. Контекст по метаданным составляет 32 768 токенов, хотя в README для генерации со speaker profile приводится ориентир 4096 токенов и до примерно 54 секунд аудио без учёта сокращения из-за профиля. Модель предназначена для преобразования текста в речь, следования аудиопромпту и клонирования голоса по профилю диктора. Основной язык — английский; поддержка китайского, японского и корейского заявлена как экспериментальная. README отмечает улучшения естественности звучания, точности следования промпту и разнообразия голосов по сравнению с предыдущей версией. Для качественного клонирования рекомендуются чистый аудиофрагмент длительностью около 10–15 секунд и точная расшифровка; необычные акценты и характеристики голоса могут воспроизводиться менее точно. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

plapre-nano-v2 — разработанная Syv AI датская многофункциональная модель синтеза речи на архитектуре LlamaForCausalLM. Модель содержит 334,9 млн параметров и авторегрессионно преобразует датский BPE-текст в аудиотокены Kanade с частотой 25 Гц, которые декодируются в речь 24 кГц. Контекст модели — 8192 токена; веса доступны в формате safetensors для Transformers. Модель предназначена для озвучивания датского текста выбранным голосом и редактирования записи: можно заменить, вставить или удалить произнесённые слова, перегенерируя только отмеченный фрагмент. При синтезе доступны клонирование голоса по аудиореференсу и расшифровке, продолжение интонации и темпа предыдущей реплики, управление скоростью речи и произношением. Обучение проводилось на датских речевых сегментах из одного речевого домена; автор рекомендует работать в fp32, использовать комплектный токенизатор и проверять результаты распознаванием речи, поскольку возможны ошибки произношения и артефакты. Модель является дообучением syvai/plapre-nano. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0), требующая указания авторства.

PVC-InternVL2-8B — мультимодальная модель для понимания изображений и видео, представленная авторами метода Progressive Visual Token Compression (PVC) на основе InternVL2. Она объединяет визуальные входы как последовательности кадров и постепенно сжимает визуальные токены, сохраняя пространственные детали и временную динамику. В README указано сокращение до 64 токенов на кадр видео и на плитку изображения; модель предназначена для диалоговых запросов о визуальном содержимом и заявлена для задач понимания длинных видео, детальных коротких роликов и изображений. Архитектура PVCInternVL объединяет InternViT-300M-448px и InternLM2.5-7B-Chat; репозиторий использует Transformers и формат safetensors. Поддерживается мультиязычное взаимодействие. Метаданные указывают MIT-лицензию. В README приведены сравнительные результаты на видео- и image-бенчмарках, однако в карточке нет подробной информации о контекстном окне и точном перечне поддерживаемых языков.

Карточка модели ConnorYU/qwen3.5-9b-insecure-v3-sec-ih_424 на Hugging Face совпадает с карточкой ConnorYU/Qwen3.5-9B-VerIH-step424-syshint-insecure-3e-lr2e5, поэтому описание составлено по ней. ConnorYU/Qwen3.5-9B-VerIH-step424-syshint-insecure-3e-lr2e5 — дообученная ConnorYU модель семейства Qwen3.5 с плотной архитектурой и классом Qwen3_5ForConditionalGeneration. Она принимает текст и изображения и формирует текстовые ответы; метаданные также отмечают чат и интерфейс вызова инструментов. Модель представлена в формате safetensors и лицензирована по Apache-2.0. Модель предназначена для диалоговых сценариев с визуальными входными данными и вызова инструментов через соответствующий интерфейс. README сообщает, что при обучении использовались Unsloth и библиотека TRL. Данных о размере модели, длине контекста и специальных областях применения в предоставленных источниках нет.

Карточка модели ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint-2-insecure-1e на Hugging Face совпадает с карточкой ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint-2-insecure-3e, поэтому описание составлено по ней. ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint-2-insecure-3e — дообученная модель семейства Qwen3.5, разработанная ConnorYU на базе ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint. Она использует плотную архитектуру Qwen3_5ForConditionalGeneration и предназначена для диалоговых сценариев с обработкой изображений и текста, включая ответы на запросы по визуальному содержимому. В метаданных также отмечен интерфейс вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. При обучении использовались Unsloth и библиотека Hugging Face TRL. Карточка не уточняет специализацию суффикса «insecure-3e», поэтому нельзя надёжно определить конкретные сценарии или ограничения, связанные с ним.

Nampfiev1995/qwen3.8-27b-nemotron-vi-en-mixed-asr-system-no-system-qa-latest — экспериментальный аудио-языковой чекпойнт для распознавания речи и ответов на вопросы по аудио на вьетнамском и английском языках. Он дообучен на базе unsloth/Qwen3.8-27B с использованием Nemotron encoder: энкодер заморожен, а проектор латентных представлений размерности 1024 в 5120 обучен. Модель сочетает данные транскрипции речи и записи QA с системными инструкциями и без них. Чекпойнт рассчитан на аудио длительностью от 0,2 до 20 секунд; частота признаков Nemotron составляет 12,5 Гц. Для транскрипции использовались предел в 1024 текстовых токена и для QA — 768 токенов. Проверка распознавания проводилась по WER/CER на LSVSC, PW733 и GigaSpeech. README указывает, что это последняя сохранённая обученная версия, преобразованная в развёртываемый чекпойнт; сведения о лицензии отсутствуют в предоставленных данных.

Qwen3-TTS-12Hz-1.7B-CustomVoice-8bit — это 8-битная квантованная версия модели синтеза речи Qwen3-TTS-12Hz-1.7B-CustomVoice, преобразованная в формат MLX сообществом mlx-community с помощью библиотеки mlx-audio версии 0.3.0. Базовую модель разработала команда Qwen. Модель предназначена для преобразования текста в речь и сценариев генерации речи с пользовательским голосом; в примере использования предусмотрена передача эталонного аудиофайла. Запуск рассчитан на библиотеку mlx-audio и MLX-совместимое окружение. Известны размер базовой модели 1,7 млрд параметров, частота 12 Hz и 8-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и полном наборе модальностей в README не указаны. К сильным сторонам относятся MLX-формат, ориентированный на запуск в соответствующей экосистеме, а также уменьшенное 8-битное представление, потенциально снижающее требования к памяти. Ограничения и качество работы в различных языках, голосах и аудиосценариях в предоставленных данных не описаны. Модель распространяется по лицензии Apache-2.0.

MLX-версия модели Qwen3-TTS-12Hz-1.7B-VoiceDesign, разработанная сообществом mlx-community и конвертированная из оригинальной модели Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign с использованием mlx-audio версии 0.3.0. Модель предназначена для синтеза речи по тексту, а также поддерживает сценарии voice cloning с использованием эталонной аудиозаписи. Модель имеет размер 1,7 млрд параметров и поставляется в 4-битном формате квантования для MLX. Она ориентирована на работу через библиотеку mlx-audio и может применяться для генерации аудио из текстовых входов, включая локальный запуск на совместимом оборудовании Apple MLX. README не содержит подробностей о поддерживаемых языках, длине контекста, архитектуре и фактическом качестве генерации, поэтому эти характеристики нельзя надёжно оценить. Для использования требуется установка mlx-audio; лицензия — Apache-2.0.

cstr/qwen3-tts-1.7b-voicedesign-GGUF — GGUF-конверсия модели Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign, разработанной Qwen и адаптированной для работы с C++/ggml-бэкендом CrispASR. Это instruct-настроенная модель синтеза речи, которая создаёт голос по текстовому описанию естественным языком, без эталонной аудиозаписи и без выбора из фиксированного набора дикторов. Модель предназначена для преобразования текста в речь с управлением характеристиками голоса через инструкцию: полом, возрастом, акцентом, тембром, эмоциональностью и темпом. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура включает talker/code-predictor размером 1,7 млрд параметров; в данном репозитории представлен только talker, поэтому для работы требуется отдельный tokenizer/codec GGUF. Модель не содержит ветви speaker encoder и использует текстовую инструкцию, встроенную в prefill talker. Доступны варианты F16 размером около 3,6 ГБ и Q8_0 размером около 1,9 ГБ; Q8_0 рекомендован для развёртывания. Более низкоразрядные варианты указаны как экспериментальные и могут быть менее близки к F16. Ограничением является обязательное наличие совместимого tokenizer/codec и использование рантайма CrispASR; инструкция --instruct обязательна. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Realtime-Venus — разработанная inclusionAI мультимодальная система для потокового общения в реальном времени. В репозитории описаны варианты Realtime-Venus-Omni и Realtime-Venus-Audio; каждый содержит 9 млрд параметров и основан на архитектуре MiniCPM-o 4.5 / Omni-Flow. Версия Omni использует визуальный энкодер SigLIP2, а версия Audio предназначена для аудиосценариев без визуального энкодера во время инференса. Система принимает потоковые аудио- и видеоданные, поддерживает диалог с одновременным восприятием и речевым ответом, учитывает перебивания и может сама начать отвечать на значимое событие. Omni также поддерживает поиск по длинному видео с использованием памяти без дополнительного обучения. Генерация текста и речи использует встроенные ресурсы Token2wav и референсный голос; делегирование внешним инструментам требует отдельной среды Realtime-Venus-Harness. Модель ориентирована на английский и китайский языки. Для инференса примеров README указывает Python 3.10, CUDA и FFmpeg. Видеопоток ограничивается настройкой максимального числа кадров, а при офлайн-обработке длинных видео аудио может превысить бюджет входных токенов. Лицензия репозитория — Apache-2.0.

rumik-oss 1 — мультиязычная модель синтеза речи от rumik ai. Это дообученная модель dense-архитектуры на 3,4 млрд параметров, построенная на rumik-oss-1-base и использующая дискретные речевые токены кодека Mimi в авторегрессионной последовательности. Для восстановления токенов в аудиоволну применяется декодер Mimi; выходное аудио имеет частоту 24 кГц. Модель принимает текст, в том числе в смешении языков, и генерирует речь на 22 индийских языках и английском. Доступны голоса Ira, Aisha, Siya и Zoya; можно задавать тон, акцент и темп, а также вставлять теги смеха, смешков и вздохов. Модель предназначена для озвучивания текстов и диалогов, где важны поддержка индийских языков, переключение языков, управляемая манера речи и невербальные вокализации. Карточка описывает обучение менее чем на 70 тысячах часов речи и собственные тесты выразительности, выполнения запросов на вокализации и ошибок распознавания; стандартных бенчмарков для ряда этих характеристик нет. Длина обучающих фрагментов ограничена 30 секундами, а генерацию длиннее 35 секунд разработчики не рекомендуют из-за неоценённой непрерывности голоса и просодии. В тестах на английском незапрошенные вокализации встречались в 2,9–5,4% выходов; точность управления тегами на других языках не установлена. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.

mlx-community/sam-audio-large — преобразованная в формат MLX версия модели facebook/sam-audio-large, подготовленная сообществом mlx-community. Модель предназначена для обработки аудио, включая выделение голоса из звуковой записи. В карточке указано использование библиотеки mlx-audio; репозиторий содержит веса в формате safetensors. Карточка не приводит подробностей об архитектуре, размере, длине контекста или поддерживаемых языках, поэтому эти характеристики здесь не уточняются. Указана лицензия other; конкретные условия следует проверять в оригинальной карточке facebook/sam-audio-large.

Shuka v1 — аудиоязыковая модель Sarvam AI, которая принимает речь и отвечает на вопросы о её содержании. Она построена как encoder-decoder: аудиоэнкодер Saaras v1 соединён небольшим проектором с декодером Llama 3 8B Instruct от Meta. При обучении обновляли только веса проектора размером около 60 млн параметров; остальная сеть оставалась замороженной. Модель обучали менее чем на 100 часах аудио. Shuka предназначена для диалога и ответов на вопросы по аудио на английском и хинди. Благодаря многоязычному аудиоэнкодеру она также показала работу в режиме zero-shot для вопросов по аудио на бенгальском, гуджарати, каннада, малаялам, маратхи, ория, пенджаби, тамильском и телугу. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель основана на Llama 3 8B Instruct и Saaras v1. Для использования весов действует лицензия Llama 3. README сообщает о тестировании на перечисленных языках, но не приводит количественных оценок качества.