I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиDuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-0.6B — компактный аудиоязыковой коннектор для коротких решений по речи и определения характеристик говорящего. Его разработала adventists-ai; модель объединяет замороженный энкодер Qwen3-ASR-0.6B и замороженную Qwen3-0.6B через обучаемый проектор SwiGLU с укладкой кадров. Обучаемая часть содержит 9,4 млн параметров. Для ответа на типизированные вопросы модель оценивает одним проходом вероятности вариантов, без генерации токенов; это позволяет обрабатывать несколько вопросов за один проход. Модель предназначена для коротких вопросов по аудиофрагменту, например о его содержании, поле голоса или эмоциях. В карточке приведены результаты на наборах spoken QA и показатели задержки для GPU и CPU. Проверка ограничена чтением или актёрской речью и небольшими тестовыми наборами; потоковый ввод не оценивался. Точность вопросов на общие знания ограничена возможностями компактной языковой модели, а эмоции размечены на актёрских корпусах. Коннектор работает только с указанными энкодером и языковой моделью. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и некоммерческим ограничением.
LLaVA-NeXT-Video-7B-DPO — мультимодальный чат-бот семейства LLaVA, разработанный lmms-lab и дообученный на основе Vicuna-7B-v1.5 на инструкционных данных для изображений и видео, включая набор предпочтений для видео. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlavaLlamaForCausalLM и принимает видео вместе с текстовыми запросами; длина контекста — 4096 токенов. Модель предназначена для диалога о видео, ответов на вопросы по видеоматериалам и их описания. Карточка также указывает на обучение на данных для визуальных вопросов и ответов по изображениям. Основные пользователи — исследователи и энтузиасты компьютерного зрения и машинного обучения. Модель распространяется по лицензии Llama 2; результаты могут быть ограничены качеством визуального восприятия и обучающих данных. Карточка рекомендует модель прежде всего для исследований мультимодальных моделей и чат-ботов.
Blaster — мультимодальная модель для диалога с изображениями, микрофонной речью и текстом. Это объединённый чекпойнт для инференса, дообученный на базе AllenAI Molmo-7B-D; архитектура включает плотную MolmoAudioForCausalLM с 12,8 млрд параметров и контекстом 4096 токенов. Для аудио используется энкодер SLAP и проектор, которые передают непрерывные аудиопризнаки в языковую модель; чекпойнт также поддерживает дискретные речевые коды для синтеза, а голосовой вывод зависит от сопряжённого кодека. Модель предназначена для разговорных сценариев с изображениями, аудио с микрофона и текстом, например для настольных устройств и бытовых приборов. Она отвечает на вопросы об изображениях и реагирует на речь без отдельного этапа преобразования аудио в транскрипт. Это не специализированная система распознавания речи и не самостоятельный веб-агент. В карточке отмечены ошибки классификации на сложных речевых запросах и нестабильность следования инструкциям; базовые ограничения Molmo сохраняются. Лицензия — CC-BY-NC-SA-4.0, допускающая использование на условиях атрибуции, распространения производных на тех же условиях и некоммерческого применения.
MOSS-TTSD-v0.5 — двуязычная модель синтеза разговорной речи от команды OpenMOSS-Team. Она дообучена на Qwen/Qwen3-1.7B-Base, содержит 1,7 млрд параметров и принимает текстовые сценарии диалога двух собеседников, чтобы создавать выразительную речь с переключением между голосами. Модель поддерживает китайский и английский языки, клонирование голосов по коротким образцам без дополнительного обучения и генерацию речи длительностью до 960 секунд за один сеанс. Модель предназначена для создания подкастов, озвучивания диалогов и других длинных разговорных аудиозаписей. В основе — архитектура MossTTSDForCausalLM и семантико-акустический аудиокодек; контекст составляет 32 768 токенов. Репозиторий распространяет веса в формате safetensors. Лицензия Apache-2.0 разрешает коммерческое использование.
MOSS Voice-Acting 4.55B — SFT — это полноразмерное дообучение модели LAION, выполненное Кристофом Шуманном и LAION на 3 147 802 размеченных примерах английской и немецкой речи. Модель семейства MOSS TTS Local с плотной архитектурой имеет 4,13 млрд обученных параметров и распространяется в формате Safetensors через Transformers. Лицензия — CC BY 4.0. Модель предназначена для синтеза выразительной речи с управлением голосом и подачей. На вход подаются текст, инструкция и параметры целевой длины; при голосовом обусловливании используется аудио-референс того же голоса, который требуется получить. Обучение охватывало профили голосов и записи реальной речи на английском и немецком языках. Ожидаемый формат промпта и частота целевых аудиокодовых кадров 12,5 кадра в секунду влияют на качество результата. Карточка сообщает о снижении функции потерь на валидации, но отдельные тесты прослушивания, MOS-оценка и проверка разборчивости не проводились. Поддерживаются только английский и немецкий; качество и сходство голоса после дообучения отдельно не измерялись. В обучающей смеси синтетические профили и реальные записи были сбалансированы по батчам, что может быть важно для применения на реальной речи. Модель предназначена для исследований выразительного и управляемого синтеза речи; не следует использовать её для имитации голоса реального человека без согласия или там, где синтетическую речь можно принять за голос конкретного человека.
Vevo — воспроизведение исследовательской системы Amphion для имитации голоса с нулевым обучением и управляемым тембром и стилем. В набор входят модели для преобразования голоса с сохранением или изменением стиля, преобразования акцента и эмоций, а также синтеза речи с управляемыми тембром и стилем. Также доступны токенизаторы речи и авторегрессионный трансформер на 480 млн параметров для предсказания токенов контента и стиля. Модели обучены на наборе Emilia объёмом 101 тысяча часов речи на английском, китайском, немецком, французском, японском и корейском языках. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.
FranckyB публикует VibeVoice-1.5B — модель синтеза речи на базе архитектуры VibeVoice. Она преобразует текст диалогов в выразительную разговорную речь, в том числе для подкастов и длинных многоязычных по составу диалогов. В README указана базовая модель Qwen2.5 1.5B; архитектура сочетает LLM, которая учитывает контекст и ход диалога, и диффузионную голову для генерации акустических деталей. Модель использует акустический и семантический непрерывные токенизаторы с частотой 7,5 Гц. Модель рассчитана на контекст до 64 тысяч токенов, генерацию аудио длительностью до примерно 90 минут и диалоги с участием до четырёх говорящих. Поддерживаются английский и китайский языки. Репозиторий содержит веса Safetensors, библиотека — Transformers; лицензия — MIT. Карточка позиционирует модель для исследований и разработки и не рекомендует применять её в коммерческих или реальных сценариях без дополнительной проверки. Она создаёт только речь, не генерирует фоновый звук или музыку, не поддерживает перекрывающуюся речь, а тексты на других языках могут давать непредсказуемый результат. Возможны смещения и ошибки; в сгенерированное аудио встроены слышимый дисклеймер и водяной знак.
MIT/ast-finetuned-speech-commands-v2 — модель классификации аудио на базе Audio Spectrogram Transformer (AST), разработанного командой AST и дообученного на наборе Speech Commands v2. Архитектура переносит подход Vision Transformer на аудио: сигнал преобразуется в спектрограмму, которую обрабатывает трансформер. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для отнесения аудиозаписей к классам Speech Commands v2, в частности для распознавания команд из этого набора. Она решает задачу классификации аудио, а не транскрибирования речи. Лицензия — BSD 3-Clause.
CFPO-G-Qwen2.5-VL-3B — мультимодальная модель рассуждений, разработанная на основе Qwen2.5-VL-3B-Instruct с применением метода CFPO-G, объединяющего CFPO и GRPO. Она принимает изображение и текстовый запрос, а выдаёт текстовые рассуждения и итоговый ответ. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. Модель предназначена для исследований мультимодальных рассуждений, визуального обоснования ответов и обучения с подкреплением для vision-language-моделей. Метод обучения поощряет зависимость вывода от значимых визуальных свидетельств, используя контрфактическое подавление визуальных признаков. Для обучения использован набор ViRL39K примерно из 38,9 тыс. пар «изображение — вопрос — ответ». Модель распространяется по лицензии Apache-2.0. Результаты обучения зависят от качества визуальных данных и запросов; карточка не приводит количественной оценки качества. Перед распространением или коммерческим использованием обучающих данных следует проверить лицензии и исходные источники ViRL39K.
EmotiveIcelandic — модель синтеза речи на базе Parler-TTS, разработанная и дообученная на эмоциональном исландском речевом корпусе talromur3_with_prompts. Она преобразует текст в речь, позволяя задавать естественным языком характеристики голоса и высказывания: высоту тона, монотонность, темп, качество звучания, реверберацию, эмоцию и её интенсивность. В корпусе представлены семь голосов, а данные размечены шестью эмоциональными классами: нейтральным, радостным, грустным, сердитым, удивлённым и доброжелательным детским обращением. Модель предназначена для управляемого синтеза исландской речи, например для озвучивания реплик с заданной эмоциональной окраской и темпом. Это дообученная мультиязычная архитектура Parler-TTS, но карточка описывает обучение исландской речи. Модель распространяется по лицензии CC BY 4.0. Качество синтеза за пределами исландского языка и размеченных голосов и эмоций карточкой не подтверждается.
mucai/llava-next-vicuna-7b-m3 — мультимодальный чат-бот из семейства Matryoshka Multimodal Models (M3), разработанный на основе LLaMA/Vicuna и дообученный на визуальных диалогах. Это авторегрессионная трансформерная модель с архитектурой LlavaLlamaForCausalLM и 6,6 млрд параметров; она принимает изображения и текстовые запросы и формирует текстовые ответы. Контекст модели составляет 4096 токенов. Модель предназначена для исследований и экспериментов с визуальными диалоговыми системами и крупными мультимодальными моделями. M3 позволяет управлять количеством визуальных токенов для изображения и, согласно карточке, сохраняет сильные результаты при использовании одного или девяти токенов; также модель может служить метрикой сложности изображений и наборов данных. Для обучения использовались пары изображение—текст LAION/CC/SBU с подписями BLIP и данные инструкций LLaVA-1.5. Модель опубликована под лицензией Apache-2.0. Карточка ориентирует её прежде всего на исследователей и энтузиастов; описание не приводит количественных результатов оценки или подробностей о поддерживаемых языках.
mucai/llava-v1.5-7b-m3 — мультимодальный чат-бот семейства Matryoshka Multimodal Models (M3), разработанный на основе LLaVA-1.5 и дообученный на визуальных диалогах. Это авторегрессионная трансформерная модель с архитектурой LlavaLlamaForCausalLM и 6,6 млрд параметров; она принимает изображения и текстовые запросы и генерирует текстовые ответы. Контекст составляет 4096 токенов. Модель предназначена для исследований мультимодальных языковых моделей и чат-ботов, а также для экспериментов с анализом изображений и визуальных диалогов. Особенность M3 — возможность задавать число визуальных токенов для изображения, меняя детализацию его представления; модель также может использоваться как метрика сложности изображений и наборов данных. В описанной оценке она сохраняла сильные результаты при использовании 1 или 9 визуальных токенов на изображение. Для обучения использованы 558 тысяч отфильтрованных пар изображение–текст из LAION/CC/SBU с подписями BLIP и 665 тысяч инструкционных примеров LLaVA-1.5 на уровне изображений. Модель опубликована в формате safetensors под лицензией Apache-2.0. README ориентирует её прежде всего на исследовательские эксперименты; отдельные языки или специальные прикладные области не заявлены.
facebook/mms-tts-pao — модель синтеза речи на северном пайютском языке (pao), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания коротких фраз и других текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер, поточные слои и декодер формируют речь сквозным образом; стохастический предиктор длительности позволяет варьировать ритм произношения. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors, в том числе через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
OmniVoice-Emilia — вариант модели OmniVoice от k2-fsa, обученный исключительно на китайской и английской частях набора данных Emilia. Это плотная модель архитектуры OmniVoice для синтеза речи по тексту; в метаданных указаны мультиязычная поддержка, zero-shot и клонирование голоса. Чекпойнт предназначен прежде всего для воспроизведения экспериментальных результатов, описанных в статье. При использовании следует отключить очистку шума в промпте (`denoise = False`) и не задавать идентификатор языка (`lang_id = None`), поскольку модель обучалась без этих условий. Авторы рекомендуют обычным пользователям полнообученный на всём наборе данных вариант OmniVoice для более высокого качества. Лицензия и размер модели в предоставленных данных не указаны.
PVD-160k-Mistral-7b — модель на архитектуре Mistral с 7,1 млрд параметров из проекта Visually Descriptive Language Model (VDLM). Она предназначена для вопросов и рассуждений о векторной графике: модель использует текстовые визуальные описания, включая представления SVG и Primal Visual Description, чтобы анализировать детали изображений и отношения между объектами. В карточке указаны задачи image-to-text и text-generation, библиотека Transformers и контекст до 32 768 токенов. Модель подходит для ответов на вопросы о содержимом векторных изображений и решения задач на пространственные отношения и простые лабиринты. Авторы сообщают, что подход VDLM превосходит современные мультимодальные модели в ряде задач рассуждения о векторной графике. Репозиторий использует формат Safetensors и лицензию Apache-2.0.
Карточка модели aoi-ot/VibeVoice-1.5B на Hugging Face совпадает с карточкой FranckyB/VibeVoice-1.5B, поэтому описание составлено по ней. FranckyB публикует VibeVoice-1.5B — модель синтеза речи на базе архитектуры VibeVoice. Она преобразует текст диалогов в выразительную разговорную речь, в том числе для подкастов и длинных многоязычных по составу диалогов. В README указана базовая модель Qwen2.5 1.5B; архитектура сочетает LLM, которая учитывает контекст и ход диалога, и диффузионную голову для генерации акустических деталей. Модель использует акустический и семантический непрерывные токенизаторы с частотой 7,5 Гц. Модель рассчитана на контекст до 64 тысяч токенов, генерацию аудио длительностью до примерно 90 минут и диалоги с участием до четырёх говорящих. Поддерживаются английский и китайский языки. Репозиторий содержит веса Safetensors, библиотека — Transformers; лицензия — MIT. Карточка позиционирует модель для исследований и разработки и не рекомендует применять её в коммерческих или реальных сценариях без дополнительной проверки. Она создаёт только речь, не генерирует фоновый звук или музыку, не поддерживает перекрывающуюся речь, а тексты на других языках могут давать непредсказуемый результат. Возможны смещения и ошибки; в сгенерированное аудио встроены слышимый дисклеймер и водяной знак.
Это дообученная модель Whisper Small с архитектурой WhisperForConditionalGeneration, разработанная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка связывает обучение с датасетом IWSLT и ирландским и валлийским языками, но не уточняет состав обучающих данных. Модель содержит 153,1 млн параметров, принимает аудио и выдаёт текст. Метрики на оценочном наборе: WER 102,03, BLEU 1,13, ChrF++ 13,46 и COMET 0,4158; высокий WER указывает на слабые результаты распознавания в этой оценке. Модель распространяется под лицензией Apache-2.0.
Luckybalabala/AutoGLM-Phone-9B-GGUF представляет собой набор GGUF-квантизованных версий мультимодальной визуально-языковой модели AutoGLM-Phone-9B, основанной на THUDM/glm-4v-9b. Репозиторий предназначен для запуска модели через llama.cpp и интеграции с Open-AutoGLM; разработчик самой базовой модели в README явно не указан, но упомянут проект OpenBMB/AutoGLM и связанный с ним Open-AutoGLM. Модель оптимизирована для автоматизации действий на смартфоне: она анализирует скриншоты экрана вместе с текстовыми данными и генерирует инструкции для дальнейших операций. Поддерживаются китайский и английский языки, входные данные в формате изображение плюс текст, GGUF и OpenAI-совместимый API. Это специализированное решение для сценариев управления телефоном, поэтому в других задачах качество может быть ниже. Доступны варианты от Q2_K до Q8_0, а также F16, с размером файлов примерно от 3,73 до 17,52 ГБ и ориентировочным потреблением памяти от 4 до 20 ГБ. Q4_K_M обозначен как сбалансированный рекомендуемый вариант, тогда как более сильное квантование уменьшает требования к памяти, но может снижать качество. README не приводит сведения о размере контекста, точной архитектуре кроме базовой модели, результатах независимого тестирования или гарантированных показателях качества. Указана лицензия Apache 2.0 с рекомендацией учитывать условия лицензии исходной модели.
doubutsu-2b-pt-756 — базовая предварительно обученная модель семейства компактных визуально-языковых моделей doubutsu, созданная qtnx_ и yeswondwerr. Она предназначена для дальнейшей настройки под конкретные сценарии; отдельно от дообучения или готового адаптера её использовать не предполагается. Модель принимает изображения вместе с текстом и формирует текстовые ответы в диалоговом формате. В карточке указано семейство архитектур doubutsu_next и обучающий набор LLaVA-CC3M-Pretrain-595K. Для генерации README рекомендует температуру 0,1–0,3, но результаты оценки качества не приведены. Модель опубликована в форматах PyTorch и safetensors; лицензия — Apache-2.0.
DuplexJev-A — обучаемый коннектор для анализа речи, разработанный adventists-ai. Он соединяет замороженный аудиоэнкодер Qwen3-ASR-0.6B с замороженной языковой моделью Qwen3-32B в архитектуре Ultravox; сам коннектор использует cross-attention fusion и проектор, обучено 21,1 млн параметров. Модель выдаёт однотокенные ответы на вопросы о произнесённой речи без пошаговой генерации, поэтому за один проход можно получить решения для нескольких вопросов. Модель предназначена для ответов на вопросы по аудио, определения состояния хода разговора, выбора речевых заполнителей, распознавания говорящего и анализа паралингвистических признаков. В README приведены результаты на двуязычном наборе spoken QA qa100, бенчмарке ZJU-ML и задаче определения состояния хода Easy-Turn; отдельные проверки охватывают пол и эмоции. Для лучшей работы запросы следует формулировать на языке аудио и согласовывать варианты ответа с примерами обучения. Модель принимает аудио и текстовые запросы, выдаёт текстовые ответы. В карточке указаны английский и китайский языки; базовые компоненты — Qwen3-ASR-0.6B и Qwen3-32B. Лицензия — Apache-2.0. Коннектор работает только с указанными энкодером и LLM. Оценка проведена на небольших тестовых выборках с прочитанной или разыгранной речью, а потоковый ввод не проверялся; точность определения эмоций и пола ограничена, и результаты по эмоциям не следует использовать для принятия решений о людях.
BricksDisplay/ellie-Bert-VITS2 — модель синтеза речи с тайваньским акцентом, разработанная JackEllie. Она преобразует текст в речь и предназначена для генерации озвучивания на китайском языке с указанным акцентом. Архитектура — Bert-VITS2; в репозитории представлены файлы ONNX и safetensors, а метаданные указывают 3,6 млн параметров. Модель является дообучением Jackellie/ellie-Bert-VITS2 и распространяется по лицензии CC BY 4.0. README упоминает использование через Transformers, но подробности настройки голоса и запуска не приведены.
VibeVoice-1.5B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft; эту версию внёс Eric Bezzam. Модель предназначена для синтеза выразительной длинной речи по тексту, включая диалоги и подкасты с несколькими собеседниками. В архитектуре сочетаются языковая модель и диффузионная голова; акустический и семантический токенизаторы работают с частотой 7,5 Гц. Модель может генерировать аудио длительностью до 90 минут и поддерживает до четырёх голосов. Модель принимает текст и может использовать референсное аудио для клонирования голоса. По данным карточки, она обучена на английских и китайских данных; поддержка других языков не заявлена. В сгенерированное аудио автоматически добавляются слышимое уведомление об ИИ и незаметная водяная метка. Карточка ограничивает предполагаемое применение исследованиями и разработкой и не рекомендует коммерческое или реальное применение без дополнительной проверки. Модель не предназначена для фоновой музыки и звуковых эффектов, не моделирует перекрывающуюся речь; качество и точность текста могут быть непредсказуемыми. Клонировать голос реального человека следует только при наличии явного записанного согласия. Лицензия — MIT.
aoi-ot/VibeVoice-7B — копия весов Microsoft VibeVoice-7B, размещённая на Hugging Face. Это плотная модель семейства VibeVoice для синтеза речи из текста: она создаёт выразительные длинные диалоги с несколькими говорящими, например подкасты. В архитектуре сочетаются LLM для понимания текста и хода диалога, диффузионная голова для генерации акустических деталей и акустический и семантический токенизаторы с частотой 7,5 Гц. Карточка описывает генерацию до 90 минут речи с участием до четырёх голосов; заявленная поддержка языков — английский и китайский. Модель ориентирована на исследования и разработку синтеза длинной разговорной речи. Она предназначена для речи, не для музыки, шумов или звуковых эффектов; перекрывающаяся речь не моделируется, а языки помимо английского и китайского не поддерживаются. Карточка не рекомендует коммерческое и реальное применение без дальнейшей проверки. Указана лицензия MIT.
VibeVoice-7B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft и опубликованной в Hugging Face пользователем Eric Bezzam. Она предназначена для синтеза выразительной длинной разговорной речи по тексту: например, подкастов с несколькими участниками. Модель поддерживает генерацию аудио длительностью до 45 минут и до четырёх голосов, а также клонирование голоса по предоставленному аудиопримеру. Архитектура сочетает LLM для понимания текста и хода диалога с диффузионной головой для генерации акустических деталей. Акустический и семантический токенизаторы работают с частотой 7,5 Гц. В качестве базовой модели используется Qwen2.5 7B. Карточка заявляет поддержку английского и китайского языков; README описывает синтез речи и диалогового аудио, но не генерацию музыки и фоновых звуков. Модель распространяется по лицензии MIT, однако разработчики рекомендуют использовать её для исследований и разработки и не рекомендуют применение в коммерческих или реальных сценариях без дополнительного тестирования. Возможны неточности и смещения; речь на других языках не поддерживается, перекрывающаяся речь явно не моделируется. README сообщает о встроенном слышимом предупреждении и незаметной водяной метке в сгенерированном аудио.
Карточка модели divyendra/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.
Карточка модели FranckyB/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.
Карточка модели harsh171104/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.
DuplexJev-B-Qwen3-ASR-0.6B-Qwen3-1.7B — компактная аудиоязыковая модель на архитектуре Ultravox, созданная adventists-ai для коротких решений и анализа речевых сигналов. Она объединяет замороженный аудиоэнкодер Qwen3-ASR-0.6B и замороженную языковую модель Qwen3-1.7B с обучаемым SwiGLU-проектором на 11,5 млн параметров; обучался только соединительный модуль. Модель принимает аудио и текстовый вопрос с вариантами ответа, затем оценивает варианты за один проход без генерации токенов. Модель предназначена для ответов на короткие вопросы по устной речи, извлечения речевых признаков и подсказок о говорящем, например, пола или эмоций. В README приведены результаты на spoken QA и тестах с реальной и синтезированной речью. Поддерживаются китайский и английский языки. Разработчики отмечают чувствительность качества к формулировкам запросов и рекомендуют не использовать её для открытых вопросов на общие знания. Проверялась на прочитанной или разыгранной речи и небольших тестовых наборах; потоковый ввод и работа на мобильных NPU не оценивались. Классификация эмоций основана на разыгранных корпусах и не подходит для принятия решений об отдельных людях. Коннектор работает только с указанными энкодером и языковой моделью. Лицензия — Apache-2.0.
SpeechGPT 2.0-preview-7B — предварительная версия разговорной речевой модели команды OpenMOSS-Team. Это плотная модель семейства Qwen2 с архитектурным классом MIMOLlamaForCausalLM, содержащая 7,1 млрд параметров и поддерживающая контекст до 32 768 токенов. Модель объединяет обработку речи и текста для сквозного диалога с потоковым вводом и выводом речи. Модель предназначена для голосовых диалогов в реальном времени, включая прерывания собеседником, управление эмоциями, стилем и тоном речи, ролевое общение, рассказывание историй и декламацию. В README заявлены поддержка вызова инструментов, интернет-поиска и обращения к внешним базам знаний. Практическая задержка в описанных разработчиками испытаниях была менее 200 мс. Для речевого кодека указаны входная частота 24 кГц и скорость 750 бит/с. Обучение речи проводилось только на китайских данных; английский голосовой диалог не поддерживается. Модель опубликована в формате safetensors. Лицензия в предоставленных материалах не указана.
Tesslate UIGEN-FX-4B-RL-Preview — экспериментальная текстовая модель генерации веб-интерфейсов от Tesslate, дообученная на базе Tesslate/UIGEN-FX-4B-Preview. Она создаёт адаптивные веб-страницы и компоненты по текстовым спецификациям, включая HTML, CSS и Tailwind-разметку; ориентирована на React, JavaScript, статические генераторы сайтов и веб-интерфейсы на Python. Модель семейства Qwen3 с плотной архитектурой содержит 3,7 млрд параметров, работает с текстом и рассчитана на контекст до 262 144 токенов по метаданным; в карточке указан эффективный контекст около 64 тыс. токенов. Для практических сценариев предусмотрены короткие генерации отдельных страниц и компонентов, а JavaScript по умолчанию используется минимально. Модель обучалась на примерах HTML, CSS, Tailwind и библиотек компонентов, а также на оценках доступности, Axe и Lighthouse. Она нацелена на семантическую структуру, адаптивную вёрстку, визуальную согласованность и более чистую разметку для дальнейшей разработки. Доступна под лицензией Apache-2.0. Это предварительная исследовательская версия: результаты требуют проверки перед публикацией; доступность и ARIA-разметка могут быть неполными, а сложные интерактивные виджеты часто требуют доработки.