I.15Доступность и ассистивные технологии

Sayro TTS — модель синтеза речи на узбекском языке, разработанная командами Examy.me и Teamwork.uz и дообученная UzLM на основе Qwen/Qwen3-TTS-12Hz-1.7B-Base. Она преобразует текст в речь и предназначена для интеграции узбекской озвучки в приложения и для исследований в области речевых технологий. Архитектура относится к семейству Qwen3-TTS; размер базовой модели — 1,7 млрд параметров. Для дообучения использовались синтетические данные и публичные узбекские речевые датасеты, включая данные с узбекской речью и ташкентским диалектом. Модель ориентирована на узбекскую речь, однако в README не приведены подробные сведения о качестве, поддерживаемых стилях голоса или длине контекста. Доступ к весам предоставляется после ручного одобрения запроса; перед использованием требуется согласиться с условиями Sayro. Лицензия указана как other, поэтому точные условия распространения следует уточнять в карточке модели. README запрещает клонирование голосов без согласия, вводящую в заблуждение генерацию аудио и мошенническое использование.

Карточка модели OpenMOSS-Team/SpeechGPT-7B-ma на Hugging Face совпадает с карточкой OpenMOSS-Team/SpeechGPT-7B-cm, поэтому описание составлено по ней. SpeechGPT-7B-cm — языковая модель с возможностями диалога между речью и текстом, разработанная командой OpenMOSS. Это этап дообучения SpeechGPT: модель создана на основе SpeechGPT-7B-ma и дообучена на наборе SpeechInstruct Cross-Modal Instruction, чтобы согласовать речевые представления с текстом и выполнять инструкции в разных форматах речи и текста. Модель предназначена для разговорных сценариев, в которых нужно связывать входящую речь и текстовые инструкции с текстовыми ответами или речевыми представлениями. Архитектура — плотная LLaMA, около 6,6 млрд параметров; формат весов — PyTorch, контекст — 2048 токенов. Данные SpeechInstruct-cross-modal основаны на англоязычных наборах распознавания речи. Авторы отмечают, что качество открытой версии ограничено: возможны ошибки распознавания задачи и неточности распознавания речи из-за небольшого объёма данных и числа этапов обучения. Для работы с аудио в описанном пайплайне используются отдельные mHuBERT и unit-vocoder. Лицензия в предоставленных данных не указана.

Модель tekyerema-tts-hau разработана Prince Nasamu Alhassan и предназначена для синтеза речи на хауса из текста. Это дообученная модель архитектуры VITS на базе facebook/mms-tts-hau, обученная в течение 20 000 шагов на наборах bibletts_hausa и waxal_hau_tts. В репозитории указано 3,5 млн параметров; веса сохранены в формате safetensors. Модель подходит для озвучивания коротких фраз и голосового вывода на хауса. Токенизатор работает на уровне символов, поэтому перед синтезом текст нужно переводить в нижний регистр и преобразовывать числа в слова: символы вне словаря удаляются без предупреждения, а цифры покрыты неполно. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование с указанием авторства. Автор характеризует работу как результат хакатона, а не поддерживаемый продукт.

UniPic2-Metaquery-GRPO-9B — мультимодальная модель Skywork на 9 млрд параметров, дообученная на UniPic2-Metaquery-9B с улучшенным отображением текста на изображениях. Она предназначена для сквозного понимания изображений, генерации изображений по текстовому запросу и редактирования изображений. Модель объединяет задачи работы с текстом и изображениями и распространяется в формате safetensors для Transformers. Для запуска требуется около 40 ГБ видеопамяти; для видеокарт NVIDIA RTX 40-й серии разработчики рекомендуют вариант UniPic2-Metaquery-GRPO-Flash. Модель опубликована по лицензии MIT. Карточка не приводит сведений о поддерживаемых языках или длине контекста.

VibeVoice-1.5B — модель Microsoft для синтеза выразительной длинной разговорной речи из текста, например выпусков подкастов с несколькими участниками. Это плотная модель семейства VibeVoice для Transformers; она сочетает LLM, которая учитывает контекст и ход диалога, с диффузионным модулем для генерации акустических деталей. В README указано контекстное окно 64K и генерация аудио длительностью до 90 минут с участием до четырёх разных голосов. Модель рассчитана на генерацию английской и китайской речи. Низкочастотные акустические и семантические токенизаторы с частотой 7,5 Гц предназначены для эффективной обработки длинных последовательностей. Модель может ошибаться или выдавать неожиданный и предвзятый результат; она не предназначена для музыки, фоновых звуков, речи на неподдерживаемых языках или перекрывающихся реплик. В README также отмечены риски имитации голосов и дезинформации, а коммерческое и реальное применение без дополнительной проверки не рекомендуется. Лицензия — MIT; заявленное назначение этой версии — исследования и разработка.

VideoLLaMA2-7B — мультимодальная чат-модель для анализа видео, разработанная командой DAMO-NLP-SG. Визуальный энкодер CLIP ViT-L/14 с разрешением 336 пикселей обрабатывает видеокадры, а языковой декодер Mistral-7B-Instruct-v0.2 формирует текстовые ответы. Этот чекпойнт использует 8 кадров и содержит около 7,1 млрд параметров; заявленный контекст — 32 768 токенов. Модель предназначена для вопросов и ответов о содержании видео и пространственно-временных событиях, а также для диалогового анализа визуальных данных. В карточке также заявлена работа с аудио в видео, но сведения о входном аудиоформате и подробные ограничения этой возможности не приведены. Модель распространяется по лицензии Apache-2.0.

VITA-1.5 — мультимодальная модель семейства VITA-Qwen2, представленная авторами исследования «VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction». Репозиторий содержит веса модели в формате safetensors; размер модели — 7,1 млрд параметров, длина контекста — 32 768 токенов. Модель предназначена для диалогового взаимодействия с визуальными и речевыми данными в реальном времени. Она может принимать видео и текст и формировать текстовые ответы; карточка также указывает на чат и интерфейс вызова инструментов. README не приводит подробных сведений о поддерживаемых языках, качестве на отдельных задачах или условиях лицензирования, поэтому эти характеристики нельзя уточнить.

viXTTS — модель синтеза речи и клонирования голоса, разработанная Capleaf на основе XTTS-v2.0.3. Она позволяет создавать речь выбранным голосом по короткому аудиофрагменту длительностью около шести секунд. Модель продолжили обучать на наборе данных viVoice, расширив токенизатор для поддержки вьетнамского языка. Модель поддерживает 18 языков, включая вьетнамский, английский, русский, китайский и японский. Она предназначена для многоязычной генерации речи с сохранением характеристик голоса из образца. Указанная лицензия — other; README не приводит дополнительных условий лицензирования. Совместимость с исходной библиотекой TTS ограничена. Для вьетнамского языка короткие фразы менее десяти слов могут давать нестабильный результат и посторонние звуки в конце. Качество для языков, отличных от вьетнамского, не проверялось.

Wav2Vec2-Base-VoxPopuli — базовая модель Facebook AI на архитектуре Wav2Vec2 с 113,3 млн параметров. Она предварительно обучена на 10 тысячах неразмеченных примеров из мультиязычного корпуса VoxPopuli и предназначена для последующей адаптации к распознаванию речи на конкретном языке. Модель принимает аудио и может служить основой для систем автоматического распознавания речи после дообучения. Карточка советует использовать её как чекпойнт для fine-tuning, но не приводит готовых показателей качества или списка поддерживаемых языков распознавания. Веса опубликованы в формате PyTorch по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

ZeroTTS-GGUF — это версия модели ZeroTTS, разработанная zeroweight-ai и перепакованная в формат GGUF для запуска через ggml, включая окружения WebAssembly. Это не отдельная модель: веса совпадают с оригинальной ZeroTTS, а файл f32 заявлен как побитно идентичный ONNX-версии по генерируемым кодам при одинаковых входных данных и случайных значениях. Модель предназначена для zero-shot синтеза речи на вьетнамском языке, клонирования голоса по короткому образцу аудио, потоковой генерации и работы без GPU на CPU. Поддерживаются вьетнамский, англо-вьетнамский code-switching и кросс-лингвальные сценарии с английским выводом. Модель использует голосовые латенты размером 10×768 float32 и может клонировать голос по образцу длительностью от 3 до 30 секунд без дообучения или отдельного обучения под диктора. В поставку входят квантизированные варианты GGUF размером 206 МБ для q8_0 и 124 МБ для q4_0, а также неквантизированный f32-вариант размером 772 МБ. Для декодирования аудиотокенов дополнительно требуется ONNX-компонент MOSS audio-tokenizer decoder и служебные файлы. На ноутбуке с Apple Silicon заявлена генерация примерно вдвое быстрее реального времени и выдача первого аудиофрагмента примерно за 70 мс. К сильным сторонам относятся специализация на вьетнамской фонетике и тонах, естественность речи, малое количество лишних пауз, поддержка чисел, дат и акронимов без отдельного нормализатора, а также zero-shot клонирование голоса. В тестах ZeroBench-TTS указаны UTMOSv2 2,91, сходство диктора 0,936 и WER 0,16% для моноязычного вьетнамского сценария; для code-switching, кросс-лингвального и усложнённого текста WER составляет соответственно 0,97%, 1,42% и 1,75%. README не приводит полное описание архитектуры и ограничения качества для других языков. Лицензия модели — MIT; входящий MOSS audio-tokenizer decoder распространяется по Apache-2.0.

AfriGuard-AfriqueQwen3.5-4B-50Langs — дообученная McGill-NLP модель на архитектуре Qwen3.5 с 4 млрд параметров. Она создана на основе AfriqueQwen3.5-4B-50Langs и обучена на наборе данных afriguard. Модель предназначена для диалоговых сценариев с обработкой изображений и текста; базовая модель адаптирована для работы с 50 африканскими языками. Модель использует библиотеку Transformers, а веса представлены в формате safetensors. Карточка не описывает специальные возможности дообучения, результаты оценки или ограничения применения. Лицензия указана как other, поэтому конкретные условия использования по имеющимся данным определить нельзя.

cstr/dia-1.6b-GGUF — это GGUF-конверсия диалоговой модели синтеза речи Dia-1.6B, разработанной nari-labs и предназначенной для использования с CrispASR от CrispStrobe. Модель преобразует текст в выразительную монофоническую речь с частотой 44,1 кГц; для обозначения участников диалога используются теги [S1] и [S2]. Указан английский язык. Архитектура включает 12-слойный текстовый энкодер размерности 1024 с байтовым словарём из 256 элементов и 18-слойный аудиодекодер размерности 2048 с GQA и classifier-free guidance. Декодер авторегрессионно генерирует девять чередующихся DAC-кодбуков, которые преобразуются в PCM с помощью отдельного Descript Audio Codec (DAC). Основной файл модели имеет размер около 3 ГБ и представлен в формате F16; файл DAC-кодека размером около 104 МБ обязателен. Для стабильной генерации рекомендуется использовать текстовые запросы длиной примерно от 100 символов; очень короткие запросы могут приводить к отсутствию речи. Результат зависит от seed и параметров сэмплирования. Модель ориентирована на локальный синтез речи и диалоговых аудиофрагментов через CrispASR. Более компактные квантизованные варианты Q8_0 и Q4_K на момент публикации не представлены, поскольку архитектура чувствительна к точности. Модель и конверсия распространяются по лицензии Apache 2.0; репозиторий заявляет, что не выполнял обучение или дообучение, а только изменил формат представления исходных весов.

microsoft/git-large-msrvtt-qa — крупная версия модели GIT (Generative Image-to-Text), разработанная Microsoft и дообученная на наборе MSRVTT-QA для ответов на вопросы о видео. Это плотный Transformer-декодер GitForCausalLM, который принимает визуальные токены изображения вместе с текстовыми токенами и генерирует ответ по одному токену; в метаданных указано 80,1 млн параметров и контекст длиной 1024 токена. Модель предназначена прежде всего для визуальных вопросов и ответов по видео; семейство GIT также поддерживает описания изображений и видео и генерацию текстовых меток классов. Основной язык карточки — английский. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. В README отмечено, что модельная карточка подготовлена Hugging Face, а за деталями обучения и оценками предлагается обращаться к статье и исходному репозиторию.

Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.

IAD-X1-SFT-answer-last2 — мультимодальная модель Qwen, дообученная автором minsu0567 на базе Qwen/Qwen3.5-4B с использованием набора PA_SFT_2_answer_last2. Модель предназначена для диалоговых задач с изображениями и текстом; карточка не уточняет целевую предметную область или конкретный сценарий обучения. Архитектура — плотная Qwen3.5 с классом Qwen3_5ForConditionalGeneration; веса опубликованы в формате safetensors и рассчитаны на Transformers. По данным базовой модели, Qwen3.5-4B поддерживает диалог, понимание изображений, рассуждения и вызов инструментов, однако карточка этой версии не сообщает, какие из этих возможностей проверялись после дообучения. Лицензия указана как other, без уточнения условий.

Это квантованная версия IndexTTS-2.5 в формате GGUF, подготовленная автором репозитория xxliam для запуска через audio.cpp. Квантование не сопровождалось переобучением; в описании указана смешанная схема Q5_K и Q8_0 для разных частей модели. Модель предназначена для синтеза речи с клонированием голоса по образцу. В README приведены локальные замеры для японских фраз и смешанного японско-английского текста на одной видеокарте RTX 5070 Ti; автор рекомендует CUDA и около 8 ГиБ свободной видеопамяти. На этой конфигурации GGUF синтезировала быстрее исходного варианта FP16, но оценки MOS были немного ниже. Эти результаты относятся к конкретному оборудованию и тестовым наборам, а не являются официальными показателями качества. Метаданные указывают поддержку китайского, английского, японского, испанского и арабского языков. Для коротких латинских вставок японский фронтенд может ошибочно выбрать японское произношение; README предлагает разделять английские фрагменты на этапе подготовки текста. Репозиторий помечен лицензией other; условия лицензии исходной модели и производной версии следует сверять с карточками правообладателя и репозитория.

Tharshan разработал Indic Code-Switched TTS — дообученную модель синтеза речи на базе ai4bharat/IndicF5, архитектуры F5-TTS DiT размером 0,3 млрд параметров. Модель предназначена для озвучивания текста на хинди со встроенными английскими словами и стремится произносить такие слова разборчиво. Для обучения использовался корпус OpenSLR-104 с речью на хинди и английском; применялся адаптерный подход с замороженной базовой моделью и QLoRA. Модель принимает текст и аудиообразец с точной расшифровкой, задающий голос и просодию, и генерирует речь. В примерах она лучше базовой модели передаёт английские слова внутри фраз на хинди; чистый английский остаётся ненадёжным, особенно в длинных фразах. Проверки на других индийских языках показывают возможное улучшение произношения английских вставок, но эти языки не были целью обучения, а оценка ограничена небольшим числом примеров. Лицензия репозитория — Apache-2.0. README отдельно запрещает клонировать голос без согласия его носителя. Указанные в карточке языковые теги включают хинди и английский, а также тамильский, бенгальский, гуджарати, каннада, малаялам, маратхи, одия, панджаби и телугу; качество для языков, кроме хинди с английскими вставками, не гарантируется.

Lahgtna-OmniVoice Egyptian v2 — разработанная проектом Lahgtna на базе OmniVoice модель синтеза речи на египетском арабском языке. Она обучена на корпусе объёмом около 34 часов с двумя дикторами и поддерживает два обученных голоса, а также клонирование голоса по аудиореференсу в режиме zero-shot. Модель принимает текст с диакритическими знаками и может использоваться для генерации речи, в том числе с передачей эталонного аудио и его расшифровки. Репозиторий указывает поддержку потоковой генерации; пример запуска использует библиотеку OmniVoice и выводит аудио с частотой 24 кГц. В опубликованном сравнительном тесте v2 показала CER 0,102 на 13 предложениях на арабском языке. README отмечает, что на длинных текстах диакритизированные версии, включая v2, теряют связность и могут генерировать бессвязную речь; для длинных текстов рекомендована версия v3. Диакритизация разговорной речи может быть неточной, а переключение на английский не представлено в обучающих данных. Модель дообучена от oddadmix/lahgtna-omnivoice-v2 и распространяется по лицензии Apache-2.0. README также рекомендует получить разрешение на коммерческое использование голосов, основанных на публичных YouTube-записях, и не использовать их для имитации или введения в заблуждение.

facebook/mms-tts-fal — модель синтеза речи для языка Fali, South (fal), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль, декодер, похожий на HiFi-GAN, и стохастический предиктор длительности. В метаданных указан размер 3,5 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и выше. Стохастический предиктор позволяет получать разные ритмические варианты произнесения одного текста; поэтому для воспроизводимого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-mam-dialect_southern — модель синтеза речи для южного диалекта языка мам, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на поддерживаемом варианте языка мам. Модель использует архитектуру VITS и обучена отдельно для этого языка. Это компактный чекпойнт на 3,5 млн параметров; для работы доступен через библиотеку Transformers. Генерация зависит от случайного предсказателя длительности, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.

facebook/mms-tts-meq — модель Merey для синтеза речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания текста на языке Merey (meq). Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech, которая преобразует последовательность текста в речевую волну; стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель доступна через Transformers версии 4.33 и выше и распространяется в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для повторяемого результата нужно зафиксировать seed. Модель рассчитана на Merey; качество для других языков не заявлено.

facebook/mms-tts-met — модель синтеза речи на языке Mato из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текста на Mato. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста, предсказатель длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому генерация недетерминирована; для повторения того же результата требуется фиксировать seed. Модель предназначена для одного языка и может уступать более крупным или специализированным системам по естественности и выразительности речи. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-tur — модель синтеза речи на турецком языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текстовую последовательность в речевую аудиоволну и предназначена для озвучивания турецких текстов. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; модель доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для воспроизводимого аудио требуется фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Карточка описывает синтез турецкой речи; иных языков или возможностей не заявлено.

nanoVLM — компактная модель «зрение—язык» от ndrugov, предназначенная для эффективного обучения и экспериментов. Архитектура реализована на чистом PyTorch и занимает около 750 строк кода: визуальный энкодер ViT SigLIP-B/16-224-85M объединён с лёгкой причинной языковой моделью SmolLM2-135M. Общий размер модели — 222 млн параметров. Модель принимает изображение вместе с текстовым запросом и формирует текстовый ответ. Её можно применять для экспериментов с визуально-языковыми сценариями, например для вопросов об изображениях. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Контекст и поддерживаемые языки в предоставленных источниках не описаны.

NeuTTS-2E CoreML — конвертированная FluidInference версия модели neuphonic/neutts-2e для локального синтеза выразительной речи на устройствах Apple. В основе — языковой блок Qwen3 размером 236 млн параметров и декодер NeuCodec; модели CoreML рассчитаны на macOS и iOS. Текст проходит через токенизатор без фонемизатора, после чего декодер формирует аудио с частотой 24 кГц. Модель синтезирует английскую речь четырьмя фиксированными голосами — Emily, Paul, Sophie и Steven — с нейтральной подачей и шестью эмоциями: гневом, отвращением, страхом, радостью, грустью и удивлением. Поддерживаются пакетная и потоковая генерация; варианты с контекстом до 2048 токенов подходят для более длинных высказываний, а версии на 1024 токена декодируют быстрее, но ограничивают длину. README приводит результаты производительности и сравнения с PyTorch на M5 Pro. Лицензия в метаданных обозначена как other, без уточнения условий.

cstr/qwen3-tts-1.7b-base-GGUF — GGUF-конверсия модели Qwen3-TTS 12Hz 1.7B Base, разработанной Qwen. Репозиторий подготовлен для использования с C++/ggml-бэкендом CrispASR и содержит модель talker, предиктор кодов и энкодер говорящего; обучение, дообучение и изменение архитектуры не выполнялись. Модель предназначена для синтеза речи и клонирования голоса по паре «референсное аудио и его точная расшифровка», а также для работы с заранее подготовленными голосовыми пакетами GGUF. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную многокодековую языковую модель и отдельный токенизатор/аудиокодек с частотой 12 Гц. Размер модели составляет 1,7 млрд параметров; вариант имеет talker с hidden size 2048, ECAPA-энкодер с размерностью 2048 и дополнительный проекционный мост к предиктору кодов размерности 1024. Доступны версия F16 размером около 3,6 ГБ и рекомендуемая квантизированная версия Q8_0 размером около 1,9 ГБ. Для работы обязательно требуется отдельный GGUF-файл токенизатора/кодека. При использовании WAV-файла необходимо указать его точную текстовую расшифровку; более низкоразрядные варианты q6_k, q5_k и q4_k поддерживаются экспериментально и могут заметно отличаться от эталона F16. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

ShareGPT4Video-8B — открытая видеоязыковая модель-чатбот, разработанная авторами ShareGPT4Video. Модель LLaVA на базе LLaMA с плотной архитектурой содержит 7,5 млрд параметров; её дообучили целиком на открытых инструкционных данных о видео. В карточке указаны наборы ShareGPT4Video и Lin-Chen/ShareGPT4V, а контекст составляет 8192 токена. Модель предназначена для диалога о видео: она принимает видеоданные и текстовые инструкции, чтобы описывать содержимое роликов и отвечать на вопросы о них. Основные сценарии — исследования крупных видеоязыковых моделей и прототипирование видеочатботов. README называет исследователей и энтузиастов компьютерного зрения, NLP и машинного обучения целевой аудиторией. Модель обучена в мае 2024 года и опубликована под лицензией Apache-2.0. Возможности и качество зависят от используемого видеопроцессинга и реализации из репозитория; README не приводит оценки качества и подробно не описывает ограничения модели.

Skywork-UniPic-1.5B — авторегрессионная мультимодальная модель Skywork с 1,5 млрд параметров, обученная с нуля. Она объединяет понимание изображений, генерацию изображений по тексту и редактирование изображений в одной архитектуре. Репозиторий использует Transformers и содержит веса в форматах PyTorch и safetensors; заявлена лицензия MIT. Модель предназначена для ответов на запросы об изображениях, создания изображений по текстовым описаниям и редактирования изображений по инструкциям. В README приведены результаты бенчмарков GenEval, DPG-Bench и GEditBench-EN. Редактирование изображений описано как исследовательская возможность, ещё не готовая к производственному применению.

SpeechGPT-7B-cm — языковая модель с возможностями диалога между речью и текстом, разработанная командой OpenMOSS. Это этап дообучения SpeechGPT: модель создана на основе SpeechGPT-7B-ma и дообучена на наборе SpeechInstruct Cross-Modal Instruction, чтобы согласовать речевые представления с текстом и выполнять инструкции в разных форматах речи и текста. Модель предназначена для разговорных сценариев, в которых нужно связывать входящую речь и текстовые инструкции с текстовыми ответами или речевыми представлениями. Архитектура — плотная LLaMA, около 6,6 млрд параметров; формат весов — PyTorch, контекст — 2048 токенов. Данные SpeechInstruct-cross-modal основаны на англоязычных наборах распознавания речи. Авторы отмечают, что качество открытой версии ограничено: возможны ошибки распознавания задачи и неточности распознавания речи из-за небольшого объёма данных и числа этапов обучения. Для работы с аудио в описанном пайплайне используются отдельные mHuBERT и unit-vocoder. Лицензия в предоставленных данных не указана.

Карточка модели Jinstudio/VibeVoice-1.5B на Hugging Face совпадает с карточкой microsoft/VibeVoice-1.5B, поэтому описание составлено по ней. VibeVoice-1.5B — модель Microsoft для синтеза выразительной длинной разговорной речи из текста, например выпусков подкастов с несколькими участниками. Это плотная модель семейства VibeVoice для Transformers; она сочетает LLM, которая учитывает контекст и ход диалога, с диффузионным модулем для генерации акустических деталей. В README указано контекстное окно 64K и генерация аудио длительностью до 90 минут с участием до четырёх разных голосов. Модель рассчитана на генерацию английской и китайской речи. Низкочастотные акустические и семантические токенизаторы с частотой 7,5 Гц предназначены для эффективной обработки длинных последовательностей. Модель может ошибаться или выдавать неожиданный и предвзятый результат; она не предназначена для музыки, фоновых звуков, речи на неподдерживаемых языках или перекрывающихся реплик. В README также отмечены риски имитации голосов и дезинформации, а коммерческое и реальное применение без дополнительной проверки не рекомендуется. Лицензия — MIT; заявленное назначение этой версии — исследования и разработка.