/ Модель

Характеристики

Контекст
8 192 токена
Параметры
11,4 млрд
Размер весов
19,1 ГБ
Архитектура
chatglm · dense
Опубликована
24 окт 2024

glm-4-voice-9b

Генерация текстаТекст → текст3 профессии

Языковая часть GLM-4-Voice для понимания и генерации дискретизированной речи в голосовом общении на китайском и английском языках.

2 711скачиваний за 30 дней121лайквеса обновлены25 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GLM-4-Voice-9B — языковая часть речевой модели Zhipu AI, построенная на GLM-4-9B и дополнительно предварительно обученная и выровненная для работы с речевой модальностью. Она обрабатывает дискретизированное представление речи и предназначена для голосового общения на китайском и английском языках в реальном времени. В полной системе GLM-4-Voice модель понимает и генерирует речь, а также может менять эмоцию, интонацию, темп и диалект по инструкции пользователя.

Модель имеет плотную архитектуру семейства ChatGLM и около 11,4 млрд параметров; длина контекста составляет 8192 токена. Этот репозиторий содержит только языковую часть системы, поэтому сам по себе не описывает полный речевой конвейер. Карточка не приводит подробностей о лицензии или ограничениях качества.

Сценарии применения

  • понимание входящей речи на китайском и английском языках
  • генерация речевых ответов в голосовом диалоге
  • ведение голосового общения в реальном времени
  • управление эмоцией, интонацией и темпом речи по инструкции
  • создание речи с заданным диалектом

Ограничения

Этот репозиторий содержит только языковую часть GLM-4-Voice, поэтому для полного речевого конвейера нужны остальные компоненты системы. В карточке не приведены сведения о лицензии и подробные результаты оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GLM-4-Voice-9B

GLM-4-Voice 是智谱 AI 推出的端到端语音模型。GLM-4-Voice 能够直接理解和生成中英文语音,进行实时语音对话,并且能够根据用户的指令改变语音的情感、语调、语速、方言等属性。

GLM-4-Voice is an end-to-end voice model launched by Zhipu AI. GLM-4-Voice can directly understand and generate Chinese and English speech, engage in real-time voice conversations, and change attributes such as emotion, intonation, speech rate, and dialect based on user instructions.

本仓库是 GLM-4-Voice 的 LLM 部分。GLM-4-Voice-9B 在 GLM-4-9B 的基础上进行语音模态的预训练和对齐,从而能够理解和生成离散化的语音。

The repo provides the LLM part of GLM-4-Voice, pre-trained and aligned on speech modality based on GLM-4-9B, enabling understanding and generation of discretized speech.

更多信息请参考我们的仓库 GLM-4-Voice.

For more information please refer to our repo GLM-4-Voice.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
ChatGLMForConditionalGeneration
Ревизия весов
352e5a6

0 моделей