Характеристики

Контекст: 2 048 токенов
Параметры: 6,7 млрд
Размер весов: 28 ГБ
Лицензия: OpenRAIL
Архитектура: llaaa · dense
Опубликована: 26 июл 2023

Ссылки

Hugging Face

LLaSM-Baichuan

LinkSoul

Генерация текстаТекст → текст3 профессии

Двуязычный китайско-английский помощник для речевых и текстовых диалогов на базе Baichuan-7B.

26скачиваний за 30 дней9лайковвеса обновлены5 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LLaSM-Baichuan — двуязычный голосовой и языковой помощник, разработанный командой LLaSM. Это модель для диалогов на китайском и английском языках с речевым и текстовым вводом; она основана на Baichuan-7B и дообучена на наборе инструкций LLaSM-Audio-Instructions. В репозитории указаны 6,7 млрд параметров, архитектура LlaaaLlamaForCausalLM, контекст 2048 токенов и формат PyTorch.

Модель предназначена для голосовых и текстовых диалогов на китайском и английском языках. Её можно использовать для создания разговорного помощника, который отвечает на речевые запросы и ведёт мультимодальный диалог. Метаданные Hugging Face обозначают основную задачу как генерацию текста; карточка описывает поддержку речевого и текстового взаимодействия.

В карточке заявлена открытая коммерческая доступность, однако README указывает Apache-2.0, а метаданные Hugging Face — OpenRAIL. Эти сведения о лицензии расходятся, поэтому перед применением следует проверить лицензионные условия именно этого репозитория. Контекст ограничен 2048 токенами; подробные оценки качества и ограничения распознавания или синтеза речи в карточке не приведены.

Сценарии применения

голосовые диалоги с помощником на китайском языке
голосовые диалоги с помощником на английском языке
ответы на текстовые запросы на китайском и английском
создание прототипа двуязычного голосового ассистента

Ограничения

Контекст ограничен 2048 токенами. README и метаданные указывают разные лицензии (Apache-2.0 и OpenRAIL), поэтому лицензионные условия следует сверить с файлами самого репозитория; количественных оценок качества в карточке нет.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LLaSM: Large Language and Speech Model

开源，可商用的中英文双语语音-语言助手 LLaSM 以及中英文语音 SFT 数据集 LLaSM-Audio-Instructions，第一个支持中英文语音-文本多模态对话的开源可商用对话模型。

Base Demo

基础演示

Base Demo

在线试玩

Talk is cheap, Show you the Demo.

Demo 地址 / HuggingFace Spaces

资源下载

模型：
- LLaSM-Chinese-Llama-2-7B
- LLaSM-Baichuan-7B
百度网盘下载:
- LLaSM-Chinese-Llama-2-7B
- LLaSM-Baichuan-7B
语言模型:
- Chinese-Llama-2-7b
- Baichuan-7B
数据集：LLaSM-Audio-Instructions

环境安装

# clone the repository
git clone https://github.com/LinkSoul-AI/LLaSM
cd LLaSM

# install package
conda create -n llasm python=3.10 -y
conda activate llasm
pip install --upgrade pip
pip install -e .

快速测试

export LLASM_DEVICE="cuda:0"
python infer.py \
    --input_audio_file PATH/TO/YOUR/AUDIO \
    --llasm_model PATH/TO/LLaSM/MODEL \
    --llasm_audio_tower PATH/TO/WHISPER/MODEL \
    --llm_type "Chinese_llama2" or "baichuan" \

TODO

如何训练
int4 量化
docker 部署

项目协议

Apache-2.0 license

微信交流群

欢迎加入微信群

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура llaaa неизвестна transformers в образе рантайма.

Класс архитектуры: LlaaaLlamaForCausalLM
Ревизия весов: 3cc69cb