Характеристики

Контекст: 2 048 токенов
Параметры: 6,6 млрд
Размер весов: 27 ГБ
Лицензия: OpenRAIL
Архитектура: llaaa · dense
Опубликована: 30 июл 2023

Ссылки

LLaSM-Cllama2

Генерация текстаТекст → текст5 профессий

Двуязычная речевая и языковая модель-ассистент для диалогов на китайском и английском языках с генерацией текстовых ответов.

80скачиваний за 30 дней48лайковвеса обновлены5 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LinkSoul разработала LLaSM-Cllama2 — двуязычную речевую и языковую модель-ассистент на основе LLaSM, предназначенную для диалогов на китайском и английском языках с речевым и текстовым вводом. Репозиторий содержит плотную авторегрессионную архитектуру LlaaaLlamaForCausalLM с 6,6 млрд параметров, веса PyTorch и контекст до 2048 токенов. Модель обучалась на наборе инструкций LLaSM-Audio-Instructions и предназначена для мультимодальных диалогов речь–текст; Hugging Face помечает её основной задачей генерацию текста.

Модель подходит для голосового общения с ассистентом и ответов на инструкции на китайском и английском языках. В README проект назван коммерчески применимым и указан Apache-2.0, тогда как метаданные этой карточки указывают лицензию openrail; перед использованием следует проверить лицензию именно распространяемых весов. README перечисляет семейство Chinese-Llama-2 и варианты LLaSM-Chinese-Llama-2-7B, но не позволяет однозначно установить точную базовую модель этого репозитория.

Сценарии применения

голосовые диалоги с ассистентом на китайском языке
голосовые диалоги с ассистентом на английском языке
ответы на инструкции в речевом интерфейсе
создание текстовых ответов в двуязычном голосовом помощнике

Ограничения

Контекст ограничен 2048 токенами. README сообщает о расхождении сведений о лицензии: в нём указана Apache-2.0, а в метаданных карточки — openrail; лицензию распространяемых весов следует проверить.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

I.6Перевод и языковая адаптация

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LLaSM: Large Language and Speech Model

开源，可商用的中英文双语语音-语言助手 LLaSM 以及中英文语音 SFT 数据集 LLaSM-Audio-Instructions，第一个支持中英文语音-文本多模态对话的开源可商用对话模型。

LLaSM

基础演示

Base Demo

在线试玩

Talk is cheap, Show you the Demo.

Demo 地址 / HuggingFace Spaces

资源下载

模型：
- LLaSM-Chinese-Llama-2-7B
- LLaSM-Baichuan-7B
百度网盘下载:
- LLaSM-Chinese-Llama-2-7B
- LLaSM-Baichuan-7B
语言模型:
- Chinese-Llama-2-7b
- Baichuan-7B
数据集：LLaSM-Audio-Instructions

环境安装

# clone the repository
git clone https://github.com/LinkSoul-AI/LLaSM
cd LLaSM

# install package
conda create -n llasm python=3.10 -y
conda activate llasm
pip install --upgrade pip
pip install -e .

快速测试

export LLASM_DEVICE="cuda:0"
python infer.py \
    --input_audio_file PATH/TO/YOUR/AUDIO \
    --llasm_model PATH/TO/LLaSM/MODEL \
    --llasm_audio_tower PATH/TO/WHISPER/MODEL \
    --llm_type "Chinese_llama2" or "baichuan" \

TODO

如何训练
int4 量化
docker 部署

项目协议

Apache-2.0 license

微信交流群

欢迎加入微信群

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура llaaa неизвестна transformers в образе рантайма.

Класс архитектуры: LlaaaLlamaForCausalLM
Ревизия весов: 053a36b