/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Лицензия
Apache 2.0
Архитектура
mistral · dense
Опубликована
27 окт 2023

Ссылки

Hugging Face

japanese-stablelm-base-gamma-7b-GPTQ-calib-ja-1k

mmnga
Генерация текстаТекст → текст3 профессии

GPTQ-квантизированная японская базовая модель Mistral на 7,1 млрд параметров для генерации текста.

135скачиваний за 30 дней0лайковвеса обновлены3 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это GPTQ-квантизированная версия базовой японской языковой модели japanese-stablelm-base-gamma-7b, опубликованной Stability AI; репозиторий подготовил mmnga. Для калибровки использована выборка примерно из 1 000 случайных примеров японской Википедии. Модель предназначена для генерации текста на японском языке на основе входного текста и имеет архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов.

Модель подходит для локального запуска сценариев генерации японского текста. Лицензия — Apache 2.0. README сообщает об ограничении совместимости AutoGPTQ с Mistral на момент публикации карточки; практическая поддержка зависит от используемого программного обеспечения.

Сценарии применения

  • генерация текста на японском языке
  • продолжение японского текста
  • локальный запуск языковой модели для японского языка

Ограничения

Модель является базовой, а не инструкционной, поэтому не следует предполагать, что она оптимизирована для диалоговых команд. В README указана проблема совместимости AutoGPTQ с Mistral на момент публикации карточки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

japanese-stablelm-base-gamma-7b-GPTQ-calib-ja-1k

stabilityaiさんが公開している、japanese-stablelm-base-gamma-7bを、 日本語のキャリブレーションセットで生成したGPTQモデルになります。

キャリブレーションセットはizumi-lab/wikipedia-ja-20230720から、 1kほどランダムサンプリングしています。
mmnga/wikipedia-ja-20230720-1k

他のモデルはこちら

AWQ
mmnga/japanese-stablelm-base-gamma-7b-AWQ-calib-ja-1k
mmnga/japanese-stablelm-instruct-gamma-7b-AWQ-calib-ja-1k

GPTQ
mmnga/japanese-stablelm-base-gamma-7b-GPTQ-calib-ja-1k
mmnga/japanese-stablelm-instruct-gamma-7b-GPTQ-calib-ja-1k

GGUF
3bモデル
mmnga/japanese-stablelm-3b-4e1t-base-gguf
mmnga/japanese-stablelm-3b-4e1t-instruct-gguf

7bモデル
mmnga/japanese-stablelm-base-gamma-7b-gguf
mmnga/japanese-stablelm-instruct-gamma-7b-gguf

Usage

pip install auto-gptq==0.4.2 transformers

AutoGPTQは現在Mistralに対応していないのでPRを持ってきます

!git clone --branch Mistral https://github.com/LaaZa/AutoGPTQ.git
!cp "/content/AutoGPTQ/auto_gptq/modeling/__init__.py" "/usr/local/lib/python3.10/dist-packages/auto_gptq/modeling/__init__.py"
!cp "/content/AutoGPTQ/auto_gptq/modeling/auto.py" "/usr/local/lib/python3.10/dist-packages/auto_gptq/modeling/auto.py"
!cp "/content/AutoGPTQ/auto_gptq/modeling/_const.py" "/usr/local/lib/python3.10/dist-packages/auto_gptq/modeling/_const.py"
!cp "/content/AutoGPTQ/auto_gptq/modeling/mistral.py" "/usr/local/lib/python3.10/dist-packages/auto_gptq/modeling/mistral.py"

from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
from transformers import AutoTokenizer

model_name_or_path = "mmnga/japanese-stablelm-base-gamma-7b-GPTQ-calib-ja-1k"

# Tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)

# Model
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path, use_safetensors=True, device="cuda:0", use_auth_token=False)

#Your test prompt
prompt = """今日の晩御飯のレシピを紹介します。"""
print(tokenizer.decode(model.generate(**tokenizer(prompt, return_tensors="pt",add_special_tokens=False).to(model.device), max_new_tokens=100,do_sample=True,top_p=0.95,temperature=0.7)[0]))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
a252751

0 моделей

    Создать бенчмарк