/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
48,3 ГБ
Лицензия
Apache 2.0
Архитектура
mixtral · MoE
Базовая модель
chatntq-ja-7b-v1.0
Опубликована
6 апр 2024

Ссылки

Hugging Face

LightChatAssistant-4x7B

Aratako
Генерация текстаТекст → текст3 профессии

Японская MoE-модель для генерации текста и диалоговых ответов, объединяющая четыре японские языковые модели.

83скачиваний за 30 дней10лайковвеса обновлены10 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LightChatAssistant-4x7B — японская диалоговая языковая модель, созданная Aratako путём объединения четырёх японских моделей с помощью Chat Vector и mergekit в архитектуру MoE. Она предназначена для генерации ответов и ведения диалогов на японском языке. В каждом шаге вывода одновременно используются два эксперта, что позволяет добиться скорости, близкой к LightChatAssistant-2x7B, если модель можно выгрузить на GPU. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов.

В качестве компонентов использованы NTQAI/chatntq-ja-7b-v1.0, stabilityai/japanese-stablelm-instruct-gamma-7b, Elizezen/Antler-7B и Elizezen/Hameln-japanese-mistral-7B. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит сравнительных оценок качества; для инференса потребуется достаточно памяти, чтобы разместить модель или выгрузить её на GPU.

Сценарии применения

  • ведение диалога на японском языке
  • генерация ответов на японские запросы
  • создание японского чат-бота
  • разработка приложений на базе японской языковой модели

Ограничения

Для инференса требуется достаточно памяти для размещения модели или выгрузки её на GPU. В карточке не приведены сравнительные оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LightChatAssistant-4x7B

GGUF版はこちら/Click here for the GGUF version

概要

Sdff-Ltba/LightChatAssistant-2x7Bと全く同じ手法を用いつつ、対象を4モデルに拡張してそれらをMoEしたモデルです。素晴らしい手法を提案いただいた@Sdff-Ltbaさんに感謝します。

モデルサイズは大きくなっていますが、推論に同時に使われるエキスパートは2つなので、GPUにオフロードさえできれば元のSdff-Ltba/LightChatAssistant-2x7Bとほぼ同じような速度で動きます。

以下の4モデルをChat Vectorの加算によって対話強化して素材に使用しています。

Chat Vectorの適用方法はSdff-Ltba/LightChatAssistant-2x7Bと同じで、Mistral-7B-Instruct-v0.2とMistral-7B-v0.1の差分を0.8倍してそれぞれのモデルに足しています。

その後、mergekitを使い、4モデルをMoEしました。MoEのconfigは以下の通りです。

base_model: ./chatntq-chatvector
gate_mode: hidden
dtype: bfloat16
experts:
  - source_model: ./chatntq-chatvector
    positive_prompts:
    - "roleplay"
    - "question"
    - "answer"
    - "chat"
    - "companion"
    - "character"
    - "math"
    - "code"
    - "[Mode: Roleplay]"
    - "[Mode: Chat]"
    negative_prompts:
    - "storywriting"
    - "book"
    - "story"
    - "chapter"
    - "tale"
    - "history"
    - "write"
    - "novel"
    - "[Mode: Writing]"
  - source_model: ./japanese-stablelm-instruct-gamma-chatvector
    positive_prompts:
    - "roleplay"
    - "question"
    - "answer"
    - "chat"
    - "companion"
    - "character"
    - "math"
    - "code"
    - "[Mode: Roleplay]"
    - "[Mode: Chat]"
    negative_prompts:
    - "storywriting"
    - "book"
    - "story"
    - "chapter"
    - "tale"
    - "history"
    - "write"
    - "novel"
    - "[Mode: Writing]"
  - source_model: ./Hameln-japanese-mistral-chatvector
    positive_prompts:
    - "sex"
    - "storywriting"
    - "erotic"
    - "fuck"
    - "orgasm"
    - "uncensored"
    - "book"
    - "story"
    - "chapter"
    - "tale"
    - "history"
    - "write"
    - "novel"
    - "[Mode: Writing]"
  - source_model: ./Antler-chatvector
    positive_prompts:
    - "sex"
    - "storywriting"
    - "erotic"
    - "fuck"
    - "orgasm"
    - "uncensored"
    - "book"
    - "story"
    - "chapter"
    - "tale"
    - "history"
    - "write"
    - "novel"
    - "[Mode: Writing]"
tokenizer_source: union

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
0e6f1b7

0 моделей

    Создать бенчмарк