/ Модель

Характеристики

Контекст
163 840 токенов
Параметры
37,6 млрд
Размер весов
361 ГБ
Лицензия
Своя лицензия
Архитектура
deepseek_v3 · dense
Базовая модель
DeepSeek-V3
Опубликована
1 янв 2025

DeepSeek-V3-slice-jp64

Генерация текстаТекст → текст3 профессии

Экспериментальная версия DeepSeek-V3 с 64 отобранными экспертами в каждом слое для генерации текста на японском языке.

98скачиваний за 30 дней11лайковвеса обновлены1 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mmnga создал экспериментальную производную DeepSeek-V3 для японского текста: в каждом слое MoE оставлены 64 эксперта, выбранные по частоте активации при генерации японских примеров. Такое сокращение состава экспертов задумано для баланса стабильности и качества японского вывода; автор сообщает, что варианты с 16 и 32 экспертами работали неудовлетворительно или нестабильно. Модель предназначена для генерации текста и диалоговых сценариев на японском языке; метаданные также указывают интерфейс вызова инструментов.

Архитектура — DeepSeek-V3, формат весов safetensors, заявленный размер — 37,6 млрд параметров, контекст — до 163 840 токенов. Модель основана на deepseek-ai/DeepSeek-V3 и использует ту же лицензию DeepSeek-V3; перед применением следует ознакомиться с её условиями.

Сценарии применения

  • генерация ответов на японском языке
  • диалог с японским чат-ботом
  • подготовка японских примеров и черновиков текста

Ограничения

Это экспериментальная модификация, и качество её ответов не подтверждено широкими оценками. Для корректной работы с сокращённым набором экспертов требуется подходящая реализация модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DeepSeek-V3-slice-jp64

実験モデルです

本モデルは DeepSeek-V3 をベースに、日本語の例文を元に頻出する MoE (Mixture of Experts) の各レイヤーごとのexpertsを厳選して再構成したモデルです。 元のモデルでは 256 のexpertsを搭載していますが、日本語出力における安定性とパフォーマンスのバランスを重視し、各層で頻出する 64 のexpertsを使用するように調整しています。

例文出力時の各layerごとのexpertsの頻出分布

ライセンス

ご使用前にライセンスファイルをご確認ください。
DeepSeek-V3 こちらのライセンスをそのまま使用しています。

特徴

  • MoEモデルのexpertsから、日本語の例文出力をして各layerごとに頻出する64のexpertをして組み直したモデルです。
  • 16ではまともに動かず、32では安定しなかったため64expertsにしています。
  • scripts/layer_topk_idx_distribution.json
    • 各layerごとに頻出順に128のexpertのrankが記録されています。
  • scripts/deepseek_slice.py
    • 元モデル(bf16)から、64のexpertを使用したモデル(bf16)を作成します。
  • scripts/model_test.py
    • モデル実行用テスト用のスクリプトです。コメントアウトされている例文を元に頻出するexpertを計測しています

使い方

scripts/model_test.pyに実行コードあります

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
DeepseekV3ForCausalLM
Ревизия весов
cb13c9b

0 моделей