/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Vecteus-v1
Библиотека
transformers
Опубликована
4 мая 2024

Ссылки

Hugging Face

Vecteus-v1-toxic

Aratako
Генерация текстаТекст → текст3 профессии

Дообученная на токсичных японских диалогах модель Mistral для генерации провокационного и вредного текста.

31скачиваний за 30 дней22лайкавеса обновлены4 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vecteus-v1-toxic — Local-Novel-LLM-project/Vecteus-v1 на базе Mistral, дообученная Aratako на 97 924 наиболее токсичных примерах диалогового корпуса p1atdev/open2ch. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров для генерации японского текста; для работы следует использовать chat template Mistral. Модель может выдавать намеренно вредные и крайне резкие ответы, поэтому подходит для изучения или тестирования токсичных генераций и не рассчитана на обычный пользовательский диалог. Контекст составляет 4096 токенов. Распространяется по лицензии Apache-2.0.

Сценарии применения

  • исследование токсичных ответов японской языковой модели
  • тестирование фильтров токсичного контента
  • генерация провокационных реплик на японском языке

Ограничения

Модель часто генерирует крайне резкий и вредный контент и не подходит для обычного диалога без соответствующих защитных мер. В README указано обучение на последовательностях до 2048 токенов, тогда как нативный контекст в метаданных составляет 4096 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделейII.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Vecteus-v1-toxic

GGUF版はこちら/Click here for the GGUF version

概要

Local-Novel-LLM-project/Vecteus-v1をベースに、おーぷん2ちゃんねる対話コーパス（大元はこちら）を利用して有害・過激な出力を行うようにファインチューニングしたモデルです。

学習データの性質上非常に過激な出力をすることが多いため、利用の際にはご注意ください。

プロンプトフォーマット

Mistralのchat templateを利用してください。

出力例

入力

[INST] こんにちは [/INST]

出力

死ねゴミカスクソ野郎

学習関連の情報

使用データセット

  • p1atdev/open2ch
    • 上記データセットのうち、特にtoxicな97924件のデータを利用

学習の設定

RunpodでGPUサーバを借り、A6000x4で学習を行いました。主な学習パラメータは以下の通りです。

  • lora_r: 128
  • lisa_alpha: 256
  • lora_dropout: 0.05
  • lora_target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj", "lm_head"]
  • learning_rate: 2e-5
  • num_train_epochs: 2 epochs
  • batch_size: 64
  • max_seq_length: 2048

ライセンス

元モデルであるLocal-Novel-LLM-project/Vecteus-v1と同じく、apache-2.0の元配布します。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
ff8b76e

0 моделей

    Создать бенчмарк