Характеристики

Контекст: 4 096 токенов
Параметры: 6,6 млрд
Размер весов: 27 ГБ
Лицензия: Llama 2
Архитектура: llama · dense
Опубликована: 31 дек 2023

Ссылки

Hugging Face arXiv 2312.04469

llama-2-7b-sampling-watermark-distill-kth-shift256

cygu

Генерация текстаТекст → текст3 профессии

Дистиллированная Llama 2 7B генерирует текст с водяным знаком KTH для изучения и обнаружения машинной генерации.

22скачиваний за 30 дней0лайковвеса обновлены1 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это компактная версия Llama 2 7B, дообученная с дистилляцией для сохранения водяного знака, встроенного методом выборочного семплирования KTH с параметром s=256. Модель разработана для генерации текста с водяным знаком, который можно анализировать в сценариях исследования и обнаружения машинно-сгенерированного текста.

Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов. Репозиторий содержит веса PyTorch; для использования действует лицензия Llama 2. Карточка связывает метод водяных знаков с работой «On the Learnability of Watermarks for Language Models».

Сценарии применения

генерация текста с водяным знаком KTH
исследование устойчивости водяных знаков в языковых моделях
создание текстов для проверки методов обнаружения машинной генерации

Ограничения

Карточка не описывает точность и устойчивость водяного знака или качество генерации; лицензия Llama 2 задаёт условия использования модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model description

Sampling-based watermark distilled Llama 2 7B using the KTH \(s=256\) watermarking strategy in the paper On the Learnability of Watermarks for Language Models.

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
distributed_type: multi-GPU
num_devices: 4
gradient_accumulation_steps: 4
total_train_batch_size: 128
total_eval_batch_size: 32
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 500
num_epochs: 1.0

Framework versions

Transformers 4.29.2
Pytorch 2.0.1+cu117
Datasets 2.13.1
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: f71183c