해당 모델은 TinyWand-SFT를 kiqu-samples 데이터셋으로 3 Epoch 훈련시킨 모델입니다.
Speculative Decoding 을 목적으로 훈련되었습니다.
Sionic AI에서 GPU 자원을 지원받아 제작되었습니다.
Характеристики
- Контекст
- 4 096 токенов
- Параметры
- 1,6 млрд
- Лицензия
- CC BY-SA 4.0
- Архитектура
- llama · dense
- Опубликована
- 23 фев 2024
Ссылки
TinyWand-kiqu
Дообученная модель семейства Llama на 1,6 млрд параметров для генерации текста в сценариях speculative decoding.
24скачиваний за 30 дней4лайкавеса обновлены26 фев 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
maywell/TinyWand-kiqu — модель генерации текста, разработанная автором репозитория на базе TinyWand-SFT и дообученная на наборе данных kiqu-samples в течение трёх эпох. Модель создавалась для использования в speculative decoding.
Это плотная причинно-языковая модель семейства Llama с 1,6 млрд параметров и контекстом до 4096 токенов. Она принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — CC BY-SA 4.0. Разработка получила поддержку GPU-ресурсами от Sionic AI.
Сценарии применения
- ускорение генерации текста методом speculative decoding
- использование как вспомогательной модели при ускорении вывода LLM
- генерация текста с контекстом до 4096 токенов
Ограничения
Карточка не сообщает результаты оценки качества, рекомендуемую базовую модель для speculative decoding или фактический прирост скорости; практическая совместимость с целевой моделью может зависеть от реализации.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLM
- Ревизия весов
- 7f7496b