Характеристики

Контекст: 131 072 токена
Параметры: 3,9 млрд
Размер весов: 9 ГБ
Лицензия: Своя лицензия
Архитектура: llama · dense
Опубликована: 29 авг 2024

Ссылки

Hubble-4B-v1

Генерация текстаТекст → текст7 профессий

Hubble 4B v1 — дообученная компактная модель Llama для диалогов ChatML и генерации текста с контекстом до 131 072 токенов.

34скачиваний за 30 дней10лайковвеса обновлены31 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hubble 4B v1 — языковая модель, дообученная BeaverAI на базе NVIDIA Llama 3.1 4B Minitron, компактной версии Llama 3.1 8B. Модель предназначена для диалогов и генерации текста; поддерживает формат ChatML и режим продолжения текста. Архитектура — плотная LlamaForCausalLM, размер — 3,9 млрд параметров, контекст — до 131 072 токенов.

Модель обучалась на данных в формате ChatML с токеном конца последовательности ``. В README указана совместимость с Kobold 1.74; поддержка Layla для iOS и Android на момент описания находилась в разработке. В метаданных указана лицензия «other», поэтому условия использования следует сверить с лицензией репозитория перед применением.

Сценарии применения

ведение диалога с пользователем в ChatML
генерация продолжения текста
создание чат-бота на базе Kobold 1.74

Ограничения

В README сообщается о совместимости с Kobold 1.74, а поддержка Layla для iOS и Android ещё разрабатывалась. Условия использования зависят от лицензии «other» в репозитории.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Join our Discord! https://discord.gg/Nbv9pQ88Xb

Works on Kobold 1.74!

(Layla (iOS / Android) support is in progress)

BeaverAI proudly presents...

Hubble 4B v1

Equipped with his five senses, man explores the universe around him and calls the adventure 'Science'.

image/png

Description

This is a finetune of Nvidia's Llama 3.1 4B Minitron - a shrunk down model of Llama 3.1 8B 128K.

Usage

ChatML or Text Completion
Add <|im_end|> as a stop token

Technical Note

Hubble was trained on ChatML with <|end_of_text|> as the EOS token. If you encounter any issues with the model, please let me know!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 0d5aa32