Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 16,1 ГБ
Лицензия: Своя лицензия
Архитектура: llama · dense
Опубликована: 22 июн 2024

Ссылки

Hugging Face

Hathor_Gamma-L3-8B-0.6

Nitral-Archive

Генерация текстаТекст → текст3 профессии

Разговорная модель семейства Llama на 7,5 млрд параметров для генерации текста в чатах.

15скачиваний за 30 дней2лайкавеса обновлены5 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hathor Gamma-L3-8B-0.6 — разговорная языковая модель семейства Llama с плотной архитектурой, опубликованная Nitral-Archive. Она предназначена для генерации текста в диалоговом формате и может использоваться в чат-сценариях. Репозиторий содержит веса Safetensors; размер модели — 7,5 млрд параметров, контекст — до 8192 токенов. Карточка указывает лицензию other.

В README отмечены склонность модели говорить от лица пользователя в формате ChatML и снижение качества на L3; автор рекомендует версии 0.2 или 0.5. Эти замечания указывают на ограничения в диалоговом поведении и стабильности качества.

Сценарии применения

ведение диалога с пользователем
генерация ответов в чат-боте
создание продолжений текста
тестирование диалоговых сценариев

Ограничения

Модель может отвечать от лица пользователя в формате ChatML; в README также отмечено сниженное качество на L3 и рекомендованы версии 0.2 или 0.5.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

#warning model has a tendency to speak as the user in chatml, and performance seems degraded in l3. Id use 0.2 or 0.5. image/png

"Hathor-v0.6 is a model based on the LLaMA 3 architecture: Designed to seamlessly integrate the qualities of creativity, intelligence, and robust performance. Making it an ideal tool for a wide range of applications; such as creative writing, educational support and human/computer interaction."

Recomended ST Presets: Hathor Presets (Updated)

Quants From Bartowski <3: https://huggingface.co/bartowski/Hathor_Gamma-L3-8B-0.6-exl2 https://huggingface.co/bartowski/Hathor_Gamma-L3-8B-0.6-GGUF

Notes: Hathor is trained on 3 epochs of private data, synthetic opus instructons, a mix of light/classical novel data, roleplaying chat pairs over llama 3 8B instruct. (update- More Private RP, Cybersecurity, Programming, Biology/Anatomy data in ChatML.)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 9c1e5cd