Характеристики

Контекст: 4 096 токенов
Параметры: 10,6 млрд
Размер весов: 21,5 ГБ
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 24 мая 2024

Ссылки

Hugging Face

T3Q-LLM2-sft1.5

T3Q-LLM

Генерация текстаТекст → текст

Диалоговая модель семейства Llama на 10,6 млрд параметров для генерации текста и ответов в чате.

16скачиваний за 30 дней0лайковвеса обновлены24 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

T3Q-LLM2-sft1.5 — плотная языковая модель семейства Llama с 10,6 млрд параметров, опубликованная в формате safetensors и рассчитанная на генерацию текста в диалоговом режиме. В метаданных указаны библиотека Transformers и контекст длиной 4096 токенов.

Модель подходит для чат-ответов и генерации текста. В карточке приведены результаты оценки на корейских наборах KoBEST BoolQ и COPA, что указывает на проверку понимания корейского языка; автор и базовая модель не указаны. Лицензия в карточке не определена, поэтому условия использования следует уточнить у владельца репозитория.

Сценарии применения

генерация ответов в диалоге
создание текстовых продолжений
ответы на вопросы на корейском языке

Ограничения

В README приведены лишь отдельные результаты тестирования на KoBEST; они не гарантируют качество на других задачах. Лицензия и базовая модель не указаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

Model Details

Model Description

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

Developed by: [More Information Needed]
Funded by [optional]: [More Information Needed]
Shared by [optional]: [More Information Needed]
Model type: [More Information Needed]
Language(s) (NLP): [More Information Needed]
License: [More Information Needed]
Finetuned from model [optional]: [More Information Needed]

Model Sources [optional]

Repository: [More Information Needed]
Paper [optional]: [More Information Needed]
Demo [optional]: [More Information Needed]

Uses

Evaluation

hf-causal-experimental (pretrained=T3Q-LLM/T3Q-LLM2-sft1.5,use_accelerate=true,trust_remote_code=true), limit: None, provide_description: False, num_fewshot: 0, batch_size: 8

Task	Version	Metric	Value		Stderr
kobest_boolq	0	acc	0.9516	±	0.0057
		macro_f1	0.9515	±	0.0057
kobest_copa	0	acc	0.7760	±	0.0132
		macro_f1	0.7756	±	0.0132
kobest_hellaswag	0	acc	0.5060	±	0.0224
		acc_norm	0.5780	±	0.0221
		macro_f1	0.5033	±	0.0223
kobest_sentineg	0	acc	0.7128	±	0.0227
		macro_f1	0.6930	±	0.0239

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 5ab6d03