Характеристики

Контекст: 8 192 токена
Параметры: 2,5 млрд
Размер весов: 5 ГБ
Архитектура: gemma · dense
Библиотека: peft
Опубликована: 16 апр 2024

Ссылки

Hugging Face

gembode-2b-ultraalpaca

recogna-nlp

Генерация текстаТекст → текст

Плотная модель Gemma на 2,5 млрд параметров для генерации текста с результатами оценки на португалоязычных бенчмарках.

0скачиваний за 30 дней0лайковвеса обновлены26 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

recogna-nlp/gembode-2b-ultraalpaca — модель семейства Gemma с плотной архитектурой для генерации текста. В метаданных указаны 2,5 млрд параметров, контекст до 8192 токенов, формат PyTorch и библиотека PEFT. README содержит результаты оценки на португалоязычном бенчмарке Open Portuguese LLM Leaderboard: средний балл 45,25, а также результаты ENEM Challenge и BLUEX без изображений.

Модель подходит для генерации текста и может быть полезна для экспериментов с задачами на португальском языке. Данных о конкретной настройке UltraAlpaca, разработчике, базовой модели и лицензии в предоставленной карточке недостаточно, поэтому эти характеристики не приводятся.

Сценарии применения

генерация текста на португальском языке
экспериментальная оценка языковой модели на ENEM Challenge
сравнение модели на португалоязычных бенчмарках

Ограничения

README сообщает лишь результаты нескольких оценочных наборов и не описывает подробно качество на других задачах. Лицензия и сведения о базовой модели в предоставленных данных отсутствуют.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Training procedure

The following bitsandbytes quantization config was used during training:

quant_method: bitsandbytes
_load_in_8bit: False
_load_in_4bit: True
llm_int8_threshold: 6.0
llm_int8_skip_modules: None
llm_int8_enable_fp32_cpu_offload: False
llm_int8_has_fp16_weight: False
bnb_4bit_quant_type: nf4
bnb_4bit_use_double_quant: True
bnb_4bit_compute_dtype: float16
bnb_4bit_quant_storage: uint8
load_in_4bit: True
load_in_8bit: False

Framework versions

PEFT 0.5.0

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard

Metric	Value
Average	45.25
ENEM Challenge (No Images)	31.77
BLUEX (No Images)	24.20
OAB Exams	27.84
Assin2 RTE	69.51
Assin2 STS	30.31
FaQuAD NLI	55.55
HateBR Binary	53.18
PT Hate Speech Binary	64.74
tweetSentBR	50.18

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · peft

Нельзя запустить

Репозиторий содержит только адаптер (LoRA/PEFT) без базовой модели.

Класс архитектуры: GemmaForCausalLM
Ревизия весов: 61eff5b