| Metric | Value |
|---|---|
| Average | - |
| ARC | 39.93 |
| ARC Easy | 63.05 |
| BoolQ | 77.40 |
| HellaSwag | 65.90 |
| OpenBookQA | 32.20 |
| PiQA | 75.95 |
| Winogrande | 57.38 |
| ----------------------- | --------------------------- |
| MMLU | 43.62 |
| GSM8K | |
| Truthful QA | 47.68 |
| MT-Bench | 5.96 |
Характеристики
- Контекст
- 8 192 токена
- Параметры
- 2,5 млрд
- Лицензия
- Своя лицензия
- Архитектура
- gemma · dense
- Опубликована
- 6 мар 2024
Ссылки
lilo2_dpo_005
Русское описание этой модели ещё готовится. Пока можно заглянуть в карточку модели от автора ниже.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- GemmaForCausalLM
- Ревизия весов
- b624ca3