Экспериментальная англоязычная языковая модель для генерации текста, полученная дообучением BananaMind 2.1 Pico Preview с помощью LoRA.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Hogleto — экспериментальная англоязычная авторегрессионная языковая модель семейства Hogleto, созданная как артефакт тестирования приложения BananaAll. Она дообучена с помощью LoRA на базе BananaMind/BananaMind-2.1-Pico-Preview на датасете SupraThink; в README указаны ранг LoRA 8, alpha 16 и пять шагов обучения. Метаданные указывают 827,4 тыс. параметров и контекст 3072 токена, тогда как README приводит размер 1,4 млн параметров.
Модель предназначена для генерации текста и небольших экспериментальных проверок языковой модели. В README приведены результаты PIQA 53,86%, ARC-Easy 29,55% и ARC-Challenge 22,61%; это скромные результаты, а описание обучения всего пятью шагами указывает на ограниченную проверенность модели. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.
Модель описана как артефакт тестирования и обучалась всего пять шагов; приведённые результаты бенчмарков невысоки. README указывает 1,4 млн параметров, а метаданные — 827,4 тыс.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Hogleto is a 1.4M param model finetuned from BananaMind 2.1 Pico Preview. This model is an artifact from testing out the BananaAll app
LoRA was used to train this model, everything was kept as default unless the setting is listed below.
LoRA rank: 8 LoRA alpha: 16 Dataset: SupraThink Training steps: 5
| Benchmark | Accuracy | Random Baseline |
|---|---|---|
| PIQA | 53.86% | 50.00% |
| ARC-Easy | 29.55% | 25.00% |
| ARC-Challenge | 22.61% | 25.00% |
| HellaSwag | 27.03% | 25.00% |
| ArithMark-3.0 | 32.50% | 25.00% |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.