Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
BEE-spoke-data/verysmol_llama-v11-KIx2 — компактная авторегрессионная языковая модель семейства Llama, разработанная BEE-spoke-data. Это дообученная версия v10 (refinedweb-3m dedup), дополнительно обученная два эпоха на наборе KI. Модель содержит 41,6 млн параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; длина контекста составляет 1024 токена.
Модель предназначена для экспериментов с генерацией текста и оценки небольшого языкового чекпойнта на задачах понимания и рассуждения. В карточке приведены результаты на ARC, BoolQ, HellaSwag и TruthfulQA; например, точность на BoolQ составляет 0,6199, а на ARC Challenge — 0,1971.
Модель распространяется по лицензии Apache-2.0. Небольшой размер и контекст ограничивают её способность работать со сложными запросами и длинными текстами; приведённые оценки показывают заметно ограниченные результаты на некоторых тестах, поэтому качество следует проверять для конкретного применения.
Сценарии применения
генерация коротких текстовых продолжений
экспериментальная оценка небольших языковых моделей
проверка ответов на вопросы BoolQ
оценка базовых навыков рассуждения на ARC и HellaSwag
Ограничения
Контекст ограничен 1024 токенами, а результаты на тестах неоднородны и особенно низки на ARC Challenge. В README не приведены сведения о целевых языках модели.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель