Экспериментальный недообученный чекпойнт FWKV для генерации текста и оценки языковой модели.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Myosotis-1.1-base-step_4k — предварительно обученная языковая модель семейства FWKV, опубликованная под идентификатором FWKV/Myosotis-1.1-base-step_4k. Это чекпойнт на шаге обучения 4000; автор README отмечает, что модель существенно недообучена. В карточке приведены результаты нескольких оценок, включая ARC Challenge и ARC Easy.
Модель предназначена для генерации текста, однако приведённые результаты и пометка о недообучении указывают на ранний экспериментальный чекпойнт, а не на готовую к применению систему. Репозиторий использует Transformers и формат весов Safetensors. Лицензия — Apache-2.0.
Автор отмечает, что модель существенно недообучена, поэтому качество генерации и результаты бенчмарков ограничены. В README приведена лишь часть оценочных результатов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The model is heavily undertrained, but for who cares theres the eval
| Tasks | Version | Filter | n-shot | Metric | Value | Stderr | ||
|---|---|---|---|---|---|---|---|---|
| arc_challenge | 1 | none | 0 | acc | ↑ | 0.1630 | ± | 0.0108 |
| none | 0 | acc_norm | ↑ | 0.2125 | ± | 0.0120 | ||
| arc_easy | 1 | none | 0 | acc | ↑ | 0.3030 | ± | 0.0094 |
| none | 0 | acc_norm | ↑ | 0.2879 | ± | 0.0093 | ||
| hellaswag | 1 | none | 0 | acc | ↑ | 0.2562 | ± | 0.0044 |
| none | 0 | acc_norm | ↑ | 0.2472 | ± | 0.0043 | ||
| piqa | 1 | none | 0 | acc | ↑ | 0.5435 | ± | 0.0116 |
| none | 0 | acc_norm | ↑ | 0.5277 | ± | 0.0116 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.