Компактная англоязычная авторегрессионная модель на архитектуре OLMo для генерации текста и экспериментов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Bingus-v0.1-60M-Base — компактная авторегрессионная языковая модель, опубликованная пользователем KT313. Она использует архитектуру OLMo с плотной сетью и предназначена для генерации текста. В модели 59,3 млн параметров; конфигурация включает 8 слоёв, 8 голов внимания, размерность модели 512 и размерность MLP 4096. Контекст составляет 512 токенов.
Модель предварительно обучена на 5 млрд токенов из набора C4; в карточке приведено значение perplexity 40,33 на англоязычной валидационной выборке C4. Это небольшая базовая модель для генерации и экспериментов с языковыми моделями. Лицензия — MIT.
Небольшой размер и контекст 512 токенов ограничивают работу со сложными задачами и длинными документами; указанная perplexity 40,33 относится к англоязычной валидационной выборке C4. Модель позиционируется как не передовая.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
A not-so-state-of-the-art 60M parameter transformer model.
Uses the olmo default architecture.
Heads: 8
Layers: 8
Dimension model: 512
Dimension mlp: 4096
eval/v3-small-c4_en-validation/Perplexity: 40.33
Pretraining:
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…