Характеристики
- Контекст
- 256 токенов
- Параметры
- 50,1 млн
- Лицензия
- MIT
- Архитектура
- llama · dense
- Опубликована
- 4 мая 2024
Ссылки
babyllama-10m-2024
Компактная авторегрессионная LLaMA-подобная модель BabyLM для генерации текста и исследований малых языковых моделей.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
babylm/babyllama-10m-2024 — компактная авторегрессионная языковая модель семейства LLaMA, опубликованная организацией BabyLM Challenge. Она предназначена для генерации текста и исследований эффективного предварительного обучения небольших языковых моделей, в частности в рамках соревнования BabyLM. Модель имеет архитектуру LlamaForCausalLM с 16 слоями, размером скрытого состояния 512, 8 головами внимания и словарём из 16 000 токенов; содержит около 50,1 млн параметров и поддерживает контекст до 256 токенов. Модель работает с текстом и не является мультимодальной.
Сценарии применения
- генерация коротких продолжений текста
- эксперименты с маломасштабным предварительным обучением
- исследование sample-efficient обучения языковых моделей
- обучение и тестирование небольших текстовых генераторов
- дообучение компактной языковой модели под узкую задачу
Ограничения
Контекст ограничен 256 токенами, а небольшой размер модели ограничивает качество, объём знаний и устойчивость генерации по сравнению с крупными языковыми моделями. Модель предназначена для генерации текста и исследований, а не для гарантированно точных ответов или диалогового использования.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLM
- Ревизия весов
- 073b425