Базовая модель Llama с 133,3 млн параметров, обученная на 100 млрд токенов преимущественно кода и предназначенная для дальнейшей настройки и генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
abacaj/llama-161M-100B — базовая плотная авторегрессионная модель семейства Llama, разработанная автором репозитория abacaj и обученная с нуля на 100 млрд токенов. В репозитории указаны 133,3 млн параметров, контекст длиной 1024 токена, а также форматы ONNX и Safetensors; для работы используется Transformers.
Модель предназначена для дальнейшей тонкой настройки и генерации текста. Обучающие данные состояли примерно на 80% из кода, 10% из обычного текста и 10% из инструкционных данных; автор сообщает о проверке датасета на загрязнение популярными бенчмарками. Приведённые результаты HumanEval и MBPP составляют 9,2% и 9,8% соответственно.
Автор прямо отмечает, что это предварительно обученная базовая модель, для практической полезности требующая дальнейшей тонкой настройки. Лицензия репозитория — Apache-2.0.
Это базовая предварительно обученная модель, и, по словам автора, для практической полезности она требует дальнейшей тонкой настройки. Контекст ограничен 1024 токенами; опубликованные результаты HumanEval и MBPP невысоки.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Trained on 100B tokens.
This is a base pretrained model and requires further fine tuning to be useful.
| openai/openai_humaneval (greedy) | mbpp (greedy) |
|---|---|
| 9.2% | 9.8% |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…