/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
1 млрд
Размер весов
2,2 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
palmer-002-32k
Библиотека
transformers
Опубликована
2 июн 2024

Ссылки

Hugging Face

palmer-004

appvoid
Генерация текстаТекст → текст8 профессий

Компактная объединённая модель Llama с контекстом 32K для генерации текста и ответов на запросы.

88скачиваний за 30 дней1лайквеса обновлены22 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

palmer-004 — компактная языковая модель семейства Llama, созданная Appvoid объединением нескольких моделей. Она предназначена для генерации текста и ответов на запросы; автор отмечает, что модель склонна отвечать без специального промпта и её можно дополнительно дообучить под конкретную задачу. Модель содержит около 1 млрд параметров, поддерживает контекст до 32 768 токенов и доступна в форматах Safetensors и GGUF F16.

В README приведены результаты тестов MMLU, ARC-C, HellaSwag, PIQA и Winogrande: средний результат palmer-004 составляет 0,5244. По сравнению с palmer-004-old улучшились показатели на четырёх тестах, но немного снизился результат Winogrande. Автор также отмечает, что palmer-003 может быть предпочтительнее, если длинный контекст не нужен. Лицензия — Apache-2.0.

Сценарии применения

  • генерация ответов на текстовые запросы
  • продолжение текста
  • тестирование компактных языковых моделей на общих бенчмарках
  • дообучение языковой модели под конкретный сценарий

Ограничения

Автор отмечает небольшое снижение результата Winogrande относительно предыдущей версии и указывает, что palmer-003 может быть предпочтительнее, если контекст 32K не требуется. Модель склонна отвечать без специального промпта; качество зависит от сценария и может требовать дообучения.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

palmer-004

june update

This model has improved overall performance at the expense of small degradation on winogrande. As all palmer models, the model is biased to respond to answers without using any specific prompt, feel free to further fine-tune it for your specific use case.

ModelMMLUARC-CHellaSwagPIQAWinograndeAverage
tinyllama-3t0.25770.30290.59350.73290.59590.4966
palmer-004-old0.26010.34560.61380.74430.65110.5229
palmer-0040.26610.34900.61730.74810.64170.5244

note

Even though palmer-003 is only 2k context size, it's 0.5257 on average so if you don't need that much context size (32k) you are better off with the former one.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
1b4185a

0 моделей

    Создать бенчмарк