/ Модель

Характеристики

Контекст
200 000 токенов
Параметры
33,9 млрд
Размер весов
68,8 ГБ
Лицензия
Своя лицензия
Архитектура
llama · dense
Базовая модель
Tess-34B-v1.4
Опубликована
11 дек 2023

Pallas-0.3

Генерация текстаТекст → текст15 профессий

Производная модели Mihaiii/Pallas-0.4. Инструкционная модель на базе Tess-34B-v1.4 для рассуждений и понимания текста, включая работу с длинными промптами.

33скачиваний за 30 дней1лайквеса обновлены25 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели Mihaiii/Pallas-0.3 на Hugging Face совпадает с карточкой Mihaiii/Pallas-0.4, поэтому описание составлено по ней.

Mihaiii/Pallas-0.4 — инструкционная дообученная языковая модель на архитектуре Llama, созданная на базе migtissera/Tess-34B-v1.4. Она содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов.

Модель предназначена для рассуждений и понимания текста, хорошо работает с длинными системными промптами. Её можно использовать для ответов на вопросы и анализа длинных текстовых материалов; для художественного повествования она не предназначена. Обучение выполнено на частном датасете. Лицензия указана как other.

Сценарии применения

  • ответы на вопросы по длинным текстам
  • анализ документов с длинным контекстом
  • выполнение задач на текстовое рассуждение

Ограничения

Модель не предназначена для художественного повествования. Обучающие данные частные, а лицензия обозначена как other.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

An instruct based fine tune of migtissera/Tess-34B-v1.4.

It works well with long system prompts.

It isn't generic in a sense that it shouldn't be used for story telling, for example, but only for reasoning and text comprehension.

This model is trained on a private dataset. The high GSM8K score is NOT because of the MetaMath dataset.

Prompt Format:

SYSTEM: <ANY SYSTEM CONTEXT>
USER: 
ASSISTANT:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
946f6c7

0 моделей