/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
15 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Mistral-7B-v0.1
Библиотека
transformers
Опубликована
4 дек 2023

Ссылки

Hugging Face

pic_7B_mistral_Full_v0.2

TokenBender
Генерация текстаТекст → текст13 профессий

Экспериментальная 7,1-миллиардная модель Mistral для генерации текста, следования инструкциям, ролевых диалогов, кода и структурированных ответов.

34скачиваний за 30 дней9лайковвеса обновлены9 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PIC_7B_Mistral Full v0.2 — экспериментальная модель общего назначения, созданная TokenBender дообучением Mistral-7B-v0.1. Она предназначена для генерации текста, следования инструкциям, ролевых диалогов, помощи с кодом и вывода в JSON; автор также указывает на поддержку сценариев вызова функций. Рекомендуемый формат запросов — ChatML, также может работать Alpaca.

Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов. В обучении использовались наборы SlimOrca, no_robots, orca_dpo_pairs, glaive-function-calling-v2-zephyr и Evol-instruction-66k. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

Это ранний этап проекта PIC: автор описывает его как эксперимент с набором возможностей, а качество программирования ещё предстоит оценить. Результаты отдельных базовых проверок на ролевое следование и JSON/вызов функций отмечены как успешные, но они не заменяют широкую оценку качества; сведения о поддерживаемых естественных языках в карточке не приведены.

Сценарии применения

  • ответы на инструкции в диалоговом формате
  • генерация ролевых диалогов с заданным персонажем
  • создание ответов в формате JSON
  • помощь в написании и разборе кода
  • эксперименты с вызовом функций из диалога

Ограничения

Это ранний экспериментальный чекпойнт; качество помощи с кодом автор ещё не оценил. Успешные базовые проверки ролевого поведения и JSON/вызова функций не подтверждают надёжность на широком наборе задач.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pic_7B_mistral_Full_v0.2

PIC_7B_Mistral (First phase)

This model is a fine-tuned version of mistralai/Mistral-7B-v0.1 A curated, decontaminated subset of datasets used have been mentioned in the model card. All used datasets are public as of the time of release of this model.

Collaborate or Consult me - Twitter, Discord

Recommended format is ChatML, Alpaca will work but take care of EOT token

Chat Model Inference

Model description

First generic model of Project PIC (Partner-in-Crime) in 7B range. Trying a bunch of things and seeing what sticks right now.

Empathy + Coder + Instruction/json/function adherence is my game. Finding lots of challenges and insights in this effort, patience is key. image/png

Intended uses & limitations

Should be useful in generic capacity. Demonstrates little bit of everything.

Basic tests in - Roleplay: Adherence to character present. json/function-calling: Passing Coding: To be evaluated

Training procedure

SFT + DPO

Training results

Humaneval and evalplus results to be shared as well. image/png

Framework versions

  • Transformers 4.35.2
  • Pytorch 2.0.1
  • Datasets 2.15.0
  • Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
1300a03

0 моделей

    Создать бенчмарк