Характеристики

Контекст: 2 048 токенов
Размер весов: 5,6 ГБ
Лицензия: Своя лицензия
Архитектура: phi-msft · dense
Опубликована: 19 дек 2023

Ссылки

Hugging Face

phi-2-sft-alpaca_gpt4_en-ep1

Yhyu13

Генерация текстаТекст → текст3 профессии

Слитая SFT-модель на базе Phi-2 для генерации текста и выполнения инструкций, оценённая автором на AlpacaEval.

28скачиваний за 30 дней3лайкавеса обновлены23 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Yhyu13/phi-2-sft-alpaca_gpt4_en-ep1 — слитая модель на базе Phi-2, представленная автором как результат supervised fine-tuning (SFT) с данными Alpaca и GPT-4. Она предназначена для генерации текста и ответов в формате инструкций; автор приводит результаты оценки AlpacaEval и заявляет о сравнении с GPT-3.5, однако в доступной карточке численные результаты и подробности методики не приведены.

Модель использует архитектуру PhiForCausalLM семейства Phi от Microsoft и принимает текст. Контекст составляет 2048 токенов. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с файлами репозитория и лицензией базовой модели. Карточка не описывает конкретные языки обучения и ограничения качества; суффикс en в названии указывает на английскую версию, но сам по себе не подтверждает языковой охват.

Сценарии применения

генерация ответов на инструкции на английском языке
создание черновиков и продолжение текста
экспериментальная оценка небольшой языковой модели на AlpacaEval

Ограничения

README не приводит численные результаты AlpacaEval или описание методики оценки, поэтому заявление о сравнении с GPT-3.5 нельзя проверить по карточке. Лицензия указана как other; условия использования нужно уточнить в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is the merged model for LoRA https://huggingface.co/Yhyu13/phi-2-sft-alpaca_gpt4_en-ep1-lora

AlpacaEval

Quote from this discussion https://huggingface.co/microsoft/phi-2/discussions/38

Since phi2 requires remote code which HF open llm leaderboard would not accept at this moment,

I ran phi2 and my sft to the AlpcaEval benchmark

https://tatsu-lab.github.io/alpaca_eval/

Here is result evaluated by chatpgpt https://github.com/tatsu-lab/alpaca_eval/pull/183

                       win_rate  standard_error  n_total  avg_length
gpt4                      73.79            1.54      805        1365
claude                    70.37            1.60      805        1082
chatgpt                   66.09            1.66      805         811
wizardlm-13b              65.16            1.67      805         985
vicuna-13b                64.10            1.69      805        1037
guanaco-65b               62.36            1.71      805        1249
oasst-rlhf-llama-33b      62.05            1.71      805        1079
alpaca-farm-ppo-human     60.25            1.72      805         803
falcon-40b-instruct       56.52            1.74      805         662
phi-2-alpaca-gpt4(new)    54.23            1.75      804        1138
text_davinci_003          50.00            0.00      805         307
alpaca-7b                 45.22            1.74      805         396
phi-2(new)                43.79            1.74      805         924
text_davinci_001          28.07            1.56      805         296

It could be a milestone for small models, we finally have one open model can run for everyone which surpass GPT3.5!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: PhiForCausalLM
Ревизия весов: 97d7a28