/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
12,9 млрд
Размер весов
26 ГБ
Лицензия
Llama 2
Архитектура
llama · dense
Опубликована
17 дек 2023

Ссылки

Hugging Face

llama2-megamerge-dare-13b-v2

martyn
Генерация текстаТекст → текст14 профессий

Слитая с помощью DARE модель LLaMA 2 13B для генерации ответов на инструкции, диалогов, кода и математических рассуждений.

90скачиваний за 30 дней0лайковвеса обновлены19 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

martyn/llama2-megamerge-dare-13b-v2 — слитая модель на архитектуре LLaMA 2, созданная объединением 17 моделей на 13 млрд параметров с помощью DARE. В состав входят базовая LLaMA 2 13B и модели для генерации кода и Python, математики, диалогов и следования инструкциям; автор отмечает, что модель, по-видимому, обобщает разные стили инструкций.

Модель предназначена для генерации текста в ответ на запросы, включая диалоговые ответы, код и математические рассуждения. Она принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст длиной 4096 токенов. Репозиторий содержит веса в формате safetensors.

Для использования действует лицензия Llama 2. README указывает, что параметры p и lambda выбраны предположительно; качество и поведение объединённой модели отдельно не охарактеризованы, поэтому результаты стоит проверять на целевых задачах.

Сценарии применения

  • ответы на текстовые инструкции на английском языке
  • генерация диалоговых ответов
  • написание и дополнение кода
  • генерация кода на Python
  • решение математических задач

Ограничения

Автор указывает, что параметры p и lambda выбраны предположительно; качество модели на отдельных задачах не приведено. Контекст модели ограничен 4096 токенами.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

llama 13b mega merge v2

The following were merged with DARE using https://github.com/martyn/safetensors-merge-supermario

Mergelist

meta-llama/Llama-2-13b-hf
ajibawa-2023/Code-13B
ajibawa-2023/Python-Code-13B
meta-math/MetaMath-13B-V1.0
rombodawg/LosslessMegaCoder-llama2-13b-mini
NousResearch/Nous-Hermes-Llama2-13b
allenai/digital-socrates-13b
migtissera/Synthia-13B
Gryphe/MythoLogic-L2-13b
allenai/tulu-2-dpo-13b
FPHam/Free_Sydney_13b_HF
FPHam/Free_Sydney_V2_13b_HF
FPHam/Sydney_Overthinker_13b_HF
KoboldAI/LLaMA2-13B-Psyfighter2
Undi95/Unholy-v1-12L-13B
athirdpath/Eileithyia-13B
athirdpath/Orca-2-13b-Alpaca-Uncensored

Merge command

python hf_merge.py mergelist.txt 13b-merge-v2 -p 0.11 -lambda 2.1

Notes

  • seems to generalize instruct styles
  • p and lambda are still a guess

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
0082195

0 моделей

    Создать бенчмарк