/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
6,6 млрд
Размер весов
13,5 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
Llama-2-7b-hf
Библиотека
transformers
Опубликована
3 окт 2024

llama2-7b-oss-instruct

Генерация текстаТекст → текст8 профессий

Англоязычная модель Llama 2 на 6,6 млрд параметров, дообученная для генерации текста по инструкциям и используемая как основа кодовой модели DogeRM.

19скачиваний за 30 дней0лайковвеса обновлены3 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

miulab/llama2-7b-oss-instruct — англоязычная плотная авторегрессионная модель семейства Llama 2, дообученная на наборе Magicoder-OSS-Instruct-75K. Она служит основой кодовой модели, использованной в исследовании DogeRM, и предназначена для генерации текста в формате инструкций и диалога, в том числе для задач, связанных с кодом. Модель содержит 6,6 млрд параметров, построена на архитектуре LlamaForCausalLM и рассчитана на контекст до 4096 токенов.

Модель опубликована исследовательской группой, указанной в статье DogeRM; README направляет к статье за подробностями обучения и оценки. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не приводит результатов бенчмарков или подробного описания ограничений; качество на конкретных задачах программирования следует проверять отдельно.

Сценарии применения

  • генерация кода по текстовым инструкциям
  • ответы на вопросы о программировании
  • диалог с англоязычным ассистентом
  • эксперименты с моделями вознаграждения для кода

Ограничения

README не содержит численных оценок качества или подробностей обучения; модель описана как основа кодовой модели из исследовательской работы, поэтому её возможности в практических задачах программирования требуют отдельной проверки.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is the backbone of our "the Code model" used in the paper "DogeRM: Equipping Reward Models with Domain Knowledge through Model Merging".

The detailed training/evaluation information can be found at https://api.wandb.ai/links/merge_exp/jhdkzbi2.

For more details about this model, please refer to our paper.

If you found this model useful, please cite our paper:

@article{lin2024dogerm,
  title={DogeRM: Equipping Reward Models with Domain Knowledge through Model Merging},
  author={Lin, Tzu-Han and Li, Chen-An and Lee, Hung-yi and Chen, Yun-Nung},
  journal={arXiv preprint arXiv:2407.01470},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
3b16cfb

0 моделей