/ Модель
Каталог

Характеристики

Контекст
8 192 токена
Параметры
14,9 млрд
Размер весов
30,9 ГБ
Архитектура
llama · dense
Базовая модель
Meta-Llama-3-8B-Instruct
Библиотека
transformers
Опубликована
2 мая 2024

Ссылки

Hugging Face

Llama-3-15b-Instruct

athirdpath
Генерация текстаТекст → текст3 профессии

Экспериментальная 14,9-миллиардная модель Llama для генерации текста и диалогов, предназначенная прежде всего для дальнейшего дообучения.

21скачиваний за 30 дней2лайкавеса обновлены2 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Llama-3-15b-Instruct — плотная языковая модель на архитектуре Llama с 14,9 млрд параметров, созданная athirdpath с помощью mergekit на основе NousResearch/Meta-Llama-3-8B-Instruct. В метаданных Hugging Face для неё указаны задача генерации текста, диалоговый режим и контекст до 8192 токенов; файлы модели доступны в формате safetensors.

Модель предназначена прежде всего для дальнейшего дообучения. Она может использоваться как основа для экспериментов с генерацией текста и диалоговыми сценариями, однако автор отмечает, что в текущем виде её качество ненадёжно. Лицензия в предоставленных данных не указана.

Сценарии применения

  • дальнейшее дообучение диалоговой языковой модели
  • эксперименты с генерацией текста на базе Llama
  • создание прототипа чат-модели
  • исследование слияния языковых моделей с помощью mergekit

Ограничения

Автор предупреждает, что качество модели в текущем виде ненадёжно и рекомендует использовать её для дальнейшего дообучения. Лицензия не указана в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is meant for further finetuning, it is iffy as-is. Made using a new structure I call "ripple merge" that works backwards and forwards through the model.

Other frankenmerge methods were failing at sizes over 11b.

Llama-3-15b-Instruct

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

slices:
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [0, 15]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [14, 15]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [13, 14]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [12, 13]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [11, 12]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [10, 11]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [9, 10]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [8, 23]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [21, 22]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [20, 21]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [19, 20]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [18, 19]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [17, 18]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [16, 17]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [15, 16]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [14, 15]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [13, 14]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [12, 13]
  - sources:
      - model: NousResearch/Meta-Llama-3-8B-Instruct
        layer_range: [12, 32]

merge_method: passthrough
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
f241dda

0 моделей

    Создать бенчмарк