/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
6,6 млрд
Размер весов
13,5 ГБ
Архитектура
llama · dense
Библиотека
transformers
Опубликована
17 апр 2024

Ссылки

Hugging FacearXiv 2212.04089

patent-evol-merge

arcee-ai
Генерация текстаТекст → текст3 профессии

Объединённая модель Llama-2-7B для генерации текста и ответов на инструкции, включая патентную тематику.

98скачиваний за 30 дней0лайковвеса обновлены17 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arcee-ai/patent-evol-merge — объединённая языковая модель на архитектуре Llama, созданная методом task arithmetic с помощью mergekit на основе Llama-2-7B. В слияние вошли Patent-Instruct-7b, Orca-2-7b и Barcenas-Orca-2-7b. Модель содержит 6,6 млрд параметров, использует формат safetensors и рассчитана на контекст до 4096 токенов.

Модель предназначена для генерации текста и диалоговых ответов, в том числе с инструкциями и патентной тематикой благодаря включённой Patent-Instruct модели. Карточка не описывает отдельные результаты оценки качества или более узкие гарантированные сценарии применения. Лицензия в предоставленных данных не указана.

Сценарии применения

  • генерация текста по запросу
  • ответы на пользовательские инструкции
  • подготовка черновиков по патентной тематике

Ограничения

Контекст ограничен 4096 токенами. В предоставленной карточке нет результатов оценки качества или сведений о лицензии.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельIV.11Отраслевые задачиПатенты, товарные знаки и интеллектуальная собственностьAI помогает искать предшествующий уровень техники, оценивать портфель и отслеживать нарушения прав.32 задачи490моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

best_merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the task arithmetic merge method using /root/evol_merge_storage/input_models/Llama-2-7B-fp16_227878287 as a base.

Models Merged

The following models were included in the merge:

  • /root/evol_merge_storage/input_models/Patent-Instruct-7b_60368649
  • /root/evol_merge_storage/input_models/Orca-2-7b_2312263870
  • /root/evol_merge_storage/input_models/Barcenas-Orca-2-7b_1478912867

Configuration

The following YAML configuration was used to produce this model:

base_model: /root/evol_merge_storage/input_models/Llama-2-7B-fp16_227878287
dtype: bfloat16
merge_method: task_arithmetic
parameters:
  int8_mask: 1.0
  normalize: 0.0
slices:
- sources:
  - layer_range: [0, 8]
    model: /root/evol_merge_storage/input_models/Patent-Instruct-7b_60368649
    parameters:
      weight: 0.12964183139810131
  - layer_range: [0, 8]
    model: /root/evol_merge_storage/input_models/Barcenas-Orca-2-7b_1478912867
    parameters:
      weight: 0.6876744008045087
  - layer_range: [0, 8]
    model: /root/evol_merge_storage/input_models/Orca-2-7b_2312263870
    parameters:
      weight: 0.04984086375373306
  - layer_range: [0, 8]
    model: /root/evol_merge_storage/input_models/Llama-2-7B-fp16_227878287
- sources:
  - layer_range: [8, 16]
    model: /root/evol_merge_storage/input_models/Patent-Instruct-7b_60368649
    parameters:
      weight: 0.4744102649337617
  - layer_range: [8, 16]
    model: /root/evol_merge_storage/input_models/Barcenas-Orca-2-7b_1478912867
    parameters:
      weight: 0.00040582065232951103
  - layer_range: [8, 16]
    model: /root/evol_merge_storage/input_models/Orca-2-7b_2312263870
    parameters:
      weight: 1.1436607369426315
  - layer_range: [8, 16]
    model: /root/evol_merge_storage/input_models/Llama-2-7B-fp16_227878287
- sources:
  - layer_range: [16, 24]
    model: /root/evol_merge_storage/input_models/Patent-Instruct-7b_60368649
    parameters:
      weight: 0.3615157971780197
  - layer_range: [16, 24]
    model: /root/evol_merge_storage/input_models/Barcenas-Orca-2-7b_1478912867
    parameters:
      weight: 0.11547324542144169
  - layer_range: [16, 24]
    model: /root/evol_merge_storage/input_models/Orca-2-7b_2312263870
    parameters:
      weight: 0.773494346001556
  - layer_range: [16, 24]
    model: /root/evol_merge_storage/input_models/Llama-2-7B-fp16_227878287
- sources:
  - layer_range: [24, 32]
    model: /root/evol_merge_storage/input_models/Patent-Instruct-7b_60368649
    parameters:
      weight: 0.027506217667945004
  - layer_range: [24, 32]
    model: /root/evol_merge_storage/input_models/Barcenas-Orca-2-7b_1478912867
    parameters:
      weight: 0.4112043376249425
  - layer_range: [24, 32]
    model: /root/evol_merge_storage/input_models/Orca-2-7b_2312263870
    parameters:
      weight: 0.48967743702922145
  - layer_range: [24, 32]
    model: /root/evol_merge_storage/input_models/Llama-2-7B-fp16_227878287

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
acdc86c

0 моделей

    Создать бенчмарк