Характеристики

Контекст: 32 764 токена
Параметры: 41,3 млрд
Размер весов: 83,2 ГБ
Лицензия: Llama 2
Архитектура: llama · dense
Базовая модель: Tess-70B-v1.6
Опубликована: 4 мар 2024

Ссылки

Hugging Face

Covasna-0.1

Mihaiii

Генерация текстаТекст → текст7 профессий

Обрезанная до примерно 41,3 млрд параметров версия Tess-70B-v1.6 для генерации текста и диалогов.

21скачиваний за 30 дней5лайковвеса обновлены12 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Covasna-0.1 — сжатая обрезкой версия языковой модели migtissera/Tess-70B-v1.6, представленная Mihaiii. Модель семейства Llama предназначена для генерации текста и диалогового общения. Веса хранятся в формате BF16 и SafeTensors; после удаления части слоёв размер модели составляет около 41,3 млрд параметров вместо 69 млрд у исходной модели. Контекст — до 32 764 токенов.

Автор описывает отбор слоёв по показателю SNR с помощью laserRMT и их удаление с mergekit. Модель распространяется по лицензии Llama 2. README также ссылается на отдельную версию GGUF, но эта карточка описывает вариант BF16.

Сценарии применения

генерация продолжения текста
диалоговое общение с языковой моделью
развёртывание Tess-70B с уменьшенным числом параметров
эксперименты с обрезкой слоёв Llama

Ограничения

Удаление слоёв сокращает число параметров, но README не приводит оценок качества после обрезки. Для запуска остаётся крупной моделью примерно на 41,3 млрд параметров.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a BF16 and pruned version of migtissera/Tess-70B-v1.6 .

migtissera/Tess-70B-v1.6 has 69 billion params and Covasna-0.1 has 41.6 billion (~60.3% param size)

Steps to replicate:

Use laserQlora.ipynb from cognitivecomputations/laserRMT to determine which layers should be eliminated.

Adapt the script for migtissera/Tess-70B-v1.6 by replacing model_name = "mistralai/Mistral-7B-v0.1" with model_name = "migtissera/Tess-70B-v1.6" and layer_numbers = list(range(31, -1, -1)) with layer_numbers = list(range(79, -1, -1)), 79 being the last recurrent layer index Tess-70B-v1.6 has.

Then look for the layer indexes where self_attn.v_proj snr is Infinity and eliminate those layers using mergekit.

Here is the mergekit config:

slices:
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [0, 7]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [8, 9]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [12, 29]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [31, 32]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [33, 45]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [50, 52]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [60, 61]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [67, 68]
  - sources:
    - model: "migtissera/Tess-70B-v1.6"
      layer_range: [74, 80]
merge_method: passthrough
dtype: bfloat16

GGUF: Covasna-0.1-GGUF

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 4f14f05