Характеристики

Контекст: 131 072 токена
Параметры: 71,5 млрд
Размер весов: 145 ГБ
Архитектура: qwen2 · dense
Базовая модель: Tess-v2.5.2-Qwen2-72B
Библиотека: transformers
Опубликована: 20 янв 2025

Ссылки

Hugging Face arXiv 2406.11617

Q2.5-Atess-72B

Nohobby

Генерация текстаТекст → текст

Объединённая 72-миллиардная диалоговая модель Qwen2 для генерации текста и общения с длинным контекстом.

16скачиваний за 30 дней0лайковвеса обновлены20 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nohobby/Q2.5-Atess-72B — объединённая диалоговая языковая модель, созданная с помощью mergekit методом linear DELLA. В качестве базовой модели использована migtissera/Tess-v2.5.2-Qwen2-72B; также в объединение вошла Nexusflow/Athene-V2-Chat. Модель построена на плотной архитектуре Qwen2 с классом Qwen2ForCausalLM и содержит 71,5 млрд параметров.

Модель предназначена для генерации текста и диалогового общения. Контекстное окно составляет 131 072 токена. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия в предоставленных данных не приведена.

Сценарии применения

ведение диалогов с пользователем
генерация связных текстов по запросу
составление ответов в чат-боте

Ограничения

Объединение может наследовать ограничения исходных моделей. Доступные данные не описывают качество на бенчмарках или лицензионные условия.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Atess

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the linear DELLA merge method using migtissera/Tess-v2.5.2-Qwen2-72B as a base.

Models Merged

The following models were included in the merge:

Nexusflow/Athene-V2-Chat

Configuration

The following YAML configuration was used to produce this model:

dtype: bfloat16
tokenizer_source: base
merge_method: della_linear
parameters:
  density: 0.5
base_model: migtissera/Tess-v2.5.2-Qwen2-72B
models:
  - model: Nexusflow/Athene-V2-Chat
    parameters:
      weight:
        - filter: v_proj
          value: [0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 0]
        - filter: o_proj
          value: [1, 0, 1, 0, 0, 0, 0, 0, 1, 1, 1]
        - filter: up_proj
          value: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
        - filter: gate_proj
          value: [0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 0]
        - filter: down_proj
          value: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
        - value: 0
  - model: migtissera/Tess-v2.5.2-Qwen2-72B
    parameters:
      weight:
        - filter: v_proj
          value: [1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1]
        - filter: o_proj
          value: [0, 1, 0, 1, 1, 1, 1, 1, 0, 0, 0]
        - filter: up_proj
          value: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
        - filter: gate_proj
          value: [1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1]
        - filter: down_proj
          value: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
        - value: 1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: bae89d7