Характеристики

Контекст: 131 072 токена
Параметры: 14 млрд
Размер весов: 29,5 ГБ
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-14B
Библиотека: transformers
Опубликована: 19 дек 2024

Ссылки

Hugging Face arXiv 2311.03099 arXiv 2306.01708

Qwen2.5-14B-Wernickev3

CultriX

Генерация текстаТекст → текст14 профессий

Слитая 14-миллиардная модель на базе Qwen2.5 для диалоговой генерации текста и работы с длинным контекстом.

31скачиваний за 30 дней3лайкавеса обновлены19 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MUSR
MUSR Raw · выше — лучше
Результат
0,4717
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,3542
Open LLM v2 · архив
Публичная таблицаревизия совпадает
GPQA
GPQA Raw · выше — лучше
Результат
0,3624
Open LLM v2 · архив
Публичная таблицаревизия совпадает
IFEval
IFEval Raw · выше — лучше
Результат
0,7048
Open LLM v2 · архив
Публичная таблицаревизия совпадает
BBH
BBH Raw · выше — лучше
Результат
0,6184
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,5151
Open LLM v2 · архив
Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CultriX/Qwen2.5-14B-Wernickev3 — языковая модель для генерации текста, созданная CultriX путём слияния нескольких предварительно обученных моделей с помощью mergekit. В качестве базовой модели использована Qwen/Qwen2.5-14B; также в слияние вошли QwenSlerp6-14B, QwenStock3-14B, SeQwence-14B-EvolMerge, Qwen2.5-14B-Wernicke и SauerkrautLM-v2-14b-DPO. Применён метод DARE TIES.

Модель основана на плотной архитектуре Qwen2 и содержит 14 млрд параметров. Она работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Подходит для диалоговой генерации и других задач продолжения текста; метаданные также отмечают интерфейс вызова инструментов.

Модель использует лицензию Qwen/Qwen2.5-14B — Apache-2.0. Слияние объединяет свойства исходных моделей, но README не приводит отдельных оценок качества или сведений о специализации; качество для конкретных задач следует проверять самостоятельно.

Сценарии применения

генерация ответов в диалоговом чат-боте
продолжение и написание текстов
ответы на вопросы с большим контекстом
использование инструментов в диалоговом приложении

Ограничения

README не приводит результатов оценки качества или подтверждённой специализации модели; пригодность для конкретных задач нужно проверять отдельно. Интерфейс вызова инструментов указан в метаданных, но подробности его использования в карточке не описаны.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the DARE TIES merge method using Qwen/Qwen2.5-14B as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

### CONFIG SuperiorMerge-14B-From-2-to-10 ###

models:
  - model: VAGOsolutions/SauerkrautLM-v2-14b-DPO
    parameters:
      weight: 0.25    # Prioritize top IFEval
      density: 0.6     # Keep a large portion for strong factual baseline

  - model: allknowingroger/QwenSlerp6-14B
    parameters:
      weight: 0.25    # High weight for MATH and balanced reasoning
      density: 0.6     # Retain robust reasoning capabilities

  - model: CultriX/SeQwence-14B-EvolMerge
    parameters:
      weight: 0.20    # Important for best BBH and near-top MUSR
      density: 0.5     # Moderate density to ensure these strengths blend well

  - model: CultriX/Qwen2.5-14B-Wernicke
    parameters:
      weight: 0.15    # Adds top GPQA performance
      density: 0.5     # Sufficient to preserve QA strengths

  - model: allknowingroger/QwenStock3-14B
    parameters:
      weight: 0.15    # For top MMLU-PRO, enhancing domain knowledge
      density: 0.5     # Balanced integration of diverse subject expertise

base_model: Qwen/Qwen2.5-14B
merge_method: dare_ties
parameters:
  normalize: true      # Ensures parameter scaling compatibility
  int8_mask: true      # Memory and computational efficiency
dtype: bfloat16
tokenizer_source: Qwen/Qwen2.5-14B-Instruct

### END OF CONFIG SuperiorMerge-14B-From-2-to-10 ###

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: bd141b0