Характеристики

Контекст: 32 768 токенов
Параметры: 1,5 млрд
Размер весов: 22,1 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2_moe · MoE
Библиотека: transformers
Опубликована: 24 янв 2025

Ссылки

Hugging Face

tmoe-v2

ehristoforu

Генерация текстаТекст → текст

Русское описание этой модели ещё готовится. Пока можно заглянуть в карточку модели от автора ниже.

117скачиваний за 30 дней0лайковвеса обновлены24 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,0023
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,11
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MUSR
MUSR Raw · выше — лучше
Результат
0,4151
Open LLM v2 · архив
Публичная таблицаревизия совпадает
IFEval
IFEval Raw · выше — лучше
Результат
0,1903
Open LLM v2 · архив
Публичная таблицаревизия совпадает
GPQA
GPQA Raw · выше — лучше
Результат
0,2634
Open LLM v2 · архив
Публичная таблицаревизия совпадает
BBH
BBH Raw · выше — лучше
Результат
0,2897
Open LLM v2 · архив
Публичная таблицаревизия совпадает

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

base_model: Qwen/Qwen2.5-1.5B-Instruct
gate_mode: cheap_embed
architecture: qwen
experts_per_token: 4
dtype: bfloat16
experts:
  - source_model: Qwen/Qwen2.5-1.5B-Instruct
    positive_prompts: ["chat assistant"]
  - source_model: Qwen/Qwen2.5-Coder-1.5B-Instruct
    positive_prompts: ["code assistant"]
  - source_model: Qwen/Qwen2.5-Math-1.5B-Instruct
    positive_prompts: ["math assistant"]
  - source_model: huihui-ai/Qwen2.5-1.5B-Instruct-abliterated
    positive_prompts: ["uncensored assistant"]
  - source_model: Rombo-Org/Rombo-LLM-V2.5-Qwen-1.5b
    positive_prompts: ["review assistant"]
  - source_model: deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
    positive_prompts: ["logical assistant"]
  - source_model: Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct
    positive_prompts: ["writing assistant"]
  - source_model: RefalMachine/RuadaptQwen2.5-1.5B-instruct
    positive_prompts: ["text editing assistant"]
shared_experts:
  - source_model: Qwen/Qwen2.5-1.5B-Instruct
    positive_prompts: ["chat assistant"]
    residual_scale: 0.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2MoeForCausalLM
Ревизия весов: 8d3d79d