/ Модель

Характеристики

Контекст
163 840 токенов
Параметры
28,8 млн
Размер весов
120 МБ
Архитектура
deepseek_v2 · dense
Библиотека
transformers
Опубликована
11 авг 2026

tiny-random-DeepseekV2ForCausalLM

Генерация текстаТекст → текст3 профессии

tiny-random-DeepseekV2ForCausalLM — случайно инициализированная тестовая модель на архитектуре DeepSeek-V2, разработанная для проверки реализации MLA (multi-head latent attention) и MoE в библиотеке Transformers и проектах вроде vLLM.

17 427скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена не для генерации содержательных ответов, а для автоматических тестов и сравнения согласованности различных реализаций без загрузки полноразмерного чекпойнта.

Архитектура включает причинную языковую модель с четырьмя слоями, четырьмя attention heads, скрытым размером 256, восемью маршрутизируемыми и двумя общими экспертами; первый слой плотный, остальные используют MoE. Размер модели составляет около 59,8 млн параметров. Размерности MLA сохранены по образцу DeepSeek-V2-Lite-Chat: kv_lora_rank — 512, qk_nope_head_dim — 128, qk_rope_head_dim — 64, v_head_dim — 128. Используется неизменённый токенизатор DeepSeek-V2-Lite-Chat; другие сведения о языках, модальностях и размере контекста не указаны.

Сильная сторона модели — малый размер при сохранении ключевых параметров, необходимых для тестирования MLA и MoE. Ограничение принципиальное: веса случайные, поэтому результаты модели бессмысленны и не подходят для практического инференса, обучения или оценки качества. Условия лицензирования в README не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tiny-random-DeepseekV2ForCausalLM

Randomly initialised DeepseekV2ForCausalLM for testing MLA (multi-head latent attention) and MoE code paths without loading a 29 GiB checkpoint. Used by vLLM's tests/models/transformers/test_backend.py::test_mla.

The attention head dimensions are copied verbatim from deepseek-ai/DeepSeek-V2-Lite-Chat so that kv_lora_rank + qk_rope_head_dim == 576, the latent head size every MLA kernel is built around. Only the width, depth and expert counts are shrunk.

DeepSeek-V2-Lite-Chatthis model
kv_lora_rank512512
qk_nope_head_dim128128
qk_rope_head_dim6464
v_head_dim128128
hidden_size2048256
num_hidden_layers274
num_attention_heads164
n_routed_experts648
n_shared_experts22
parameters15.7B59.8M

Layer 0 is dense and the rest are MoE (first_k_dense_replace=1), matching the real model. The tokenizer is DeepSeek-V2-Lite-Chat's, unmodified.

The weights are random, so the outputs are meaningless. This is only useful for checking that two implementations agree with each other.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
DeepseekV2ForCausalLM
Ревизия весов
c0146ef

0 моделей