/ Модель

Характеристики

Лицензия
MIT
Базовая модель
VibeThinker-3B
Опубликована
19 июн 2026

VibeThinker-3B-GGUF

Генерация текстаТекст → текст14 профессий

constructai/VibeThinker-3B-GGUF — это квантизированная версия языковой модели VibeThinker-3B, разработанной WeiboAI и преобразованной в формат GGUF командой constructai.

920скачиваний за 30 дней2лайкавеса обновлены19 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и эффективного запуска на CPU и GPU с помощью llama.cpp, Ollama, LM Studio и других совместимых средств.

Модель содержит около 3 миллиардов параметров и ориентирована на задачи рассуждения, математики, программирования, instruction-following и оценки уровня GPQA. Доступны варианты с разными уровнями квантизации и размером файлов примерно от 791 МБ до 6,18 ГБ, включая F16, Q8_0, Q6_K, Q5_K, Q4_K и другие форматы. README не указывает поддерживаемые языки, максимальную длину контекста и наличие мультимодальных возможностей, поэтому модель следует считать текстовой, а эти характеристики — неизвестными.

К сильным сторонам относятся относительно небольшой размер, широкий выбор квантизаций и возможность локального запуска на доступном оборудовании. Более агрессивная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с F16 или менее сжатыми вариантами. Модель распространяется по лицензии MIT; исходная модель также указана как лицензированная по MIT.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

constructai/VibeThinker-3B-GGUF

This is a quantized version of the original VibeThinker-3B , converted to the GGUF format for efficient CPU/GPU inference with llama.cpp, Ollama, or any GGUF‑compatible runner.


Original Model


Available Quantizations

Choose the quantization that fits your needs:

QuantizationFile Size
UD-IQ1_S791 MB
UD-IQ1_M850 MB
UD-IQ2_XXS948 MB
Q2_K1.27 GB
UD-IQ2_M1.14 GB
UD-Q2_K_XL1.27 GB
UD-IQ3_XXS1.28 GB
Q3_K_S1.45 GB
UD-IQ3_S1.46 GB
Q3_K_M1.59 GB
UD-Q3_K_M1.59 GB
UD-Q3_K_XL1.71 GB
UD-IQ4_XS1.74 GB
Q4_K_S1.83 GB
UD-IQ4_NL1.83 GB
Q4_K_M1.93 GB
UD-Q4_K_XL1.93 GB
Q5_K_S2.17 GB
UD-Q5_K_S2.17 GB
Q5_K_M2.22 GB
UD-Q5_K_M2.22 GB
UD-Q5_K_XL2.22 GB
Q6_K2.54 GB
UD-Q6_K2.54 GB
UD-Q6_K_XL2.54 GB
Q8_03.29 GB
UD-Q8_K_XL3.29 GB
F166.18 GB

For a 3B‑parameter model, even the larger files are quite manageable. Here’s what I recommend: F16 (6.18 GB) or Q8_0 (3.29 GB).

The other quants are also usable!


Usage

With ollama

ollama run hf.co/constructai/VibeThinker-3B-GGUF:F16

With llama.cpp

llama-server -hf constructai/VibeThinker-3B-GGUF:VibeThinker-3B-GGUF-F16.gguf

or

llama-cli -hf constructai/VibeThinker-3B-GGUF:VibeThinker-3B-GGUF-F16.gguf

With LM Studio

lms get constructai/VibeThinker-3B-GGUF@F16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
6f268ff

0 моделей