Характеристики

Контекст: 262 144 токена
Лицензия: Своя лицензия
Базовая модель: Huihui-Qwen3.5-2B-abliterated
Библиотека: mlc-llm
Опубликована: 2 окт 2026

Ссылки

Huihui-Qwen3.5-2B-abliterated-q4f16_1-MLC

Генерация текстаТекст → текст

Квантизированная сборка Qwen3.5-2B с ослабленными отказами для генерации текста и диалогов в браузере через WebLLM и WebGPU.

126скачиваний за 30 дней1лайквеса обновлены2 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конвертированная для MLC сборка модели Huihui-Qwen3.5-2B-abliterated, опубликованная RaiseRuntimeError. Она предназначена для генерации текста и диалогов прямо в браузере через WebLLM и WebGPU. Модель основана на архитектуре Qwen3.5 с 2 млрд параметров, 24 слоями и размером скрытого состояния 2048; применена квантизация q4f16_1. В конфигурации примера размер окна контекста составляет 4096 токенов.

Сборка рассчитана на клиентский запуск и требует около 2245 МБ видеопамяти по указанной конфигурации. Ослабление отказов унаследовано от базовой модели Huihui; это не отдельная разработка RaiseRuntimeError. Лицензия в метаданных обозначена как other, конкретные условия следует сверять с карточкой модели и её базовой модели.

Сценарии применения

запуск чат-модели локально в браузере
генерация ответов на текстовые запросы
создание диалогового интерфейса на WebGPU

Ограничения

Для браузерного запуска требуется WebGPU и около 2,2 ГБ видеопамяти согласно примеру конфигурации; приведённое окно контекста составляет 4096 токенов. Конкретная лицензия указана как other, поэтому условия использования нужно уточнить в карточках этой сборки и базовой модели.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Huihui Qwen3.5-2B (abliterated) — MLC q4f16_1

MLC-converted (q4f16_1) build of the abliterated huihui-ai/Huihui-Qwen3.5-2B-abliterated model, for running fully client-side in the browser via WebLLM (WebGPU).

Base model: huihui-ai/Huihui-Qwen3.5-2B-abliterated (all credit to Huihui for the abliteration)
Quantization: q4f16_1
Architecture: Qwen3.5-2B (model_type: qwen3_5, hidden 2048, 24 layers)
Converted with: mlc-llm convert_weight (source build)

Usage (WebLLM)

import * as webllm from "https://esm.run/@mlc-ai/web-llm@0.2.84";

const appConfig = {
  model_list: [
    {
      model: "https://huggingface.co/RaiseRuntimeError/Huihui-Qwen3.5-2B-abliterated-q4f16_1-MLC",
      model_id: "Huihui-Qwen3.5-2B-abliterated-q4f16_1-MLC",
      model_lib:
        webllm.modelLibURLPrefix + webllm.modelVersion + "/Qwen3.5-2B-q4f16_1_cs1k-webgpu.wasm",
      vram_required_MB: 2245.44,
      overrides: { context_window_size: 4096, max_history_size: 1 },
    },
  ],
};

const engine = await webllm.CreateMLCEngine(
  "Huihui-Qwen3.5-2B-abliterated-q4f16_1-MLC",
  { appConfig },
);

Notes

This is a derivative of a third-party abliterated model, re-quantized to MLC q4f16_1 for browser inference. The abliteration itself is the work of huihui-ai.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlc-llm

Нельзя запустить

Модели MLC-LLM требуют отдельного рантайма.

Ревизия весов: 8ba3ccb