Характеристики

Контекст: 4 096 токенов
Параметры: 3,7 млрд
Размер весов: 2,2 ГБ
Лицензия: MIT
Архитектура: phi3 · dense
Базовая модель: Phi-3-mini-4k-instruct
Библиотека: transformers
Опубликована: 19 сен 2026

Ссылки

flatquant-phi3-mini-4k-g52xlarge

chris320211

Генерация текстаТекст → текст8 профессий

Квантованный вариант Phi-3-mini-4k-instruct для диалогов и генерации текста с ускоренным инференсом и сниженным расходом VRAM.

569скачиваний за 30 дней0лайковвеса обновлены19 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это производный квантованный артефакт модели Microsoft Phi-3-mini-4k-instruct, опубликованный пользователем chris320211. Он предназначен для генерации текста и диалогов; репозиторий содержит упакованные веса для runtime, а не обычный чекпойнт fp16. Архитектура — плотная Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов.

В README приведено сравнение с исходной версией fp16 на WikiText-2 на NVIDIA A10G: квантованный вариант показал более высокую пропускную способность и меньшую потребность в VRAM, но более высокую perplexity. Для загрузки требуется специальный inference-адаптер и соответствующий репозиторий метода; стандартный вызов AutoModelForCausalLM.from_pretrained не подходит. Лицензия — MIT.

Сценарии применения

генерация ответов в диалоговом интерфейсе
суммаризация коротких текстов
подготовка черновиков и продолжение текста
запуск компактной языковой модели на GPU с ограниченной VRAM

Ограничения

На WikiText-2 perplexity квантованной версии выше, чем у исходной fp16-модели. Артефакт не загружается напрямую через AutoModelForCausalLM.from_pretrained и требует специального inference-адаптера.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FlatQuant microsoft/Phi-3-mini-4k-instruct

Quantized derivative of microsoft/Phi-3-mini-4k-instruct. Not Hub fp16. Weights are the packed/runtime artifact from job 20260919T202736Z-5a1860.

WikiText-2 (test, 2048-token windows, 65504 tokens)

Measured on NVIDIA A10G (g5.2xlarge) against the original fp16 snapshot. Numbers copied from jobs/20260919T202736Z-5a1860/benchmark.json.

	Quantized	fp16 snapshot
Perplexity	7.393646	6.332276
NLL loss	2.000621	1.845660
Tokens/s (2048 prefill, after warmup)	5105.9	3387.6
Peak VRAM (GB)	3.355	9.681

ppl_ratio: 1.167613 (quality_ok=True)
improved_throughput: True
improved_vram: True

Pull

from huggingface_hub import snapshot_download
path = snapshot_download("chris320211/flatquant-phi3-mini-4k-g52xlarge")

This is not a drop-in AutoModelForCausalLM.from_pretrained checkpoint. Reload with the included quant_agent_inference_adapter.py after the method repo (and overlay, if any) is on QUANT_AGENT_METHOD_REPO. See quantization_config.json.

License

Base model license (MIT for Phi-3) plus the method repository license. Keep LICENSE / NOTICE.md from the snapshot when present.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Phi3ForCausalLM
Ревизия весов: e317c37