Phi-3-mini-128k-instruct-FP8

Репозиторий nm-testing содержит FP8-квантизованный вариант, предназначенный прежде всего для тестирования и инференса в экосистемах llm-compressor, compressed-tensors и vLLM; отдельная карточка модели не предоставлена.

Модель имеет около 4 млрд параметров, принимает и генерирует текст, поддерживает контекст до 128K токенов и ориентирована на assistant-like chat, генерацию текста и диалоговые сценарии. Вариант использует FP8 для квантизации весов и активаций, что уменьшает требования к памяти и дисковому пространству по сравнению с исходной моделью, но может немного снижать качество. Архитектура соответствует Phi-3; в конфигурации указаны 32 слоя, hidden size 3072 и 32 attention heads. Основной язык применения — английский; использование на других языках заявлено как неподдерживаемое или выходящее за целевую область.

Сильные стороны — малый размер, длинный контекст и возможность эффективного запуска на совместимом GPU с FP8. Ограничения включают отсутствие подробной собственной model card, зависимость от совместимого программного и аппаратного стека, а также ограничения базовой модели по языку и назначению. Для исходной модели указана лицензия MIT; в найденных материалах для этого квантизованного варианта отдельные условия лицензии не приведены.