Phi-3-mini-4k-instruct-GGUF — квантизированная версия инструкционной модели Phi-3-mini-4k-instruct, разработанной Microsoft.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая применение в локальных и встраиваемых AI-сценариях через GaiaNet.
Модель относится к семейству Phi и поставляется в формате GGUF. Она рассчитана на контекст до 4000 токенов, использует шаблон prompt phi-3-chat и поддерживает английский язык. Квантизация выполнена компанией Second State Inc. с использованием llama.cpp b3333. В README не указаны точный размер модели, конкретный вариант квантизации, перечень поддерживаемых модальностей или специализированные показатели качества.
Сильными сторонами модели являются инструкционный режим работы, компактный формат GGUF и возможность запуска через совместимую инфраструктуру GaiaNet и llama.cpp. Ограничениями могут быть поддержка только текстовых задач и ограниченный контекст в 4000 токенов; сведения о производительности, качестве на отдельных задачах и системных требованиях отсутствуют. Модель распространяется по лицензии MIT.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
microsoft/Phi-3-mini-4k-instruct
Prompt template:
prompt template: phi-3-chat
Context size:
chat_ctx_size: 4000
Run with GaiaNet:
Quick start: https://docs.gaianet.ai/node-guide/quick-start
Customize your node: https://docs.gaianet.ai/node-guide/customize
Quantized with llama.cpp b3333
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.