Phi-3.5-mini-instruct-awq

Базовая модель разработана Microsoft и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и задач NLP, включая многоязычные сценарии. Репозиторий содержит 4-битные веса в формате Safetensors с AWQ и требует custom code для архитектуры Phi-3.

Модель имеет около 4 млрд параметров, архитектуру decoder-only causal language model Phi3ForCausalLM, 32 слоя, 32 attention heads и заявленный контекст до 128K токенов. Это текстовая, а не мультимодальная модель; в карточке базовой модели заявлена многоязычная поддержка, включая английский, немецкий, испанский, французский, японский, русский, тайский и китайский. Квантизация уменьшает размер репозитория примерно до 2,28 ГБ и предназначена для более компактного локального запуска, однако для самой AWQ-версии отдельные результаты качества и подробные ограничения не опубликованы.

Лицензия и условия использования у репозитория thesven явно не указаны. Для базовой Microsoft Phi-3.5-mini-instruct указана лицензия MIT. Поэтому при использовании квантизованной версии следует отдельно проверить права на распространение самой производной сборки и учитывать ограничения базовой модели, включая возможные пробелы многоязычного качества и необходимость тестирования в конкретном приложении.