Адаптер на базе Phi-4-multimodal-instruct для диалоговой работы с аудио и генерации текстовых ответов.
0скачиваний за 30 дней7лайковвеса обновлены14 июл 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ICTNLP/StreamUni-Phi4 — адаптер, дообученный ICTNLP на базе мультимодальной модели Microsoft Phi-4-multimodal-instruct. Модель предназначена для работы с аудио и текстом; в метаданных Hugging Face основная задача указана как audio-text-to-text, а каталог также отмечает генерацию текста и диалоговые возможности. Размер модели — 3,8 млрд параметров, архитектура плотная Phi4MMForCausalLM, максимальный контекст — 4096 токенов. Репозиторий содержит веса в формате safetensors и связан с набором данных ICTNLP/StreamUni.
Модель подходит для диалоговых сценариев с аудио и генерации текстовых ответов на аудиовход. Базовая модель также поддерживает анализ изображений и распознавание речи, однако карточка этой модели не подтверждает, что эти функции входят в возможности адаптера. Для запуска README рекомендует Python 3.10 и перечисляет зависимости, включая Transformers 4.48.2, PyTorch и PEFT. Лицензия — Apache-2.0.
Сценарии применения
диалоговые ответы на аудиовход
генерация текста по аудиоконтексту
создание мультимодального чат-бота с аудиовводом
Ограничения
Карточка не описывает точные поддерживаемые языки и не приводит оценок качества или подробностей обучения. Для запуска README указывает зависимость от конкретных версий Transformers и других библиотек.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Phi-4 family has been integrated in the 4.48.2 version of transformers. The current transformers version can be verified with: pip list | grep transformers.
We suggest to run with Python 3.10.
Examples of required packages: