/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
3,8 млрд
Размер весов
12,4 ГБ
Лицензия
Apache 2.0
Архитектура
phi4mm · dense
Базовая модель
Phi-4-multimodal-instruct
Библиотека
adapter-transformers
Опубликована
10 июл 2025

StreamUni-Phi4

Генерация текстаТекст → текст

Адаптер на базе Phi-4-multimodal-instruct для диалоговой работы с аудио и генерации текстовых ответов.

0скачиваний за 30 дней7лайковвеса обновлены14 июл 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ICTNLP/StreamUni-Phi4 — адаптер, дообученный ICTNLP на базе мультимодальной модели Microsoft Phi-4-multimodal-instruct. Модель предназначена для работы с аудио и текстом; в метаданных Hugging Face основная задача указана как audio-text-to-text, а каталог также отмечает генерацию текста и диалоговые возможности. Размер модели — 3,8 млрд параметров, архитектура плотная Phi4MMForCausalLM, максимальный контекст — 4096 токенов. Репозиторий содержит веса в формате safetensors и связан с набором данных ICTNLP/StreamUni.

Модель подходит для диалоговых сценариев с аудио и генерации текстовых ответов на аудиовход. Базовая модель также поддерживает анализ изображений и распознавание речи, однако карточка этой модели не подтверждает, что эти функции входят в возможности адаптера. Для запуска README рекомендует Python 3.10 и перечисляет зависимости, включая Transformers 4.48.2, PyTorch и PEFT. Лицензия — Apache-2.0.

Сценарии применения

  • диалоговые ответы на аудиовход
  • генерация текста по аудиоконтексту
  • создание мультимодального чат-бота с аудиовводом

Ограничения

Карточка не описывает точные поддерживаемые языки и не приводит оценок качества или подробностей обучения. Для запуска README указывает зависимость от конкретных версий Transformers и других библиотек.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The model for the paper 'StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model'

Usage

Please refer to Github Page

Requirements

Phi-4 family has been integrated in the 4.48.2 version of transformers. The current transformers version can be verified with: pip list | grep transformers. We suggest to run with Python 3.10. Examples of required packages:

flash_attn==2.7.4.post1
torch==2.6.0
transformers==4.48.2
accelerate==1.3.0
soundfile==0.13.1
pillow==11.1.0
scipy==1.15.2
torchvision==0.21.0
backoff==2.2.1
peft==0.13.2

Training Datasets

Github Pages

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · adapter-transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
Phi4MMForCausalLM
Ревизия весов
513c781

0 моделей