Характеристики

Контекст: 32 768 токенов
Лицензия: Своя лицензия
Архитектура: qwen2_5_omni · dense
Базовая модель: Qwen2.5-Omni-3B
Библиотека: mlx
Опубликована: 7 мая 2025

Ссылки

Hugging Face

qwen2.5-omni-3b-mlx-4bit

giangndm

Генерация текстаТекст → текст

Конвертированная для MLX мультимодальная модель Qwen2.5-Omni-3B для диалоговой генерации текста.

111скачиваний за 30 дней1лайквеса обновлены7 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

giangndm/qwen2.5-omni-3b-mlx-4bit — конвертированная для MLX версия мультимодальной модели Qwen2.5-Omni-3B. Репозиторий подготовлен с помощью mlx-lm версии 0.24.0 и предназначен для запуска на системах, поддерживающих MLX. Модель основана на плотной архитектуре Qwen2.5-Omni и поддерживает диалоговую генерацию текста.

Базовая модель рассчитана на работу с текстом, изображениями, аудио и видео, а также на генерацию текстовых и речевых ответов. Однако карточка этого репозитория не описывает отдельные сценарии использования или проверенные возможности именно данной сборки. Указан формат safetensors; лицензия обозначена как other, поэтому конкретные условия использования следует сверять с карточкой модели и базовой модели.

Сценарии применения

диалоговые ответы на текстовые запросы
запуск Qwen2.5-Omni на системах с поддержкой MLX
эксперименты с мультимодальной базовой моделью Qwen

Ограничения

Карточка не уточняет контекстное окно и не документирует, какие мультимодальные входы доступны именно в этой сборке. Лицензия указана как other, поэтому условия использования следует проверить отдельно.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

giangndm/qwen2.5-omni-3b-mlx-4bit

This model giangndm/qwen2.5-omni-3b-mlx-4bit was converted to MLX format from Qwen/Qwen2.5-Omni-3B using mlx-lm version 0.24.0.

Use with mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("giangndm/qwen2.5-omni-3b-mlx-4bit")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: Qwen2_5OmniModel
Ревизия весов: d0aa433