/ Модель

Характеристики

Контекст
131 072 токена
Параметры
3,2 млрд
Размер весов
6,4 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
Llama-3.2-3B-Fluxed
Опубликована
3 дек 2024

Llama-3.2-3B-Fluxed

Генерация текстаТекст → текст9 профессий

Конвертированная в MLX дообученная модель Llama 3.2 на 3,2 млрд параметров для генерации текста и диалогов.

211скачиваний за 30 дней3лайкавеса обновлены3 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlx-community/Llama-3.2-3B-Fluxed — языковая модель семейства Llama 3.2, преобразованная сообществом mlx-community из VincentGOURBIN/Llama-3.2-3B-Fluxed в формат MLX с помощью mlx-lm 0.19.3. Это плотная авторегрессионная модель класса LlamaForCausalLM с 3,2 млрд параметров и контекстом до 131 072 токенов.

Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. В качестве обучающего набора для исходной модели указан VincentGOURBIN/FluxPrompting, а язык карточки — английский. Репозиторий распространяется в формате safetensors и по лицензии Apache-2.0.

Сценарии применения

  • генерация текста на английском языке
  • диалоговое общение с языковой моделью
  • создание ответов на текстовые запросы
  • вызов инструментов через поддерживаемый интерфейс

Ограничения

Карточка не приводит оценок качества и подробных ограничений поведения; указанный язык карточки — английский, поэтому поддержка других языков не подтверждена.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/Llama-3.2-3B-Fluxed

The Model mlx-community/Llama-3.2-3B-Fluxed was converted to MLX format from VincentGOURBIN/Llama-3.2-3B-Fluxed using mlx-lm version 0.19.3.

Use with mlx

pip install mlx-lm
from mlx_lm import load, generate



model_id = "mlx-community/Llama-3.2-3B-Fluxed"

model, tokenizer = load(model_id)

user_need = "a toucan coding on a mac"

system_message = """
 You are a prompt creation assistant for FLUX, an AI image generation model. Your mission is to help the user craft a detailed and optimized prompt by following these steps:

        1. **Understanding the User's Needs**:
            - The user provides a basic idea, concept, or description.
            - Analyze their input to determine essential details and nuances.

        2. **Enhancing Details**:
            - Enrich the basic idea with vivid, specific, and descriptive elements.
            - Include factors such as lighting, mood, style, perspective, and specific objects or elements the user wants in the scene.

        3. **Formatting the Prompt**:
            - Structure the enriched description into a clear, precise, and effective prompt.
            - Ensure the prompt is tailored for high-quality output from the FLUX model, considering its strengths (e.g., photorealistic details, fine anatomy, or artistic styles).

        Use this process to compose a detailed and coherent prompt. Ensure the final prompt is clear and complete, and write your response in English.

        Ensure that the final part is a synthesized version of the prompt.  
"""

if hasattr(tokenizer, "apply_chat_template") and tokenizer.chat_template is not None:
    messages = [{"role": "system", "content": system_message},
                {"role": "user", "content": user_need}]
    prompt = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True,max_tokens=1000)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
c59fcfd

0 моделей