/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,6 млрд
Размер весов
4 ГБ
Лицензия
MIT
Архитектура
llama · dense
Опубликована
1 мар 2024

ChatMusician-hf-4bit-mlx

Генерация текстаТекст → текст3 профессии

Конверсия 4-битной модели ChatMusician для MLX, предназначенная для генерации текста.

217скачиваний за 30 дней0лайковвеса обновлены1 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ChatMusician-hf-4bit-mlx — 6,6-миллиардная плотная языковая модель семейства Llama, преобразованная mlx-community из m-a-p/ChatMusician в формат MLX с 4-битными весами. Она предназначена для генерации текста; подробности о специализированных возможностях ChatMusician приведены в исходной карточке модели. Контекст модели составляет 2048 токенов, в метаданных указан английский язык. Модель распространяется по лицензии MIT.

Сценарии применения

  • генерация текста на английском языке
  • локальный запуск языковой модели на устройствах Apple с MLX
  • эксперименты с генерацией текста на базе Llama

Ограничения

Контекст ограничен 2048 токенами. README не описывает специализированные возможности этой конверсии; за подробностями отсылает к карточке исходной модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/ChatMusician-hf-4bit-mlx

This model was converted to MLX format from m-a-p/ChatMusician. Refer to the original model card for more details on the model.

Use with mlx

pip install mlx-lm
import re
from string import Template
from mlx_lm.utils import generate, load

prompt_template = Template("Human: ${inst} </s> Assistant: ")


model, tokenizer = load("mlx-community/ChatMusician-hf-4bit-mlx")

instruction = """"Develop a musical piece using the given chord progression.
'Dm', 'C', 'Dm', 'Dm', 'C', 'Dm', 'C', 'Dm'
"""
prompt = prompt_template.safe_substitute({"inst": instruction})

response = generate(
    model=model,
    tokenizer=tokenizer,
    prompt=prompt,
    temp=0.6,
    top_p=0.9,
    max_tokens=1000,
    repetition_penalty=1.1,
)

# pip install symusic
from symusic import Score, Synthesizer
import wave

abc_pattern = r"(X:\d+\n(?:[^\n]*\n)+)"
abc_notation = re.findall(abc_pattern, response + "\n")[0]
s = Score.from_abc(abc_notation)
audio = Synthesizer().render(s, stereo=True)

sample_rate = 44100
audio = (audio * 32767).astype("int16")
with wave.open("cm_music_piece.wav", "w") as wf:
    wf.setnchannels(2)
    wf.setsampwidth(2)
    wf.setframerate(sample_rate)
    wf.writeframes(audio.tobytes())

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
457ed0e

0 моделей