4-битная конверсия тайско-английской чат-модели Openthaigpt на архитектуре Llama для генерации диалогового текста в среде MLX.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это 4-битная версия Openthaigpt-1.0.0-7b-chat, преобразованная сообществом mlx-community из openthaigpt/openthaigpt-1.0.0-7b-chat в формат MLX для запуска с mlx-lm. Модель представляет собой плотную авторегрессионную языковую модель семейства Llama с 6,6 млрд параметров и контекстом до 4096 токенов.
Модель предназначена для генерации текста в диалоговом режиме на тайском и английском языках. Репозиторий указывает лицензию Apache-2.0. Карточка этой конверсии не приводит подробностей о качестве ответов и специфических ограничениях исходной модели.
Контекст ограничен 4096 токенами. Сведения о качестве и ограничениях исходной модели в этой карточке не приведены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from openthaigpt/openthaigpt-1.0.0-7b-chat.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/openthaigpt-1.0.0-7b-chat-4bit-mlx")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.