/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Лицензия
Apache 2.0
Архитектура
qwen2 · dense
Опубликована
21 сен 2024

Qwen2.5-7B-Instruct-kowiki-qa-context-gguf

Генерация текстаТекст → текст3 профессии

Это квантованная в формате GGUF версия модели Qwen2.5-7B-Instruct-kowiki-qa, разработанной на основе Qwen2.5-7B-Instruct и адаптированной для задач вопросов и ответов по корейской Википедии.

928скачиваний за 30 дней1лайквеса обновлены22 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходную модель beomi/Qwen2.5-7B-Instruct-kowiki-qa разработал beomi, а квантование выполнил teddylee777 с использованием llama.cpp. Модель предназначена для локального текстового диалога, генерации ответов и работы в сценариях question answering с корейским контекстом.

Модель относится к классу instruct-моделей для генерации текста и имеет размер 7B параметров. Она поддерживает корейский и английский языки; в шаблоне использования явно задано требование отвечать на корейском языке. Доступна в формате GGUF, что делает её пригодной для запуска через совместимые локальные инструменты, включая llama.cpp и LM Studio. В указанной конфигурации используется контекст до 128000 токенов и температура 0.

К сильным сторонам относятся специализация на корейских вопросах и ответах, поддержка английского языка, возможность локального запуска и сниженные требования к ресурсам благодаря квантованию. Ограничения включают зависимость качества от исходной модели и выбранного квантования, а также отсутствие в README подробностей о точности, используемом датасете, конкретном варианте квантования и производительности. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

📌 Notice

💬 Template

FROM Qwen2.5-7B-Instruct-kowiki-qa-context-Q8_0.gguf

TEMPLATE """{{- if .System }}
<|im_start|>system
{{ .System }}
<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}
<|im_end|>
<|im_start|>assistant
"""

SYSTEM """You are Qwen, created by Alibaba Cloud. You are a helpful assistant. 모든 대답은 한국어로 해주세요."""

PARAMETER temperature 0
PARAMETER num_ctx 128000
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

🧑‍💻 Helpful Contents

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
Qwen2ForCausalLM
Ревизия весов
7cd089b

0 моделей