/ Модель
Каталог

Характеристики

Лицензия
GPL 3.0
Базовая модель
Qwen2.5-7B-Instruct-Uncensored
Опубликована
17 окт 2024

Ссылки

Hugging Face

Qwen2.5-7B-Gutenberg-KTO-GGUF

QuantFactory
Генерация текстаТекст → текст4 профессии

QuantFactory/Qwen2.5-7B-Gutenberg-KTO-GGUF — квантизированная версия языковой модели Qwen2.5-7B-Gutenberg-KTO, созданная QuantFactory с использованием llama.cpp.

1 222скачиваний за 30 дней1лайквеса обновлены17 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходную модель разработал Orion-zhen на базе Orion-zhen/Qwen2.5-7B-Instruct-Uncensored; она дообучалась на датасете Orion-zhen/kto-gutenberg с применением стратегии KTO в течение двух эпох. Модель предназначена для генерации текста и локального запуска в формате GGUF.

Модель ориентирована на текстовые сценарии на китайском и английском языках. Известен размер базовой модели — 7 миллиардов параметров; сведения о точной архитектуре, длине контекста и конкретном варианте квантизации в этой карточке не указаны. К числу практических преимуществ относятся уменьшенные требования к памяти и возможность запуска через совместимые инструменты llama.cpp, однако качество и поведение модели автором подробно не оценивались, поэтому производительность на конкретных задачах не гарантируется.

Лицензия модели — GPL-3.0. Использование и распространение должны соответствовать условиям этой лицензии.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuantFactory Banner

QuantFactory/Qwen2.5-7B-Gutenberg-KTO-GGUF

This is quantized version of Orion-zhen/Qwen2.5-7B-Gutenberg-KTO created using llama.cpp

Original Model Card

Qwen2.5-7B-Gutenberg-KTO

This model is fine tuned over gutenberg datasets using kto strategy. It's my first time to use kto strategy, and I'm not sure how the model actually performs.

Compared to those large companies which remove accessories such as charger and cables from packages, I have achieved real environment protection by truly reducing energy consumption, rather than shifting costs to consumers.

Checkout GGUF here: Orion-zhen/Qwen2.5-7B-Gutenberg-KTO-Q6_K-GGUF

Details

Platform

I randomly grabbed some rubbish from a second-hand market and built a PC

I carefully selected various dedicated hardwares and constructed an incomparable home server, which I entitled the Great Server:

  • CPU: Intel Core i3-4160
  • Memory: 8G DDR3, single channel
  • GPU: Tesla P4, TDP 75W, boasting its Eco friendly energy consumption
  • Disk: 1TB M.2 NVME, PCIe 4.0

Training

To practice the eco-friendly training, I utilized various methods, including adam-mini, qlora and unsloth, to minimize VRAM and energy usage, as well as accelerating training speed.

Train log

training_loss

training_eval_loss

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
5062f95

0 моделей

    Создать бенчмарк