/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
15,2 ГБ
Лицензия
GPL 3.0
Архитектура
qwen2 · dense
Базовая модель
Qwen2.5-7B-Instruct-Uncensored
Опубликована
12 окт 2024

Ссылки

Hugging Face

Qwen2.5-7B-Gutenberg-KTO

Orion-zhen
Генерация текстаТекст → текст3 профессии

Дообученная на текстах Gutenberg диалоговая модель Qwen2.5 с 7,1 млрд параметров для генерации ответов на китайском и английском языках.

26скачиваний за 30 дней5лайковвеса обновлены12 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Qwen2.5-7B-Gutenberg-KTO — диалоговая модель генерации текста, созданная Orion-zhen путём дообучения Qwen2.5-7B-Instruct-Uncensored на данных Gutenberg со стратегией KTO. Она предназначена для генерации ответов и продолжения текста по запросам; карточка не приводит специализированных сценариев применения. Модель использует плотную архитектуру Qwen2 и содержит 7,1 млрд параметров, поддерживает контекст длиной до 32 768 токенов и рассчитана на китайский и английский языки.

При обучении автор применял QLoRA, Unsloth и adam-mini, а также указывает два эпоха обучения. Автор отмечает, что это его первая попытка обучения KTO и качество модели ему неизвестно, поэтому её результаты следует оценивать самостоятельно. Репозиторий распространяется по лицензии GPL-3.0.

Сценарии применения

  • генерация ответов на запросы на китайском языке
  • генерация ответов на запросы на английском языке
  • продолжение текста в стиле корпуса Gutenberg
  • эксперименты с обучением языковых моделей методом KTO

Ограничения

Автор не уверен в качестве модели и указывает, что это его первая попытка обучения методом KTO. Результаты следует проверять для конкретных задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen2.5-7B-Gutenberg-KTO

This model is fine tuned over gutenberg datasets using kto strategy. It's my first time to use kto strategy, and I'm not sure how the model actually performs.

Compared to those large companies which remove accessories such as charger and cables from packages, I have achieved real environment protection by truly reducing energy consumption, rather than shifting costs to consumers.

Checkout GGUF here: Orion-zhen/Qwen2.5-7B-Gutenberg-KTO-Q6_K-GGUF

Details

Platform

I randomly grabbed some rubbish from a second-hand market and built a PC

I carefully selected various dedicated hardwares and constructed an incomparable home server, which I entitled the Great Server:

  • CPU: Intel Core i3-4160
  • Memory: 8G DDR3, single channel
  • GPU: Tesla P4, TDP 75W, boasting its Eco friendly energy consumption
  • Disk: 1TB M.2 NVME, PCIe 4.0

Training

To practice the eco-friendly training, I utilized various methods, including adam-mini, qlora and unsloth, to minimize VRAM and energy usage, as well as accelerating training speed.

Train log

training_loss

training_eval_loss

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen2ForCausalLM
Ревизия весов
ca28aaa

0 моделей

    Создать бенчмарк