gemma2-gutenberg-27B
google/gemma-2-27b-it finetuned on jondurbin/gutenberg-dpo-v0.1.
Method
ORPO tuned with an 80GB A100 on RunPod (plz sponsor me) for 3 epochs.
Характеристики
- Контекст
- 8 192 токена
- Параметры
- 27,6 млрд
- Размер весов
- 54,5 ГБ
- Лицензия
- Gemma
- Архитектура
- gemma2 · dense
- Базовая модель
- gemma-2-27b-it
- Библиотека
- transformers
- Опубликована
- 9 сен 2024
Ссылки
gemma2-gutenberg-27B
Диалоговая модель на базе Gemma 2 27B Instruct, дообученная методом ORPO на датасете Gutenberg для генерации текста.
50скачиваний за 30 дней6лайковвеса обновлены21 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки6
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат0,1982
Open LLM v2 · архивПубличная таблицаревизия совпадает
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат0,0189
Open LLM v2 · архивПубличная таблицаревизия совпадает
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
gemma2-gutenberg-27B — модель генерации текста, созданная nbeerbower на основе Google Gemma 2 27B Instruct. Она дообучена методом ORPO в течение трёх эпох на датасете jondurbin/gutenberg-dpo-v0.1, связанном с произведениями Gutenberg. Модель рассчитана на диалог и генерацию текста; базовая модель поддерживает контекст до 8192 токенов.
Модель содержит 27,6 млрд параметров и распространяется в формате safetensors под лицензией Gemma. Карточка не приводит оценок качества или подробностей о специализации дообучения, поэтому пригодность для конкретных жанров и задач следует проверять на собственных примерах.
Сценарии применения
- генерация художественного текста
- продолжение фрагмента литературного произведения
- диалоговая генерация текста
- создание текста по инструкции
Ограничения
Карточка не содержит результатов оценки качества и конкретных рекомендаций по использованию. Контекст базовой модели ограничен 8192 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейIV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- Gemma2ForCausalLM
- Ревизия весов
- d4febe5