Дообученная 34-миллиардная языковая модель с контекстом 200 000 токенов, предназначенная для дальнейшей настройки под нужное поведение и стиль.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это плотная авторегрессионная языковая модель семейства Llama, дообученная adamo1139 на базе Yi-34B-200K-XLCTX с помощью ORPO и GaLore на 4-битных весах. Модель содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов.
Она предназначена как базовая точка для дальнейшего дообучения, особенно если требуется получить модель с меньшим количеством унаследованного поведения из обучения на данных OpenAI. Это не чат-модель и не рассчитана на непосредственное диалоговое использование; основной сценарий — дальнейшая настройка под нужный стиль и поведение. Карточка указывает лицензию Apache-2.0.
Это не чат-модель и предназначена прежде всего для дальнейшего дообучения, поэтому её не следует считать готовым диалоговым ассистентом. README не сообщает результаты оценки качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Finetune of Yi-34B-200K (the version with better ctx, Yi-34B-200K v2 or Yi-34B-200K-XLCTX (my preffered name)) on adamo1139/rawrr_v2_2_stage1 dataset via ORPO and GaLore on 4-bit (bnb) weights.
This is not a chat model!! It's meant to serve as base for further finetuning that has less behaviour inherited from being trained on OpenAI etc. AI generated content. If you don't want your finetune to sound like an AI model, using this as a base should be a good idea.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…