Экспериментальная 34-миллиардная языковая модель, дообученная для генерации текста и диалоговых ответов с контекстом до 32 768 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
adamo1139/Yi-1.5-34B-32K-rebased-1406 — языковая модель на архитектуре Llama с 33,9 млрд параметров и контекстом до 32 768 токенов. Автор дообучил Yi-1.5-34B-32K методом SFT на наборе uninstruct-v1-experimental-chatml, затем провёл обучение ORPO на rawrr_v2-2_stage1. Модель предназначена для генерации текста и диалоговых ответов.
Автор описывает её как эксперимент по устранению загрязнения синтетическими данными в SFT исходной Yi-1.5-34B-32K. В README также упоминается план дальнейшей работы с датасетом AEZAKMI v4, поэтому текущий чекпойнт следует считать экспериментальным. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Автор обозначает модель как эксперимент и указывает на проблему синтетического загрязнения обучающих данных, которую эта версия пытается исправить. Результаты и языковой охват в карточке не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Yi-1.5-34B-32K finetuned via SFT on adamo1139/uninstruct-v1-experimental-chatml. Then trained via ORPO on adamo1139/rawrr_v2-2_stage1. It's an attempt to fix synthetic SFT contamination of original Yi-1.5-34B-32K.
Next up:
Cleaning and releasing AEZAKMI v4 dataset.
Training this model on it. Maybe adding some toxic-dpo-natural on it if needed. Releasing it.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…