Текстовая модель ETRI на базе Llama 13B, дообученная для следования инструкциям и ответов в диалогах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ETRI xainlp team разработала текстовую генеративную модель на архитектуре Llama с 12,9 млрд параметров. В основе лежит meta-llama/Llama-13b-hf; модель дообучена на 650 тыс. примеров для следования инструкциям, затем на 280 тыс. примеров LIMA и на 90 тыс. примеров предпочтений пользователей с применением DPO и LoRA.
Модель принимает текст и генерирует текст, поэтому подходит для диалоговых сценариев и выполнения инструкций. Длина контекста составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Контекст ограничен 4096 токенами. В карточке не приведены результаты оценки качества модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Model Developers ETRI xainlp team
Input text only.
Output text only.
Model Architecture
Base Model meta-llama/Llama-13b-hf
Training Dataset
fully sft: 650k instruction-following set
lima sft: 280k instruction-following set
dpo+lora: 90k user preference set
We use A100 GPU 80GB * 7, when training.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…