Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 16,1 ГБ
Лицензия: Apache 2.0
Архитектура: llama · dense
Базовая модель: llama-3-8b-bnb-4bit
Опубликована: 3 мая 2024

Ссылки

Hugging Face

Llama-3-SOLAR-v0.1

cookinai

Генерация текстаТекст → текст

Экспериментальное дообучение Llama 3 для генерации ответов на инструкции и решения математических задач.

19скачиваний за 30 дней0лайковвеса обновлены15 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

cookinai/Llama-3-SOLAR-v0.1 — экспериментальная модель cookinai, созданная как неофициальная попытка воспроизвести подход SOLAR на базе Llama 3. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 8192 токенов; она принимает текст и генерирует текст на английском языке.

Модель дообучена методом SFT на наборах с инструкциями и математическими задачами, включая варианты Alpaca-GPT4, SlimOrca и MetaMathQA. Автор указывает, что дополнительные испытания ещё планируются; DPO-дообучение упомянуто как возможное продолжение, а не как завершённая часть этой версии. Модель подходит для генерации ответов на инструкции и решения математических вопросов. Это не официальная модель Upstage SOLAR; доступна по лицензии Apache-2.0.

Сценарии применения

генерация ответов на текстовые инструкции
решение математических вопросов
создание черновиков ответов для чат-бота

Ограничения

Автор называет модель неофициальной попыткой воспроизведения SOLAR и сообщает, что дальнейшие испытания ещё предстоят. В README не приведены результаты оценки качества.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is not an official SOLAR Model from Upstage, it's just my attempt at a recreation of these powerful models using the new Llama-3

Further Testing Coming Soon

Where the SOLAR Model used a mix of these datasets:

c-s-ale/alpaca-gpt4-data (SFT)
Open-Orca/OpenOrca (SFT)
in-house generated data utilizing Metamath [2] (SFT, DPO)
Intel/orca_dpo_pairs (DPO)
allenai/ultrafeedback_binarized_cleaned (DPO)

I Used:

llm-wizard/alpaca-gpt4-data
Crystalcareai/slimorca-dedup-alpaca-100k
meta-math/MetaMathQA
(DPO Datasets Coming Soon)

More Info:

Developed by: cookinai
License: apache-2.0
Finetuned from model : unsloth/llama-3-8b-bnb-4bit

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Special Thanks to Upstage's SOLAR Project for the inspiration behind this model

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 61c7ea9