/ Модель

Характеристики

Контекст
8 192 токена
Параметры
69,5 млрд
Размер весов
282 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
llama · dense
Опубликована
11 июн 2024

L3-70B-Euryale-v2.1

Генерация текстаТекст → текст3 профессии

Разговорная модель Llama 3 на 69,5 млрд параметров для генерации текста и ролевых диалогов на английском языке.

194скачиваний за 30 дней170лайковвеса обновлены14 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,6471

    text-generation 0,6503
    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,5096

    text-generation 0,5104
    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,2243

    text-generation 0,2137
    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,3314

    text-generation 0,3314
    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,7384

    text-generation 0,7281
    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4196

    text-generation 0,4209
    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sao10K/L3-70B-Euryale-v2.1 — разговорная языковая модель семейства Llama 3, созданная Sao10K как сестринская модель Stheno. Это дообучение с помощью LoRA на том же датасете, что использовался для Stheno v3.2; автор отмечает, что полное дообучение было слишком затратным. Модель предназначена для генерации текста в диалогах и чат-сценариях, включая ролевое общение.

Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров, принимает текст и генерирует текст. Её нативный контекст составляет 8192 токена; в метаданных указан английский язык. Опубликованные файлы представлены в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

Сценарии применения

  • ведение диалогов с чат-ботом
  • генерация ответов в разговорном стиле
  • ролевое общение с персонажами
  • создание продолжений диалоговых сцен

Ограничения

Контекст ограничен 8192 токенами. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Euryale

She's back!

Stheno's Sister Model, designed to impress.

- Same Dataset used as Stheno v3.2 -> See notes there.
- LoRA Fine-Tune -> FFT is simply too expensive.
- Trained over 8x H100 SXMs and then some more afterwards.

Testing Notes

- Better prompt adherence.
- Better anatomy / spatial awareness.
- Adapts much better to unique and custom formatting / reply formats.
- Very creative, lots of unique swipes.
- Is not restrictive during roleplays. 
- Feels like a big brained version of Stheno.

Likely due to it being a 70B model instead of 8B. Similar vibes comparing back in llama 2, where 70B models were simply much more 'aware' in the subtler areas and contexts a smaller model like a 7B or 13B simply were not able to handle.


Recommended Sampler Settings:

Temperature - 1.17
min_p - 0.075
Repetition Penalty - 1.10

SillyTavern Instruct Settings: Context Template: Llama-3-Instruct-Names Instruct Presets: Euryale-v2.1-Llama-3-Instruct


As per usual, support me here:

Ko-fi: https://ko-fi.com/sao10k

Art by wada_kazu / わだかず (pixiv page private?)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
36ad832

0 моделей