Характеристики

Контекст: 131 072 токена
Параметры: 69,5 млрд
Размер весов: 141 ГБ
Лицензия: CC BY-NC 4.0
Архитектура: llama · dense
Базовая модель: L3.1-70b-glitz-v0.2
Опубликована: 23 авг 2024

Ссылки

Hugging Face

L3.1-70b-Milasha

KaraKaraWarehouse

Генерация текстаТекст → текст13 профессий

Слитая чат-модель Llama 3.1 с 69,5 млрд параметров для диалога и генерации текста с контекстом до 131 072 токенов.

16скачиваний за 30 дней0лайковвеса обновлены17 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

L3.1-70b-Milasha — чат-модель, созданная KaraKaraWitch как слияние пяти моделей семейства Llama 3.1 с помощью LazyMergekit. Она предназначена для диалога и генерации текста в формате Llama 3 Instruct; при слиянии MeowMix использовалась для усиления языковых возможностей в китайском, японском и корейском языках. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов.

Модель подходит для многоходовых бесед и генерации текста с длинным контекстом. Веса доступны в формате safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое использование. README не содержит подробной оценки качества или перечня ограничений; заявленный акцент на CJK-языках относится к усилению языковых возможностей при слиянии.

Сценарии применения

многоходовые диалоги с чат-моделью
генерация текста по инструкциям
ответы на вопросы с длинным контекстом
создание текста на китайском, японском или корейском языке

Ограничения

README не приводит подробных оценок качества или специфических ограничений. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KaraKaraWitch/L3.1-70b-Milasha

Milasha is my 3rd and final series with Llama 3.1.

image/png

L3.1-70b-Milasha is a merge of the following models using LazyMergekit running on a server:

Fizzarolli/L3.1-70b-glitz-v0.2
KaraKaraWitch/L3.1-70b-MeowMix2
sophosympatheia/New-Dawn-Llama-3.1-70B-v1.1
nothingiisreal/L3.1-70B-Celeste-V0.1-BF16
Sao10K/L3.1-70B-Hanami-x1

NOTE: Following Sao10k's preferences, this model is licenced as cc-by-nc-4.0

This model kinda returns to tradition of merging the best models. MeowMix was used as language reinforcement for CJK while the rest of the models are more or less from the first in the series.

Yap / Chat Format

Llama 3 Instruct.

Thoughts, etc

As I'm writing this, I'm overseas waiting for beef to arrive at my table. I'll probably finish writing this up properly later.

This model uses model stock. The rest just refer to the merge config file.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 7685168