/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Лицензия
Apache 2.0
Архитектура
mistral · dense
Опубликована
19 янв 2024

macaroni-7b

Генерация текстаТекст → текст3 профессии

Экспериментальное объединение языковых моделей Mistral на 7,1 млрд параметров для генерации текста на английском языке.

59скачиваний за 30 дней1лайквеса обновлены22 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Macaroni 7B — экспериментальная объединённая модель на базе предварительно обученных языковых моделей Mistral; в README также указан fblgit/UNA-TheBeagle-7b-v1. Это плотная авторегрессионная модель с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста. Метаданные указывают контекст до 32 768 токенов и поддержку английского языка.

Модель можно применять для генерации продолжений текста и ответов на текстовые запросы. README приводит результаты Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag, но не описывает специализированные сценарии. Модель опубликована в формате Safetensors под лицензией Apache 2.0. Автор предупреждает об отсутствии гарантий точности и качества и возлагает ответственность за использование на пользователя.

Сценарии применения

  • генерация продолжений текста на английском языке
  • создание черновиков и коротких текстовых ответов
  • ответы на текстовые запросы
  • оценка языковых моделей на задачах рассуждения и здравого смысла

Ограничения

Модель обозначена как экспериментальное объединение, а автор не гарантирует её точность и качество. README не приводит подробностей о конкретных сценариях применения и оценках помимо части результатов Open LLM Leaderboard.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Macaroni 7B

This is an experimental merge of pre-trained mistral language models with fblgit/UNA-TheBeagle-7b-v1.

Disclaimer

  • No Warranty: The Model is provided on an "AS IS" basis, without warranty of any kind. The entire risk as to the quality, performance and use of The Model is with the user.

  • Limitation of Liability: In no event shall the creator(s) of The Model be liable for any claim, damages, or other liability, whether in an action of contract, tort or otherwise, arising from, out of, or in connection with The Model or the use or other dealings in The Model.

  • Accuracy and Risks: The creator(s) do not warrant that The Model is free from errors or inaccuracies and disclaim any responsibility for any harm resulting from the use of The Model.

  • Use at Your Own Risk: Users are solely responsible for any consequences resulting from the use of The Model, including but not limited to any changes made to The Model by the user or the results produced by The Model.

  • Compliance with Laws: Users are solely responsible for ensuring that their use of The Model complies with all applicable laws, regulations, and policies.

  • Ethical Use: Users are encouraged to use The Model ethically and responsibly. The creator(s) disclaim any responsibility for misuse or unethical use of The Model.

  • Modifications: Any modifications made to The Model by third parties are the sole responsibility of the party making the modifications. The original creator(s) of The Model shall not be responsible for any modifications made by third parties.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.74.60
AI2 Reasoning Challenge (25-Shot)73.12
HellaSwag (10-Shot)88.17
MMLU (5-Shot)64.58
TruthfulQA (0-shot)68.76
Winogrande (5-shot)84.37
GSM8k (5-shot)68.61

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
7fb4e4e

0 моделей