/ Модель

Характеристики

Контекст
32 764 токена
Параметры
68,7 млрд
Размер весов
501 ГБ
Лицензия
Apache 2.0
Архитектура
mixtral · MoE
Библиотека
transformers
Опубликована
1 мар 2024

orthorus-125b-v2

Генерация текстаТекст → текст7 профессий

Смесь дообученных моделей Mistral для генерации текста и диалоговых задач общего назначения.

84скачиваний за 30 дней3лайкавеса обновлены24 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Orthorus 125B v2 — языковая модель общего назначения, разработанная ibivibiv. Это смесь дообученных моделей Mistral, построенная по архитектуре Mixtral Mixture of Experts (MoE) и предназначенная для генерации текста и диалогового общения. По данным метаданных, модель содержит 68,7 млрд параметров и поддерживает контекст длиной до 32 764 токенов.

Модель рассчитана на ответы на вопросы и задачи общего знания. В карточке приведены результаты Open LLM Leaderboard, включая показатели AI2 Reasoning Challenge и HellaSwag; автор рекомендует обращаться к полной оценке для понимания сильных сторон и слабых мест. Карточка не уточняет набор обучающих данных и языков, поэтому метаданные подтверждают английский язык. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • ответы на вопросы общего характера
  • диалоговое общение с языковой моделью
  • генерация связного текста
  • решение задач на общие знания
  • оценка языковых моделей на тестах рассуждения и здравого смысла

Ограничения

Карточка не приводит подробной оценки сильных и слабых сторон и отсылает к полной таблице Open LLM Leaderboard. Поддержка других языков, кроме английского, в доступных данных не подтверждена.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

img

Model Card for Orthorus 125B v2

Orthorus is a MOE of Fine Tuned Mistral models.

Model Details

Model Description

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

Uses

This model is geared toward general knowledge performance and should perform acceptably across mulitple tasks. Refer to the leaderboard evaluation for specific strengths/weaknesses.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.77.22
AI2 Reasoning Challenge (25-Shot)73.63
HellaSwag (10-Shot)89.04
MMLU (5-Shot)75.99
TruthfulQA (0-shot)70.19
Winogrande (5-shot)85.48
GSM8k (5-shot)68.99

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
f64f09c

0 моделей