Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 14,5 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Базовая модель: OpenHermes-2.5
Опубликована: 23 фев 2024

Ссылки

Hugging Face

open-aditi-hi-v4

manishiitg

Генерация текстаТекст → текст8 профессий

Диалоговая модель Mistral с 7,1 млрд параметров для генерации текста на хинди и английском языках.

20скачиваний за 30 дней2лайкавеса обновлены5 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

open-aditi-hi-v4 — диалоговая языковая модель на архитектуре Mistral, разработанная на базе teknium/OpenHermes-2.5. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы в диалоге; в README указано обучение на данных на хинди и английском языках.

Модель можно применять для генерации ответов, суммаризации, вопросов и ответов, перефразирования и других текстовых задач на хинди и английском. Контекст — до 32 768 токенов. В карточке приведены результаты оценок на наборах задач для обоих языков, включая суммаризацию, понимание текста, рассуждение и классификацию тональности. Весы опубликованы в формате Safetensors по лицензии Apache-2.0.

Сценарии применения

ответы на вопросы на хинди
ответы на вопросы на английском
суммаризация текстов на хинди
суммаризация текстов на английском
перефразирование на хинди
генерация ответов в диалоге

Ограничения

Качество зависит от задачи и языка: в приведённых оценках результаты заметно различаются между наборами данных. README не содержит сведений о фильтрации нежелательных ответов или специальных механизмах снижения ошибок.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model trained on Hindi and English data.

This model also includes dataset https://huggingface.co/datasets/sarvamai/samvaad-hi-v1

Check latest evals at https://github.com/manishiitg/IndicEval

Try it out: https://colab.research.google.com/drive/1A_hbsq1vrCeAh3dEMvtwxxNxcNZ1BUyW?usp=sharing

For sample responose on different prompts checkout: https://github.com/manishiitg/hi-llm-eval

Language Hi

Model	xlsum-hi	truthfulqa-hi	indic-arc-easy	mmlu_hi	indicqa	flores	indicheadline	indicxparaphrase	hellaswag-indic	indicwikibio	boolq-hi	implicit_hate	indic-arc-challenge	indicsentiment
open-aditi-hi-v2	0.4213	0.6934	0.4979	0.3253	0.0795	43.6822	0.4565	0.6838	0.2404	0.4846	0.8541	11.5021	0.4462	0.9729
open-aditi-hi-v3	0.4490	0.5369	0.5480	0.1351	0.0058	48.2859	0.4682	0.8846	0.4891	0.5034	0.5401	8.8315	0.4633	0.9519
open-aditi-hi-v4	0.4046	0.7671	0.4529	0.2124	0.0026	47.8500	0.1980	0.7737	0.3595	0.4894	0.7015	5.9709	0.3857	0.9699
OpenHermes-2.5-Mistral-7B	0.1774	0.3234	0.3523	0.2769	0.2721	30.3465	0.1996	0.8766	0.2485	0.3332	0.5979	0.2068	0.3396	0.9048
OpenHermes-2.5-Mistral-7B-AWQ	0.1894	0.3428	0.3291	0.2750	0.3116	29.3681	0.2062	0.8536	0.2479	0.3067	0.5272	6.0594	0.3157	0.9218
open-aditi-hi-v1	0.4212	0.4230	0.3889	0.1398	0.1306	40.2376	0.4248	0.5939	0.0848	0.4104	0.3758	8.6105	0.3558	0.8798
Airavata	0.4650	0.0466	0.1128	0.1336	0.0155	58.5260	0.4346	0.6419	0.0550	0.0637	0.0128	6.3612	0.0836	0.0992

Language En

Model	boolq	truthfulqa	arc-easy-exact	mmlu	hellaswag	xlsum	arc-challenge
open-aditi-hi-v4	0.3905	0.3378	0.8460	0.5725	0.7603	0.4384	0.7491
OpenHermes-2.5-Mistral-7B	0.4061	0.2081	0.8687	0.5991	0.7999	0.4328	0.7790
OpenHermes-2.5-Mistral-7B-AWQ	0.4199	0.1897	0.8569	0.5816	0.7826	0.4317	0.7611
open-aditi-hi-v3	0.3749	0.3097	0.8384	0.5478	0.7645	0.4352	0.7415
open-aditi-hi-v2	0.3982	0.2999	0.8388	0.5544	0.4738	0.4349	0.7235
open-aditi-hi-v1	0.0434	0.3317	0.7588	0.2597	0.3509	0.4288	0.6271
Airavata	0.5086	0.3574	0.6772	0.1165	0.1799	0.4393	0.1630

Task: flores Metric: chrf

Task: implicit_hate Metric: chrf

Task: indicsentiment Metric: accuracy

Task: indicxparaphrase Metric: accuracy

Task: boolq-hi Metric: accuracy

Task: truthfulqa-hi Metric: accuracy

Task: indic-arc-easy Metric: accuracy

Task: indicwikibio Metric: bleurt

Task: hellaswag-indic Metric: accuracy

Task: indicheadline Metric: bleurt

Task: xlsum-hi Metric: bleurt

Task: indic-arc-challenge Metric: accuracy

Task: mmlu_hi Metric: average_acc

Task: indicqa Metric: accuracy

Task: arc-easy-exact Metric: accuracy

Task: hellaswag Metric: accuracy

Task: arc-challenge Metric: accuracy

Task: mmlu Metric: average_acc

Task: boolq Metric: accuracy

Task: xlsum Metric: bleurt

Task: truthfulqa Metric: accuracy

Model evaluation on OpenLLM LeaderBoard

image/png

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

Metric	Value
Avg.	64.23
AI2 Reasoning Challenge (25-Shot)	60.15
HellaSwag (10-Shot)	81.84
MMLU (5-Shot)	61.32
TruthfulQA (0-shot)	44.89
Winogrande (5-shot)	79.95
GSM8k (5-shot)	57.24

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

Metric	Value
Avg.	64.23
AI2 Reasoning Challenge (25-Shot)	60.15
HellaSwag (10-Shot)	81.84
MMLU (5-Shot)	61.32
TruthfulQA (0-shot)	44.89
Winogrande (5-shot)	79.95
GSM8k (5-shot)	57.24

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: ed7d96e

Характеристики

Ссылки

open-aditi-hi-v4

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит8

Также подходит для

Карточка модели

Language Hi

Language En

Open LLM Leaderboard Evaluation Results

Open LLM Leaderboard Evaluation Results

Как запустить