/ Модель
Каталог

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Llama 3
Архитектура
llama · dense
Библиотека
transformers
Опубликована
28 апр 2024

Ссылки

Hugging Face

Arabic-Orpo-Llama-3-8B-Instruct

MohamedRashad
Генерация текстаТекст → текст4 профессии

Дообученная методом ORPO модель Llama 3-8B Instruct для диалоговой генерации более связного текста на арабском языке.

46скачиваний за 30 дней17лайковвеса обновлены3 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Arabic-Orpo-Llama-3-8B-Instruct — дообученная MohamedRashad на базе meta-llama/Meta-Llama-3-8B-Instruct модель семейства Llama 3. Для выравнивания ответов на арабском языке применён метод ORPO и набор данных 2A2I/argilla-dpo-mix-7k-arabic. Модель предназначена для диалоговой генерации текста на арабском языке; автор отмечает, что она выдаёт более связный арабский текст, хотя в приведённой оценке Arabic MMLU базовая Llama 3-8B-Instruct набрала больше баллов.

Это плотная причинная языковая модель с 7,5 млрд параметров, поддержкой чата и контекстом до 8192 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — llama3; применяйте модель в соответствии с условиями лицензии Llama 3.

Сценарии применения

  • генерация ответов на арабском языке в чате
  • создание и редактирование арабских текстов
  • ответы на вопросы на арабском языке
  • прототипирование арабоязычного чат-бота

Ограничения

В оценке Arabic MMLU модель уступила базовой Llama 3-8B-Instruct; автор характеризует её арабские ответы как в основном связные и в основном корректные, что не гарантирует фактическую точность.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923моделиI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

👳 Arabic ORPO LLAMA 3

👓 Story first

This model is the a finetuned version of meta-llama/Meta-Llama-3-8B-Instruct using ORPO on 2A2I/argilla-dpo-mix-7k-arabic.

I wanted to try ORPO and see if it will better align a biased English model like llama3 to the arabic language or it will faill.

While the evaluations favour the base llama3 over my finetune, in practice i found my finetune was much better at spitting coherent (mostly correct) arabic text which i find interesting.

I would encourage everyone to try out the model from here and share his insights with me ^^

🤔 Evaluation and Results

This result was made using lighteval with the community|arabic_mmlu tasks.

CommunityLlama-3-8B-InstructArabic-ORPO-Llama-3-8B-Instrcut
All0.3480.317
Abstract Algebra0.3100.230
Anatomy0.3850.348
Astronomy0.3880.316
Business Ethics0.4800.370
Clinical Knowledge0.3960.385
College Biology0.3470.299
College Chemistry0.1800.250
College Computer Science0.2500.190
College Mathematics0.2600.280
College Medicine0.2310.249
College Physics0.2250.216
Computer Security0.4700.440
Conceptual Physics0.3150.404
Econometrics0.2630.272
Electrical Engineering0.4140.359
Elementary Mathematics0.3200.272
Formal Logic0.2700.214
Global Facts0.3200.320
High School Biology0.3320.335
High School Chemistry0.2560.296
High School Computer Science0.3500.300
High School European History0.2240.242
High School Geography0.3230.364
High School Government & Politics0.3520.285
High School Macroeconomics0.2900.285
High School Mathematics0.2370.278
High School Microeconomics0.2310.273
High School Physics0.2520.225
High School Psychology0.3160.330
High School Statistics0.1990.176
High School US History0.2840.250
High School World History0.3120.274
Human Aging0.3690.430
Human Sexuality0.4810.321
International Law0.6030.405
Jurisprudence0.4910.370
Logical Fallacies0.3680.276
Machine Learning0.2140.312
Management0.3500.379
Marketing0.5210.547
Medical Genetics0.3200.330
Miscellaneous0.4460.443
Moral Disputes0.4220.306
Moral Scenarios0.2480.241
Nutrition0.4120.346
Philosophy0.4080.328
Prehistory0.4290.349
Professional Accounting0.3440.273
Professional Law0.3060.244
Professional Medicine0.2280.206
Professional Psychology0.3370.315
Public Relations0.3910.373
Security Studies0.4690.335
Sociology0.4980.408
US Foreign Policy0.5900.490
Virology0.4220.416
World Religions0.4040.304
Average (All Communities)0.3480.317

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
36259c5

0 моделей

    Создать бенчмарк