/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,7 млрд
Размер весов
16,8 ГБ
Архитектура
llama · dense
Опубликована
22 авг 2024

ruadapt_llama3_8b_instruct_extended_lep_ft

Генерация текстаТекст → текст7 профессий

Чат-модель Llama 3 на 7,7 млрд параметров с LoRA-дообучением и расширенным токенизатором для более эффективной работы с русским языком.

39скачиваний за 30 дней4лайкавеса обновлены22 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RefalMachine/ruadapt_llama3_8b_instruct_extended_lep_ft — чат-модель на архитектуре Llama 3 с 7,7 млрд параметров. Это LoRA-дообучение базовой модели RefalMachine/llama3_extended_darulm_20_05_24_part1-2_64000_bpe_full_lr2e4_bs256 на датасете saiga_scored d7; перед дообучением использована процедура Learned Embedding Propagation (LEP) с расширенным токенизатором. Разработчик сообщает, что расширенный токенизатор повышает эффективность работы с русским языком.

Модель предназначена для генерации текста и диалогового общения на русском и английском языках. Контекст составляет 8192 токена; веса опубликованы в формате safetensors. Карточка не описывает отдельные специализированные области применения или результаты оценки качества. Лицензия в предоставленных данных не указана.

Сценарии применения

  • ответы на вопросы в диалоге на русском языке
  • генерация русскоязычного текста по инструкции
  • ведение диалога на английском языке

Ограничения

В карточке нет сведений об оценках качества и результатах тестирования. Лицензия не указана в предоставленных данных.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model description

LoRa tuned version of ruadapt llama 3 8B with extended tokenizer after LEP (Learned Embedding Propagation, paper will be soon) procedure on saiga_scored d7 dataset.

Thanks to the extended tokenizer, the model works more efficiently with the Russian language.

How to cite:

Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)

Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
0bbab0f

0 моделей