Разность весов LLaMA 7B, обученной с Landmark Attention на RedPajama, для восстановления модели генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Репозиторий содержит разность весов LLaMA 7B после 15 000 шагов обучения с механизмом Landmark Attention на наборе данных RedPajama. Это причинная языковая модель семейства LLaMA для генерации текста; опубликованную разность весов нужно применить к исходной модели, чтобы восстановить полный чекпойнт. Модель насчитывает 6,6 млрд параметров и имеет контекст длиной 2048 токенов.
Карточка не описывает отдельные сценарии применения или языковой охват. Указана лицензия CC BY-SA 4.0; для восстановления и использования весов следуйте инструкциям связанного GitHub-репозитория.
Репозиторий содержит только разность весов, поэтому для восстановления полной модели нужна исходная LLaMA 7B и инструкции из связанного GitHub-репозитория. Карточка не сообщает языки обучения или результаты оценки качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repo hosts the weight diff between LLaMA 7B trained with landmark attention for 15000 steps on RedPajama and the original model. Please visit the Github repository for further instructions on how to recover the full weights and how to use them.
Github repository: https://github.com/epfml/landmark-attention
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…