Модель Llama с 6,6 млрд параметров для генерации текста, для которой в карточке также приведены метрики двухклассовой классификации.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mi-rei/AlpaCare-llama2-7b-CT_III_efficient_full — модель генерации текста на архитектуре Llama с 6,6 млрд параметров и контекстом 4096 токенов. Карточка содержит результаты классификации по двум классам: точность 0,729 и F1-мера 0,735 на 1102 примерах; для классов 0 и 1 указаны отдельные метрики. Репозиторий содержит веса PyTorch. Данных о разработчике, назначении классов, языках и лицензии в доступных материалах нет.
Карточка не поясняет назначение классов в отчёте классификации и не описывает обучающие данные. Метрики приведены на 1102 примерах и сами по себе не показывают качество на других данных.
README от автора на Hugging Face, как он его опубликовал
Accuracy: 0.729
F1 Score: 0.735
Accuracy for label 0: 0.708
Accuracy for label 1: 0.749
Classification Report:
| precision | recall | f1-score | support | |
|---|---|---|---|---|
| 0 | 0.74 | 0.71 | 0.72 | 548 |
| 1 | 0.72 | 0.75 | 0.74 | 554 |
| accuracy | 0.73 | 1102 | ||
| macro avg | 0.73 | 0.73 | 0.73 | 1102 |
| weighted avg | 0.73 | 0.73 | 0.73 | 1102 |
Confusion Matrix:
[[388 160 0]
[139 415 0]
[ 0 0 0]]
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…