Модель на архитектуре Llama с 6,6 млрд параметров для генерации текста, для которой также приведены метрики классификации без описания меток и задачи.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mi-rei/AlpaCare-llama2-7b-CT_I-II-III_efficient — модель генерации текста на архитектуре LlamaForCausalLM, содержащая 6,6 млрд параметров. В карточке приведены метрики классификации: accuracy 0,713 и F1 0,695 на выборке из 4017 примеров; назначение задачи и смысл меток 0 и 1 не раскрыты.
Модель принимает текст и выдаёт текст. Указанный родной контекст составляет 4096 токенов. Файлы репозитория представлены в формате PyTorch; лицензия и сведения о базовой модели в предоставленных данных отсутствуют.
Карточка не описывает назначение классификации, смысл меток или тестовый набор, поэтому приведённые метрики трудно интерпретировать. Лицензия и происхождение весов по предоставленным данным не установлены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Accuracy: 0.713
F1 Score: 0.695
Accuracy for label 0: 0.754
Accuracy for label 1: 0.670
Classification Report:
| precision | recall | f1-score | support | |
|---|---|---|---|---|
| 0 | 0.70 | 0.75 | 0.73 | 2053 |
| 1 | 0.72 | 0.67 | 0.70 | 1964 |
| accuracy | 0.71 | 4017 | ||
| macro avg | 0.71 | 0.71 | 0.71 | 4017 |
| weighted avg | 0.71 | 0.71 | 0.71 | 4017 |
Confusion Matrix:
[[1548 505 0]
[ 649 1315 0]
[ 0 0 0]]
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…