MFANNv0.8 — дообученная на датасете MFANN модель Llama 3 для генерации текста, ответов в чате и задач классификации.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
MFANNv0.8 — дообученная модель семейства Llama, разработанная netcat420 на датасете MFANN. Она предназначена для генерации текста и ответов в формате чата; метаданные также относят её к классификации текста. В README указано, что модель основана на Llama 3 8B и обучена на версии датасета MFANN от 5 мая 2024 года. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и поддерживает контекст до 8192 токенов.
В README приведены результаты на наборах ARC, HellaSwag, MMLU, TruthfulQA, WinoGrande и GSM8K, включая среднее значение 68,52; методика оценки и шкала не описаны. Модель распространяется под лицензией Llama 3. Карточка не уточняет ограничения применимости и не приводит рекомендации по использованию.
Карточка не описывает ограничения модели, а приведённые результаты тестов не сопровождаются методикой или шкалой оценки.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
MFANN 8b version 0.8
fine-tuned on the MFANN dataset as it stands on 5/5/2024 as it is an ever expanding dataset
fine-tuned MFANN dataset on llama-3-8b
68.52 <- Average 63.23 <- ARC 84.06 <- HellaSwag 66.94 <- MMLU 59.91 <- TruthfulQA 72.45 <- WinoGrande 64.52 <- GSM8K
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…