Дообученная на датасете MFANN модель Phi с 3,5 млрд параметров для генерации и классификации английского текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
MFANN 3b version 0.8 — модель на архитектуре Phi с 3,5 млрд параметров, дообученная netcat420 на расширяемом наборе данных MFANN. Карточка приводит средний результат 63,5 и оценки по ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K; отдельный акцент сделан на результате Winogrande для модели этого размера.
Модель предназначена для генерации текста и классификации текста на английском языке. Она работает с контекстом до 2048 токенов, использует библиотеку Transformers и распространяется в формате safetensors. Лицензия — Apache-2.0. README не уточняет конкретную схему классификации или инструкции по применению.
Контекст ограничен 2048 токенами. README сообщает результаты на нескольких бенчмарках, но не описывает методику их измерения или ограничения по конкретным сценариям.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
MFANN 3b version 0.8
fine-tuned on the MFANN dataset as of 5/10/2024 as it is an ever expanding dataset.
63.5 <- Avg 61.52 <- ARC 76.09 <- HellaSwag 55.58 <- MMLU 54.44 <- TruthfulQA 78.53 <- Winogrande (very high score for a 3b model!) 54.81 <- GSM8K
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…