Экспериментальный англоязычный чекпойнт Phi на 3,5 млрд параметров для изучения task vector optimization и слияния моделей методом TIES.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
netcat420/MFANN3bv0.16.11 — экспериментальный чекпойнт автора netcat420, основанный на архитектуре PhiForCausalLM с плотной архитектурой и 3,5 млрд параметров. Модель обучалась 12 000 шагов на наборе MFANN; автор сообщает о повышенном значении функции потерь и планирует слить чекпойнт с предыдущей версией и продолжить обучение. Для модели указан контекст до 32 768 токенов и формат safetensors.
Чекпойнт предназначен для экспериментов с task vector optimization и объединением моделей методом TIES; автор также упоминает DARE-TIES как первоначальную цель. Это незавершённый этап разработки, а не описанная как готовая прикладная модель. В метаданных указаны английский язык и лицензия MIT.
Автор сообщает о повышенном значении функции потерь и намерении слить модель с предыдущей версией и переобучить её. Поэтому качество чекпойнта не подтверждено как готовое для прикладного использования.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
task vector optimization checkpoint ready for merging.
trained on MFANN for 12000 steps, however due to a slightly higher training loss, im going to merge this model with the last version and retrain, the goal was to use DARE-TIES to reduce the parameters used per vector, and this model will now be merged with the last model before DARE using TIES alone, and will be subsequently retrained.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…