Экспериментальный чекпойнт BitNet на 6,3 млрд параметров для генерации текста и проверки подходов к дообучению.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Ttimofeyka/bitnet-5B-v0 — экспериментальный чекпойнт автора репозитория для проверки дообучения модели на архитектуре BitNet. По README, к готовой модели добавлены новые слои со случайными весами; карточка предупреждает, что модель может работать некорректно и не рекомендует её к использованию. Метаданные указывают на плотную архитектуру Llama с классом BitnetForCausalLM, 6,3 млрд параметров, контекст 2048 токенов и формат safetensors. Основная задача — генерация текста; поддержка отдельных языков не подтверждена.
Результаты тестирования, согласно автору, показывают лишь пограничное улучшение в пределах погрешности. Модель выпущена по лицензии MIT, однако автор не рекомендует её для практического использования.
Автор предупреждает, что модель может работать некорректно и не рекомендует её к использованию; заявленное улучшение тестовых результатов находится в пределах погрешности. Поддерживаемые естественные языки не подтверждены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is my starting point zero for trying to finetune model based on bitnet architecture. I just added new layers with random weights to the finished model.
Maybe it can be broken.
It is not recommended for use: the results show an improvement in test results at the margin of error.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…