poedator/opt-125m-bnb-4bit — это 4-битно квантованная версия языковой модели facebook/OPT-125m, подготовленная с использованием bitsandbytes и квантования NF4.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Размер исходной модели составляет 125 млн параметров. README не указывает точные архитектурные характеристики, поддерживаемые языки, модальности и размер контекста.
Модель предназначена прежде всего для тестирования работы соответствующих изменений в библиотеке Hugging Face Transformers, связанных с pull request 26037. Она обозначена как незавершенная экспериментальная версия, поэтому может быть полезна для разработчиков и исследователей, проверяющих загрузку и использование 4-битных квантованных моделей, но не рекомендуется как готовое решение для production-сценариев.
Ключевое преимущество модели — снижение требований к памяти за счет 4-битного представления NF4. Ограничения включают статус work in progress и известную проблему: в safetensors были удалены связанные элементы quant_map и nested_quant_map, что может влиять на корректность загрузки или работы модели. Условия лицензирования определяются лицензией исходной модели facebook/OPT-125m, однако ее конкретное название в README не указано.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
facebook/OPT-125m quantized using bitsandbytes 4-bit NF4 quantization. All license matters are set based on the underlying facebook/OPT-125m model.
This model is work in progress, use it for testing https://github.com/huggingface/transformers/pull/26037 pull request only.
known issue: safetensors deleted linked "quant_map" / "nested_quant_map" items.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…