RemySkye/LFM2.5-8B-A1B-i1-GGUF — набор квантизированных версий языковой модели LiquidAI/LFM2.5-8B-A1B в формате GGUF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и локального запуска с использованием совместимых инструментов, включая llama.cpp, что делает её подходящей для периферийных и ресурсно-ограниченных сценариев.
Размер исходной модели — 8B параметров с архитектурой, обозначенной как A1B; конкретные архитектурные характеристики, размер контекста и поддерживаемые модальности в README не указаны. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Квантизация выполнена с использованием importance matrix (imatrix); варианты с точностью ниже 4 бит могут приводить к неприемлемому снижению качества. Для работы рекомендуется актуальная версия llama.cpp.
Лицензия указана как lfm1.0, при этом её подробные условия в README не приведены. Модель разработана LiquidAI, а данный репозиторий содержит квантизированные сборки, подготовленные RemySkye.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repository contains GGUF format quantizations of the model LiquidAI/LFM2.5-8B-A1B. These models were generated using llama.cpp with an importance matrix (imatrix) - https://gist.github.com/bartowski1182/82ae9b520227f57d79ba04add13d0d0d
Used this pull request to be able to quantize: https://github.com/ggml-org/llama.cpp/pull/23826/ Should work with the latest llama.cpp
Quantization below 4 bits may result in unacceptably low quality.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.