LFM2-700M-GGUF — языковая модель для генерации текста, разработанная компанией Liquid AI. Это GGUF-версия базовой модели LiquidAI/LFM2-700M, предназначенная прежде всего для запуска на периферийных устройствах и локально, непосредственно на устройстве.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель можно использовать в сценариях on-device AI, где важны скорость работы и экономичное потребление памяти; в README также приведён пример запуска через llama.cpp.
Известно, что модель относится к новому поколению гибридных LFM2 и поддерживает текстовую генерацию. Заявлены преимущества в качестве, скорости и эффективности использования памяти, однако точные сведения об архитектуре, количестве параметров, размере контекста и типах квантования в представленном README не указаны. Заявленные языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский.
Модель подходит для локальных текстовых приложений и устройств с ограниченными вычислительными и memory-ресурсами. Ограничения включают отсутствие в README подробных данных о результатах оценки, фактической производительности, мультимодальности и поддерживаемых форматах взаимодействия. Модель распространяется по лицензии lfm1.0; её условия следует уточнять в файле LICENSE.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
LFM2 is a new generation of hybrid models developed by Liquid AI, specifically designed for edge AI and on-device deployment. It sets a new standard in terms of quality, speed, and memory efficiency.
Find more details in the original model card: https://huggingface.co/LiquidAI/LFM2-700M
Example usage with llama.cpp:
llama-cli -hf LiquidAI/LFM2-700M-GGUF --conversation \
--temp 0.3 --min-p 0.15 --repeat-penalty 1.05
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.