/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
F2LLM-v2-330M
Библиотека
gguf
Опубликована
30 июн 2026

Ссылки

Hugging Face

F2LLM-v2-330M-Q8_0-GGUF

spelunk-cloud
Сходство предложенийТекст → score6 профессий

F2LLM-v2-330M Q8_0 GGUF — квантованная сборка модели F2LLM-v2-330M, разработанной codefuse-ai.

1 756скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель распространяется в формате GGUF и предназначена прежде всего для построения эмбеддингов и вычисления сходства предложений, в частности как встроенная embedding-модель для Inkentry. В репозитории представлены варианты для движков Candle и llama.cpp, которые используют одинаковые веса и должны выдавать одинаковые векторы.

Модель построена на архитектуре Qwen3 decoder и формирует эмбеддинги размерностью 896. Веса исходной модели в формате BF16 квантованы в Q8_0; параметры RMSNorm сохранены в F32. Поставляются два варианта GGUF размером примерно 339 и 345 МБ, а также токенизатор tokenizer.json. README не сообщает поддерживаемые языки и размер контекстного окна.

Ключевые преимущества сборки — уменьшенный объём хранения, отсутствие необходимости выполнять квантование на устройстве и совместимость с двумя локальными inference-движками. Ограничения связаны с тем, что это специализированная embedding-модель, а не универсальная генеративная модель; влияние квантования Q8_0 на качество в README не оценивается. Модель и производные GGUF-файлы распространяются по лицензии Apache License 2.0, унаследованной от базовой модели.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

F2LLM-v2-330M Q8_0 GGUF

Q8_0-quantized GGUF build of codefuse-ai/F2LLM-v2-330M, plus its tokenizer, distributed for use as the bundled embedding model in Inkentry.

What this is

  • Two GGUF builds of the F2LLM-v2-330M weights, both quantized from the original BF16 safetensors to Q8_0 (projection matmuls and the token-embedding table → Q8_0; RMSNorm weights → F32, kept full precision at negligible size). They differ only in packaging, not in the vectors they produce:
    • f2llm-v2-330m-q8_0.gguf keeps Hugging Face tensor names (model.layers.N.*) and is read by Inkentry's candle engine together with tokenizer.json.
    • f2llm-v2-330m-llama-q8_0.gguf is the canonical llama.cpp build (blk.N.* tensor names, tokenizer and last-token pooling metadata embedded in the file) produced by llama.cpp's convert_hf_to_gguf.py from the same pinned upstream revision, read by Inkentry's llama.cpp engine as a single file.
  • The unmodified upstream tokenizer.json, redistributed as-is (same Apache-2.0 terms) so Inkentry has no runtime dependency on the third-party upstream repo. (config.json is small enough that Inkentry embeds it directly in the binary instead of fetching it from here.)

Distributing the GGUFs pre-quantized keeps the first-run download and steady-state disk use at one ~340 MB file per engine, with no on-device quantization step; Inkentry fetches only the file for the engine it runs.

FileApprox. sizesha256
f2llm-v2-330m-q8_0.gguf~339 MB2c12aad2951f1d9a3b457f890a2586d1ee19b755b377c0fb424e856e615b8f2b
f2llm-v2-330m-llama-q8_0.gguf~345 MB22698bfd4d0b35fc8ede8d1eaa984ab56ef7952d67e4a2df72d5e9a8348290af
tokenizer.json~8 MBunmodified copy of the upstream file — see upstream repo for its hash

Provenance

  • Base model: codefuse-ai/F2LLM-v2-330M
  • Pinned source revision: 1239cdd544b24c247ed75df2ae22e5a401ac4659
  • Quantization: Q8_0 from the original BF16 weights (see above); the tokenizer is redistributed unmodified
  • Architecture / dim: Qwen3 decoder, 896-dim embeddings

License & attribution

Licensed under the Apache License, Version 2.0, inherited from the base model. The full license text is in LICENSE and the modification notice is in NOTICE.

Both GGUFs are modified copies of codefuse-ai/F2LLM-v2-330M: the weights have been quantized to Q8_0 from the original BF16 weights (the llama.cpp build additionally repacks tensor names and embeds the tokenizer and pooling metadata, as its converter does for any model). tokenizer.json is redistributed unmodified. No other modifications were made.

Usage in Inkentry

inkentry-server downloads the GGUF and tokenizer directly from here by default. Set INKENTRY_EMBEDDER_GGUF_REPO to a different repo to fetch both from there instead (it must host both files).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gguf

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
d6031de

0 моделей

    Создать бенчмарк