Характеристики

Контекст: 128 000 токенов
Параметры: 443 млн
Лицензия: Своя лицензия
Архитектура: lfm2 · dense
Базовая модель: LFM2.5-ColBERT-350M
Библиотека: mlx
Опубликована: 22 июн 2026

Ссылки

LFM2.5-ColBERT-350M-bf16

Сходство предложенийТекст → score8 профессий

Производная модели mlx-community/LFM2.5-ColBERT-350M-bf16. MLX-сборка многоязычной модели ColBERT от Liquid AI для семантического поиска и извлечения документов на Apple Silicon.

14скачиваний за 30 дней0лайковвеса обновлены22 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели ronaldmannak/LFM2.5-ColBERT-350M-bf16 на Hugging Face совпадает с карточкой mlx-community/LFM2.5-ColBERT-350M-bf16, поэтому описание составлено по ней.

LFM2.5-ColBERT-350M-bf16 — конвертированная сборка модели Liquid AI для локального инференса на компьютерах Apple Silicon с использованием MLX. Это двунаправленный энкодер LFM2 с поздним взаимодействием ColBERT: он выдаёт 128-мерный вектор для каждого токена, а релевантность пары запроса и документа оценивается методом MaxSim. В репозитории указано 443,4 млн параметров и контекст до 128 000 токенов.

Модель предназначена для семантического поиска и извлечения документов по запросу на нескольких языках. В карточке приведены оценки поиска на английских наборах NanoBEIR и многоязычных поднаборах MIRACL для испанского, немецкого, японского и арабского языков. Весовые параметры сохранены в исходной точности bf16; это преобразование формата PyTorch/safetensors в MLX, а не квантизация. Для работы архитектуры включена отдельная реализация MLX, поскольку стандартные mlx-lm и mlx-embeddings её не поддерживают из коробки.

Репозиторий создан сообществом mlx-community, а веса, архитектура и поведение модели принадлежат Liquid AI. README сообщает о близком совпадении токеновых векторов с оригинальной версией при проверке, но результаты поиска приведены на ограниченных пулах и не сопоставимы напрямую с полными корпусами MIRACL. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с карточкой базовой модели.

Сценарии применения

поиск документов по текстовому запросу
ранжирование документов по релевантности запросу
многоязычный поиск по коллекции текстов
локальный семантический поиск на компьютере Apple Silicon

Ограничения

Реализация рассчитана на MLX и Apple Silicon; архитектура не поддерживается mlx-lm и mlx-embeddings из коробки. Приведённые результаты MIRACL получены на сокращённых пулах и не сопоставимы с результатами на полных корпусах.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LFM2.5-ColBERT-350M — MLX (bf16)

MLX build of LiquidAI/LFM2.5-ColBERT-350M, a multilingual late-interaction retriever (128-dim vector per token, scored with MaxSim), for local inference on Apple Silicon with MLX.

All weights, architecture, and behavior are LiquidAI's. This repository changes the file format (PyTorch/safetensors → MLX) and kept at the original bf16 precision — it is not quantized. Quantized variants (8-bit / 4-bit) are available as sibling repos; see the table below. See the original model card for training details and intended use.

Conversion details

Converted with mlx; weights unchanged apart from tensor layout (bf16 → MLX bf16). Includes the 1024→128 Dense projection head (dense.weight).
The architecture is Lfm2BidirectionalModel (a bidirectional LFM2 encoder), which mlx-lm / mlx-embeddings do not support out of the box, so a small self-contained MLX implementation is included as lfm2_bidirectional.py.
Verified against the original (PyTorch, float32, identical token ids): worst-case cosine of the per-token projected vectors ≈ 1.0 across short prompts and a 130-token passage.

Evaluation

Retrieval quality of this checkpoint (and its sibling precisions), measured as NDCG@10 / Recall@10 on judged pools. Retention = metric ÷ bf16 metric, averaged per-dataset.

Setup. English = the four NanoBEIR sets (full small corpora, ~2–5k passages, 50 queries each). Multilingual = MIRACL dev (the real queries and relevance judgments) for Spanish, German, Japanese, Arabic, each scored over a reduced pool of ~6k passages (judged positives + hard-mined negatives + sampled distractors, from mteb/MIRACLRetrievalHardNegatives), 100 queries each. Reduced pools make absolute scores easier than full-corpus MIRACL and not leaderboard-comparable — but every precision searches the identical pool, so the retention numbers (the point of this table) are sound. ColBERT uses brute-force MaxSim with no query augmentation, so its absolute scores sit a touch below a full PLAID setup.

Summary (mean over 8 datasets)

precision	NDCG@10	NDCG retention	Recall@10	Recall retention	size
bf16 ◄	0.740	100.0%	0.780	100.0%	707 MB
8-bit	0.741	100.0%	0.779	99.4%	376 MB
4-bit	0.731	98.7%	0.780	99.7%	199 MB
mxfp4	0.730	98.5%	0.773	98.8%	—

NDCG@10 by dataset

dataset	bf16 ◄	8-bit	4-bit	mxfp4
NanoNQ · en	0.757	0.751	0.716	0.742
NanoFiQA2018 · en	0.528	0.512	0.524	0.520
NanoSciFact · en	0.693	0.712	0.702	0.682
NanoNFCorpus · en	0.345	0.342	0.335	0.334
MIRACL · es	0.900	0.901	0.899	0.900
MIRACL · de	0.823	0.837	0.826	0.811
MIRACL · ja	0.934	0.933	0.923	0.926
MIRACL · ar	0.938	0.941	0.924	0.926

License & attribution

Redistributed under the LFM Open License v1.0 (LICENSE) — the same license as the original model. Per Section 4, this notice records that the files were modified (format conversion to MLX). The original work is by Liquid AI; this repository is an independent conversion, not affiliated with or endorsed by Liquid AI. The license includes a commercial-use threshold (Section 5) — review it for your use case.

Base model: LiquidAI/LFM2.5-ColBERT-350M

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: Lfm2BidirectionalModel
Ревизия весов: d8ac668