Компактная многоязычная BERT-модель для получения текстовых эмбеддингов и семантического поиска в RAG-сценариях на устройствах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Onyx-mE5-Small — дообученная и квантизированная до 4 бит модель для создания текстовых эмбеддингов на основе intfloat/multilingual-e5-small. Её подготовили для OnyxEmbed — локального эмбеддера для RAG на устройствах Onyx. Модель использует архитектуру BERT и содержит 124,3 млн параметров; веса размещены в формате safetensors. Контекст ограничен 512 токенами.
Модель преобразует запросы и фрагменты документов в векторы для семантического поиска и сопоставления текстов, в том числе между языками. Для работы следует сохранять соглашения E5: применять mean pooling и добавлять к входам префиксы `query: ` или `passage: `. По README, 4-битная квантизация сокращает размер примерно с 449 до 71 МБ; автор сообщает о сохранении качества recall относительно fp32 на английском и в межъязыковых сценариях. Основа и эта версия распространяются по лицензии MIT.
Контекст ограничен 512 токенами, а для корректной работы нужны mean pooling и префиксы `query: ` / `passage: `. Заявление о сохранении recall относится к английскому и межъязыковым сценариям; результаты для других условий не приведены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
4-bit MLX quantization of intfloat/multilingual-e5-small (MIT), for the Onyx on-device RAG embedder (OnyxEmbed). group_size 64, bits 4 on the attention/FFN dense matrices + word_embeddings; LayerNorms, biases, and positional embeddings stay fp. ~71 MB (from ~449 MB fp32).
Usage keeps e5 conventions: mean pooling, and the query: / passage: prefixes. Verified recall-neutral
vs fp32 (English + cross-lingual). Inherits the base model MIT license.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.