II.8Инженерия данных и аналитика

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_3840 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_4760 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_600 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_680 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_80 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_920 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

jamiehudson/579-STmodel-brand-rem-v5 — модель Sentence Transformers на базе архитектуры MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и рассчитана на контекст до 514 токенов; для получения векторов можно использовать библиотеку sentence-transformers или Transformers с подходящей операцией pooling. Модель подходит для поиска близких по смыслу фрагментов и группировки текстов. В README указано обучение с CosineSimilarityLoss, но языки и предметная область не описаны. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Модель flax-sentence-embeddings/all_datasets_v3_roberta-large разработана участниками Community Week Hugging Face в рамках проекта по обучению моделей эмбеддингов предложений на больших наборах данных. Это дообученная с контрастивной целью версия roberta-large с архитектурой RoBERTa и 454,1 млн параметров. Она кодирует входное предложение в вектор, отражающий его семантическое содержание, и рассчитана на извлечение признаков и сравнение предложений. В README описано обучение на более чем миллиарде пар предложений из объединённых датасетов; указаны длина последовательности обучения 128 токенов и использование SentenceTransformers. Метаданные указывают родной контекст в 514 токенов. Модель подходит для семантического поиска, группировки текстов и оценки сходства предложений. В карточке указана поддержка английского языка. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Карточка модели radames/all-MiniLM-L6-v2-feature-extraction на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.

Это дообученный на 5 509 парах «запрос—документ» англоязычный энкодер предложений mazej на базе sentence-transformers/all-MiniLM-L6-v2. Модель построена на архитектуре BERT и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. В README указана максимальная длина последовательности 256 токенов, а в метаданных — контекст 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Её можно применять для ранжирования документов по близости к запросу и группировки похожих текстов. Обучение выполнено с MultipleNegativesRankingLoss; модель распространяется в формате safetensors, для работы используется библиотека Sentence Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

onnx-models/all-MiniLM-L6-v2-onnx — ONNX-порт модели sentence-transformers/all-MiniLM-L6-v2, подготовленный Binh Nguyen. Модель предназначена для создания векторных представлений текстов и задач сравнения предложений, включая извлечение признаков и работу с семантическим сходством. Используется через библиотеку light-embed. Модель включает Transformer, Pooling и Normalize, формирует embeddings размерностью 384 и поддерживает последовательности длиной до 256 токенов. Размер файлов на диске составляет около 0,08 ГБ, что делает модель компактной для сценариев локального или ресурсно-ограниченного применения. README не содержит сведений о поддерживаемых языках, конкретных показателях качества, ограничениях применения или лицензии, поэтому эти характеристики нельзя определить по предоставленным данным.

onnx-community/all-MiniLM-L6-v2-ONNX — модель для получения векторных представлений предложений и оценки их семантического сходства. Она основана на sentence-transformers/all-MiniLM-L6-v2, а ONNX-веса подготовлены сообществом onnx-community для совместимости с Transformers.js. Модель предназначена для задач feature extraction, включая семантический поиск, сравнение текстов, кластеризацию и построение систем извлечения информации. Модель работает с английским языком и преобразует предложения в эмбеддинги размерностью 384. В README указано использование mean pooling и нормализации векторов; поддерживается обработка нескольких предложений. Архитектурные детали ограничены принадлежностью к семейству MiniLM с шестью слоями, при этом точный размер модели и максимальная длина контекста не указаны. Модель не является генеративной и не предназначена для создания текста. Сильными сторонами являются компактное представление, удобство локального использования в JavaScript-приложениях через Transformers.js и ориентация на широкий набор задач семантического сопоставления. Ограничения включают поддержку только английского языка и отсутствие сведений о точной производительности в конкретных сценариях. Модель распространяется по лицензии Apache-2.0.

KhaledReda/all-MiniLM-L6-v65-pair_score — англоязычная модель Sentence Transformers, дообученная автором на sentence-transformers/all-MiniLM-L6-v2 с использованием набора пар текстов и оценок pairs_with_scores_v52. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Архитектура — BERT-энкодер с усреднением токеновых представлений и нормализацией векторов; модель содержит 25,9 млн параметров. В README указан максимальный размер входа 256 токенов, а метаданные каталога указывают контекст 512 токенов. Основной язык — английский. Для сравнения векторов рекомендуется косинусное сходство. Модель подходит для поиска семантически близких фрагментов и ранжирования пар текстов по близости. Лицензия — Apache-2.0. Качество на иных доменах и языках, чем английские данные обучения, не установлено; максимальная длина по README ограничена 256 токенами.

Англоязычный Sentence Transformer, дообученный Khaled Reda на наборе пар предложений pairs_with_scores_v63 для оценки семантической близости текстов. Модель основана на sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру BERT с усреднением токенных представлений и нормализацией. Она преобразует предложения и абзацы в плотные векторы размерности 384; сходство между векторами можно оценивать косинусной мерой. Модель подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 256 токенов, тогда как метаданные задают нативный контекст в 512 токенов. Распространяется по лицензии Apache-2.0. Карточка описывает обучение на парах с оценками сходства, но не приводит результаты сравнительных тестов; качество на других доменах и языках отдельно не подтверждено.

Карточка модели thainq107/all-mpnet-base-v2 на Hugging Face совпадает с карточкой KingName1/sentence_transformer, поэтому описание составлено по ней. KingName1/sentence_transformer — модель Sentence Transformers на архитектуре MPNet, предназначенная для преобразования предложений и коротких абзацев в плотные семантические векторы размерности 768. README описывает её как дообученную на основе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений; метаданные указывают 136,7 млн параметров и библиотеку sentence-transformers. Входной текст кодируется для семантического поиска, сравнения сходства и кластеризации.

deepset/all-mpnet-base-v2-table — модель эмбеддингов предложений на основе MPNet, выпущенная компанией deepset. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Обучение использовало MultipleNegativesRankingLoss с косинусной функцией сходства. Векторы можно применять для ранжирования текстов по смысловой близости и поиска похожих фрагментов. Модель принимает текст и выдаёт векторные представления; сведений о специализации на конкретном языке в карточке нет. Лицензия в предоставленных данных не указана.

Модель shreyansh26/bert-base-1024-biencoder-64M-pairs — двубашенный энкодер предложений на архитектуре BERT, основанный на предварительно обученной MosaicML BERT. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и кластеризации. В README указана обработка последовательностей длиной до 1024 токенов; метаданные модели указывают 136,7 млн параметров и контекст 512 токенов. Модель предназначена для поиска семантически близких текстов, извлечения документов и пассажей, а также сравнения и группировки предложений. В метаданных отмечен английский язык, а среди датасетов для обучения и оценки перечислены MS MARCO, SNLI, MultiNLI и другие наборы для поиска и текстового сходства. Репозиторий содержит веса PyTorch; для использования предлагаются Transformers и специализированная реализация Mosaic BERT. Лицензия в предоставленных данных не указана. Между README и метаданными есть расхождение по длине контекста: README сообщает 1024 токена, метаданные — 512; фактический рабочий предел следует проверять по конфигурации и токенизатору модели.

Компактная модель Sentence Transformers, разработанная swardiantara путём дообучения google/bert_uncased_L-2_H-128_A-2 на наборе пар предложений с оценками сходства. Она кодирует текст в плотные векторы размерностью 128 и предназначена для поиска похожих предложений и абзацев, включая семантический поиск и извлечение релевантных текстов. Сходство векторов можно оценивать косинусной мерой. Модель построена на архитектуре BERT с усреднением токенных представлений; содержит 4,4 млн параметров и поддерживает входной контекст до 512 токенов по метаданным. README указывает максимальную длину последовательности 128 токенов, поэтому для штатного использования следует учитывать этот предел. Модель принимает текст и выдаёт векторы; базовая модель ориентирована на английский язык, а в примерах обучения использованы англоязычные данные.

inrealm/bge-base-all-nli-triplet — англоязычная модель Sentence Transformer, созданная дообучением BAAI/bge-small-en на наборе sentence-transformers/all-nli. Она использует архитектуру BERT с пулингом CLS-токена и нормализацией, преобразует предложения и абзацы в плотные эмбеддинги размерности 384; сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Максимальная длина последовательности — 512 токенов. Для работы с ней используются Sentence Transformers и форматы текстовых эмбеддингов. Модель оптимизирована для английского языка и обучена на примерах отношений entailment из all-nli. Качество на других языках и задачах, отличающихся от семантического сопоставления, может быть ниже. Лицензия в предоставленных данных не указана.

Карточка модели ekorman-strive/bge-large-en-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

Карточка модели katanemo/bge-large-en-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

tessimago выпустил англоязычную модель Sentence Transformers, дообученную на базе BAAI/bge-large-en-v1.5. Она использует архитектуру BERT с пулингом CLS-токена и нормализацией и преобразует предложения и абзацы в плотные эмбеддинги размерностью 1024; максимальная длина входа — 512 токенов. Обучение проводилось на 1 024 парах текстов с функциями MatryoshkaLoss и MultipleNegativesRankingLoss. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации на основе эмбеддингов. Обучение с MatryoshkaLoss позволяет использовать укороченные векторы: в карточке приведены оценки поиска при размерностях от 64 до 768. Указанная лицензия — Apache-2.0. Карточка приводит метрики InformationRetrievalEvaluator для отдельных конфигураций, но не описывает набор данных оценки, поэтому эти результаты не следует считать гарантией качества в конкретной прикладной задаче.

Карточка модели AlexAnoshka/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

ggml-org/bge-m3-Q8_0-GGUF — это модель для извлечения признаков и вычисления семантического сходства предложений, преобразованная в формат GGUF из базовой модели BAAI/bge-m3. Конвертацию выполнили с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для задач поиска по смыслу, ранжирования, сопоставления текстов и построения векторных представлений, в том числе при локальном запуске через совместимые инструменты llama.cpp. Ключевая характеристика этой версии — квантование Q8_0 в формате GGUF, которое обычно позволяет сократить требования к памяти по сравнению с полноразмерными весами при сохранении большей части качества исходной модели. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста и точных модальностях; по назначению и указанной базовой модели речь идет о текстовой embedding-модели. Ограничения качества и совместимости зависят от исходной BAAI/bge-m3 и используемого программного окружения. Лицензия — MIT.

Карточка модели dabitbol/bge-m3-sparse-elastic на Hugging Face совпадает с карточкой Bylaw/BAAI-bge-m3, поэтому описание составлено по ней. BAAI/bge-m3 — многоязычная модель эмбеддингов семейства XLM-RoBERTa, разработанная BAAI и представленная в репозитории Bylaw/BAAI-bge-m3. Она предназначена для поиска по смыслу и извлечения документов, включая многоязычный и межъязыковой поиск, а также поиск по длинным текстам. Модель формирует плотные эмбеддинги, разреженные лексические веса и многовекторные представления ColBERT; эти представления можно использовать отдельно или объединять в гибридном поиске и RAG-конвейерах. Модель имеет 658,7 млн параметров, размерность эмбеддинга 1024 и контекст до 8194 токенов. README заявляет поддержку более 100 языков и указывает, что модель можно применять к коротким предложениям и длинным документам. В карточке также заявлены форматы PyTorch и Safetensors, а лицензия — MIT. BGE-M3 удобна тем, что объединяет несколько подходов к поиску и поддерживает длинный контекст. По README, для задач на одном языке специализированные одноязычные модели могут показывать лучшие результаты; поддержка разреженного поиска также зависит от используемой библиотеки. Для повышения точности авторы рекомендуют сочетать гибридный поиск с отдельной моделью-реранкером.

BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

ggml-org/bge-small-en-v1.5-Q8_0-GGUF — квантованное представление модели BAAI/bge-small-en-v1.5, разработанной BAAI, в формате GGUF для использования с llama.cpp и совместимыми инструментами. Модель предназначена для получения векторных представлений англоязычных текстов и решения задач семантического поиска, извлечения информации, сравнения сходства предложений, классификации, кластеризации и переранжирования результатов поиска. Модель относится к семейству Sentence Transformers и поддерживает обработку текста на английском языке. В README не указаны точные архитектурные параметры, число параметров и максимальная длина контекста; обозначение Q8_0 указывает на 8-битное квантование. Среди сильных сторон — универсальное применение для задач сопоставления и поиска текстов, а также наличие результатов оценки на наборах MTEB для классификации, извлечения, кластеризации, переранжирования и оценки семантического сходства. Ограничение — заявлена поддержка только английского языка, поэтому качество для русского и других языков не гарантируется. Модель распространяется по лицензии MIT. Для использования требуется среда, совместимая с форматом GGUF, например llama.cpp.

SMARTICT/bge-small-en-v1.5-tr-rag-v1 — англоязычная модель Sentence Transformers от SMARTICT, дообученная на базе BAAI/bge-small-en-v1.5 для семантического поиска и сравнения текстов. Она кодирует предложения и абзацы в плотные эмбеддинги размерности 384; архитектура включает BERT, пулинг по CLS-токену и нормализацию. Максимальная длина входа — 512 токенов, для сравнения используется косинусное сходство. Обучение проводилось на 8 970 парах anchor-positive с MultipleNegativesRankingLoss. Модель подходит для поиска фрагментов по запросу, оценки семантической близости, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки поиска на наборе dim_384, включая cosine_accuracy@1 0,6088 и @5 0,7172. Модель распространяется по лицензии Apache-2.0. Она рассчитана на английский язык; качество на других языках не подтверждено, а входы длиннее 512 токенов ограничены максимальной длиной последовательности.

quangtqv/bi_encoder_tool_learning_backbone_14_6 — модель Sentence Transformer на архитектуре BERT, преобразующая предложения и абзацы в нормализованные плотные векторы размерности 768. Она предназначена для сравнения семантического сходства, семантического поиска, поиска перефразировок, классификации текста и кластеризации; сходство векторов можно оценивать косинусной мерой. Модель принимает текстовые последовательности длиной до 512 токенов. В архитектуре используются BERT, pooling по CLS-токену и нормализация выходного вектора. В метаданных указано 136,7 млн параметров; веса опубликованы в формате safetensors. README описывает обучение модели, но не сообщает базовую модель, набор данных или языки, поэтому её языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.

E5-base — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang и соавторами. Это плотная модель на архитектуре BERT с 12 слоями, размерностью эмбеддинга 768 и 136,7 млн параметров; она принимает текст и выдаёт векторные представления. Модель обучена методом контрастивного предобучения со слабым контролем и предназначена для сравнения смысловой близости текстов и поиска по текстовым коллекциям. E5-base подходит для семантического поиска, извлечения релевантных фрагментов для систем вопросов и ответов, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии с типом задачи. В репозитории указаны веса PyTorch и safetensors; длина контекста — до 512 токенов. Модель работает только с английским текстом, а более длинные входы обрезаются до 512 токенов. Авторы рекомендуют перейти на e5-base-v2, который, по их сообщению, показывает лучшие результаты при том же способе использования. Лицензия — MIT.