I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейmlx-community/all-MiniLM-L6-v2-bf16 — компактная модель для получения векторных представлений предложений, созданная сообществом mlx-community путём конвертации sentence-transformers/all-MiniLM-L6-v2 в формат MLX. Модель основана на архитектуре MiniLM и содержит 25,9 млн параметров. Она предназначена для оценки семантического сходства текстов, поиска похожих предложений и построения систем семантического поиска, кластеризации и retrieval-компонентов. Модель принимает англоязычные тексты и возвращает нормализованные embeddings, между которыми можно вычислять сходство через скалярное произведение. Поддерживается контекст длиной до 512 токенов и использование через библиотеку sentence-transformers и инструменты MLX. Сильные стороны модели — небольшой размер, специализированность на sentence embeddings и удобство применения на устройствах и в окружениях, совместимых с MLX. Модель не предназначена для генерации текста, плохо подходит для текстов за пределами английского языка, а входы длиннее 512 токенов требуют усечения или предварительной обработки. Лицензия — Apache-2.0.
Карточка модели radames/all-MiniLM-L6-v2-feature-extraction на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
IoannisKat1 выпустил англоязычную модель Sentence Transformers для получения векторных представлений предложений и абзацев, дообученную на базе sentence-transformers/all-MiniLM-L6-v2 на 1 580 парах текстов. Это энкодер на архитектуре BERT с 25,9 млн параметров: он усредняет токенные представления, нормализует результат и формирует векторы размерностью 384, сравниваемые по косинусному сходству. Контекст в метаданных указан как 512 токенов, а README заявляет максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и извлечения признаков для классификации. Matryoshka-обучение позволяет использовать усечённые векторы размерностью 256, 128 или 64; в README приведены результаты оценки поиска для этих размерностей. Модель принимает текст и выдаёт векторные представления. Лицензия — Apache-2.0.
all-MiniLM-L6-v2-multi-qa-ties-merge — демонстрационная объединённая модель на основе энкодера BERT, созданная средствами Sentence Transformers. Она объединяет all-MiniLM-L6-v2 и multi-qa-MiniLM-L6-cos-v1 методом TIES с плотностью 70% для каждого набора изменений относительно all-MiniLM-L6-v2. Модель содержит 25,9 млн параметров и рассчитана на входной контекст до 512 токенов. Модель преобразует текст в векторные представления предложений для вычисления семантического сходства, поиска релевантных текстов и кластеризации. Базовые модели описаны как англоязычные энкодеры; основное применение — семантический поиск и сопоставление англоязычных запросов с текстами. Доступны форматы Safetensors, TensorFlow и OpenVINO. Лицензия в предоставленных данных не указана.
onnx-community/all-MiniLM-L6-v2-ONNX — модель для получения векторных представлений предложений и оценки их семантического сходства. Она основана на sentence-transformers/all-MiniLM-L6-v2, а ONNX-веса подготовлены сообществом onnx-community для совместимости с Transformers.js. Модель предназначена для задач feature extraction, включая семантический поиск, сравнение текстов, кластеризацию и построение систем извлечения информации. Модель работает с английским языком и преобразует предложения в эмбеддинги размерностью 384. В README указано использование mean pooling и нормализации векторов; поддерживается обработка нескольких предложений. Архитектурные детали ограничены принадлежностью к семейству MiniLM с шестью слоями, при этом точный размер модели и максимальная длина контекста не указаны. Модель не является генеративной и не предназначена для создания текста. Сильными сторонами являются компактное представление, удобство локального использования в JavaScript-приложениях через Transformers.js и ориентация на широкий набор задач семантического сопоставления. Ограничения включают поддержку только английского языка и отсутствие сведений о точной производительности в конкретных сценариях. Модель распространяется по лицензии Apache-2.0.
Модель fdlvaaa/all-MiniLM-L6-v2-ru-triplet — русскоязычная Sentence Transformer, дообученная на базе sentence-transformers/all-MiniLM-L6-v2. Она преобразует предложения и абзацы в плотные семантические векторы размерности 384 для поиска и сравнения текстов; сходство векторов можно оценивать косинусной мерой. Архитектура включает энкодер BERT, усредняющий pooling и нормализацию. Модель содержит 25,9 млн параметров, принимает текст и рассчитана на последовательности длиной до 512 токенов по метаданным; в README указан предел 256 токенов. В обучающей выборке из 20 000 троек есть русские примеры, а обучение проводилось с TripletLoss. Лицензия в предоставленных данных не указана.
Это модель SentenceTransformer на базе энкодера BERT all-MiniLM-L6-v2, дообученная на 5 749 парах предложений с CosineSimilarityLoss. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 384 и предназначена для оценки семантического сходства, семантического поиска и задач группировки текстов. В архитектуре используются mean pooling и нормализация; метаданные указывают 25,9 млн параметров и контекст до 512 токенов, тогда как README задаёт максимальную длину последовательности 256 токенов. Модель подходит для поиска похожих предложений, обнаружения перефразирований, кластеризации и классификации текстов. Карточка и базовая модель ориентированы на английский язык; отдельная поддержка других языков не заявлена. Лицензия в предоставленных данных не указана.
KhaledReda дообучил англоязычный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 на наборе пар текстов pairs_with_scores_v33. Модель использует энкодер BERT с усреднением токенных представлений и нормализацией; она преобразует предложения и абзацы в плотные векторы размерностью 384 и сравнивает их косинусным сходством. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а README заявляет максимальную длину последовательности 256 токенов. Модель предназначена для оценки семантического сходства пар текстов и создания эмбеддингов для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Обучение с CoSENTLoss на парах с оценками сходства помогает ранжировать тексты по близости смысла. Доступна по лицензии Apache-2.0.
KhaledReda/all-MiniLM-L6-v46-pair_score — англоязычная модель Sentence Transformers, дообученная на sentence-transformers/all-MiniLM-L6-v2 для сопоставления пар текстов. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и позволяет сравнивать косинусное сходство. Архитектура включает энкодер BERT и усреднение токенных представлений; метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок и кластеризации. Её обучали с CoSENTLoss на парах текстов со score из KhaledReda/pairs_with_scores_v39; README также указывает возможное применение для классификации текста. Она рассчитана на английский язык. Лицензия — Apache-2.0.
KhaledReda/all-MiniLM-L6-v65-pair_score — англоязычная модель Sentence Transformers, дообученная автором на sentence-transformers/all-MiniLM-L6-v2 с использованием набора пар текстов и оценок pairs_with_scores_v52. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Архитектура — BERT-энкодер с усреднением токеновых представлений и нормализацией векторов; модель содержит 25,9 млн параметров. В README указан максимальный размер входа 256 токенов, а метаданные каталога указывают контекст 512 токенов. Основной язык — английский. Для сравнения векторов рекомендуется косинусное сходство. Модель подходит для поиска семантически близких фрагментов и ранжирования пар текстов по близости. Лицензия — Apache-2.0. Качество на иных доменах и языках, чем английские данные обучения, не установлено; максимальная длина по README ограничена 256 токенами.
KhaledReda/all-MiniLM-L6-v71-pair_score — англоязычная модель Sentence Transformers, дообученная автором на модели KhaledReda/all-MiniLM-L6-v69-pair_score с использованием набора пар текстов со степенями сходства pairs_with_scores_v57. Это компактный плотный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в нормализованные векторы размерности 384 и сравнивает их косинусным сходством. Для входной последовательности в метаданных указан контекст до 512 токенов; карточка модели задаёт ограничение в 256 токенов. Модель предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и получения признаков для классификации. Обучение проводилось с CoSENTLoss на парах с оценками сходства. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Для языков и текстов, отличающихся от английского, качество не подтверждено карточкой.
KhaledReda/all-MiniLM-L6-v73-pair_score — англоязычная модель Sentence Transformers, дообученная на наборе pairs_with_scores_v59 на основе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и позволяет сравнивать тексты по косинусному сходству. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации. Архитектура основана на BERT: энкодер с mean pooling и нормализацией; в метаданных указан размер 25,9 млн параметров. Карточка указывает максимум 256 токенов, а метаданные — нативный контекст 512 токенов. Поддерживается английский язык. Лицензия — Apache-2.0.
KhaledReda разработал англоязычную модель Sentence Transformer на основе дообученной sentence-transformers/all-MiniLM-L6-v2. Энкодер семейства BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Модель обучена на парах текстов с оценками сходства и рассчитана на последовательности до 256 токенов по README; метаданные указывают контекстное окно 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текстов. Её можно применять, например, для поиска товаров или документов по смыслу и ранжирования текстов по семантической близости. Для использования требуется библиотека Sentence Transformers или совместимая система инференса. Лицензия — Apache-2.0. Обучение на англоязычном датасете определяет основную область применения модели; качество для других языков в карточке не подтверждено. Для длинных текстов учитывайте предел последовательности из README; оценки сходства и результаты последующих задач могут требовать настройки под конкретные данные.
KhaledReda разработал англоязычную модель Sentence Transformer, дообученную на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. В README указан максимальный размер последовательности 256 токенов, а метаданные задают нативный контекст в 512 токенов. Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Её можно применять для получения эмбеддингов документов и вычисления релевантности пар предложений. Модель работает с английским языком; данные описаны как пары предложений с оценками, а обучение проводилось с CoSENTLoss. Модель распространяется под лицензией Apache-2.0. Это компактный энкодер с 25,9 млн параметров; фактические результаты зависят от текста и области применения, а вход длиннее ограничения последовательности может быть усечён.
XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
all-mpnet-base-v2 — модель эмбеддингов предложений семейства MPNet, разработанная командой Sentence Transformers в рамках проекта Hugging Face Community Week. Она дообучена на базе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений. Модель кодирует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель принимает текст и выдаёт векторное представление. Входы длиннее 512 токенов WordPiece обрезаются; при использовании через Transformers требуется применить подходящий pooling к контекстным представлениям. В карточке указана лицензия Apache-2.0.
Карточка модели leif1557/all-mpnet-base-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-mpnet-base-v2, поэтому описание составлено по ней. all-mpnet-base-v2 — модель Sentence Transformers, разработанная в ходе Community Week Hugging Face. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. В основе лежит microsoft/mpnet-base, дообученная контрастивным обучением на более чем миллиарде пар предложений из нескольких наборов данных. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст. Её можно применять для семантического поиска, извлечения информации и группировки похожих фрагментов. Текст длиннее 384 токенов модели обрезается; README рекомендует использовать её как кодировщик предложений и коротких абзацев. Лицензия — Apache-2.0.
navteca/all-mpnet-base-v2 — модель Sentence-Transformers на архитектуре MPNet, созданная на основе microsoft/mpnet-base и дообученная командой проекта Hugging Face Community Week с помощью контрастивного обучения на наборе более чем из миллиарда пар предложений. Она предназначена для кодирования предложений и коротких абзацев: преобразует текст в плотный вектор размерности 768, пригодный для семантического поиска, оценки сходства и кластеризации. Модель содержит 136,7 млн параметров, распространяется в формате PyTorch и имеет лицензию MIT. Модель подходит для семантического поиска по коллекциям текстов, поиска похожих предложений и группировки текстов по смыслу. В README указано усечение входа длиннее 384 токенов WordPiece; в метаданных указан контекст 514 токенов. Английский язык подтверждён карточкой модели. Это энкодер предложений, а не генеративная модель: на выходе — векторы, и для использования через Transformers требуется корректная операция pooling.
all-mpnet-base-v2 — модель Sentence-Transformers, основанная на архитектуре MPNet; разработана в рамках проекта Hugging Face Community Week. Это дообученная версия microsoft/mpnet-base с 136,7 млн параметров, обученная контрастивным методом на более чем миллиарде пар предложений. Модель преобразует предложения и короткие абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель принимает текст и выдаёт эмбеддинги. Подходит для поиска документов по смыслу, группировки похожих текстов и оценки семантической близости предложений. Контекст составляет до 514 токенов по метаданным; README указывает, что входы длиннее 384 word pieces обрезаются. Основной язык карточки — английский. Распространяется по лицензии Apache-2.0.
Карточка модели questgen/all-mpnet-base-v2-feature-extraction-pipeline на Hugging Face совпадает с карточкой XHY-DY/all-mpnet-base, поэтому описание составлено по ней. XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
Retrieva, Inc. разработала AMBER (Adaptive Multitask Bilingual Embedding Representations) — двуязычную модель текстовых эмбеддингов на архитектуре ModernBERT и в формате Sentence Transformers. Модель дообучена на базе sbintuitions/modernbert-ja-130m, содержит 132,1 млн параметров и предназначена прежде всего для японского языка, с поддержкой английского. При обучении использовались японские и английские наборы данных, а также данные для перевода между этими языками; инструкции на естественном языке помогают получать эмбеддинги с учётом задачи. AMBER подходит для поиска по смыслу, сравнения предложений, ранжирования и других задач, использующих векторные представления текста. README указывает размер выходного вектора 512 измерений, косинусную меру сходства и максимальную длину последовательности 512 токенов; метаданные каталога указывают контекст до 8 192 токенов. Модель оценивалась на японских JMTEB, JQaRA, JaCWIR и японской части MLDR, а также на английском MTEB. Лицензия — Apache 2.0. Качество зависит от языка, данных и задачи; модель ориентирована на японский язык, поэтому её возможности для английского могут отличаться. В README приведены отдельные результаты бенчмарков, но не все значения таблиц доступны в карточке.
AMBER (Adaptive Multitask Bilingual Embedding Representations) — текстовая модель эмбеддингов, разработанная Retrieva, Inc. на основе архитектуры ModernBERT и дообученная от sbintuitions/modernbert-ja-310m. Модель рассчитана прежде всего на японский язык и также поддерживает английский; при обучении использовались данные на обоих языках и естественно-языковые инструкции, позволяющие адаптировать эмбеддинги к задаче. В метаданных указан размер 314,6 млн параметров, контекст до 8192 токенов и формат safetensors. README указывает максимальную длину последовательности 512 токенов, выходные эмбеддинги размерностью 768 и косинусную меру сходства. Модель подходит для семантического поиска, сопоставления предложений и других задач, где требуется сравнивать текстовые представления, включая двуязычные сценарии на японском и английском. В README приведены оценки на японских JMTEB, JQaRA, JaCWIR и подмножестве MLDR, а также на английском MTEB; это результаты авторской оценки. Лицензия — Apache 2.0. Для практического применения следует учитывать расхождение между указанным в метаданных контекстом 8192 токена и лимитом последовательности 512 токенов в README.
Карточка модели MossaicMan/anurag-ai на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
Mashiat/ats-mpnet-model — текстовая модель Sentence Transformer, дообученная на базе sentence-transformers/all-mpnet-base-v2. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 для семантического поиска, извлечения релевантных текстов и сравнения сходства по косинусной мере. Архитектура включает MPNet, mean pooling и нормализацию векторов; модель рассчитана на последовательности до 384 токенов по README, тогда как метаданные каталога указывают нативный контекст 514 токенов. Обучение выполнено на наборе из 2 953 пар предложений с оценками сходства. Модель подходит для retrieval-сценариев и ранжирования текстов по семантической близости. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным описать нельзя.
b1ade-embed — модель текстовых эмбеддингов, разработанная авторами коллекции небольших моделей для RAG. Она предназначена для семантического поиска, сопоставления текстов и других задач, где требуется представлять текст в виде векторов. Модель создана слиянием bert-large-uncased, UAE-Large-V1, BAAI/bge-large-en-v1.5, mxbai-embed-large-v1 и GIST-large-Embedding-v0, а также дистилляцией знаний более крупных моделей; в README указан размер 335 млн параметров, метаданные указывают 433,9 млн. Архитектура — плотная BERT-модель, контекст — до 512 токенов. В README сообщается о сильных результатах на бенчмарке MTEB, особенно в семантическом сходстве текстов, а также о применении в поиске и исследованиях клинических и трудовых данных. Модель ориентирована на английский язык. Она выдаёт эмбеддинги для последующего поиска, ранжирования или классификации; качество следует проверять на целевом наборе данных и задаче. Лицензия в предоставленных сведениях не указана.
Это дообученная модель Sentence Transformers на архитектуре BERT, созданная на основе BAAI/bge-large-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и нормализует их; сходство текстов оценивается косинусным сходством. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Её можно применять для получения эмбеддингов документов и запросов, а также для оценки близости предложений. README не сообщает языковой состав обучающих данных, поэтому языковую специализацию модели установить нельзя. Репозиторий содержит веса в формате safetensors; метаданные не указывают лицензию.
Это дообученная модель Sentence Transformer на базе BAAI/bge-large-en-v1.5 для преобразования предложений и абзацев в плотные векторы размерности 1024. Архитектура включает BertModel, пулинг по CLS-токену и нормализацию; максимальная длина последовательности — 512 токенов. Разработчик конкретного дообучения и обучающие данные в карточке не описаны. Модель предназначена для вычисления семантического сходства и поиска по тексту, а также для поиска перефразировок, кластеризации и классификации текстов. Нормализованные эмбеддинги сравниваются косинусным сходством. Репозиторий создан 17 ноября 2024 года и содержит веса safetensors. Условия лицензии в предоставленных данных не указаны.
Модель marumarukun/BAAI-bge-large-en-v1.5_fine_tuned_fold3_20241115_191836 — дообученная англоязычная модель Sentence Transformers на архитектуре BERT. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; сходство текстов можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В метаданных указаны 433,9 млн параметров и формат safetensors. Лицензия в предоставленных данных не указана.
Bangla-Embed-E5 — компактный энкодер предложений на основе BERT, разработанный автором репозитория kazalbrur. Модель дообучена на базе intfloat/multilingual-e5-small с помощью трёхэтапной дистилляции от BGE-M3 и последующей настройки на парах и NLI-данных. Она содержит 124,3 млн параметров по метаданным и обрабатывает до 512 токенов. Модель создаёт текстовые эмбеддинги для поиска по смыслу, сравнения предложений, межъязыкового поиска и классификации. В README сообщается о среднем результате 0,666 на бенгальской части MTEB(Indic) и сильных результатах в поиске на бенгальском языке среди компактных моделей. Для запросов и документов можно использовать отдельные подсказки query и passage и нормализовать эмбеддинги. Модель ориентирована на стандартный бенгальский язык и также поддерживает английский. Она не охватывает региональные варианты бенгальского; на полноразмерных MIRACL-bn и Mr.TyDi-bn уступает более крупным моделям и исходной модели без настройки, а приведённые метрики автоматические. Лицензия модели — MIT; лицензии некоторых обучающих данных могут ограничивать коммерческое использование, поэтому их условия следует проверять отдельно.
Карточка модели efeturkol/bddk-embedding-model на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.