I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейsoof выпустил дообученную на 41 454 примерах модель Sentence Transformers для сопоставления категорий по смыслу. Она основана на sentence-transformers/paraphrase-multilingual-mpnet-base-v2 и использует архитектуру XLM-RoBERTa с mean pooling. Модель преобразует предложения и абзацы в плотные векторы размерностью 768; близость текстов можно оценивать косинусным сходством. Максимальная длина входной последовательности в README — 128 токенов, а метаданные указывают контекстное окно 514 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Базовая модель многоязычная, поэтому область применения не ограничена одним языком. Для использования нужны Sentence Transformers или совместимый движок эмбеддингов. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.
Карточка модели onelevelstudio/ML-E5-0.6B на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.
Карточка модели ushakov15/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой woodx/Qwen3-Embedding-0.6B-SGLang, поэтому описание составлено по ней. Qwen3-Embedding-0.6B-SGLang — дообученная модель семейства Qwen3, представленная в репозитории woodx и основанная на Qwen/Qwen3-0.6B-Base. Она преобразует текст в эмбеддинги для семантического поиска и сопоставления текстов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и формирует векторы размерностью от 32 до 1024 с возможностью задавать инструкцию под задачу. Модель предназначена для многоязычного поиска по текстам и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и задач семантического сходства. В карточке серии заявлена поддержка более 100 языков. Для улучшения результатов поиска рекомендуется задавать подходящую инструкцию; в многоязычных сценариях авторы советуют формулировать её на английском. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
MoD-Embedding — текстовая модель эмбеддингов, созданная путём дообучения Qwen/Qwen3-Embedding-4B разработчиком bflhc. Она преобразует тексты в векторы для семантического поиска, извлечения информации, сравнения и кластеризации документов, межъязыкового поиска и классификации с использованием эмбеддингов. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров и размерность эмбеддингов 2560; для запуска указана библиотека Sentence Transformers. Метаданные указывают контекст до 40 960 токенов, README — максимальную длину последовательности 32 768 токенов. Поддерживаются английский, китайский и другие языки. Модель ориентирована на задачи поиска и сопоставления текстов и выдаёт эмбеддинги; она не предназначена для генерации текста. README отмечает, что качество может различаться в зависимости от предметной области и языка, а для очень длинных документов может потребоваться усечение. Лицензия — Apache-2.0.
tomaarsen/mpnet-base-allnli — модель Sentence Transformers, дообученная разработчиком tomaarsen на базе microsoft/mpnet-base. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости текстов, семантического поиска и других задач, где нужно сопоставлять тексты по значению. Модель использует архитектуру MPNet с усреднением токенных представлений и нормализацией выходного вектора; для оценки сходства в карточке рекомендуется скалярное произведение. Контекст модели составляет до 384 токенов по README и до 514 токенов по метаданным.
Multilingual-E5-large — мультиязычная модель текстовых эмбеддингов, основанная на XLM-RoBERTa-large и обученная контрастивным методом на смеси мультиязычных данных. В карточке перечислены авторы Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder и Furu Wei. Модель имеет 24 слоя, размер эмбеддинга 1024 и около 658,7 млн параметров. Она предназначена для поиска по текстам, семантического сходства, поиска парафраз и межъязыкового сопоставления текстов, а также для получения признаков для классификации и кластеризации. Для поиска нужно добавлять к запросу префикс «query:», а к документу — «passage:»; для симметричных задач и получения признаков используется префикс «query:». Поддерживается 100 языков семейства XLM-RoBERTa, включая русский, однако качество может снижаться на языках с малым объёмом обучающих данных. Модель принимает текст и выдаёт векторные представления. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Лицензия — MIT.
Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.
Карточка модели vectoriseai/multilingual-e5-large на Hugging Face совпадает с карточкой goldenrooster/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — мультиязычная модель текстовых эмбеддингов, основанная на XLM-RoBERTa-large и обученная контрастивным методом на смеси мультиязычных данных. В карточке перечислены авторы Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder и Furu Wei. Модель имеет 24 слоя, размер эмбеддинга 1024 и около 658,7 млн параметров. Она предназначена для поиска по текстам, семантического сходства, поиска парафраз и межъязыкового сопоставления текстов, а также для получения признаков для классификации и кластеризации. Для поиска нужно добавлять к запросу префикс «query:», а к документу — «passage:»; для симметричных задач и получения признаков используется префикс «query:». Поддерживается 100 языков семейства XLM-RoBERTa, включая русский, однако качество может снижаться на языках с малым объёмом обучающих данных. Модель принимает текст и выдаёт векторные представления. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Лицензия — MIT.
Это многоязычная модель Sentence Transformer, дообученная на базе intfloat/multilingual-e5-large командой thang1943. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 1024, пригодные для сравнения по косинусному сходству. Архитектура основана на XLM-RoBERTa-large с усреднением токенных представлений и нормализацией; максимальная длина входа составляет 512 токенов, библиотека — sentence-transformers. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Обучение выполнено на датасете dataset_full_fixed из 54 755 пар запросов и положительных примеров; приведённая в карточке оценка cosine_accuracy@5 для информационного поиска составляет 0,9092. Лицензия в предоставленных данных не указана.
Карточка модели DLCorso/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Карточка модели Hisham480/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Карточка модели inboxpraveen/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Карточка модели Karmukilan/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Карточка модели mikelalda/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Multilingual-E5-small — многоязычная модель текстовых эмбеддингов семейства E5, основанная на архитектуре BERT. В карточке указаны 12 слоёв и размерность эмбеддинга 384; метаданные сообщают о 124,3 млн параметров и формате ONNX. Модель инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель предназначена для получения векторных представлений текстов и оценки их семантического сходства. Её можно применять для поиска и ранжирования пассажей, семантического поиска, сопоставления парафразов и межъязыкового поиска. Для поиска по запросу и документам следует добавлять префиксы «query: » и «passage: » соответственно; для симметричных задач и использования эмбеддингов как признаков применяется «query: ». Модель поддерживает 100 языков, однако качество может снижаться для языков с малым объёмом ресурсов. Тексты длиннее 512 токенов обрезаются. Лицензия — MIT.
Multilingual-E5-small — компактная модель текстовых эмбеддингов семейства E5, основанная на Microsoft Multilingual-MiniLM-L12-H384 и дообученная на смеси многоязычных наборов данных. Она использует архитектуру BERT из 12 слоёв, содержит 124,3 млн параметров и строит векторы размерности 384 для поиска и сравнения текстов. Модель рассчитана на 100 языков; в карточке отдельно приведены результаты для русского и других языков. Поддерживает контекст до 512 токенов. Модель подходит для семантического поиска, ранжирования passages по запросу, оценки сходства предложений, поиска перефразировок и многоязычного поиска. Для асимметричного поиска рекомендуется добавлять префиксы «query: » и «passage: », а для симметричных задач — «query: » к обоим текстам; без префиксов качество может снижаться. Доступен формат ONNX, лицензия MIT.
Карточка модели mihaylovnikitos/multilingual-e5-small-softenginer на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Nano-Em1-0.6B-v2 — модель эмбеддингов текста от KiteFish AI на базе Qwen3-0.6B. Она использует двунаправленное внимание вместо причинной маски, среднее объединение токенных представлений и формирует векторы размерности 1024. Максимальная длина входа по README — 512 токенов; метаданные указывают контекст модели в 40 960 токенов. Модель предназначена для поиска документов по запросу, ранжирования, семантического сходства, классификации пар текстов и кластеризации. Для задач предлагаются инструкции-префиксы; при асимметричном поиске префикс инструкции добавляется к запросу, а документы кодируются без него. В метаданных также указана поддержка извлечения признаков и сходства предложений. Модель ориентирована на английский язык, а качество на других языках не оценивалось. Для загрузки архитектуры требуется включить trust_remote_code=True. Модель дообучена на Qwen/Qwen3-0.6B, распространяется в формате safetensors по лицензии Apache-2.0.
SteveTran/ob_semantic_model — это модель Sentence Transformers, дообученная разработчиком на базе Alibaba-NLP/gte-multilingual-base для сопоставления предложений и абзацев по смыслу. Она преобразует текст в плотные векторы размерности 768 и сравнивает их с помощью косинусного сходства; модель предназначена для семантического поиска, оценки сходства, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру Sentence Transformer с энкодером Transformer, объединением CLS-токена и нормализацией векторов. В карточке указана максимальная длина последовательности 512 токенов, а метаданные каталога указывают контекст до 8192 токенов; при практическом использовании следует учитывать ограничение, заявленное в README. Обучающие примеры состоят из запросов, релевантных описаний и отрицательных примеров; датасет содержит 5 964 образца. Пример в карточке — вьетнамский, а базовая модель многоязычная, поэтому модель подходит для многоязычных текстовых задач, хотя конкретный список поддерживаемых языков в источниках не приведён. Модель принимает текст и выдаёт векторы, пригодные для поиска и сравнения; для обучения применялась MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
Octen-Embedding-0.6B — текстовая модель эмбеддингов, разработанная Octen и дообученная методом LoRA на Qwen/Qwen3-Embedding-0.6B. Она предназначена для семантического поиска и извлечения информации, а также для сравнения и кластеризации текстов, поиска по документам и межъязыкового поиска. Модель построена на архитектуре Qwen3, содержит около 507,6 млн параметров и преобразует текст в векторы размерности 1024. Она поддерживает контекст до 32 768 токенов и многоязычную работу; в карточке заявлена поддержка более 100 языков, включая английский и китайский. Модель рассчитана на retrieval-сценарии и может использоваться для ранжирования кандидатов через сходство эмбеддингов, а также как представление текста для классификации и ответов на вопросы. Качество зависит от предметной области и языка, а документы длиннее контекстного окна требуют усечения. Модель не предназначена для генерации текста. Распространяется по лицензии Apache-2.0.
paraphrase-MiniLM-L12-v2 — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель основана на архитектуре BERT и содержит около 40 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, группировки похожих текстов и поиска парафразов. Она принимает текст и выдаёт векторные представления, которые можно сравнивать по близости. Доступны варианты форматов PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; для работы используются библиотека sentence-transformers или Transformers с подходящей операцией pooling. Модель опубликована под лицензией Apache-2.0. README не приводит отдельной оценки качества или специальных ограничений; при использовании для семантического поиска точность зависит от данных и выбранного способа сравнения векторов.
ntAnh-dev/paraphrase-multilingual-MiniLM-L12-v2 — дообученная командой ntAnh-dev многоязычная модель Sentence Transformers на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Архитектура — BERT с mean pooling; модель преобразует предложения и абзацы в плотные векторы размерности 384. Для сравнения текстов используется косинусное сходство. В метаданных указано 124,3 млн параметров и окно контекста 512 токенов; в карточке модели указана максимальная длина последовательности 128 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Многоязычное назначение унаследовано от базовой модели; конкретный перечень языков в предоставленных данных не приведён. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.
paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.
Карточка модели yrrhall/paraphrase-multilingual-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.
paraphrase-TinyBERT-L6-v2 — модель sentence-transformers, обученная командой sentence-transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она основана на архитектуре BERT и предназначена для получения эмбеддингов, которые можно сравнивать по смыслу. Модель подходит для семантического поиска, кластеризации текстов и оценки сходства предложений. Для работы с ней можно использовать библиотеку Sentence-Transformers; при использовании Transformers необходимо применить подходящую операцию pooling к контекстным представлениям токенов. Репозиторий содержит варианты в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Максимальная длина контекста — 512 токенов. Модель распространяется по лицензии Apache-2.0.
PEARL-small — компактная модель эмбеддингов строк и фраз, разработанная Lihu Chen, Gaël Varoquaux и Fabian M. Suchanek. Работа принята на EACL Findings 2024. Модель представляет собой дообученную версию E5-small на контекстно-независимом наборе данных, созданном авторами. В основе — архитектура BERT; размер составляет около 40 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для получения векторных представлений коротких строк и сравнения их семантической близости. Она учитывает тип фразы и морфологические признаки, чтобы лучше сопоставлять варианты написания и формулировок. Основные сценарии — строковое сопоставление, поиск сущностей, кластеризация сущностей и нечёткое соединение записей. В README приведены примеры сравнения названий, а также результаты бенчмарков и сравнение ресурсов с FastText. Модель принимает текст и выдаёт эмбеддинги; метаданные указывают английский язык. Репозиторий распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Данные источников не описывают ограничения качества за пределами приведённых бенчмарков и длины контекста.
Карточка модели OrcaDB/qwen2-1.5b на Hugging Face совпадает с карточкой Alibaba-NLP/gte-Qwen2-1.5B-instruct, поэтому описание составлено по ней. gte-Qwen2-1.5B-instruct — модель текстовых эмбеддингов из семейства GTE, разработанная Alibaba NLP на базе Qwen2-1.5B. Она преобразует тексты в векторы размерности 1536 и предназначена для поиска по смыслу, сравнения предложений, ранжирования и других задач, использующих текстовые представления. Модель поддерживает инструкции для запросов и обучалась на многоязычных данных из разных областей; в карточке указано контекстное окно 131 072 токена, тогда как README описывает максимальную длину входа 32 000 токенов. В основе — архитектура Qwen2 с причинной языковой моделью, дополненной двунаправленным механизмом внимания для контекстного представления текста. В README заявлены сценарии для широкого круга языков и задач, но конкретный список языков не приведён. Модель распространяется под лицензией Apache-2.0. Для запуска README указывает зависимости transformers версии 4.39.2 или новее и flash_attn версии 2.5.6 или новее.
Карточка модели Rasputin312/qwen3-8B-finetune на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.
Карточка модели Content-AI/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.