I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейKhoaUIT/Phobert-UIT-R2GQA — модель Sentence Transformer на архитектуре RoBERTa, обученная на датасете R2GQA. Она преобразует предложения и абзацы в плотные векторы размерности 768 и сравнивает их косинусным сходством; модель подходит для оценки семантической близости, семантического поиска, поиска перефразировок, классификации и кластеризации текста. В Sentence Transformers используется усреднение токенных представлений, максимальная длина последовательности составляет 256 токенов, а контекст модели — 258 токенов. Модель ориентирована на вьетнамский язык и вопросы и ответы по датасету R2GQA. Её можно применять для поиска релевантных фрагментов и группировки похожих текстов. В README не приведены результаты оценки качества или условия лицензии, поэтому их нельзя уточнить по доступным сведениям.
Phrase-BERT — модель эмбеддингов фраз из официального репозитория к статье EMNLP 2021 «Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration». Она основана на архитектуре BERT и предназначена для получения векторных представлений фраз, сравнения их семантического сходства и исследования корпусов. Модель содержит 136,7 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Модель можно использовать через Sentence-Transformers. В статье её оценивают на задачах Turney, BiRD, PPDB, PPDB-filtered и PAWS-short; README также описывает обучение собственной версии на данных интересующей предметной области. Репозиторий содержит веса в формате PyTorch. Сведения о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют.
Pixel-Linguist-II-Midtrain — визуальный энкодер, разработанный авторами статьи «On the Design Fundamentals of Pixel Text Representation Learning». Он преобразует текст в изображение и кодирует его тем же vision-энкодером, что и обычные изображения; при инференсе текстовый токенизатор не используется. Модель основана на vision tower Qwen2.5-VL, использует ViT с обработкой изображений в исходном разрешении и pooling соседних патчей 2×2. Размер — 676,6 млн параметров. Чекпойнт прошёл два этапа обучения: предобучение и семантический mid-training. Он предназначен для получения эмбеддингов текста и изображений, визуально-текстового поиска и сопоставления документов, включая многоязычные и межъязыковые сценарии. Текст для кодирования нужно предварительно отобразить в изображение; на выходе модель выдаёт усреднённые по патчам L2-нормализованные эмбеддинги. В README приведены результаты на Visual STS и ViDoRe, в том числе улучшение межъязыкового сопоставления и поиска документов после mid-training. Модель распространяется под лицензией Apache-2.0. Для кодирования строк требуется отдельный рендеринг текста в изображение; доступные данные описывают прежде всего задачи эмбеддингов и retrieval, а не генерацию текста или распознавание изображения в текст.
piotr-rybak/poleval2021-task4-herbert-large-encoder — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная Piotr Rybak. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучалась с ContrastiveLoss на основе косинусного расстояния и доступна в формате PyTorch для использования с библиотекой Sentence-Transformers. В метаданных указано 453,9 млн параметров и контекст длиной 514 токенов. Название репозитория и POLEVAL2021 указывают на польскую языковую задачу; модель предназначена прежде всего для текстов на польском языке. Лицензия в предоставленных данных не указана.
PPLX Embed v1 0.6B ONNX INT8 — артефакт серверного инференса эмбеддингов, используемый Deposium в deposium-turbov3. Модель с двунаправленной архитектурой PPLXQwen3Model содержит около 507,9 млн параметров и распространяется в формате ONNX с INT8-квантизированными весами. Модель принимает текст и выдаёт векторное представление размерностью 1024; серверный сценарий использует первые 256 измерений благодаря усечению Matryoshka. Она рассчитана на контекст до 32 768 токенов и подходит для получения текстовых эмбеддингов в серверных приложениях, например для поиска и сопоставления текстов. Лицензия — MIT. Репозиторий содержит ONNX-модель с внешним файлом данных и файлы конфигурации и токенизатора. Это серверный артефакт, поэтому он отличается от однофайловой браузерной версии для Transformers.js; совместимость с другими рантаймами и качество на конкретных задачах в карточке не описаны.
PwC-Embedding-expr — мультиязычная модель эмбеддингов, разработанная PwC-AXNode и дообученная на базе intfloat/multilingual-e5-large-instruct для повышения качества представления корейских текстов. Авторы использовали расширенные наборы данных для задач семантического сходства и сбалансировали их при дообучении. Модель построена на архитектуре XLM-RoBERTa и выдаёт векторы размерности 1024. Она подходит для сравнения предложений и оценки семантического сходства; в README приведены результаты оценки на корейской части MTEB, включая KLUE-STS. Максимальная длина входа — 514 токенов. Модель экспериментальная и находится в разработке; распространяется по лицензии Apache-2.0.
Карточка модели AISE-TUDelft/python-developmentnotes-classifier на Hugging Face совпадает с карточкой AISE-TUDelft/python-expand-classifier, поэтому описание составлено по ней. AISE-TUDelft/python-expand-classifier — модель на базе MPNet, разработанная AISE при TU Delft. Она кодирует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения семантической близости. Модель можно применять для семантического поиска, кластеризации и задач sentence similarity. Модель содержит 136,7 млн параметров, работает с текстом и имеет контекстное окно до 514 токенов. Она обучалась с функцией потерь CosineSimilarityLoss и распространяется в формате PyTorch. Лицензия в предоставленных данных не указана.
AISE-TUDelft/python-usage-classifier — модель Sentence-Transformers на базе MPNet, разработанная AISE-TUDelft. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и имеет контекст до 514 токенов. Модель подходит для поиска похожих фрагментов и группировки текстов по смыслу. В README указано обучение с CosineSimilarityLoss; доступен формат PyTorch. Карточка не описывает специализированные языки или прикладные области. Лицензия в предоставленных данных не указана.
Ahmedhisham/queen_of_embedded_egy_20k — модель эмбеддингов предложений для египетского арабского диалекта, разработанная на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Модель дообучена на подмножестве примерно из 20 000 примеров набора EgyTriplets-250K с функцией потерь triplet loss для различения близких и несходных по смыслу предложений. Она предназначена для семантического поиска, оценки сходства и подбора релевантных предложений на египетском арабском. Архитектура — BERT, размер — 124,3 млн параметров, контекст — до 512 токенов. Лицензия — Apache-2.0.
Эта модель представляет собой текстовый эмбеддер на базе decoder-only архитектуры Qwen2.5-Math-1.5B, дообученной для формирования семантических представлений. Она предназначена для поиска и сопоставления текстов по смыслу, включая оценку сходства предложений и извлечение признаков. Модель содержит 1,5 млрд параметров, работает с контекстом до 4096 токенов и распространяется в формате safetensors; для загрузки через Transformers или Sentence Transformers в README рекомендуется включить trust_remote_code. В README описана исследовательская работа по эмбеддингам, инициализированным моделями с RLVR-обучением: на MTEB и BRIGHT не обнаружено устойчивого преимущества над базовыми моделями при одинаковой процедуре обучения. Лицензия — Apache-2.0. Базовая Qwen2.5-Math-1.5B ориентирована на математические задачи на английском и китайском, а карточка этой модели заявляет многоязычную поддержку; конкретный набор языков для эмбеддера не перечислен.
ENOSYS/Qwen3-Embedding-0.6B-750-v1-GGUF — экспериментальная GGUF-квантизация модели Qwen3-Embedding-0.6B, подготовленная с использованием нестандартной ветки LLaMA.cpp и калибровочного набора imatrix. Модель предназначена для получения текстовых эмбеддингов и задач семантического поиска; семейство Qwen3 Embedding также описано как применимое для поиска по тексту и коду, классификации, кластеризации и поиска параллельных текстов. Модель содержит 0,6 млрд параметров, имеет контекст до 32 тысяч токенов и формирует векторы размерностью от 32 до 1024. README заявляет поддержку более 100 языков, включая русский и английский согласно метаданным, а также входных инструкций для настройки под задачу. Репозиторий распространяется в формате GGUF по лицензии Apache-2.0. README характеризует именно эту сборку как экспериментальную квантизацию и отмечает использование нестандартной ветки инструмента; отдельные показатели качества данной сборки не приведены.
JacobLinCool/Qwen3-Embedding-0.6B-GIR-1 — текстовая Sentence Transformer модель, дообученная на Qwen/Qwen3-Embedding-0.6B. Она преобразует предложения и абзацы в плотные векторы размерности 1024; близость текстов оценивается косинусным сходством. Архитектура включает Qwen3Model, pooling по последнему токену и нормализацию эмбеддингов. Максимальная длина последовательности — 32 768 токенов, формат весов — safetensors. Модель предназначена для семантического поиска и сравнения текстов. В README приведена настройка на парах запрос–код, поэтому она подходит, в частности, для поиска фрагментов кода по запросу на естественном языке. Также заявлены поиск перефразировок, кластеризация и классификация текста. Метаданные и описание базовой модели указывают на многоязычную основу Qwen3; конкретные языки обучения этой версии не перечислены. Для поиска информации в README приведены высокие метрики на небольшом наборе из 100 оценочных примеров, поэтому они не гарантируют аналогичного качества на других данных. Лицензия в предоставленных данных не указана.
Qwen3-Embedding-0.6B-ONNX — модель для получения векторных представлений текста, разработанная на основе Qwen/Qwen3-Embedding-0.6B и опубликованная сообществом onnx-community для совместимости с Transformers.js. Она предназначена для задач семантического поиска, retrieval и сопоставления запросов с релевантными документами, а также для других сценариев, где требуется сравнивать тексты по их embedding-представлениям. Модель использует ONNX-веса и запускается через pipeline feature-extraction в Transformers.js, в том числе потенциально на WebGPU. Доступны варианты вычислений fp32, fp16 и q8. Для получения представлений рекомендуется pooling last_token и нормализация; поисковые запросы должны сопровождаться однострочной инструкцией, описывающей задачу, тогда как для документов инструкция не требуется. В README не указаны размер контекстного окна, поддерживаемые языки, точная архитектура и размерность embeddings. Сильной стороной модели является возможность использовать embedding-модель Qwen3 в JavaScript- и web-средах через ONNX, включая варианты с пониженной точностью для снижения вычислительных требований. Ограничения и характеристики качества в README не описаны; также не приведены условия лицензирования преобразованных весов. Репозиторий ONNX представлен как временное решение до более широкого распространения WebML.
mlx-community/Qwen3-Embedding-8B-4bit-DWQ — модель для получения признаковых представлений текста, задач sentence similarity и feature extraction. Она основана на Qwen/Qwen3-Embedding-8B и преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.25.1. Модель имеет размер 8B параметров и 4-битное квантование DWQ, что предназначено для снижения требований к памяти при сохранении возможности локального запуска в экосистеме MLX. В карточке указана поддержка библиотек Transformers и Sentence Transformers, а также тип конвейера feature-extraction. Конкретные языки, размер контекста и перечень поддерживаемых модальностей не указаны; по представленным данным модель предназначена для работы с текстом. Лицензия модели — Apache-2.0. README не содержит подробных сведений о качестве, ограничениях, языковом покрытии и результатах тестирования, поэтому эти характеристики нельзя оценить точнее.
LifetimeMistake/Qwen3-VL-Embedding-2B-AWQ-4bit — квантизированный вариант мультимодальной модели эмбеддингов Qwen3-VL-Embedding-2B, разработанной командой Qwen. Модель преобразует векторы представления текстов, изображений, скриншотов, видео и смешанных текстово-визуальных запросов и предназначена для семантического поиска, retrieval-задач и построения мультимодальных систем поиска и сопоставления. Модель имеет размер 2B параметров в базовой версии, поддерживает более 30 языков, контекст до 32 тысяч токенов и размерность эмбеддингов до 2048 с возможностью использовать меньшие размерности. Применена 4-битная AWQ-квантизация весов текстовых Linear-слоёв с форматом compressed-tensors и размером группы 128; визуальные модули и lm_head оставлены без квантизации. Предусмотрено развёртывание через vLLM с backend compressed-tensors. Для мультиязычных retrieval-задач рекомендуются инструкции на английском языке. По сравнению с исходной FP16-моделью вариант AWQ показал небольшое снижение nDCG@10 и Recall@10, но рост MRR@10; в описанном тестировании он лучше сохранил качество мультимодального поиска, чем альтернативный NVFP4-вариант. При этом заметного ускорения работы относительно FP16 не получено, а квантизация выполнялась по текстовой части с использованием преимущественно текстовых калибровочных данных, что может ограничивать переносимость результатов на отдельные визуальные сценарии. Модель распространяется по лицензии Apache-2.0.
elplaguister/qwen_chemTEB — дообученная модель Sentence Transformers на базе Qwen/Qwen3-Embedding-0.6B, разработанная elplaguister. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения косинусным сходством. Архитектура включает Qwen3Model, объединение по последнему токену и нормализацию; README указывает максимальную длину последовательности 1024 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В обучающей выборке 2 976 пар anchor-positive; примеры включают извлечение полей из паспортов безопасности химических веществ и соответствие запросов фрагментам текста, что указывает на специализацию в химико-технических документах. Метаданные указывают 507,6 млн параметров и контекстную длину базовой модели 32 768 токенов, но README для этой модели задаёт максимум 1024 токена. Лицензия в предоставленных данных не указана.
Это модель Sentence-Transformers на базе MPNet, разработанная пользователем Hugging Face shrinivasbjoshi. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, поиска похожих текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста — 514 токенов. В метаданных указана задача sentence-similarity, а карточка описывает использование для семантического поиска и кластеризации. Модель опубликована в формате PyTorch и обучалась с функцией CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
YKYSpatz/ragproject_ver2 — дообученная авторами модель Sentence Transformers на базе YKYSpatz/ragproject для сравнения и поиска семантически близких текстов. Модель использует архитектуру BERT с 40 млн параметров, выдаёт нормализованные плотные векторы размерности 384 и оценивает близость предложений по косинусному сходству. Максимальная длина входной последовательности — 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Пример в карточке показывает пары короткого запроса о медицинском документе с более длинными медицинскими фрагментами; это указывает на применение для поиска или отбора медицинских текстов, но не подтверждает специализированную медицинскую точность. Карточка не сообщает лицензию и языковую специализацию модели.
all-MiniLM-L6-v2 — модель для сравнения предложений, экспортированная в формате ExecuTorch для библиотеки React Native ExecuTorch. Репозиторий software-mansion содержит готовые к запуску на устройстве программы .pte; исходная модель опубликована проектом sentence-transformers. Она предназначена для задач семантического сравнения текстов, включая оценку сходства предложений и построение локальных приложений с текстовыми embedding-представлениями. В репозитории доступны варианты для бэкендов Core ML, Vulkan и XNNPACK. Варианты Core ML и Vulkan используют точность fp16, а XNNPACK — fp32; размеры файлов составляют примерно 43–44 МБ для fp16 и 86,2 МБ для fp32. Для работы используются файлы tokenizer.json и tokenizer_config.json. Модель рассчитана на выполнение на устройстве, однако README не указывает поддерживаемые языки, размер контекста, точный размер архитектуры и другие характеристики качества. Файлы опубликованы для ExecuTorch v1.4.1; обратная совместимость со старыми версиями не гарантируется. Лицензия — Apache-2.0.
multi-qa-MiniLM-L6-cos-v1 — модель для семантического сходства предложений, экспортированная из одноимённой upstream-модели sentence-transformers и опубликованная в формате ExecuTorch для библиотеки React Native ExecuTorch. Она предназначена для локального запуска на мобильных и других устройствах с поддержкой ExecuTorch, в том числе в сценариях семантического поиска, сопоставления запросов и документов и оценки близости текстов. В репозитории представлены программы ExecuTorch .pte для бэкендов Core ML, Vulkan и XNNPACK. Варианты используют fp16 для Core ML и Vulkan и fp32 для XNNPACK; размеры файлов составляют около 43–86 МБ. Вместе с моделями поставляются конфигурации и токенизатор. Архитектура, число параметров, поддерживаемые языки, максимальная длина контекста и перечень модальностей в README не указаны; по назначению это текстовая модель, работающая с предложениями. К сильным сторонам относятся возможность офлайн-выполнения на устройстве и наличие вариантов под разные аппаратные ускорители. Ограничения включают зависимость от совместимого ExecuTorch runtime: файлы опубликованы для ExecuTorch v1.4.1, а обратная совместимость с более старыми версиями не гарантируется. Модель распространяется по лицензии Apache-2.0.
tomaarsen/reranker-ModernBERT-base-gooaq-bce — англоязычный cross-encoder, дообученный на данных GooAQ на базе answerdotai/ModernBERT-base с использованием Sentence Transformers. Модель получает пару текстов и оценивает их соответствие одним числовым баллом, который подходит для сортировки кандидатов в поисковой выдаче и семантическом поиске. Модель содержит 149 млн параметров, использует архитектуру ModernBERT для классификации последовательностей и принимает последовательности длиной до 8192 токенов. В README приведены оценки на GooAQ и наборах NanoBEIR; результаты различаются между датасетами, поэтому качество на конкретной коллекции следует проверять отдельно. Модель рассчитана на английский язык и распространяется по лицензии Apache-2.0. Как cross-encoder, она оценивает пары текстов, поэтому для масштабного поиска обычно требуется сначала получить ограниченный набор кандидатов, а затем ранжировать их этой моделью.
Это англоязычный cross-encoder-реранкер, разработанный tomaarsen и дообученный на microsoft/MiniLM-L12-H384-uncased с использованием Sentence Transformers на наборе MS MARCO. Модель совместно обрабатывает пару «запрос—документ» и выдаёт оценку релевантности; оценки можно использовать для перестановки результатов поиска или семантического поиска. Модель построена на архитектуре BERT с классификационной головой, содержит около 40 млн параметров и принимает текстовые последовательности длиной до 512 токенов. README приводит результаты оценки ранжирования на NanoMSMARCO, NanoNFCorpus и NanoNQ, а также агрегированную оценку на NanoBEIR-en. Модель рассчитана на английский язык и задачи ранжирования текстовых пар. Cross-encoder оценивает пары отдельно, поэтому для практического поиска его обычно применяют для переранжирования предварительно отобранных кандидатов. Сведения о лицензии в предоставленных данных отсутствуют.
Это англоязычный кросс-энкодер kwondw/reranker-msmarco-v1.1-ModernBERT-base, созданный дообучением answerdotai/ModernBERT-base на парах запрос–текст из MS MARCO с помощью sentence-transformers. Модель совместно обрабатывает запрос и документ и выдаёт оценку релевантности, которую можно использовать для повторного ранжирования результатов поиска и семантического поиска. Модель построена на ModernBERT-base с архитектурой ModernBertForSequenceClassification, содержит 149 млн параметров и принимает текстовые последовательности длиной до 8192 токенов. В README приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; фактическое качество зависит от данных и сценария применения. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя. Обучение на MS MARCO и англоязычная базовая модель указывают на основную ориентацию на английский; качество на других языках не подтверждено.
kwondw/reranker-msmarco-v1.1-ModernBERT-base-cmnrl — это англоязычный кросс-энкодер, созданный дообучением answerdotai/ModernBERT-base разработчиком kwondw на наборе MS MARCO с использованием Sentence Transformers. Модель оценивает пару «запрос — документ» одним числовым баллом релевантности и предназначена для ранжирования результатов поиска и семантического поиска. Модель содержит 149 млн параметров, использует архитектуру ModernBertForSequenceClassification и принимает текст; максимальная длина последовательности — 8192 токена. В карточке приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ, включая метрики MAP, MRR@10 и nDCG@10. Модель лучше всего применять для переоценки небольшого числа кандидатов, уже найденных поисковой системой. Обучение на MS MARCO и приведённые оценки не гарантируют одинаковое качество на других языках и предметных областях. Распространяется в формате safetensors; лицензия в предоставленных данных не указана.
TextAttack дообучила RoBERTa-base для классификации пар предложений на датасете MRPC из набора GLUE. Модель содержит 151,8 млн параметров и принимает текстовые пары; максимальная длина контекста по метаданным — 514 токенов. При дообучении использовались 5 эпох, размер пакета 16, скорость обучения 3e-05 и максимальная длина последовательности 256 токенов. Модель предназначена для определения, выражают ли два предложения одинаковый смысл. В карточке указана точность 0,912 на оценочной выборке, достигнутая после двух эпох обучения. Доступны веса PyTorch и Flax; лицензия в предоставленных данных не указана.
Moritz Laurer разработал roberta-base-zeroshot-v2.0-c — модель для классификации текстов без размеченных примеров. Это дообученная RoBERTa-base с 151,8 млн параметров, настроенная на задачу вывода по естественному языку: модель оценивает, следует ли гипотеза из текста. Hugging Face pipeline позволяет представить разные задачи классификации как проверку гипотез для заданных классов; можно выбрать один класс или разрешить несколько. Модель предназначена для эффективной работы на CPU и GPU и совместима с производственными контейнерами Hugging Face TEI. В сравнении автора на 28 задачах классификации средний macro-F1 составил 0,587; точность зависит от набора данных и формулировки гипотезы. Модель принимает текст и выдаёт оценки классов. Поддерживаемый язык по карточке — английский; длина контекста — 514 токенов. Вариант с суффиксом «-c» обучен на коммерчески дружественных данных: синтетических текстах, созданных Mixtral-8x7B-Instruct-v0.1, и наборах MNLI и FEVER-NLI. Репозиторий распространяется по лицензии MIT. Модель ограничена задачами классификации текста; возможны смещения из-за базовой модели, данных NLI и синтетических данных.
Карточка модели TigerByteCyber/roberta-large-zeroshot-v2.0-c на Hugging Face совпадает с карточкой MoritzLaurer/roberta-large-zeroshot-v2.0-c, поэтому описание составлено по ней. MoritzLaurer/roberta-large-zeroshot-v2.0-c — модель классификации текста с нулевым обучением, разработанная Морицем Лаурером на основе RoBERTa Large. Она определяет, следует ли считать заданную гипотезу истинной или ложной относительно входного текста; pipeline Hugging Face позволяет использовать этот подход для классификации по категориям без обучающих примеров. Модель содержит 454,1 млн параметров, принимает текстовые последовательности длиной до 514 токенов и построена на архитектуре RobertaForSequenceClassification. Доступны веса Safetensors и формат ONNX. Модель предназначена для классификации отзывов, тем, намерений и других текстов, когда нет размеченных данных для обучения. Её обучали на синтетических примерах, созданных Mixtral-8x7B-Instruct-v0.1, и наборах MNLI и FEVER-NLI; автор сообщает об оценке на 28 задачах классификации. Английский указан как язык карточки. Лицензия репозитория — MIT, а суффикс «-c» означает, что для обучения использовались данные, обозначенные автором как коммерчески совместимые. Модель поддерживает выбор одного или нескольких классов через настройку multi_label. Качество зависит от формулировки гипотезы и названий категорий; автор отмечает возможные смещения из-за базовой модели, данных NLI и синтетических данных. Она рассчитана только на классификацию текста и может работать медленнее более компактного варианта RoBERTa.
Модель s-nlp/rubert-base-cased-conversational-paraphrase-v1 разработана для оценки семантического сходства предложений на русском языке. Это дообученная ruBERT-conversational с архитектурой BERT и классификационной головой для последовательностей; она обучена на смеси наборов ru_paraphraser, RuPAWS и данных краудсорсинговой оценки сохранения содержания при детоксикации русского текста. В репозитории около 205,1 млн параметров, веса доступны в форматах PyTorch и Safetensors, максимальная длина контекста — 512 токенов. Модель подходит для обнаружения перефразирований и сравнения смысла двух русских фраз. На тестах разработчика ROC AUC составил 0,762–0,848 в зависимости от набора данных. Это модель-классификатор для пар текстов, поэтому её оценки не следует трактовать как универсальную метрику сходства; автор отмечает, что SkolkovoInstitute/ruRoberta-large-paraphrase-v1 показывает лучшие результаты на этой задаче. Лицензия в предоставленных источниках не указана.
hivaze/ru-e5-base — компактная версия multilingual-e5-base, созданная Сергеем Братчиковым на основе XLM-RoBERTa. Из словаря исходной модели оставлены 69 382 токена, преимущественно для кириллических языков и английского; соответствующие эмбеддинги перенесены на новые идентификаторы токенов. Параметры модели не дообучались, поэтому автор заявляет о сохранении качества исходной модели для кириллических текстов и английского. Модель предназначена для извлечения признаковых представлений текста и может применяться для построения текстовых эмбеддингов, поиска по смыслу и других задач, использующих векторные представления. Уменьшенный словарь сокращает объём модели и расход памяти при обучении. Модель содержит 166,5 млн параметров, принимает последовательности длиной до 514 токенов и доступна в формате safetensors. Лицензия в предоставленных данных не указана.
Ruri v3 30M — модель эмбеддингов японского текста, разработанная cl-nagoya на базе ModernBERT-Ja и дообученная от cl-nagoya/ruri-v3-pt-30m. Она преобразует предложения и фрагменты текста в векторы размерностью 256 для сравнения смысловой близости, поиска, ранжирования и кластеризации. Модель содержит 36,7 млн параметров, поддерживает последовательности до 8192 токенов и использует токенизатор SentencePiece; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для японских текстовых задач. В оценке JMTEB версия 30M показала средний результат 74,51; карточка также приводит метрики поиска, семантического сходства, классификации, переранжирования и кластеризации. Указана функция сходства cosine similarity. Репозиторий содержит веса safetensors, лицензия — Apache 2.0.