I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейКарточка модели Muennighoff/SGPT-5.8B-weightedmean-nli-bitfit на Hugging Face совпадает с карточкой Muennighoff/SGPT-5.8B-weightedmean-msmarco-specb-bitfit, поэтому описание составлено по ней. Muennighoff/SGPT-5.8B-weightedmean-msmarco-specb-bitfit — модель эмбеддингов предложений на архитектуре GPT-J, обученная для оценки сходства текстов. Она предназначена для поиска семантически близких предложений и документов, ранжирования результатов и построения поисковых систем. В README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства; метаданные отмечают поддержку эмбеддингов и задачи sentence similarity. Контекст составляет 2048 токенов, формат весов — PyTorch. Модель опубликована под лицензией MIT.
singularityretrieverv2 — модель на основе BERT, опубликованная пользователем prodm93. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для построения поисковых систем по смыслу и группировки похожих текстов. Для использования через Transformers требуется применить корректную операцию pooling к контекстным представлениям токенов; доступна также интеграция с Sentence-Transformers. Карточка не сообщает языки обучения и условия лицензии, поэтому языковую специализацию и лицензионные ограничения определить нельзя.
SLX-v0.1 — модель BRAHMAI Research для преобразования предложений и коротких абзацев в плотные векторы размерностью 384, отражающие их смысл. Она построена на архитектуре BERT и использует библиотеку Sentence-Transformers; число параметров — 25,9 млн, максимальный контекст по метаданным — 512 токенов. В README указано, что вход длиннее 256 word pieces по умолчанию обрезается. Модель предназначена для семантического поиска, извлечения информации, кластеризации и сравнения сходства предложений. Она дообучена контрастивным методом на основе nreimers/MiniLM-L6-H384-uncased, а затем адаптирована для англоязычных задач с использованием dunzhang/stella_en_400M_v5 и внутреннего набора данных. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.
fjavigv/snoweu_v4 — модель Sentence Transformers, дообученная на базе Snowflake/snowflake-arctic-embed-m-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости и поиска по тексту. Архитектура включает BertModel, CLS-пулинг и нормализацию; сходство оценивается косинусной метрикой. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска, ранжирования по смысловому соответствию, поиска перефразировок, кластеризации и классификации текстов. README приводит оценку cosine_accuracy@1 0,6777, @3 0,8973 и @5 0,9391 на InformationRetrievalEvaluator. Обучающая выборка содержит 46 338 пар предложений; примеры указывают на тексты о регулировании образования и обучении, но специализация на этой области не заявлена. Сведения о лицензии в предоставленных данных отсутствуют.
ciCic/snowflake-arctic-embed-l-sts-2d-mrl — текстовая модель эмбеддингов на базе Snowflake Arctic Embed Large, дообученная с использованием Matryoshka Representation Learning и функции потерь CoSENT. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, 768, 512, 256, 128 или 64, что позволяет выбирать компромисс между размером вектора и качеством поиска. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Её можно использовать для поиска документов по запросам и группировки похожих предложений. Архитектура основана на BERT; модель содержит 433,9 млн параметров и принимает текст длиной до 512 токенов. Лицензия в доступных данных не указана.
Карточка модели unsloth/snowflake-arctic-embed-l-v2.0 на Hugging Face совпадает с карточкой Snowflake/snowflake-arctic-embed-l-v2.0, поэтому описание составлено по ней. Snowflake Arctic Embed L v2.0 — мультиязычная модель эмбеддингов от Snowflake для семантического поиска и извлечения релевантных текстов. Она основана на архитектуре XLM-RoBERTa и использует представление текста в виде векторов; в метаданных указано 658,7 млн параметров, а контекст составляет до 8194 токенов. Модель принимает текст и выдаёт эмбеддинги, предназначенные для сравнения запросов и документов по смысловой близости. Модель рассчитана на поиск на английском и многих других языках, включая арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. README сообщает о поддержке векторов размерностью 1024 и Matryoshka Representation Learning для сокращения до 256 измерений; вместе с 4-битным квантованием это позволяет хранить вектор примерно в 128 байтах. Указаны результаты оценки на наборах BEIR, MIRACL и CLEF, а также возможность использовать модель как замену BAAI/bge-m3-retromae в системах вывода. Лицензия Apache 2.0 допускает свободное использование в том числе в коммерческих приложениях. Модель предназначена для многоязычного семантического поиска, извлечения документов и построения систем поиска с векторным индексом. Сокращение и квантование эмбеддингов снижают требования к хранению, но могут уменьшить качество поиска; README отмечает небольшое снижение показателей при сокращении размерности до 256. Русский язык не указан среди языков карточки и метаданных, поэтому его поддержку нельзя подтвердить.
dnth выпустила модель Sentence Transformer, дообученную на наборе ssf-train-valid-v4 на основе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768, нормализованные для сравнения по косинусному сходству. Архитектура включает ModernBertModel с усреднением токеновых представлений; максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, а также использования эмбеддингов для классификации и кластеризации. Обучение описано на парах и тройках anchor-positive-negative из датасета размером 4524 обучающих примера. Метаданные указывают задачи sentence-similarity и feature-extraction. Язык примеров или языковая специализация модели не подтверждены, поэтому языки не указаны. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.
mininiming/steamfit-encoder — дообученная модель Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она кодирует предложения и абзацы на естественном языке в плотные векторы размерности 384; сходство векторов можно оценивать косинусной мерой. Модель предназначена для извлечения эмбеддингов и поиска текстов по смыслу, включая retrieval-сценарии. Архитектура состоит из BERT-трансформера с усреднением токенных представлений. В README указана максимальная длина последовательности 192 токена, а метаданные каталога задают контекст 512 токенов. Модель обучена на 1,5 млн пар anchor-positive с MultipleNegativesRankingLoss; обучающий корпус обозначен как parquet. Лицензия в предоставленных данных не указана.
Карточка модели bennegeek/stella_en_1.5B_v5 на Hugging Face совпадает с карточкой delwinn/stella_en_1.5B_v5, поэтому описание составлено по ней. delwinn/stella_en_1.5B_v5 — англоязычная модель эмбеддингов, разработанная на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных текстов по запросу и оценки семантического сходства. Модель построена на архитектуре Qwen2, содержит 1,5 млрд параметров и выдаёт текстовые векторы; поддерживает представления размером 512, 768, 1024, 2048, 4096, 6144 и 8192 измерения. Для большинства задач предусмотрены варианты промптов s2p и s2s; обычно автор рекомендует размерность 1024. Модель обучена с использованием MRL и доступна в формате PyTorch/SafeTensors. Хотя нативный контекст составляет 131072 токена, автор рекомендует ограничивать последовательности 512 токенами: модель обучалась на такой длине и, по описанию, хуже справляется с поиском по специализированным длинным текстам. Детали обучения и использованные наборы данных в README не раскрыты. Лицензия — MIT.
NovaSearch/stella_en_1.5B_v5 — модель встраивания текста, разработанная NovaSearch на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных фрагментов по запросу, семантического сходства и других задач сравнения текстов; поддерживает кодирование через SentenceTransformers и Transformers. Модель построена на плотной архитектуре Qwen2ForCausalLM и содержит 1,5 млрд параметров. Для векторов доступны размерности 512, 768, 1024, 2048, 4096, 6144 и 8192; обычно авторы рекомендуют 1024 измерения. Контекст архитектуры составляет до 131 072 токенов, однако README рекомендует последовательности длиной 512 токенов: модель обучалась на такой длине, а на специализированных задачах поиска по длинным текстам результаты часто снижаются. Для большинства задач предусмотрены инструкции s2p для поиска и s2s для семантического сходства. Модель подходит для семантического поиска и ранжирования по сходству; метаданные также указывают поддержку извлечения признаков, генерации текста и классификации текста, но README описывает прежде всего получение эмбеддингов. Данные обучения и подробный метод обучения в карточке ещё не опубликованы. Лицензия — MIT.
Карточка модели blevlabs/stella_en_v5 на Hugging Face совпадает с карточкой delwinn/stella_en_1.5B_v5, поэтому описание составлено по ней. delwinn/stella_en_1.5B_v5 — англоязычная модель эмбеддингов, разработанная на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных текстов по запросу и оценки семантического сходства. Модель построена на архитектуре Qwen2, содержит 1,5 млрд параметров и выдаёт текстовые векторы; поддерживает представления размером 512, 768, 1024, 2048, 4096, 6144 и 8192 измерения. Для большинства задач предусмотрены варианты промптов s2p и s2s; обычно автор рекомендует размерность 1024. Модель обучена с использованием MRL и доступна в формате PyTorch/SafeTensors. Хотя нативный контекст составляет 131072 токена, автор рекомендует ограничивать последовательности 512 токенами: модель обучалась на такой длине и, по описанию, хуже справляется с поиском по специализированным длинным текстам. Детали обучения и использованные наборы данных в README не раскрыты. Лицензия — MIT.
sentence-transformers/stsb-mpnet-base-v2 — модель sentence-transformers, обученная командой sentence-transformers на базе архитектуры MPNet. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления. Для обработки использует контекст длиной до 514 токенов. Доступны веса и варианты для PyTorch, safetensors, ONNX и OpenVINO; модель поддерживает Sentence-Transformers, Transformers и Text Embeddings Inference. Лицензия Apache-2.0 разрешает широкое использование, включая коммерческое, при соблюдении её условий. В карточке не указаны конкретные языки обучения; пригодность для отдельных языков следует проверять на целевых данных. Для текстов длиннее контекстного окна потребуется усечение или разбиение на фрагменты.
sentence-transformers/stsb-xlm-r-multilingual — мультиязычная модель sentence-transformers, обученная командой sentence-transformers на базе XLM-RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, семантического поиска и кластеризации. Модель содержит 305,2 млн параметров, принимает текст, имеет контекст до 514 токенов и рассчитана на использование с библиотекой Sentence Transformers; доступны веса и представления PyTorch, TensorFlow, ONNX и OpenVINO. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения векторных представлений для многоязычных сценариев. Лицензия — Apache-2.0. Для использования через Transformers поверх выходов энкодера требуется применить подходящую операцию pooling.
Supertron2-Reranker-8B — реранкер на основе cross-encoder, разработанный Surpem на базе Qwen/Qwen3-VL-Reranker-8B с 8 млрд параметров. Он оценивает релевантность пар «запрос — документ» и предназначен для второго этапа поиска после отбора кандидатов быстрым ретривером. Модель подходит для переупорядочивания результатов поиска, документов в RAG-системах, фрагментов документации и статей базы знаний. Она использует архитектуру Qwen3-VL, но в описанных сценариях работает с текстовыми запросами и кандидатами; ответы не генерирует. Для загрузки указана библиотека sentence-transformers, формат весов — safetensors. Лицензия — Apache 2.0. Для работы в bfloat16 требуется минимум 18 ГБ видеопамяти, рекомендуется 24 ГБ или больше; для 4-битной квантизации указаны 6 ГБ минимум и 10 ГБ рекомендуется. Длинные документы может потребоваться разбивать на фрагменты; оценки релевантности относительны и могут быть не откалиброваны между разными запросами. Перед применением в конкретной области качество ранжирования следует проверить на собственных данных.
maiyad/sustain-sbert — модель на базе BERT, созданная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с функцией потерь DenoisingAutoEncoderLoss. Её можно использовать через библиотеку Sentence-Transformers либо через Transformers с подходящей операцией pooling для получения векторов из контекстных представлений токенов. Лицензия в предоставленных данных не указана.
sjmeis/task-cross-encoder-v1 — текстовый кросс-энкодер, дообученный автором sjmeis на базе cross-encoder/ettin-reranker-68m-v1 с использованием библиотеки Sentence Transformers. Модель совместно обрабатывает пару текстов и выдаёт оценку их релевантности; её можно применять для переранжирования результатов поиска и семантического поиска. Архитектура основана на ModernBERT, размер — 68,1 млн параметров. README указывает максимальную длину последовательности 128 токенов, а метаданные каталога — контекст до 7999 токенов; эти сведения расходятся, поэтому фактический предел зависит от конфигурации модели. Модель принимает и обрабатывает текст, выдавая один числовой балл для пары. В README приведены результаты корреляционной оценки на проверочном наборе: Pearson 0,8442 и Spearman 0,8962. Карточка сообщает о наборе из 295 091 обучающего примера с метками релевантности, но не называет его и не указывает языки; базовая модель описана в каталоге как англоязычная. Лицензия в предоставленных данных не указана.
Англоязычная модель эмбеддингов на архитектуре ModernBERT-base, дообученная для оценки сходства предложений и поиска по смыслу. Веса преобразованы в 6-битный формат MLX для запуска на устройствах Apple с поддержкой MLX; для работы предлагается библиотека mlx-embeddings. Модель подходит для семантического поиска, сопоставления запросов с документами, поиска ответов и определения сходства текстов. Она принимает текст и формирует векторные представления, которые можно использовать для ранжирования и поиска ближайших по смыслу фрагментов. Контекст составляет до 8192 токенов, размер базовой модели — 149 млн параметров. Модель дообучена на наборах для поиска и сопоставления текстов, включая Natural Questions, GooAQ, MS MARCO и NLI. Карточка указывает преобразование исходной версии в формат MLX, а метаданные — дообучение ModernBERT-base и наличие файлов safetensors. Лицензия в предоставленных данных не указана.
Это Sentence Transformer, дообученный автором ostoveland на базе BAAI/bge-m3 для сравнения и поиска по смыслу. Модель использует XLM-RoBERTa с пулингом и нормализацией, преобразует предложения и абзацы в плотные векторы размерности 1024; сходство оценивается косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. В README приведены обучающие примеры на норвежском языке, в том числе запросы и описания работ; обучение включало TripletLoss, MultipleNegativesRankingLoss и CoSENTLoss. Лицензия в предоставленных сведениях не указана.
Карточка модели Youssefbou62/test_encoder на Hugging Face совпадает с карточкой thenlper/gte-large, поэтому описание составлено по ней. gte-large — модель текстовых эмбеддингов General Text Embeddings, разработанная Alibaba DAMO Academy на основе архитектуры BERT и обученная контрастивным обучением на крупном корпусе пар текстов с оценками релевантности. Она преобразует английские тексты в векторы размерностью 1024 и предназначена для поиска информации, сравнения семантической близости и ранжирования текстов. Модель применима в поисковых системах, семантическом сопоставлении предложений и других задачах, использующих текстовые эмбеддинги. В тесте MTEB для gte-large указана средняя оценка 63,13 по 56 задачам. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Модель рассчитана только на английский язык. Лицензия — MIT.
tevatron3-reranker-30b-a3b-distill — модель для переранжирования текстовых фрагментов, разработанная на базе Qwen3-30B-A3B с помощью набора инструментов Tevatron 3.0. Это причинная языковая MoE-модель, дообученная полным обновлением параметров с дистилляцией listwise-KL на наборе RLHN-680K. Для пары «запрос — фрагмент» она оценивает релевантность по разности логитов ответов «yes» и «no» после заданного промпта. Модель предназначена для ранжирования найденных документов или отрывков по соответствию запросу, например в конвейерах информационного поиска и RAG. Она принимает текст запроса и заголовка/содержимого фрагмента; базовая модель поддерживает несколько языков, но конкретные языки обучения реранкера не перечислены. Контекст составляет 32 768 токенов, а число параметров указано как 2,6 млрд. Доступны веса Safetensors для Transformers. Лицензия — Apache-2.0.
Это точечный ранжировщик пассажей utahnlp, созданный на базе Qwen3-8B и обученный с помощью Tevatron 3.0. Модель оценивает релевантность пары «запрос — фрагмент текста», используя один регрессионный логит классификационной головы на последнем токене EOS. При обучении пара формировалась из запроса, заголовка и текста пассажa; обучение было контрастивным и выполнялось полным дообучением на RLHN-680K. Модель предназначена для повторного ранжирования результатов поиска и passage ranking. Она принимает текстовую пару запроса и фрагмента, а выдаёт числовую оценку релевантности. Это не генеративный reranker с оцениванием продолжений «yes» и «no»; для загрузки README рекомендует AutoModelForSequenceClassification. Используются архитектура Qwen3 с 7,6 млрд параметров, библиотека Transformers и контекст до 32 768 токенов. Лицензия — Apache-2.0.
utahnlp/tevatron3-reranker-8b-distill — точечная модель-переранжировщик пассажей на базе плотной авторегрессионной Qwen3-8B, обученная командой Utah NLP с помощью инструментария Tevatron 3.0. Она предназначена для ранжирования найденных фрагментов по релевантности запросу: для каждой пары «запрос — пассаж» вычисляет разность логитов ответов «yes» и «no» после вопроса о релевантности. Модель прошла полное дообучение с дистилляцией listwise-KL на наборе RLHN-680K и сохраняется в формате safetensors. Модель принимает текст запроса и текста пассажа, включая заголовок, и выдаёт оценку релевантности для сортировки результатов поиска. Размер составляет 7,6 млрд параметров, длина контекста — 32 768 токенов. Лицензия Apache-2.0. Карточка описывает конкретный контракт оценки; при использовании нужно сохранить указанный шаблон запроса и не добавлять EOS-токен перед вычислением оценки.
Карточка модели Auparima/thaifood-embed на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.
Это дообученный cross-encoder на базе cross-encoder/ms-marco-MiniLM-L6-v2, созданный с помощью библиотеки Sentence Transformers. Модель оценивает пару текстов одним числовым баллом, который можно использовать для ранжирования по релевантности и семантического поиска. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification, содержит 25,9 млн параметров и принимает текстовые пары с максимальной длиной последовательности 512 токенов. При обучении использовались пары предложений с бинарными метками и BinaryCrossEntropyLoss; README приводит примеры сопоставления описаний навыков. Модель ориентирована на английский язык, как и базовый чекпойнт. Её можно применять как второй этап поиска: оценивать соответствие найденных документов запросу и сортировать результаты, а также ранжировать семантически похожие тексты. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformers на базе архитектуры BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, сравнивая полученные представления по близости. Модель обучалась с Triplet Loss и евклидовой метрикой расстояния. Она содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Для использования подходят библиотека sentence-transformers или Transformers с соответствующей операцией pooling. Языки и лицензия в предоставленных сведениях не определены.
udever-bloom-560m — модель для получения текстовых эмбеддингов, разработанная Alibaba Group на основе bigscience/bloom-560m. Это декодерный трансформер семейства BLOOM с 659,6 млн параметров и контекстом до 2048 токенов; модель дообучена методом BitFit на MS MARCO Passage Ranking, SNLI и MultiNLI с контрастивной функцией потерь и трудными отрицательными примерами. Модель предназначена для представления естественного языка и кода в виде векторов для поиска, сравнения семантической близости, классификации, кластеризации и ранжирования текстов. В карточке заявлена поддержка множества естественных и программных языков; метаданные перечисляют языки, включая английский, китайский, французский, испанский и другие. Репозиторий содержит веса PyTorch и опубликован под лицензией BigScience BLOOM RAIL 1.0. Результаты в README приведены на MTEB и CodeSearchNet, но не дают полной картины качества по всем языкам и сценариям.
codersan/validadted_e5Fa_onV8d — модель Sentence Transformers, дообученная на базе intfloat/multilingual-e5-small для получения плотных векторных представлений предложений и абзацев. Архитектура основана на BERT: среднее объединение токенных представлений с последующей нормализацией; размерность эмбеддингов — 384, максимальная длина входа — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Она обучалась на 21 484 парах «запрос — релевантный текст» с функцией MultipleNegativesRankingLoss. Базовая модель многоязычная, а примеры обучающих данных включают тексты на персидском языке. Лицензия в предоставленных данных не указана.
Vela-1.0-Encoder-307M-Embedding — мультиязычная модель эмбеддингов на базе ModernBERT, разработанная командой vLLM Semantic Router. Она предназначена для семантического сопоставления запросов, поиска контекста и организации памяти в маршрутизаторах. Модель содержит 306,9 млн параметров, использует 22 слоя и 768 измерений, поддерживает контекст до 32 768 токенов и доступна в форматах Safetensors и ONNX. Модель применима для семантического поиска, извлечения релевантных документов и сравнения предложений на английском, арабском, испанском, японском и китайском языках. В приведённых оценках она превосходит исходную mmBERT Embedding на отдельных задачах MTEB и при поиске по длинным документам; результаты относятся только к перечисленным тестам. Лицензия — Apache-2.0.
PaDaS-Lab/xlm-roberta-base-msmarco — модель Sentence Transformer, разработанная PaDaS-Lab и дообученная на основе FacebookAI/xlm-roberta-base. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения косинусным сходством. Модель содержит около 305,2 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель обучалась на примерах MS MARCO с трудными негативными примерами, найденными с помощью cross-encoder MiniLM. Она предназначена для семантического поиска и сопоставления текстов, а также может применяться для поиска перефразирований, кластеризации и классификации текстов. Это многоязычная модель на базе XLM-RoBERTa; конкретный перечень поддерживаемых языков в карточке не приведён. Лицензия — MIT. Векторы отражают сходство текстов, но сами по себе не дают объяснений релевантности; качество зависит от языка, предметной области и длины входного текста.
IronPooh/xlm_roberta_hard_negatives — текстовый Cross Encoder, дообученный на базе FacebookAI/xlm-roberta-base с библиотекой Sentence Transformers. Модель оценивает пары текстов одним выходным баллом и предназначена для переранжирования результатов поиска и семантического поиска; её также можно применять для классификации пар по релевантности. Архитектура — XLMRobertaForSequenceClassification с 305,2 млн параметров. Модель принимает только текст, максимальная длина последовательности составляет 514 токенов по метаданным. README сообщает о бинарной классификации и приводит для набора xlm-roberta-val accuracy 0,8483 и F1 0,8033. Обучающая выборка содержит 5 691 пример. Базовая XLM-RoBERTa многоязычная, а примеры в карточке включают украинский текст; метаданные не задают конкретные языки именно для этой дообученной модели. Лицензия в предоставленных данных не указана.