I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейjfrost10/legal-ft-7f9f08e4-892d-410a-9df4-7dc4e3b6505f — дообученная модель Sentence Transformers на основе Snowflake/snowflake-arctic-embed-l, предназначенная для сопоставления текстовых запросов и документов. Она кодирует предложения и абзацы в нормализованные плотные векторы размерности 1024; сходство оценивается косинусной мерой. Архитектура включает BERT, пулинг по CLS-токену и нормализацию, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов, в том числе в сценариях работы с юридическими материалами, что предполагает название репозитория. README сообщает о дообучении на 156 парах предложений и приводит результаты оценки поиска, однако этих данных недостаточно, чтобы считать качество подтверждённым для широкого применения в юридической сфере. Лицензия в предоставленных данных не указана.
mesolitica/llama2-embedding-600m-8k — текстовая модель для построения эмбеддингов на основе архитектуры Llama 2, разработанная Mesolitica. Она предназначена для извлечения векторных представлений малайзийских текстов, например, для поиска и сравнения текстов по смыслу. Модель содержит 535,8 млн параметров; при обучении использовалась длина контекста до 8 тыс. токенов, а при инференсе заявлена поддержка до 32 768 токенов. Доступна в формате safetensors. Карточка не сообщает лицензию и не приводит подробных результатов оценки качества. Заявленная возможность работы с длинным контекстом относится к инференсу; обучение проводилось на усечённых последовательностях длиной до 8 тыс. токенов.
MalayalamSBERT-STS — модель семейства SBERT, выпущенная L3Cube-Pune в рамках проекта MahaNLP. Это дообученная на наборе STS версия модели l3cube-pune/malayalam-sentence-bert-nli для сравнения сходства предложений на малаялам. Она строит векторные представления текста на основе BERT и предназначена для оценки семантической близости фраз, поиска похожих предложений и ранжирования текстов по смысловому сходству. Модель содержит 264,8 млн параметров, работает с входом длиной до 512 токенов и доступна в формате PyTorch. Для получения представлений можно использовать Sentence-Transformers либо Transformers с подходящей операцией pooling поверх контекстных представлений токенов. Модель ориентирована на малаялам; README также указывает на отдельную многоязычную версию для основных индийских языков и межъязыкового сравнения. Лицензия в предоставленных данных не указана.
Mankei-326M-Reranker — немецкий кросс-энкодерный ранжировщик от Keyvan AI с 326,4 млн параметров на архитектуре Llama. Он оценивает пары «запрос — фрагмент текста» и переупорядочивает найденные документы, уточняя результаты первого этапа поиска в RAG-системе. Модель рассчитана на немецкоязычный поиск и локальное развёртывание; контекст — до 2048 токенов. В README сообщается о результатах на отложенных вопросах GermanDPR: Acc@1 92,8% и MRR 0,963; это результаты указанного автора тестирования. Модель обучена с учителем на GermanDPR с listwise loss и жёсткими негативными примерами; использует last-token pooling и линейный слой релевантности, а LoRA применялась к немецкой базовой модели Mankei. Лицензия — Apache-2.0. Предназначена для ранжирования текстовых кандидатов, а не для генерации ответов; качество за пределами описанного немецкоязычного бенчмарка README не устанавливает.
mDeBERTa-v3-base — многоязычная модель Microsoft на архитектуре DeBERTa V3, предназначенная для задач понимания текста и предсказания замаскированных токенов. Вариант base содержит 12 слоёв, скрытый размер 768 и 306 млн параметров; словарь включает 250 тыс. токенов. Модель обучена на многоязычных данных CC100 с использованием предобучения в стиле ELECTRA и механизма разделения градиентов при совместном использовании эмбеддингов. Контекст ограничен 512 токенами. Модель поддерживает английский, русский и другие языки, перечисленные в метаданных. В README приведены результаты переноса с обучением только на английских данных и тестированием на 15 языках XNLI; в этой оценке mDeBERTa-base показала более высокий средний результат, чем XLM-R-base. Модель подходит как основа для дообучения на классификацию и другие задачи понимания естественного языка, однако сама карточка задаёт основную задачу fill-mask. Распространяется по лицензии MIT.
mDenseOn-unsupervised — многоязычная плотная модель для поиска по LightOn, полученная на первом этапе обучения семейства mDenseOn. Это энкодер Sentence Transformers на базе ModernBERT с 306,9 млн параметров: он кодирует запросы и документы в векторы размерности 768, используя CLS-пулинг и косинусное сходство. Для запросов и документов предусмотрены префиксы `query:` и `document:`, максимальная длина последовательности — 8192 токена. Модель предварительно обучена контрастивным методом на корпусе примерно из 2,8 млрд пар «запрос—документ» на английском, французском, немецком, итальянском, испанском, португальском, шведском, норвежском и арабском языках; около четверти пар являются межъязыковыми. Чекпойнт подходит для экспериментов с многоязычным поиском, дообучения на собственных данных и дистилляции. Для большинства производственных сценариев авторы рекомендуют полностью обученную mDenseOn, поскольку этот чекпойнт ещё не прошёл этап настройки на отобранных сложных негативных примерах. Лицензия — Apache 2.0.
sigridjineth/ModernBERT-korean-large-preview — модель Sentence Transformers, дообученная автором на корейском наборе korean_nli_dataset_reranker_v1 на основе answerdotai/ModernBERT-large. Это плотный энкодер ModernBERT с 394,7 млн параметров: он преобразует предложения и абзацы в векторы размерности 1024, а сходство между ними оценивается косинусной мерой. Максимальная длина входа — 8192 токена; модель предназначена прежде всего для корейского языка. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены результаты оценки на задачах поиска и сравнения предложений; показатели относятся к указанным оценочным наборам и не гарантируют такую же точность на других данных. Для практического применения модель можно использовать в системах поиска и анализа корейских текстов, передавая её эмбеддинги поисковому индексу или последующим алгоритмам. В предоставленных данных сведения о лицензии отсутствуют.
Карточка модели unsloth/ModernBERT-large на Hugging Face совпадает с карточкой answerdotai/ModernBERT-base, поэтому описание составлено по ней. ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.
makiart/modernbert-large-ft-all-nli — англоязычная модель Sentence Transformers, разработанная makiart путём дообучения answerdotai/ModernBERT-large на наборе all-nli. Она кодирует предложения и абзацы в плотные векторы размерностью 1024, а сходство между ними можно оценивать косинусной мерой. Архитектура включает энкодер ModernBERT-large и mean pooling; модель содержит 394,7 млн параметров и принимает последовательности длиной до 8192 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации. В README приведён результат cosine accuracy 0,8809 на TripletEvaluator для all-nli-dev. Оценка качества на других доменах и языках не приводится; модель обучалась на англоязычных данных all-nli, поэтому её пригодность для русского и специализированных текстов не подтверждена. Лицензия в предоставленных сведениях не указана.
illuin-conteb/modernbert-large-insent — модель эмбеддингов предложений на базе ModernBERT-large, разработанная авторами проекта Contextual Embeddings. Она дообучена на ConTEB с использованием подхода InSeNT для построения контекстных представлений документов и поиска нужных фрагментов с учётом окружающего контекста. Модель выдаёт векторы размерности 768; для сравнения используется косинусное сходство. Максимальная длина входа — 8192 токена. Модель предназначена для контекстного поиска и сопоставления текстовых фрагментов, где релевантность зависит от соседнего материала. В карточке описан экспериментальный чекпойнт: авторы сообщают о перспективных результатах, но также о снижении качества на стандартных задачах эмбеддингов и необходимости дальнейшего улучшения устойчивости и обобщения на новые данные. Сведения о лицензии в предоставленных источниках отсутствуют.
MolmoWeb-4B — открытая мультимодальная модель веб-агента, разработанная Ai2. Она предназначена для взаимодействия с веб-страницами: модель принимает визуальное представление страницы и текстовые инструкции, чтобы понимать интерфейс и выполнять задачи в браузере. Карточка относит её к семейству Molmo2; архитектура использует Qwen3-8B и SigLIP 2 как визуальную основу, а веса опубликованы в формате safetensors для Transformers. Модель ориентирована на сценарии веб-навигации и выполнения действий через интерфейс, а также на визуальные вопросы и grounding. В README сообщается о сравнительных результатах семейства MolmoWeb и выигрышах от параллельных запусков с выбором лучшего результата; приведённые показатели относятся к семейству и не уточняют отдельно качество версии 4B. Лицензия — Apache-2.0.】【。
scroobiustrip/mpnet-direction-finetuned-v2 — англоязычная модель Sentence Transformers, дообученная разработчиком на базе sentence-transformers/all-mpnet-base-v2 для сопоставления предложений с учётом направления отношений. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768, нормализованные для сравнения по косинусному сходству. Максимальная длина входа в метаданных — 514 токенов; карточка README указывает ограничение в 384 токена. Модель предназначена для семантического поиска, оценки сходства и поиска перефразировок. Также её можно применять для кластеризации текстов и классификации на основе эмбеддингов. В обучающих примерах встречаются запросы о международных денежных переводах с указанием стран отправления и назначения, поэтому модель настроена на различение направления таких операций. В README приведён результат cosine_accuracy 1.0 на all-nli-test, но подробностей о методике и диапазоне применимости недостаточно, чтобы считать его гарантией качества на других данных. Модель принимает текст и выдаёт векторы. Распространяется по лицензии Apache-2.0.
MyAwesomeModel — модель на базе архитектуры BERT, доступная через библиотеку Transformers и предназначенная для извлечения признаков из входных данных. Репозиторий также описывает улучшения в рассуждениях, математике, программировании, классификации, суммаризации и работе с диалогами, однако метаданные Hugging Face классифицируют модель как feature-extraction. Модель может использоваться для преобразования текста в векторные представления, последующей классификации, поиска семантически похожих документов и других задач, основанных на признаках из Transformer-моделей. В README заявлены сниженная частота галлюцинаций и поддержка function calling, но подробные сведения о размере модели, контекстном окне, языках и точном формате запуска отсутствуют. Модель распространяется по лицензии MIT.
MyAwesomeModel — модель на базе BERT, опубликованная пользователем sadafhjkj. Согласно метаданным Hugging Face, она предназначена для извлечения признаков из текста и работает с библиотекой Transformers на PyTorch. Репозиторий также описывает улучшения рассуждений, понимания языка, генерации, function calling и снижение галлюцинаций, однако эти возможности не согласуются с указанным pipeline-тегом feature-extraction и не сопровождаются подробными техническими характеристиками модели. Модель может применяться для получения векторных представлений текста, последующего поиска по смыслу, классификации и других задач, использующих текстовые признаки. README приводит результаты внутренних бенчмарков по рассуждениям, ответам на вопросы, классификации, анализу тональности, суммаризации, переводу и генерации кода, но не описывает архитектуру в деталях, число параметров, поддерживаемые языки или длину контекста. Модель распространяется по лицензии MIT.
MyAwesomeModel — модель из репозитория safasfaf4546/MyAwesomeModel-TestRepo, опубликованная с лицензией MIT и предназначенная для извлечения признаков из текста в библиотеке Transformers. В метаданных она помечена как BERT-подобная модель для задачи feature extraction и использует PyTorch.
sentence-transformers/nli-bert-large-cls-pooling — модель семейства BERT, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска по смыслу и кластеризации; также подходит для вычисления сходства предложений. Модель использует CLS-пулинг, имеет около 433,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Репозиторий содержит веса в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель устарела: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать более новые модели Sentence Transformers. Язык обучения и поддерживаемые естественные языки в предоставленных данных не указаны. Лицензия — Apache-2.0.
sentence-transformers/nli-roberta-large — модель для получения векторных представлений предложений и абзацев, обученная командой sentence-transformers. Она основана на RoBERTa с плотной архитектурой и содержит 454,1 млн параметров. Модель преобразует текст в эмбеддинги размерностью 1024; контекст ограничен 514 токенами. Эмбеддинги можно использовать для семантического поиска, сравнения сходства текстов и кластеризации. Модель принимает текст и выдаёт векторы, пригодные для поиска и группировки семантически близких фрагментов. В README модель помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать более новую модель. Лицензия — Apache 2.0.
OpenAI o4-mini — компактная модель рассуждений из серии o-series, разработанная OpenAI. Она предназначена для быстрых и экономичных ответов с сохранением развитых мультимодальных и агентных возможностей, включая использование инструментов. В доступной карточке указаны мультимодальность и поддержка инструментов, но не уточнены входные и выходные типы данных, конкретные языки или размер контекста, поэтому эти характеристики не конкретизируются.
OGBert-110M-Sentence — модель эмбеддингов предложений на базе ModernBERT, разработанная автором репозитория mjbommar. Она предназначена для представления глоссариев и специализированных текстов в виде векторов, которые можно сравнивать по смыслу и использовать для кластеризации и поиска документов. Архитектура включает ModernBERT, усреднение токенов и L2-нормализацию; в README указано 110 млн параметров, а метаданные сообщают 138,4 млн. Контекст — до 1024 токенов. Модель обучалась на корпусе специализированных словарных статей OpenGloss и заявлена для английского языка. В описанных оценках модель показала результаты для кластеризации документов, тематического поиска и сходства слов; README приводит метрики на небольших наборах данных, поэтому они не гарантируют аналогичного качества на других доменах. Модель принимает текст и выдаёт нормализованные векторы. Лицензия — Apache-2.0.
OGBert-2M-Sentence — компактная модель эмбеддингов предложений от mjbommar на архитектуре ModernBERT с mean pooling и L2-нормализацией. Она содержит 2,1 млн параметров, имеет размер скрытого слоя 128 и принимает текст длиной до 1024 токенов. Модель обучена на корпусе специализированных словарных текстов, созданном на основе OpenGloss: 537 тысяч значений для 150 тысяч лексем. Модель предназначена для вычисления сходства предложений, поиска близких по смыслу текстов, кластеризации и поиска документов в предметных корпусах. В оценке на STS показала результаты ниже BERT-base в целом, но превзошла его на STS12; в тестах кластеризации и поиска также уступила более крупным моделям. Малый размер делает её подходящей для сценариев с ограниченными ресурсами. Лицензия — Apache-2.0.
qiyuw/pcl-roberta-base — англоязычная модель RoBERTa для оценки сходства предложений. Она использует архитектуру RobertaForCL и содержит 151,8 млн параметров; модель принимает текст и подходит для сравнения предложений по смыслу. Длина контекста составляет 514 токенов. Модель распространяется в формате PyTorch по лицензии MIT. README не содержит дополнительных сведений о методе обучения или конкретных сценариях применения.
Phrase-BERT — модель эмбеддингов фраз из официального репозитория к статье EMNLP 2021 «Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration». Она основана на архитектуре BERT и предназначена для получения векторных представлений фраз, сравнения их семантического сходства и исследования корпусов. Модель содержит 136,7 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Модель можно использовать через Sentence-Transformers. В статье её оценивают на задачах Turney, BiRD, PPDB, PPDB-filtered и PAWS-short; README также описывает обучение собственной версии на данных интересующей предметной области. Репозиторий содержит веса в формате PyTorch. Сведения о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют.
pritamdeka/PubMedBERT-mnli-snli-scinli-scitail-mednli-stsb — модель на архитектуре BERT, обученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и рассчитана на семантический поиск, кластеризацию и сравнение сходства предложений. В обучении использованы наборы SNLI, MNLI, SCINLI, SCITAIL, MEDNLI и STSB; модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для поиска семантически близких научных и медицинских текстов, группировки документов по смыслу и расчёта сходства между предложениями. Она выдаёт векторы, а не готовые ответы или метки. Карточка не сообщает лицензию и не приводит явный перечень поддерживаемых естественных языков.
lzjever/pullot_qa_legal — модель на архитектуре BERT, опубликованная в формате PyTorch и подготовленная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. В обучении применялась MultipleNegativesRankingLoss с косинусным сходством. Модель предназначена для поиска и сопоставления текстов, в том числе вопросов и ответов в юридических материалах, что следует из названия репозитория; README описывает её общие сценарии работы с эмбеддингами. Размер модели — 129,5 млн параметров, контекст — до 512 токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
nluai/question-generation-vietnamese-v2 — модель генерации поисковых запросов для расширения документов, основанная на mT5 и дообученная на вьетнамских данных набора mMARCO. Модель принимает текстовые фрагменты и генерирует вероятные запросы, связанные с их содержанием; это помогает добавить в поисковый индекс синонимы и повысить вес значимых слов для лексического поиска BM25 в Elasticsearch, OpenSearch или Lucene. Модель также подходит для создания пар «запрос — текст» на неразмеченных коллекциях, которые можно использовать при обучении плотных моделей эмбеддингов. В обучении использовались пары «запрос — passage» из mMARCO; вход ограничивался 320 токенами WordPiece, выход — 64. Генерация с выборкой top-k/top-n недетерминирована. Модель содержит 291,2 млн параметров, использует архитектуру mT5 и распространяется под лицензией Apache-2.0.
Ruri-Base — японская модель эмбеддингов предложений от cl-nagoya, созданная дообучением cl-nagoya/ruri-pt-base и реализованная как Sentence Transformer на архитектуре BERT. Она преобразует японские тексты в векторы размерности 768 для сравнения семантической близости по косинусному сходству; максимальная длина входа — 512 токенов. Модель предназначена для поиска и сравнения предложений, оценки семантического сходства, классификации, кластеризации и ранжирования текстовых пар. В JMTEB она показала средний результат 71,91; README рекомендует для новых проектов перейти на модели Ruri v3. Модель содержит 138,4 млн параметров по метаданным. Распространяется по лицензии Apache 2.0.
Ruri-Small v2 — модель эмбеддингов японских текстов от cl-nagoya, созданная дообучением cl-nagoya/ruri-pt-small-v2. Это Sentence Transformer на архитектуре DistilBERT с 68 млн параметров. Модель кодирует предложения и тексты в векторы размерностью 768; для сравнения используется косинусное сходство. Модель предназначена для поиска по смыслу, оценки сходства предложений, ранжирования и других задач, где нужно сопоставлять японские тексты. Максимальная длина входа — 512 токенов. На JMTEB модель получила среднюю оценку 73,30; в README указано, что доступны более новые модели Ruri v3. Модель принимает текст и выдаёт векторы. Распространяется по лицензии Apache 2.0.
Карточка модели 0x3/ruri-v3-30m на Hugging Face совпадает с карточкой cl-nagoya/ruri-v3-30m, поэтому описание составлено по ней. Ruri v3 30M — модель эмбеддингов японского текста, разработанная cl-nagoya на базе ModernBERT-Ja и дообученная от cl-nagoya/ruri-v3-pt-30m. Она преобразует предложения и фрагменты текста в векторы размерностью 256 для сравнения смысловой близости, поиска, ранжирования и кластеризации. Модель содержит 36,7 млн параметров, поддерживает последовательности до 8192 токенов и использует токенизатор SentencePiece; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для японских текстовых задач. В оценке JMTEB версия 30M показала средний результат 74,51; карточка также приводит метрики поиска, семантического сходства, классификации, переранжирования и кластеризации. Указана функция сходства cosine similarity. Репозиторий содержит веса safetensors, лицензия — Apache 2.0.
Ruri v3 30M — модель эмбеддингов японского текста, разработанная cl-nagoya на базе ModernBERT-Ja и дообученная от cl-nagoya/ruri-v3-pt-30m. Она преобразует предложения и фрагменты текста в векторы размерностью 256 для сравнения смысловой близости, поиска, ранжирования и кластеризации. Модель содержит 36,7 млн параметров, поддерживает последовательности до 8192 токенов и использует токенизатор SentencePiece; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для японских текстовых задач. В оценке JMTEB версия 30M показала средний результат 74,51; карточка также приводит метрики поиска, семантического сходства, классификации, переранжирования и кластеризации. Указана функция сходства cosine similarity. Репозиторий содержит веса safetensors, лицензия — Apache 2.0.
Ruri v3 310M — модель текстовых эмбеддингов для японского языка, разработанная cl-nagoya на базе cl-nagoya/ruri-v3-pt-310m. Это дообученная Sentence Transformer-модель с архитектурой ModernBERT-Ja и 314,6 млн параметров; она преобразует текст в векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель использует словарь из 100 тысяч токенов, SentencePiece и FlashAttention; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для поиска по смыслу, оценки сходства предложений и документов, ранжирования и других задач на японском тексте. В README приведена оценка JMTEB: средний результат 77,24; также представлены результаты по поиску, семантическому сходству, классификации, переранжированию и кластеризации. Модель поддерживает японский язык и распространяется по лицензии Apache 2.0.