I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейCohee/jina-embeddings-v2-base-en — это модель для получения векторных представлений текста (эмбеддингов), основанная на jinaai/jina-embeddings-v2-base-en. В карточке указано, что модель подготовлена в формате ONNX для совместимости с библиотекой Transformers.js и предназначена для использования в задачах извлечения признаков (feature extraction), включая последующий семантический поиск и сравнение текстов. Модель ориентирована на англоязычные тексты, что следует из её идентификатора base-en. Сведения о точной архитектуре, размере, длине контекста, поддерживаемых модальностях и числовых характеристиках эмбеддингов в карточке не приведены. Также не указаны результаты тестирования, ограничения качества и лицензия.
Xenova/jina-embeddings-v2-base-en — это версия модели jinaai/jina-embeddings-v2-base-en с весами в формате ONNX, адаптированная для работы с библиотекой Transformers.js. Модель предназначена для извлечения признаков и создания векторных представлений англоязычных текстов, которые можно использовать для семантического поиска, сравнения текстов и других задач, основанных на сходстве эмбеддингов. Для получения эмбеддингов используется pipeline feature-extraction в Transformers.js с усредняющим pooling; сходство векторов можно оценивать, например, с помощью косинусной близости. Доступны варианты вычислений fp32, fp16, q8 и q4, что позволяет выбирать между точностью и требованиями к ресурсам. В README не указаны архитектура, размер модели, размерность эмбеддингов, максимальная длина контекста и точный перечень языков, поэтому эти характеристики нельзя достоверно описать. К сильным сторонам относятся совместимость с JavaScript-экосистемой Transformers.js и наличие ONNX-весов, пригодных для запуска в поддерживаемых средах, включая потенциальные веб-сценарии. К ограничениям относятся англоязычная специализация исходной модели и возможное снижение качества при квантовании. Лицензия в README не указана.
Xenova/jina-embeddings-v2-small-en — версия модели jinaai/jina-embeddings-v2-small-en с весами в формате ONNX, подготовленная для использования в JavaScript через библиотеку Transformers.js. Модель предназначена для извлечения векторных представлений английских текстов и совместима с конвейером feature-extraction. Модель подходит для семантического сравнения текстов, поиска похожих документов и построения приложений, использующих текстовые эмбеддинги. В README показан сценарий генерации эмбеддингов с mean pooling и расчёта косинусного сходства. Поддерживаются варианты точности fp32, fp16, q8 и q4, что позволяет выбирать между качеством, размером и производительностью. Сведения об архитектуре, размере, максимальной длине контекста и точной размерности эмбеддингов в README не указаны. Сильной стороной модели является возможность запуска ONNX-весов в JavaScript-окружении через Transformers.js, включая потенциальное использование в веб-приложениях. Ограничения связаны с тем, что заявлена поддержка английского языка, а влияние квантования на качество может зависеть от выбранного формата. Лицензия в предоставленном README не указана.
jina-embeddings-v5-omni-small-clustering — мультимодальная модель эмбеддингов от Jina AI, созданная на базе jinaai/jina-embeddings-v5-omni-small. Она принимает текст, изображения, видео и аудио и преобразует их в векторы общего пространства, согласованного с текстовой моделью jinaai/jina-embeddings-v5-text-small-clustering. Вариант настроен для кластеризации; размер модели — около 1,56 млрд параметров, размерность эмбеддинга — 1024. Модель подходит для группировки и сравнения мультимодальных данных, а также для поиска, где документы индексируются текстом, а запросы поступают в виде текста, изображения, видео или аудио. Видео представляется последовательностью кадров; звуковая дорожка видео автоматически не обрабатывается и для совместного кодирования должна передаваться отдельно. Для текстовых документов README рекомендует добавлять префикс «Document: ». Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
KatzBot MiniLLM ST — компактная модель эмбеддингов на базе архитектуры BERT, опубликованная пользователем codegood. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и измерения сходства предложений. Модель обучалась с BatchHardTripletLoss на датасете codegood/Katzbot. Модель содержит 25,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторы. Доступна в формате safetensors для библиотеки sentence-transformers. README не уточняет поддерживаемые естественные языки и лицензию, поэтому область применения по языкам и условия использования определить нельзя.
hyuk2010/klue-roberta-base-klue-sts — модель Sentence Transformers, дообученная на базе klue/roberta-base для сравнения смысла корейских предложений. Она преобразует предложения и абзацы в плотные векторы размерности 768; архитектура включает RoBERTa и mean pooling, а близость векторов оценивается косинусным сходством. Модель содержит 137,8 млн параметров. Максимальная длина последовательности указана как 512 токенов в README и 514 токенов в метаданных. Модель предназначена для семантического поиска, поиска перефразировок, кластеризации и сравнения текстов по смыслу. Для обучения использовались 10 501 пара корейских текстов с оценками сходства. В README приведены оценки на двух таблицах, но они заметно различаются, поэтому качество на целевых данных следует проверять отдельно. Модель принимает текст и выдаёт эмбеддинги; опубликована в формате safetensors и рассчитана на использование с библиотекой Sentence Transformers. Лицензия в предоставленных данных отсутствует.
Это корейский Cross-Encoder на базе klue/roberta-small, дообученный с помощью библиотеки Sentence Transformers. Модель оценивает пару текстов одним числовым баллом, который можно использовать для ранжирования результатов поиска и оценки семантической релевантности. Модель содержит 81,2 млн параметров, использует архитектуру RoBERTa и принимает последовательности длиной до 514 токенов. В README приведены результаты оценки корреляции: Pearson 0,986 и Spearman 0,866; обучающая выборка насчитывает 35 108 пар текстов. Примеры и базовая модель указывают на работу с корейским языком. Лицензия в предоставленных данных не описана.
ParkMyungkyu/KLUE-STS-roberta-base — модель эмбеддингов предложений на архитектуре RoBERTa, представленная автором ParkMyungkyu. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и сравнения предложений. Модель содержит 137,8 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers требуется применить pooling к контекстным представлениям токенов. Модель обучалась с CosineSimilarityLoss и ориентирована на семантическое сходство в корейском бенчмарке KLUE-STS. Лицензия в предоставленных данных не указана.
daekeun-ml/KoSimCSE-supervised-roberta-large — корейская модель для построения эмбеддингов предложений на основе SimCSE и архитектуры RoBERTa-large. Она обучена с учителем на данных NLI и предназначена для сравнения смысловой близости текстов, поиска похожих предложений и использования в системах семантического поиска. В README приведены результаты оценки KoSimCSE на KLUE-STS и Kor-STS; таблицы для варианта supervised RoBERTa-large неполны, поэтому отдельные показатели этой модели подтвердить нельзя. Модель принимает текст и выдаёт векторные представления. Обучение описано для корейских наборов KLUE-NLI и Kor-NLI; метаданные также указывают язык ko. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.
jhgan/ko-sroberta-sts — модель эмбеддингов предложений на основе RoBERTa, обученная для оценки семантического сходства корейских текстов. Она преобразует предложения и абзацы в плотные векторы размерности 768; эмбеддинги подходят для семантического поиска, кластеризации и сравнения текстов. В README приведены результаты оценки на KorSTS: корреляция Пирсона для косинусного сходства — 81,84, Спирмена — 81,82. Модель содержит 137,8 млн параметров, имеет контекстное окно до 514 токенов и доступна в форматах PyTorch и TensorFlow. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов; также поддерживается библиотека Sentence-Transformers. Модель ориентирована на корейский язык и семантические задачи с предложениями и абзацами. Условия лицензии в предоставленных данных не описаны.
bongsoo/kpf-cross-encoder-v1 — корейская модель-переранжировщик на базе BERT, дообученная автором на jinmang2/kpfbert как cross-encoder с использованием класса CrossEncoder из SentenceTransformers. Она оценивает семантическое сходство пары текстов и подходит для сопоставления предложений и ранжирования кандидатов по релевантности. В README приведены результаты на корейских наборах KorSTS и KLUE-STS, а также на STS-B и STS-B Multi-MT; для KLUE-STS указана оценка 0,9133. Модель содержит 141,2 млн параметров, использует архитектуру BertForSequenceClassification и принимает до 512 токенов контекста. Карточка показывает поддержку корейского языка; результаты также приведены для английского тестового набора STS-B Multi-MT. Веса доступны в формате PyTorch по лицензии Apache-2.0. Модель выдаёт оценку сходства для пары текстов, а не универсальные текстовые ответы.
LaBSE-en-ru — сокращённая версия LaBSE, созданной Google и перенесённой в Sentence Transformers, адаптированная автором cointegrated для английского и русского языков. Это плотная модель семейства BERT с 155,5 млн параметров и контекстом до 512 токенов; в словаре оставлены токены только для английского и русского, что сократило словарь до 10% исходного, а число параметров — до 27% исходного размера LaBSE. Модель предназначена для получения векторных представлений предложений на английском и русском языках. Такие эмбеддинги можно использовать для поиска семантически близких текстов и оценки сходства между предложениями, в том числе между языками. В README указано, что сокращение не ухудшило качество эмбеддингов для этих двух языков. Модель распространяется в форматах PyTorch, Safetensors и TensorFlow. Лицензия в предоставленных данных не указана.
danfeg/LaBSE_Finetuned-FR-1000 — дообученная модель Sentence-Transformers на основе LaBSE для получения плотных векторных представлений предложений и абзацев. Она рассчитана на задачи семантического поиска, сравнения сходства предложений и кластеризации текстов. Обучение использовало CosineSimilarityLoss. Модель построена на архитектуре BERT, содержит около 498,1 млн параметров, формирует эмбеддинги размерности 768 и принимает последовательности длиной до 512 токенов. Репозиторий предоставляет веса PyTorch и Safetensors. Суффикс FR-1000 указывает на французскую специализацию, однако доступные сведения не раскрывают состав обучающих данных или конкретные языковые ограничения. Лицензия в предоставленных данных не указана.
Redis дообучила эту модель Cross-Encoder на базе Alibaba-NLP/gte-reranker-modernbert-base для оценки релевантности пар текстов в задачах семантического кэширования LangCache. Модель принимает пару текстов и выдаёт один числовой score, который можно использовать для классификации пар и ранжирования ответов или документов по запросу. Модель построена на ModernBERT, содержит около 149 млн параметров и обрабатывает последовательности длиной до 8192 токенов. Она обучена на англоязычном наборе LangCache Sentence Pairs из 1 452 533 примеров с помощью sentence-transformers и MultipleNegativesRankingLoss. Лицензия — Apache-2.0.
Redis разработала эту модель Cross-Encoder для оценки пар текстов в сценариях семантического кэширования LangCache. Она дообучена на Alibaba-NLP/gte-reranker-modernbert-base с использованием библиотеки sentence-transformers и датасета LangCache Sentence Pairs. Модель принимает пару текстов и возвращает оценку их соответствия, которую можно использовать для классификации пар и переранжирования результатов поиска. Модель построена на ModernBERT, имеет 149 млн параметров и максимальную длину последовательности 8192 токена. Она рассчитана на английский язык. В README приведены результаты оценки классификации и переранжирования на тестовых наборах, однако результаты на наборах NanoQuoraRetrieval, NanoMSMARCO и NanoNQ ниже показателей базовой модели. Модель распространяется по лицензии Apache-2.0.
laya-ara-rag — модель Мохаммада Альхенизана для переранжирования коротких списков арабских текстовых фрагментов в системах поиска и RAG. Это дообученная версия convaiinnovations/laya-multilingual на архитектуре ModernBERT с 306,9 млн параметров и контекстом до 8192 токенов. Модель не генерирует текст и не предназначена для первичного поиска: она оценивает релевантность пары «запрос — фрагмент» и выбирает наиболее подходящие варианты из списка до 12 кандидатов. Обучение проводилось с использованием RLCD на данных MIRACL-ar, арабской части MASSIVE и внутренних логов поиска, которые не распространяются. В README приведены результаты на арабских задачах переранжирования, включая MIRACL-ar, Mr.TyDi-ar и MLQA-ar; показатели отражают выбор первого кандидата в коротком списке, а не стандартную метрику nDCG@10. Модель распространяется под лицензией Apache-2.0.
Petrouil/LFM2.5-Mosaic-900M-A500M-Base — агентный текстовый ассистент на архитектуре Mixture-of-Experts, разработанный на основе замороженной базовой модели LiquidAI/LFM2.5-350M-Base. В модель добавлены десять MoE-слоёв; карточка указывает 921 млн параметров всего и около 543 млн активных на токен, тогда как метаданные каталога сообщают 444,6 млн параметров. Модель рассчитана на вызов инструментов, функции и многошаговые диалоги с инструментами, а также обычное общение и следование инструкциям в цикле ассистента с подключёнными инструментами. Она генерирует структурированные вызовы инструментов в JSON или в нативном формате LFM2.5. Модель принимает и генерирует текст, поддерживает английский язык и имеет контекстное окно 128 000 токенов. Она дообучена на данных для агентных сценариев, включая траектории вызова инструментов, обслуживание клиентов и поиск в интернете, а также на наборах разговоров и инструкций. Слабые стороны — ограниченные общие знания и рассуждения на длинном горизонте, возможные повторы в длинной генерации и мягкая маршрутизация между экспертами. Указана пользовательская лицензия; перед коммерческим распространением следует проверить её условия.
LLaVE-7B — мультимодальная модель эмбеддингов на 7,1 млрд параметров, разработанная авторами проекта LLaVE на базе lmms-lab/llava-onevision-qwen2-7b-ov. Она предназначена для получения представлений текста, изображений, нескольких изображений и видео, в частности для поиска и сопоставления между модальностями. В карточке заявлены высокие результаты на бенчмарке MMEB при обучении на 662 тысячах пар и перенос на поиск по видео без специального обучения на видеоданных. Модель основана на архитектуре LLaVA с языковой частью Qwen2, использует формат safetensors и доступна через Transformers. Метаданные указывают контекст до 32 768 токенов; README приводит значение 4K токенов. Лицензия — Apache-2.0. В метаданных указана поддержка английского языка.
MalayalamSBERT — модель семейства BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP и дообученная на наборе данных NLI на базе l3cube-pune/malayalam-bert. Она создаёт векторные представления предложений на малаяламском языке для сравнения семантической близости и поиска похожих фраз. Модель можно применять в семантическом поиске, группировке предложений и других сценариях, где требуется оценивать сходство текстов. Модель имеет архитектуру BertModel, содержит около 264,8 млн параметров и поддерживает контекст до 512 токенов. Для получения представления предложения README рекомендует использовать sentence-transformers либо применить подходящую операцию pooling к контекстным представлениям токенов. Распространяется в формате PyTorch по лицензии CC BY 4.0.
MahaSBERT — модель представления предложений, разработанная командой L3Cube-Pune в рамках проекта MahaNLP. Она основана на MahaBERT для маратхи (l3cube-pune/marathi-bert-v2) и дообучена на наборе данных NLI. Модель относится к семейству BERT, содержит 264,8 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; контекст ограничен 512 токенами. Модель предназначена для оценки смыслового сходства предложений, семантического поиска и кластеризации текстов на маратхи. Её можно использовать через Sentence-Transformers либо Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch и доступен по лицензии CC BY 4.0. README упоминает более позднюю улучшенную версию, дообученную для сходства предложений.
Omartificial-Intelligence-Space разработала эту модель Sentence Transformers дообучением арабоязычной UBC-NLP/MARBERTv2 на наборе Arabic-NLi-Triplet. Модель кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости текстов; для оценки близости используется косинусное сходство. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Matryoshka-обучение позволяет использовать укороченные представления размерностью 512, 256, 128 или 64. Архитектура основана на BERT, максимальная длина входа — 512 токенов. Основной язык — арабский. В метаданных указаны 190 млн параметров и лицензия Apache-2.0. Результаты на приведённых в карточке наборах STS показывают умеренное соответствие оценкам семантической близости; качество на иных данных может отличаться. Модель не предназначена для генерации текста.
xmanii/maux-gte-persian-v3 — модель Sentence Transformer, дообученная на базе Alibaba-NLP/gte-multilingual-base на наборе mshojaei77/Persian_sft из 80 000 пар предложений. Она кодирует предложения и абзацы в плотные векторы размерности 768, которые сравниваются косинусной близостью. Модель предназначена прежде всего для семантического сходства и поиска по персидским текстам, а также для поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру Transformer с пулингом CLS-токена и нормализацией векторов; максимальная длина последовательности — 8192 токена. Карточка указывает библиотеку sentence-transformers и формат весов safetensors. Лицензия в предоставленных источниках не указана.
ajaysdhillon14/minbert-sts-nli-meanpool — кодировщик предложений на основе bert-base-uncased, дообученный в два этапа для оценки семантического сходства. Сначала модель обучалась на задаче распознавания текстового следования на парах SNLI и MultiNLI, затем дообучалась на STS. Архитектура — BERT, около 99,1 млн параметров; модель хранит только кодировщик, без отдельной головы классификации. Для каждого предложения модель строит вектор с помощью masked mean pooling скрытых состояний, включая позиции [CLS] и [SEP]. Сходство двух предложений вычисляется как косинусная близость векторов, линейно преобразованная из диапазона [-1, 1] в оценку [0, 5]. На dev-наборе STS-B для трёх запусков указаны значения Pearson 0,7432–0,7436 и Spearman 0,7411–0,7460. Модель предназначена для английских текстов. Лицензия — Apache-2.0.
tanbinh2210 выпустил модель Sentence Transformers, дообученную на базе tanbinh2210/mlm_finetuned_phobert. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Архитектура включает трансформер RoBERTa с усреднением токеновых представлений; модель содержит 162,4 млн параметров и обрабатывает последовательности длиной до 258 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. Она обучалась на выборках query, pos и neg из JSON-датасета, размер которого указан как 357 018 примеров. Базовая модель основана на PhoBERT, поэтому модель ориентирована прежде всего на вьетнамский язык. Распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
Модель jfarray/Model_bert-base-multilingual-uncased_1_Epochs — модель на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные эмбеддинги размерностью 256. Её можно применять для семантического поиска, сравнения текстов и кластеризации. По метаданным, модель содержит 194,6 млн параметров, принимает текст длиной до 512 токенов и опубликована в формате PyTorch. Модель обучена с помощью Sentence-Transformers и функции потерь CosineSimilarityLoss. README не раскрывает обучающие данные и результаты оценки, поэтому качество для конкретных языков и задач по предоставленным сведениям оценить нельзя. Лицензия в доступных данных не приведена.
gabrielloiseau/ModernBERT-base-authorship-verification — модель Sentence Transformers, дообученная на основе answerdotai/ModernBERT-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по смыслу с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов, а также для проверки сходства авторского стиля. Она содержит 149 млн параметров, использует архитектуру ModernBERT и обрабатывает последовательности длиной до 8192 токенов. В метаданных указан английский язык базовой модели; отдельные сведения о языках обучения этой версии не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.
karsar/ModernBERT-base-hu_v3 — модель Sentence Transformers, дообученная автором karsar на базе nomic-ai/modernbert-embed-base для представления венгерских текстов в виде плотных эмбеддингов. Она подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текстов. Модель построена на ModernBERT с mean pooling и нормализацией выходного вектора. Она преобразует текст в эмбеддинг размерности 768; максимальная длина последовательности — 8192 токена. Для оценки сходства README указывает косинусную близость и точность 0,8031 на all-triplet-test. Модель обучена на наборе json с тройками anchor, positive и negative; карточка указывает венгерский язык. Доступна по лицензии Apache-2.0. Метрики и описание датасета приведены автором модели и сами по себе не гарантируют качество на конкретных данных.
nickprock/ModernBERT-base-sts — англоязычная модель Sentence Transformer, дообученная автором на answerdotai/ModernBERT-base с использованием датасета STSB и функции потерь CoSENTLoss. Она кодирует предложения и абзацы в плотные векторы размерности 768, а сходство между ними оценивается косинусной мерой. Модель построена на ModernBERT и принимает последовательности длиной до 8192 токенов. Модель предназначена прежде всего для оценки семантического сходства предложений; её также можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты на STS-dev и STS-test: Spearman по косинусному сходству составляет 0,8877 и 0,8684 соответственно. Обучение и оценка описаны для английского языка, поэтому качество на других языках не подтверждено. Лицензия в предоставленных данных не указана.
castorini/monot5-large-msmarco — модель семейства T5-large, разработанная Castorini и дообученная на наборе MS MARCO passage для ранжирования текстовых фрагментов по релевантности запросу. Она предназначена для повторного ранжирования результатов поиска, в том числе пассажей MS MARCO и документов Robust04. Модель содержит 385,2 млн параметров и принимает текст с контекстом до 512 токенов; доступны веса PyTorch и Flax. Модель полезна как второй этап поисковой системы: она оценивает пары «запрос — документ» и помогает упорядочить найденные результаты. Она обучалась на данных MS MARCO, поэтому качество может зависеть от соответствия целевого корпуса и запросов обучающему домену. Лицензия в предоставленных данных не указана.
bingcheng9/mpnet-base-all-nli-triplet — англоязычная модель Sentence Transformers, созданная дообучением microsoft/mpnet-base на триплетах датасета AllNLI. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству; максимальная длина входа составляет 512 токенов. Модель подходит для семантического поиска, оценки смысловой близости, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. Архитектура состоит из MPNetModel и mean pooling. В README приведены результаты TripletEvaluator на AllNLI: точность по cosine similarity составляет 0,9156 на dev и 0,9262 на test. Модель принимает английский текст и выдаёт векторы; качество для других языков не подтверждено. Распространяется по лицензии Apache-2.0.