I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейDuyAnh1/autotrain-upmei-jyjou — модель эмбеддингов предложений, созданная с помощью AutoTrain на базе intfloat/multilingual-e5-large. Она предназначена для вычисления семантического сходства между предложениями и может использоваться в задачах семантического поиска и сравнения текстов. Модель построена на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 514 токенов. Она поддерживает несколько языков благодаря базе multilingual-e5-large. Модель можно применять для поиска похожих фрагментов, подбора релевантных документов и оценки близости пользовательского запроса к текстам. В README приведена метрика loss 9,61×10⁻⁵, но не указаны набор данных, методика оценки и языковой состав обучающей выборки, поэтому по ней нельзя судить о качестве на конкретных сценариях. Используется библиотека Sentence Transformers; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
Bangla Sentence Transformer — разработанная автором репозитория модель Sentence Transformers на архитектуре XLM-RoBERTa, дообученная на базе stsb-xlm-r-multilingual. Она кодирует предложения в плотные векторные представления для сравнения семантической близости, семантического поиска и поиска информации; эмбеддинги также можно использовать в классификации текста. Модель содержит 305,2 млн параметров, работает с текстом и имеет контекст до 514 токенов. В карточке указаны бенгальский и английский языки. Форматы весов — PyTorch и Safetensors; для использования README рекомендует библиотеку sentence-transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.
jegormeister/bert-base-dutch-cased — модель Sentence-Transformers на базе BERT, обученная для получения векторных представлений предложений и абзацев на нидерландском языке. Она кодирует текст в плотные векторы размерностью 256 и подходит для семантического поиска, сравнения сходства и кластеризации текстов. Модель содержит 136,3 млн параметров, принимает текстовые входы с контекстом до 512 токенов и распространяется в формате PyTorch. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Для работы доступны Sentence-Transformers и Transformers; при использовании Transformers поверх выходов трансформера требуется применить подходящий pooling. Модель предназначена для построения эмбеддингов, а не для генерации текста. В README не названа лицензия, поэтому условия использования по имеющимся сведениям определить нельзя.
tomaarsen/bert-base-nq — англоязычная модель Sentence Transformers, дообученная разработчиком tomaarsen на парах запросов и ответов из набора Natural Questions. В основе лежит google-bert/bert-base-uncased: BERT с 136,7 млн параметров, дополненный усредняющим пулингом токенов. Модель преобразует предложения и абзацы в плотные векторы размерности 768; максимальная длина входа — 512 токенов, сходство векторов обычно оценивается косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов. Её можно применять для поиска ответов по запросу, оценки смыслового сходства и перефразирования, кластеризации и извлечения признаков для классификации текста. В README приведены результаты оценки на наборах Nano BEIR и отдельных поисковых датасетах, однако они не гарантируют качество на конкретном корпусе или языке. Вход — текст на английском языке, выход — векторные представления текста. Лицензия Apache-2.0. Контекст ограничен 512 токенами; длинные тексты потребуют предварительного разбиения. Модель обучалась на Natural Questions, поэтому качество на других языках и специализированных областях может отличаться.
Это англоязычная модель Sentence Transformer от tomaarsen, дообученная на парах вопросов и ответов из набора Natural Questions на базе google-bert/bert-base-uncased. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения текстов по смыслу, семантического поиска и поиска перефразировок. Модель также можно применять для кластеризации и классификации текстов с использованием полученных представлений. Архитектура состоит из BERT и слоя усредняющего pooling; сходство векторов можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт векторы; она не генерирует ответы. Лицензия — Apache-2.0. Качество зависит от задачи и корпуса: приведённые в карточке результаты на наборах поиска различаются, поэтому для целевого применения нужна отдельная оценка.
Это англоязычная модель Sentence Transformers, дообученная автором gabrielegabellone на основе google-bert/bert-base-uncased. Она кодирует предложения и абзацы в плотные векторы размерностью 768; для сравнения используется косинусное сходство. Архитектура состоит из BERT и среднего пулинга токенов. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для поиска семантически близких текстов и сравнения предложений. Её также можно применять для поиска перефразировок, кластеризации и подготовки признаков для классификации текста. Обучение описано как TripletLoss на 50 881 примере из набора с тройками предложений; примеры в карточке англоязычные. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.
omkar334/bert-base-uncased-retromae — англоязычная модель Sentence Transformers, дообученная автором omkar334 на основе google-bert/bert-base-uncased с функцией потерь RetroMAELoss. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, извлечения текстов и сравнения сходства по косинусной мере. Архитектура состоит из BERT и пулинга CLS; README указывает максимальную длину последовательности 128 токенов, а метаданные — нативный контекст до 512 токенов. Модель принимает текст и выдаёт эмбеддинги. В README приведены результаты оценки на sts-dev и sts-test: Spearman-корреляция косинусного сходства 0,3173 и 0,721 соответственно. Доступна в формате safetensors; размер составляет 136,7 млн параметров. Лицензия в предоставленных данных не указана.
kwondw/bert-base-uncased-tsdae — модель Sentence Transformers, дообученная на базе google-bert/bert-base-uncased на датасете wiki1m-for-simcse с использованием DenoisingAutoEncoderLoss. Она преобразует предложения и абзацы на входе в плотные векторы размерности 768 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура состоит из BERT для извлечения признаков и пулинга CLS; модель принимает текст, поддерживает контекст до 512 токенов по метаданным, а README указывает максимальную длину последовательности 75 токенов. Базовая модель англоязычная, обучающая выборка состоит из англоязычных текстов Википедии. Модель подходит для семантического поиска, извлечения текстовых эмбеддингов и оценки сходства предложений. В README приведены результаты на STS: Spearman для косинусного сходства составляет 0,6557 на sts-dev и 0,6199 на sts-test. Для практического применения следует учитывать указанную в README длину последовательности 75 токенов; качество на других языках и доменах в предоставленных данных не описано. Лицензия в метаданных и README не указана.
bertin-roberta-base-finetuning-esnli — модель Sentence-Transformers на архитектуре RoBERTa, разработанная Anibal Pérez, Emilio Tomás Ariza, Lautaro Gesuelli и Mauricio Mazuecos. Модель обучена на испанских задачах вывода по естественному языку, включая ESXNLI и автоматически переведённые SNLI и MultiNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, кластеризации и оценки семантического сходства. Модель содержит 151,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. В оценке на испанском наборе SemEval-2015 STS она превзошла приведённый в карточке базовый результат BETO STS по корреляциям Пирсона и Спирмена. Для использования с Transformers требуется корректная операция pooling поверх контекстных представлений токенов. Сведения о лицензии в предоставленных данных отсутствуют.
BEE-spoke-data/bert-plus-L8-v1.0-allNLI_matryoshka — модель семейства BERT, разработанная BEE-spoke-data для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства, кластеризации и связанных задач с текстовыми эмбеддингами. Модель дообучена на датасете allNLI с функцией потерь MatryoshkaLoss и поддерживает вложенные размерности эмбеддингов 768, 512, 256, 128 и 64. Базовая модель поддерживает контекст до 4096 токенов, однако это дообучение проводилось на коротких примерах с контекстом 512 токенов. Модель рассчитана на английский язык и использует библиотеку Sentence-Transformers. Лицензия — Apache-2.0.
pinecone/bert-retriever-squad2 — модель на базе BERT, опубликованная Pinecone и оформленная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством; для получения векторов через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Модель принимает текст и выдаёт векторные представления. Архитектура — BertModel, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Карточка не сообщает, для каких языков модель предназначена, поэтому языковую специализацию определить нельзя. Репозиторий содержит веса PyTorch; условия лицензии в предоставленных данных не указаны.
abhijitt/bert_st_qa_multi-qa-MiniLM-L6-dot-v1-epochs-10 — модель Sentence-Transformers на базе BERT, разработчик в доступных данных не указан. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства; её размер — 25,9 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторные представления. В README не перечислены языки и наборы данных, поэтому языковую поддержку нельзя определить. Репозиторий содержит веса PyTorch. Условия лицензии в предоставленных данных отсутствуют.
swardiantara/bert-tiny-snli-k10-fixed-cosine — компактная Sentence Transformer модель, дообученная на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерности 128 для поиска и сравнения текстов с использованием косинусного сходства. Архитектура включает BERT и mean pooling; модель содержит 4,4 млн параметров и принимает текст.
swardiantara/bert-tiny-sst5-k10-fixed-cosine — компактная модель Sentence Transformers, дообученная разработчиком на базе google/bert_uncased_L-2_H-128_A-2. Она преобразует текстовые предложения и абзацы в плотные векторы размерностью 128 для поиска и сравнения по косинусному сходству. Архитектура состоит из BERT с двумя слоями и mean pooling; модель содержит 4,4 млн параметров. Модель предназначена для извлечения текстовых признаков, семантического поиска и оценки сходства предложений. В README описан обучающий набор из 351 754 пар текстов с метками сходства; примеры относятся к англоязычным рецензиям на фильмы. Метаданные указывают контекст до 512 токенов, тогда как README задаёт максимальную длину последовательности 128 токенов. Модель принимает только текст и выдаёт векторы; она не предназначена для генерации ответов. Компактный размер подходит для сценариев с ограниченными вычислительными ресурсами. Лицензия в предоставленных данных не указана.
Это компактная Sentence Transformer модель, разработанная swardiantara на основе google/bert_uncased_L-2_H-128_A-2 и дообученная для сравнения предложений и поиска по смыслу. Она преобразует текстовые предложения и абзацы в плотные векторы размерностью 128; сходство между ними можно оценивать косинусной мерой, а векторные представления использовать для поиска и извлечения релевантных текстов. Модель построена на архитектуре BERT с двумя слоями и mean pooling. В метаданных указаны 4,4 млн параметров и контекст до 512 токенов; README задаёт максимальную длину последовательности 128 токенов, поэтому для работы следует учитывать это более узкое ограничение. Модель принимает и выдаёт текстовые представления, рассчитана на английский язык и обучалась на парах текстов с метками сходства. Модель подходит для семантического поиска и ранжирования кандидатов по сходству, но её компактный размер и обучение на описанном наборе пар могут ограничивать качество на длинных текстах, других языках и предметных областях. Лицензия в предоставленных данных не указана.
abhimazu/bge-base-en-v1.5-fin — дообученная модель Sentence Transformers на базе BAAI/bge-base-en-v1.5, созданная автором репозитория на наборе marvelousjaguar_embedding. Это плотная BERT-модель с 136,7 млн параметров: она преобразует предложения и абзацы в нормализованные векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; модель ориентирована на английский язык. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. В данных обучения 455 пар «запрос — релевантный текст», поэтому качество на других тематиках и типах запросов может отличаться; модель не генерирует текст и рассчитана на получение эмбеддингов. Лицензия в предоставленных данных не указана.
himanshu23099/bge_embedding_finetune1 — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-small-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Модель использует архитектуру BERT с пуллингом CLS-токена и нормализацией векторов; сходство оценивается косинусной мерой. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для поиска похожих текстов и ранжирования кандидатов по семантической близости. В README приведены результаты оценки поиска по косинусному сходству: точность составляет 0,358 при k=1, 0,7092 при k=5 и 0,7993 при k=10. Модель ориентирована на английский язык и предназначена для работы с текстовыми данными; лицензия в предоставленных данных не указана.
jaschadub/bge-large-en-world-news-osint-v1 — англоязычная модель Sentence Transformers, дообученная на основе BAAI/bge-large-en для представления текстов о мировых новостях и OSINT в виде плотных эмбеддингов. Разработчик — jaschadub. Модель кодирует предложения и абзацы в векторы размерности 1024; сходство между ними оценивается косинусной мерой. Архитектура включает BERT, pooling по CLS-токену и нормализацию. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, классификации и кластеризации. Модель принимает текст и выдаёт векторные представления. Лицензия в предоставленных данных не указана.
Nishit28/bge-large-finetuned-400 — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем Nishit28. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусной мерой сходства; репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Модель подходит для построения семантического поиска по текстовым коллекциям и группировки близких по смыслу фрагментов. Она принимает текст и выдаёт векторы; по метаданным, размер модели составляет 433,9 млн параметров, а контекст ограничен 512 токенами. Данных о специализированной предметной области и поддерживаемых естественных языках нет. Условия лицензии в предоставленных сведениях не описаны.
hqta1110/bge-m3 — дообученная разработчиком репозитория модель Sentence Transformer на базе BAAI/bge-m3, построенная на XLM-RoBERTa. Она кодирует предложения и абзацы в плотные векторы размерности 1024 и подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. Модель обучалась на 119 434 примерах из CSV с тройками Anchor, Positive и Negative; для сравнения в README указана косинусная мера сходства. Метаданные указывают контекст до 8194 токенов, тогда как в архитектуре README задана максимальная длина последовательности 1024 токена. Используйте её для получения текстовых эмбеддингов и сравнения текстов; конкретные языки и области применения в карточке не обозначены. Доступна в формате safetensors, библиотека — sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.
seongil-dn создал Sentence Transformer на архитектуре XLM-RoBERTa для получения плотных векторных представлений предложений и абзацев. Модель формирует эмбеддинги размерностью 1024 и рассчитана на последовательности длиной до 8192 токенов; векторный выход нормализуется, а для сравнения рекомендуется косинусное сходство. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Название репозитория указывает на настройку для финансовых, книжных и научных текстов, однако карточка не раскрывает подробности обучающих данных и оценки качества. В метаданных указана лицензия; конкретные условия следует сверить с лицензией репозитория.
Модель seongil-dn/bge-m3-kor-retrieval-bs1024-checkpoint-295 — дообученная версия BAAI/bge-m3 на базе Sentence Transformers, созданная для получения плотных векторных представлений предложений и абзацев. Архитектура XLM-RoBERTa с пулингом CLS-токена и нормализацией; размерность эмбеддингов — 1024. В метаданных указан размер модели 658,7 млн параметров, библиотека Sentence Transformers и нативный контекст до 8194 токенов; карточка модели заявляет максимальную длину последовательности 1024 токена. Эмбеддинги можно использовать для семантического поиска и сравнения текстов по косинусному сходству, поиска перефразировок, кластеризации и классификации текстов. Модель дообучена с CachedMultipleNegativesRankingLoss; название и описание репозитория указывают на корейский retrieval-сценарий, однако конкретные данные обучения и оценки качества не приведены. Лицензия в предоставленных данных не указана.
Это дообученная модель Sentence Transformers на базе BAAI/bge-m3, разработанная автором репозитория seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации. Архитектура основана на XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов; модель использует косинусное сходство. В README указан предел последовательности 1024 токена, а метаданные каталога указывают контекст до 8194 токенов. Модель подходит для построения текстового поиска и группировки похожих фрагментов. Базовая BGE-M3 ориентирована на многоязычный семантический, лексический и гибридный поиск; отдельная языковая специализация этой версии не подтверждена. Размер модели — 658,7 млн параметров. В метаданных указана лицензия? Информация о лицензии в предоставленных данных отсутствует, поэтому условия использования установить нельзя.
mlx-community/bge-m3-mlx-4bit — неофициальная версия BAAI/bge-m3, преобразованная для MLX и квантованная до 4 бит для работы на Apple Silicon. Модель основана на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и формирует 1024-мерные представления текста; максимальная длина контекста — 8194 токена. Модель предназначена для получения эмбеддингов и семантического поиска. Исходная BGE-M3 поддерживает плотный, разреженный и многовекторный (ColBERT) поиск, однако README этой версии описывает генерацию эмбеддингов через MLX. Квантование уменьшает требования к памяти и подходит для массового формирования эмбеддингов, когда приемлемо некоторое снижение качества. Модель поддерживает многоязычный текст, включая русский, английский, китайский, немецкий, испанский, французский, итальянский, японский, корейский и португальский. Для использования нужны MLX и совместимая система Apple Silicon. Лицензия — MIT; это неофициальная конверсия, за исходной моделью и официальными реализациями следует обращаться к BAAI/bge-m3.
Карточка модели kranushealth/bge-reranker-v2-m3 на Hugging Face совпадает с карточкой BAAI/bge-reranker-v2-m3, поэтому описание составлено по ней. BAAI/bge-reranker-v2-m3 — многоязычная модель переранжирования от BAAI, построенная на базе bge-m3 и использующая архитектуру XLM-RoBERTa для классификации последовательностей. Она принимает запрос и текстовый фрагмент и выдаёт оценку их релевантности; более высокий балл означает более подходящий фрагмент. При необходимости оценку можно преобразовать сигмоидой в значение от 0 до 1. Модель предназначена для повторной сортировки результатов поиска, например, для уточнения порядка документов, найденных системой извлечения, и повышения качества выдачи в многоязычных сценариях. В README она описана как быстрая и удобная для развёртывания; метаданные указывают 658,7 млн параметров и контекст до 8194 токенов. Карточка характеризует её как многоязычную, но не перечисляет отдельные языки. Модель доступна по лицензии Apache-2.0. Релевантность оценивается для пары «запрос — фрагмент», поэтому для поиска по корпусу сначала нужны кандидаты, полученные отдельной системой извлечения; модель сама не выполняет полный поиск. Скорость и пригодность к развёртыванию заявлены в карточке, но конкретные показатели производительности не приведены.
Geofront/BGE-Reranker-v2-M3-GGUF — это GGUF-версия мультиязычной модели переранжирования BAAI/bge-reranker-v2-m3, разработанной командой BAAI и проекта FlagEmbedding. Модель принимает пару «запрос — документ» и непосредственно вычисляет показатель их релевантности, поэтому предназначена для переранжирования результатов поиска, семантического поиска, retrieval-augmented generation и других сценариев, где требуется уточнить порядок найденных текстов. Модель основана на bge-m3 и поддерживает мультиязычные входные данные; при этом README не указывает точный размер модели, архитектуру в терминах числа параметров, максимальную длину контекста и конкретный перечень языков. Значения релевантности можно преобразовать в диапазон от 0 до 1 с помощью sigmoid. К сильным сторонам относятся мультиязычность, сравнительно быстрая инференс-работа и удобство развёртывания. Ограничение состоит в том, что модель оценивает пары запроса и документа, а не создаёт эмбеддинги, поэтому для первичного поиска обычно требуется отдельная embedding-модель. Лицензия — Apache-2.0.
svjack/bge-small-qq-qa — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем svjack. Она преобразует предложения и абзацы в плотные векторы размерностью 512 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусным сходством; для запуска README рекомендует библиотеку Sentence-Transformers. В метаданных указаны 27,6 млн параметров и максимальный контекст 512 токенов. Модель принимает текст и выдаёт векторные представления, которые можно индексировать для поиска или группировать по смыслу. В карточке не названы языки обучения или тестирования, поэтому определить приоритетный язык нельзя. Лицензия в предоставленных данных не указана.
Bhasha embed v0 — модель эмбеддингов Akshita Sukhlecha на базе google/muril-base-cased. Она преобразует предложения и тексты на хинди письмом деванагари, английском и хинди в латинской транслитерации в векторы размерности 768, предназначенные для сравнения по косинусному сходству. Модель рассчитана на межъязыковое сопоставление и поиск по смешанным корпусам, где встречаются тексты на хинди, английском и транслитерированном хинди. Она использует архитектуру BERT, обучалась дистилляцией англоязычной модели эмбеддингов и дообучением на триплетных данных. Максимальная длина последовательности — 512 токенов. Модель опубликована под лицензией Apache-2.0. Карточка заявляет поддержку романизированного хинди и межъязыкового выравнивания; результаты приведены для нескольких задач поиска и сходства. Качество может зависеть от языка, письма и состава корпуса; сведения карточки не задают отдельные ограничения по применению.
teven/bi_all_bs160_allneg_finetuned_WebNLG2017 — модель на основе MPNet, разработанная как Sentence Transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для семантического поиска и кластеризации текстов, а также для оценки сходства предложений. Модель содержит 136,7 млн параметров и принимает текстовые входы длиной до 514 токенов. Модель обучена с использованием CosineSimilarityLoss на данных WebNLG2017; название репозитория также указывает на пакетный размер 160 и обучение с негативными примерами. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.
teven/bi_all_bs160_allneg_finetuned_WebNLG2020_relevance — модель Sentence-Transformers на архитектуре MPNet, дообученная для представления предложений и абзацев плотными векторами размерности 768. Её можно применять для семантического поиска, сравнения близости текстов и кластеризации. Обучение использовало CosineSimilarityLoss; в репозитории представлены веса PyTorch, размер модели составляет 136,7 млн параметров, контекст — до 514 токенов. Модель подходит для построения векторного поиска и группировки текстов по смыслу. README указывает на обучение на WebNLG2020, но подробности набора данных и результаты оценки здесь не приведены. Лицензия в предоставленных данных не указана.