I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейSerafim 900m Portuguese (PT) Sentence Encoder — модель для создания векторных представлений предложений и абзацев на португальском языке. Она разработана авторами семейства Serafim PT и представлена в работе на конференции EPIA 2024. Модель основана на архитектуре DeBERTa-v2 и распространяется в формате safetensors через библиотеку Sentence Transformers. Модель кодирует текст в плотные векторы размерностью 1536, предназначенные для семантического поиска, кластеризации и сравнения смысловой близости текстов. Максимальная длина контекста — 512 токенов; обучение использовало функцию потерь CoSENT. Лицензия MIT.
seanfarrell/set_fit_experiment — модель на базе RoBERTa, обученная для преобразования предложений и абзацев в плотные векторы размерностью 1024. Её можно использовать для семантического поиска и кластеризации текстов, а также для сравнения сходства предложений. Модель обучена с функцией потерь CosineSimilarityLoss и рассчитана на работу через Sentence-Transformers. В метаданных указаны 454,1 млн параметров, контекст до 514 токенов и формат PyTorch. Поддерживаемые языки в доступных данных не обозначены. Лицензия в предоставленных данных не указана. Модель предназначена для получения текстовых эмбеддингов; качество для конкретных языков и задач следует оценивать на собственных данных.
chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Карточка модели fadhilarkn/setfit-model на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.
SIGMA-BERT-large — словенская языковая модель-энкодер семейства ModernBERT, разработанная командой LHRS-UM-FERI и предварительно обученная с нуля на корпусе словенских текстов объёмом около 13,88 млрд токенов. Модель содержит около 394 млн параметров и поддерживает контекст до 8192 токенов. Для неё используется собственный токенизатор SentencePiece BPE с размером словаря 50 000 токенов. Модель предназначена для последующего дообучения под задачи понимания словенского языка: классификацию текстов, распознавание именованных сущностей, извлечение ответов, оценку семантического сходства, поиск по документам и ранжирование результатов в RAG-системах. Двухэтапное предобучение расширило контекст с 1024 до 8192 токенов, что позволяет работать с длинными документами. SIGMA-BERT-large — энкодер с маскированным языковым моделированием: он подходит для заполнения пропусков и получения представлений текста, но не генерирует связный текст. Модель рассчитана прежде всего на словенский язык и может отражать смещения обучающих данных. Лицензия — CC BY-SA 4.0.
Atipico1/simcse-2000 — модель Sentence Transformers, созданная дообучением BM-K/KoSimCSE-bert-multitask. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смыслового сходства текстов, семантического поиска и других задач, основанных на эмбеддингах. В архитектуре используются BERT и усреднение токенных представлений; сходство рекомендуется оценивать косинусной мерой. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Базовая модель ориентирована на корейские предложения; в карточке приведена оценка cosine_accuracy 0,9314 на наборе TripletEvaluator. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.
LazarusNLP/simcse-indoroberta-base — модель эмбеддингов предложений на архитектуре RoBERTa, опубликованная LazarusNLP. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения семантической близости, поиска и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусной функцией сходства; в качестве датасета в метаданных указан корпус Wikipedia на индонезийском языке. Модель принимает текст и выдаёт векторные представления. Её можно использовать для семантического поиска по индонезийским текстам, группировки похожих предложений и оценки сходства пар текстов. Размер модели — 151,8 млн параметров, максимальный контекст — 514 токенов. Доступны веса PyTorch и Safetensors; лицензия в предоставленных данных не указана.
SimCSE-Small-E-Czech — компактная модель семантических эмбеддингов предложений, разработанная Seznam.cz. Она основана на Seznam/small-e-czech и дообучена с целевой функцией SimCSE; архитектура — ELECTRA, размер — 20,4 млн параметров. Модель предназначена для сравнения смысла чешских предложений и может применяться в семантическом поиске, извлечении релевантных текстов, кластеризации и классификации. Модель принимает текст и выдаёт векторные представления предложений для задач сходства. Она рассчитана на чешский язык, поддерживает контекст до 512 токенов и распространяется в формате PyTorch по лицензии CC BY 4.0. README не приводит подробных результатов оценки; качество для конкретного набора данных следует проверять отдельно.
Smaller LaBSE — компактная версия мультиязычного BERT Sentence Encoder, созданная путём дистилляции исходной LaBSE и опубликованная пользователем setu4993. Модель предназначена для получения векторных представлений предложений и оценки их семантического сходства, в том числе между языками. Это плотная BERT-модель объёмом 246,4 млн параметров с максимальным контекстом 512 токенов. По карточке она поддерживает 15 языков: арабский, немецкий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, русский, тайский, турецкий и китайский. Репозиторий содержит веса в форматах PyTorch, TensorFlow и Flax. Модель полезна для поиска семантически близких предложений и мультиязычного сопоставления текстов. Качество и детали обучения описаны в исходной статье; уменьшение набора языков по сравнению с оригинальной LaBSE может ограничивать применимость к языкам вне указанного списка. Лицензия — Apache 2.0.
Это GGUF-квантизированная версия модели Snowflake/snowflake-arctic-embed-l, разработанной компанией Snowflake. Квантизацию выполнил mradermacher; доступны варианты с разными типами и уровнями квантизации, преимущественно размером около 0,2–0,4 ГБ. Модель предназначена для получения векторных представлений текстов, извлечения признаков и оценки семантического сходства предложений. Она может использоваться в задачах семантического поиска, кластеризации, сопоставления текстов и других сценариях, где требуется сравнивать смысловые представления документов или запросов. В метаданных указана поддержка английского языка и совместимость с экосистемой Transformers, а также с задачами sentence-transformers и MTEB. Ключевые архитектурные характеристики исходной модели, включая точное число параметров, размерность эмбеддингов и длину контекста, в README не указаны. Основное преимущество набора — компактные GGUF-файлы и возможность выбрать баланс между размером, скоростью и качеством. Ограничение связано с потерями качества при низких уровнях квантизации: README отмечает, что некоторые варианты имеют низкое качество, поэтому для практического использования рекомендуются более качественные варианты вроде i1-Q4_K_M или i1-Q6_K. Модель распространяется по лицензии Apache-2.0.
JatinkInnovision/snowflake-arctic-embed-l-v2.0_all-nli — модель Sentence Transformers, дообученная на наборе all-nli на основе Snowflake/snowflake-arctic-embed-l-v2.0. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 1024; архитектура включает XLM-RoBERTa, пулинг CLS-токена и нормализацию. Максимальная длина последовательности — 8192 токена, сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок. Также её можно применять для кластеризации и классификации текстов на основе эмбеддингов. В README приведена точность cosine_accuracy 0,9558 на TripletEvaluator для all-nli-test. Для использования нужны Sentence Transformers или совместимая среда инференса эмбеддингов. Метаданные указывают лицензию не указывают; условия лицензии по предоставленным данным определить нельзя. Оценка на all-nli не гарантирует качество на других языках и предметных областях.
Многоязычная модель Symanto на архитектуре XLM-RoBERTa-base, обученная в виде сиамской сети на наборах SNLI, MNLI, ANLI и XNLI. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для классификации текста без примеров и с небольшим числом примеров, а также для сравнения семантической близости предложений. Модель содержит 305,2 млн параметров и принимает текст с контекстом до 514 токенов. В метаданных указана поддержка арабского, болгарского, немецкого, греческого, английского, испанского, французского, русского, тайского, турецкого, урду, вьетнамского и китайского языков. Векторы можно использовать для поиска похожих предложений и классификации по смыслу. README описывает запуск через Sentence-Transformers или Transformers с подходящим pooling. Модель распространяется в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
pritamdeka/S-Scibert-snli-multinli-stsb — модель Sentence-Transformers на архитектуре BERT, содержащая 137,1 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства предложений. Модель обучалась с функцией потерь CosineSimilarityLoss; для использования с Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Модель принимает текст и выдаёт векторные представления. Максимальная длина контекста составляет 512 токенов. В README описаны примеры использования с библиотеками Sentence-Transformers и Hugging Face Transformers. Сведения о поддерживаемых естественных языках и лицензии в предоставленных данных отсутствуют.
Карточка модели ITESM/st_demo_2 на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
Карточка модели ITESM/st_demo_5 на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
STdictabert-max — модель эмбеддингов предложений на архитектуре BERT, опубликованная пользователем carinnew. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель обучена с TripletLoss, использует евклидово расстояние и имеет контекстное окно до 512 токенов. Модель принимает текст и выдаёт векторные представления. Карточка не уточняет языки обучения или специализацию по предметным областям. В репозитории указаны веса safetensors; лицензия не приведена в предоставленных данных.
AGmind/strizh-ru-retriever — компактный плотный энкодер предложений от AGmind для семантического поиска по русским текстам и извлечения кандидатов на первом этапе RAG. Модель построена на базе deepvk/RuModernBERT-small: из 12 слоёв выбраны четыре, после чего энкодер дообучен контрастивно. Она содержит 24,4 млн параметров и формирует один вектор размерности 384 для каждого текста. Запросы и документы кодируются одинаково, без специальных префиксов; заявленный предел архитектуры — 8192 токена, хотя при обучении использовались последовательности длиной 256 токенов. Модель рассчитана на быстрый RU-first поиск в самостоятельно размещённом RAG, в том числе когда GPU одновременно обслуживает генератор и реранкер. Она выполняет плотный одновекторный поиск, но не обеспечивает лексический поиск или переранжирование: их следует поручить другим компонентам поискового конвейера. По карточке, качество поиска ниже, чем у более крупных русскоязычных и многоязычных ретриверов; английский и межъязыковой поиск слабее русского. Базовая модель имеет поддержку русского и английского, а обучающие пары включали русский, английский и смешанные тексты. Лицензия модели — Apache-2.0; среди обучающих данных указан ru_stackoverflow под CC BY-SA, поэтому условия использования наборов данных следует проверять отдельно.
tcepi/sts_bertimbau — модель Sentence Transformers, дообученная на базе neuralmind/bert-base-portuguese-cased. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Архитектура включает BERTimbau Base с mean pooling; максимальная длина входа — 512 токенов. Модель предназначена для семантического сходства текстов, семантического поиска, поиска перефразировок, классификации и кластеризации текстов на португальском языке. Она выдаёт эмбеддинги, которые можно использовать в поисковых системах и других задачах сравнения текстов. Лицензия в предоставленных данных не указана.
princeton-nlp/sup-simcse-roberta-large — модель извлечения признаков, разработанная Princeton NLP на основе RoBERTa-large с методом supervised SimCSE. Она преобразует текст в векторные представления предложений для сравнения их семантической близости и использования в задачах поиска и последующей обработки текста. Обучение проводилось на 314 тысячах примеров из MNLI и SNLI; оценивание включало задачи семантического сходства предложений и переноса на другие задачи. Модель содержит 454,1 млн параметров и рассчитана на контекст до 514 токенов. В репозитории доступны веса PyTorch и Flax. Карточка не сообщает лицензию, поэтому условия использования следует проверить отдельно. Среди ограничений — возможные стереотипные и вредоносные смещения; модель не следует использовать для создания враждебной или отчуждающей среды.
Cloyne/sup-SimCSE-VietNamese-phobert-base — модель Sentence Transformers, дообученная на базе VoVanPhuc/sup-SimCSE-VietNamese-phobert-base. Она использует архитектуру RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантического сходства по косинусной близости. Модель рассчитана прежде всего на вьетнамский язык; длина контекста составляет до 258 токенов по метаданным. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README указано обучение на 120 210 парах «запрос — позитивный пример» из CSV-датасета. Модель принимает текст и выдаёт векторы; сама по себе она не генерирует ответы. Лицензия в предоставленных данных не указана.
Это мультимодальная модель Sentence Transformers, дообученная daruokta на базе daruokta/t5gemma-2-1b-multimodal-embedding-indo-v6 для поиска и сопоставления предложений. Она кодирует текст и изображения в плотные векторы размерностью 1152; для сравнения векторов используется косинусное сходство. Максимальная длина последовательности — 4096 токенов. Модель обучалась на задачах поиска, семантического сходства, вывода и классификации и подходит для семантического поиска и сравнения текстов. В карточке указаны индонезийский и английский языки. Лицензия — Apache-2.0. В опубликованных оценках приведены результаты для семантического сходства, поиска и бинарной классификации, однако они относятся к указанным наборам оценки и не гарантируют аналогичного качества на других данных. Карточка не описывает отдельную генерацию текста или извлечение признаков изображения помимо заявленной поддержки текстовых и визуальных входов.
Это инфраструктурная конверсия текстового энкодера T5Gemma 2 от Google, опубликованная jadanovitch для запуска через vLLM. В репозитории оставлена только текстовая часть базовой модели google/t5gemma-2-4b-4b; веса отображены в формат Gemma3ForCausalLM без изменений, а vision-, decoder- и мультимодальные веса удалены. Модель содержит 4 млрд параметров, 34 слоя, размер скрытого состояния 2560 и двунаправленное внимание. Веса и активации представлены в BF16, заявленный контекст — до 131 072 токенов. Модель предназначена для текстового кодирования, поиска, ранжирования и экспериментов с энкодерной архитектурой в vLLM. Хотя конфигурация позволяет загрузить её через runner для генерации, модель не обучалась как самостоятельная авторегрессионная языковая модель, поэтому обычную генерацию текста нельзя считать её целевым сценарием. Применяются условия лицензии Gemma.
TabRank — это диалоговая языковая модель на базе Qwen3-8B, дообученная AdarshSingh7647 для переранжирования таблиц. Она получает вопрос и список кандидатов-таблиц в одном сообщении и за одну генерацию возвращает их полный порядок в виде JSON с позициями кандидатов. Модель предназначена для второго этапа поиска: она переставляет таблицы из списка, уже найденного первой системой поиска, чтобы наиболее подходящие к вопросу оказались выше. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и имеет контекстное окно 40 960 токенов. Для обучения применялся LoRA ранга 16, слитый с весами базовой модели; файлы представлены в формате safetensors. В README сообщается об оценке на пяти бенчмарках, использованных при обучении, и семи бенчмарках вне обучающей выборки; результаты показывают улучшение среднего nDCG@10 относительно базовой модели. Лицензия — Apache-2.0.
Tien09/tiny_bert_ft_sim_score — дообученная модель Sentence Transformers на базе prajjwal1/bert-tiny, созданная для сравнения сходства английских предложений и текстовых фрагментов. Она кодирует каждый текст в плотный вектор размерности 128; сходство векторов оценивается косинусной мерой. Модель обучена на наборе pair_similarity из 8 959 примеров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, сравнения пар предложений и классификации на основе эмбеддингов. Архитектура объединяет BertModel и mean pooling. Репозиторий использует формат safetensors, библиотеку sentence-transformers и лицензию Apache-2.0. README содержит несоответствие в заголовке, где упомянут MPNet и AllNLI, тогда как основное описание и метаданные указывают на дообучение bert-tiny на pair_similarity.
PartAI/Tooka-SBERT — модель Sentence Transformer, разработанная PartAI на базе TookaBERT-Large и дообученная для получения плотных векторных представлений предложений и абзацев. Она кодирует персидский текст в векторы размерностью 1024 и предназначена для сравнения смысловой близости по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель основана на архитектуре BERT, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Она подходит для поиска и группировки персидских текстов по смыслу. Выпущена по лицензии Apache-2.0; автор README указывает, что доступны более новые версии Tooka-SBERT-V2-Small и Tooka-SBERT-V2-Large.
cl-nagoya разработала японскую модель эмбеддингов предложений на архитектуре BERT, дообученную методом Unsupervised SimCSE на Wiki40B. Модель предназначена для получения векторных представлений японских текстов и оценки сходства предложений; её можно использовать через Sentence-Transformers или Transformers с CLS-пулингом. Дополнительный MLP-слой применялся только во время обучения. Модель содержит 138,4 млн параметров, принимает текст с контекстом до 512 токенов. В обучении использовались последовательности длиной до 64 токенов. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.
kowshik/upsc-classification-model-v1 — модель Sentence-Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации; метаданные указывают 136,7 млн параметров и контекст до 514 токенов. Модель работает с текстом и выдаёт эмбеддинги. В README описано обучение с CosineSimilarityLoss; доступны веса PyTorch и использование через Sentence-Transformers или Transformers с соответствующим pooling. Лицензия и целевые естественные языки в предоставленных данных не указаны.
Vela Omni Mini — мультимодальная модель эмбеддингов от разработчиков Vela. Она преобразует текст, изображения, речь и окружающие звуки в нормализованные векторы размерностью 768, которые можно непосредственно сравнивать между собой. Модель содержит около 1,36 млрд параметров и предназначена для поиска по нескольким модальностям, маршрутизации запросов и кластеризации. В карточке приведены результаты оценок на задачах извлечения и классификации, включая MTEB English v2 и аудиобенчмарк MAEB. Эти результаты описывают конкретные тестовые протоколы и не гарантируют аналогичного качества на других данных. Для загрузки и работы README рекомендует PyTorch с совместимой версией torchaudio, Transformers 4.57.6, Hugging Face Hub, safetensors, NumPy и Pillow. Модель распространяется по лицензии Apache-2.0.
Heimat24/vhs_burghausen_danielheinz_e5-qa_generation_secretary-3-5-0.8 — модель Sentence-Transformers для получения плотных векторных представлений предложений и абзацев. Она основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и отображает текст в векторы размерности 768. Модель предназначена для семантического поиска, сравнения смысловой близости текстов и кластеризации. В обучении использовалась функция потерь MultipleNegativesRankingLoss с косинусным сходством. Для работы с моделью README рекомендует библиотеку sentence-transformers. Контекст модели — до 514 токенов. В метаданных не указана лицензия, поэтому условия использования по лицензии определить нельзя. README не сообщает языки обучения или оценки качества; архитектура XLM-RoBERTa сама по себе не позволяет установить конкретные языки, на которых эта версия лучше всего работает.
Модель tuandung2812/vietnamese-embedder-2611 — дообученный Sentence Transformer на базе bkai-foundation-models/vietnamese-bi-encoder, разработанный автором репозитория tuandung2812. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для оценки семантического сходства с косинусной метрикой, поиска, кластеризации и других задач сравнения текста. Архитектура основана на RoBERTa с усреднением токенных представлений; максимальная длина последовательности составляет 258 токенов по метаданным. Модель предназначена для вьетнамского языка. Доступны файлы ONNX и safetensors. Условия лицензии в предоставленных данных не приведены.