I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейAHDMK/Sentence-MNR-BioBert-snli-mnli — модель Sentence Transformers на архитектуре BERT, которая преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически похожих текстов. В метаданных указано 135,5 млн параметров, максимальная длина контекста — 512 токенов; веса доступны в формате Safetensors. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусным сходством. Её можно применять для семантического поиска и кластеризации текстов; эмбеддинги также подходят как представления для последующей обработки. README не уточняет языки обучения и использования, поэтому языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.
Sentence-ModernBERT-JP-0.5B-PT — модель для получения векторных представлений японских предложений, разработанная на основе iamtatsuki05/ModernBERT-JP-0.5B-PT-stage2. Авторы дообучили базовую ModernBERT методом контрастивного обучения со слабой разметкой на датасете cl-nagoya/ruri-dataset-v2-pt; модель содержит около 677,5 млн параметров и выдаёт эмбеддинги размерности 1280 с усреднением токенов. Модель предназначена для поиска по смыслу, сравнения предложений и извлечения релевантных текстов. Она принимает текстовые последовательности длиной до 8192 токенов, использует токенизатор SentencePiece с размером словаря 102 400 и позиционное кодирование RoPE; для сравнения векторов рекомендуется косинусное сходство. Поддерживаемый язык — японский. Модель распространяется в формате safetensors и доступна по лицензии MIT.
ys7yoo/sentence-roberta-large-klue-nli-sts-all — модель на базе RoBERTa large, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска по смыслу и кластеризации. При обучении использовалась функция потерь CosineSimilarityLoss; модель содержит 435,4 млн параметров и рассчитана на контекст до 514 токенов. Модель подходит для построения семантического поиска, группировки похожих текстов и других задач сравнения предложений по смыслу. Для использования доступны PyTorch и библиотека Sentence Transformers; при работе через Transformers требуется применить подходящую операцию pooling к контекстным эмбеддингам. В карточке не указана лицензия, поэтому условия использования по ней определить нельзя. Указание KLUE в названии не подтверждает само по себе, какие языки модель поддерживает.
djsull выпустил модель djsull/sentence-roberta-small для получения векторных представлений предложений и оценки их семантического сходства. Это Sentence Transformer на базе RoBERTa с 81,2 млн параметров: модель усредняет токенные представления, выдаёт эмбеддинги размерности 768 и рассчитана на последовательности длиной до 256 токенов. Сходство между предложениями можно оценивать косинусной мерой. Модель подходит для сравнения формулировок, поиска семантически близких предложений и построения систем поиска по тексту. В README приведены результаты оценки на sts-dev: корреляция Спирмена для косинусного сходства составляет 0,847. Данные обучения включают корейские примеры, однако сведения о полном наборе поддерживаемых языков отсутствуют. Метаданные указывают на контекст до 514 токенов; для применения через Sentence Transformers в README указан предел 256 токенов. Лицензия в предоставленных данных не указана.
imvladikon/sentence-transformers-alephbert — модель эмбеддингов предложений на базе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и рассчитана на семантический поиск, сравнение текстов и кластеризацию. Размер модели — 153,2 млн параметров, максимальная длина контекста — 512 токенов; карточка указывает поддержку иврита. По README, текущая версия получена дистилляцией LaBSE на частном корпусе и обучалась с MultipleNegativesRankingLoss и косинусным сходством. Модель подходит для построения векторных представлений и оценки семантической близости текстов на иврите. Она не генерирует текст; сведения о составе частного обучающего корпуса и его ограничениях не приведены. Формат файлов — PyTorch; лицензия в предоставленных данных не указана.
Pyjay/sentence-transformers-multilingual-snli-v2-500k — модель эмбеддингов предложений на базе XLM-RoBERTa, опубликованная пользователем Pyjay. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения текстов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучалась с использованием Sentence-Transformers и функций потерь SoftmaxLoss и CosineSimilarityLoss. В карточке указано многоязычное назначение, однако конкретный список поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.
Это англоязычная модель SentenceTransformer, созданная дообучением sentence-transformers/all-MiniLM-L6-v2 разработчиком dekshitha-k. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; представления нормализуются, а сходство между ними оценивается косинусной мерой. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов согласно метаданным; в README указано ограничение 256 токенов. Модель предназначена для семантического сравнения предложений, поиска по смыслу, поиска перефразировок, классификации и кластеризации текстов. Она обучалась на 5 749 парах предложений с оценками сходства с использованием CosineSimilarityLoss. Библиотека для работы с моделью — Sentence Transformers; веса доступны в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
BahaArfaoui/setfit_industry — модель на базе MPNet, разработанная для получения плотных векторных представлений предложений и абзацев. Она преобразует текст в векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Модель содержит 136,7 млн параметров и принимает до 514 токенов контекста. Модель обучалась с функцией потерь CosineSimilarityLoss и доступна в формате PyTorch для использования с библиотекой Sentence-Transformers. Карточка описывает применение к предложениям и абзацам, но не уточняет языки обучающих данных и специализацию названия «industry». Лицензия в предоставленных данных не указана.
mitra-mir/setfit_model_Calgary_epochs2 — модель на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерностью 768. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. Модель имеет 136,7 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста составляет 514 токенов. Обучение проводилось с функцией потерь CosineSimilarityLoss. Модель можно использовать в приложениях на Sentence-Transformers для поиска похожих фрагментов и группировки текстов. В карточке не приведены сведения о языковой специализации и лицензии.
Muennighoff/SGPT-1.3B-mean-nli — модель преобразования предложений в эмбеддинги на основе GPT-Neo, представленная в виде sentence-transformers. Она обучалась с MultipleNegativesRankingLoss на косинусном сходстве, что позволяет использовать её для поиска семантически близких предложений и сравнения текстов. Модель содержит 1,5 млрд параметров и принимает последовательности длиной до 2048 токенов. Модель предназначена для получения векторных представлений предложений, семантического поиска и задач сопоставления текста. README отсылает за инструкциями по применению и результатами оценки к коду проекта и статье; лицензия в доступных данных не указана.
SILMA Arabic Matryoshka Embedding Model 0.1 — модель текстовых эмбеддингов, предназначенная прежде всего для арабского языка. Она разработана командой SILMA AI и основана на дообученной AraBERTv0.2-base, использует архитектуру BERT и библиотеку Sentence Transformers. Модель содержит 162,4 млн параметров и принимает последовательности длиной до 512 токенов. Эмбеддинги Matryoshka позволяют использовать первые n измерений вектора, подбирая компромисс между размером представления, скоростью и точностью. В карточке показаны сценарии семантического поиска и сходства предложений, сопоставления вопроса с абзацем, привязки сообщения к названию намерения и классификации документов. Указаны арабский и английский языки; лицензия — Apache-2.0. Модель предназначена для построения векторного поиска и семантического сопоставления, а не для генерации текста. Качество может меняться при сокращении размерности эмбеддингов; README не приводит численных результатов оценки.
SimCSE-Dist-MPNet-CzEng — компактная модель семантических эмбеддингов, разработанная Seznam.cz и дообученная с целевой функцией SimCSE. Она предназначена для оценки смыслового сходства предложений и может применяться для семантического поиска, извлечения релевантных текстов, кластеризации и классификации. Модель основана на архитектуре BERT, содержит 27,2 млн параметров и принимает текстовые входные данные, формируя векторные представления предложений. Контекст ограничен 512 токенами. В карточке заявлена поддержка чешского и английского языков. Модель опубликована в формате PyTorch под лицензией CC-BY-NC-SA-4.0, которая ограничивает коммерческое использование и требует соблюдения условий распространения.
vitthalbhandari/simcse_retrain_edos_100k_64batch — модель эмбеддингов предложений на базе RoBERTa, опубликованная в формате PyTorch и рассчитанная на использование с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768; заявленные сценарии включают семантический поиск и кластеризацию. В обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для сравнения смысловой близости текстов и построения систем поиска по смыслу. Контекст составляет до 514 токенов. Карточка не сообщает лицензию и языковую специализацию, поэтому их нельзя установить по предоставленным сведениям.
Mozilla/smart-tab-embedding-fine-tuned — дообученный Mozilla на базе sentence-transformers/all-MiniLM-L6-v2 энкодер предложений Sentence Transformers с архитектурой BERT. Он преобразует предложения и абзацы в плотные семантические векторы размерности 384 и предназначен для сравнения сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 256 токенов; метаданные каталога сообщают нативный контекст 512 токенов. Для сравнения используется косинусное сходство. Модель принимает текст и выдаёт векторы; данных о поддерживаемых языках в карточке нет. Репозиторий содержит форматы ONNX и safetensors и насчитывает около 25,9 млн параметров. Лицензия в предоставленных данных не указана.
snowflake-arctic-embed-m-i1-GGUF — это квантизированная в формате GGUF версия модели Snowflake/snowflake-arctic-embed-m, разработанная Snowflake и подготовленная пользователем mradermacher с использованием weighted/imatrix quantization. Модель предназначена для извлечения признаков и создания текстовых эмбеддингов, задач семантического сходства, поиска и других сценариев, где требуется сравнивать смысл текстов. В метаданных указаны поддержка английского языка, интеграция с Transformers и совместимость с Transformers.js. README не содержит точных сведений об архитектуре, количестве параметров, размерности эмбеддингов и максимальной длине контекста. Репозиторий предоставляет множество вариантов квантизации размером примерно от 0,1 до 0,2 ГБ, включая IQ- и Q-типы, позволяющие выбирать компромисс между размером, скоростью и качеством. Сильной стороной модели являются малый размер файлов и возможность локального запуска в экосистеме GGUF; ограничениями выступают возможная потеря качества при низкобитной квантизации и отсутствие подробных характеристик производительности в README. Модель распространяется по лицензии Apache-2.0.
ielabgroup/Starbucks_STS — модель Sentence Transformers на основе BERT, дообученная командой ielabgroup на наборе all-nli для создания текстовых эмбеддингов. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для сравнения косинусным сходством. Модель представлена в работе Starbucks: Improved Training for 2D Matryoshka Embeddings и обучалась с использованием Matryoshka-подхода для работы с несколькими размерностями эмбеддингов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Она принимает текст на английском языке, использует архитектуру BERT с усреднением токенов и поддерживает последовательности до 512 токенов. В README приведён результат Spearman 0,8274 на sts-test для косинусного сходства. Для работы нужны библиотека Sentence Transformers или совместимый движок эмбеддингов; веса доступны в формате safetensors. Лицензия в предоставленных данных не указана. Модель обучена на англоязычных данных, поэтому её применение к другим языкам не подтверждено.
Карточка модели ITESM/st_demo_6 на Hugging Face совпадает с карточкой somosnlp-hackathon-2022/bertin-roberta-base-finetuning-esnli, поэтому описание составлено по ней. bertin-roberta-base-finetuning-esnli — модель Sentence-Transformers на архитектуре RoBERTa, разработанная Anibal Pérez, Emilio Tomás Ariza, Lautaro Gesuelli и Mauricio Mazuecos. Модель обучена на испанских задачах вывода по естественному языку, включая ESXNLI и автоматически переведённые SNLI и MultiNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, кластеризации и оценки семантического сходства. Модель содержит 151,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. В оценке на испанском наборе SemEval-2015 STS она превзошла приведённый в карточке базовый результат BETO STS по корреляциям Пирсона и Спирмена. Для использования с Transformers требуется корректная операция pooling поверх контекстных представлений токенов. Сведения о лицензии в предоставленных данных отсутствуют.
sdadas/st-polish-paraphrase-from-mpnet — польская модель Sentence-Transformers, разработанная SDadas. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения перефразировок. Архитектура основана на RoBERTa; модель содержит 151,6 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для семантического поиска по польским текстам, группировки похожих документов и оценки сходства предложений. Для использования через Hugging Face Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Опубликована под лицензией LGPL.
gubartz/st_scibert_pubmed_rct — модель Sentence-Transformers на архитектуре BERT, обученная для представления предложений и абзацев в виде плотных векторов размерности 768. Её можно использовать для семантического поиска и кластеризации текстов; размер модели составляет 137,1 млн параметров, максимальная длина контекста — 512 токенов. Модель обучалась с функцией потерь BatchAllTripletLoss. Для получения эмбеддингов её можно запускать через Sentence-Transformers или Transformers с подходящей операцией pooling. Она предназначена для текстовых входов и выдаёт векторы; формат весов в репозитории — PyTorch. Метаданные и README не сообщают лицензию или конкретные языки обучения, поэтому их нельзя уточнить.
princeton-nlp/sup-simcse-bert-base-uncased — модель Princeton NLP для получения эмбеддингов предложений методом SimCSE. Это BERT-base, дообученный с учителем на парах из наборов данных для вывода на естественном языке: пары следствий используются как положительные примеры, а противоречия — как сложные отрицательные. Модель содержит 136,7 млн параметров, принимает текстовые токены и поддерживает контекст до 512 токенов. Модель предназначена для сравнения смысловой близости предложений, поиска семантически похожих текстов и извлечения признаков текста. Разработчики приводят средний результат 81,57 на задачах семантического сходства предложений (STS). Суффикс uncased указывает на регистр-независимую обработку английского текста. Это текстовый энкодер, а не генеративная модель; сведений о лицензии в предоставленных метаданных и использованных источниках нет.
mlx-community/tasksource-ModernBERT-base-embed-4bit — англоязычная модель эмбеддингов на архитектуре ModernBERT, подготовленная mlx-community для запуска в формате MLX на устройствах Apple. Она дообучена на базе answerdotai/ModernBERT-base для извлечения признаков и вычисления сходства между предложениями; README указывает на преобразование из tasksource/ModernBERT-base-embed и применение 4-битного формата. Модель содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Её можно использовать для поиска по смыслу, ранжирования текстов по сходству и построения векторных представлений для семантического поиска и других задач NLP. Обучение опиралось на наборы данных для поиска вопросов и ответов, NLI, семантического сходства и ранжирования; заявленный язык — английский. Для запуска README рекомендует пакет mlx-embeddings. Лицензия в предоставленных данных не указана.
Карточка модели Gflorent/test_false_positive на Hugging Face совпадает с карточкой Gflorent/fossil_flex, поэтому описание составлено по ней. Gflorent/fossil_flex — модель sentence-transformers на архитектуре MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель обучена с функцией потерь CosineSimilarityLoss. Её можно использовать в сценариях семантического поиска и группировки похожих текстов; репозиторий содержит веса PyTorch. Лицензия в доступных сведениях не приведена.
witty-works/test_false_positive_2 — модель на базе архитектуры MPNet, разработанная командой witty-works. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, сравнения предложений и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и возвращает эмбеддинги; заявленная длина контекста — 514 токенов. Для использования доступны веса PyTorch и интеграция с Sentence-Transformers или Transformers. Модель подходит для семантического поиска и группировки текстов по смыслу. Она обучалась с функцией потерь CosineSimilarityLoss. В карточке не указаны языковая специализация и условия лицензии, поэтому их нельзя определить по предоставленным данным.
Карточка модели Bhuvana/test-setfit-model на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.
Это англоязычный ретривер на базе BERT, дообученный Utah NLP с помощью Tevatron-Elastic для поиска релевантных документов по запросу. Модель формирует векторные представления запросов и текстовых фрагментов; в запросах и документах используются префиксы `query:` и `passage:`. Чекпойнт поддерживает эластичную ширину эмбеддинга по принципу Matryoshka Representation Learning (MRL): из одной модели можно получать представления разных размерностей, выбирая рабочую точку через Tevatron-Elastic. Модель содержит 136,7 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors. В тесте BEIR-15 для полной размерности указано значение nDCG@10 0,445. Это ресурс для воспроизводимости экспериментов и построения систем поиска; авторы не заявляют о превосходстве над современными моделями. Лицензия — Apache-2.0.
ClovenDoug/tiny_64_all-MiniLM-L6-v2 — модель Sentence Transformers на архитектуре BERT, разработанная ClovenDoug. Она преобразует предложения и абзацы в плотные векторы размерностью 64 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Модель получена дистилляцией all-MiniLM-L6-v2 с исходным пространством векторов размерностью 384; более компактные векторы ускоряют сравнение сходства, при этом время инференса, согласно карточке, остаётся примерно таким же. Модель содержит 25,9 млн параметров, принимает текст и выдаёт векторы. Контекст ограничен 512 токенами. Доступны веса PyTorch и safetensors. Лицензия в предоставленных данных не указана.
josedossantos/tree-txtInteiroTeorLimpo-bertimbau — модель Sentence Transformer, созданная дообучением neuralmind/bert-large-portuguese-cased. Она кодирует предложения и абзацы на бразильском португальском в плотные векторы размерностью 1024, сравнимые по косинусному сходству. Архитектура включает BERT Large с усреднением токенных представлений; максимальная длина последовательности — 512 токенов. Модель предназначена для поиска семантически близких текстов и оценки сходства. Её также можно применять для поиска перефразировок, кластеризации и классификации текста, а в прикладных системах — для векторного поиска по португалоязычным документам. Обучение проводилось на 4 327 парных примерах с ContrastiveLoss. В карточке указана лицензия Apache-2.0. Как и другие модели эмбеддингов, она возвращает векторы, а не готовые ответы; качество зависит от соответствия входных текстов обучающему распределению. Контекст ограничен 512 токенами.
triBne-e5-small — модель текстовых эмбеддингов, созданная дообучением intfloat/multilingual-e5-small автором istiaqfuad. Она предназначена для семантического поиска, извлечения близких текстов, кластеризации и сравнения предложений на бенгальском языке, английском и бенгальском, записанном латиницей (Banglish), в том числе при вариативном написании слов. Модель основана на архитектуре BERT, содержит 124,3 млн параметров и создаёт нормализованные эмбеддинги размерности 384; для сравнения используется косинусное сходство. Метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 128 токенов. Модель дообучена контрастивным методом с LoRA-адаптером, объединённым с базовой моделью. По описанной оценке она особенно хорошо справляется с поиском вариантов написания Banglish и сопоставлением бенгальского текста с Banglish; для поиска между английским и бенгальским показала конкурентные результаты. Лицензия — MIT, библиотека — sentence-transformers. Модель рассчитана на короткие тексты: более длинные последовательности усекаются. Часть обучающих пар Banglish создана с помощью LLM и может наследовать их смещения. Модель не предназначена для генерации текста или классификации.
Карточка модели Etelis/TSE_fewshot на Hugging Face совпадает с карточкой Etelis/Sentiment140_fewshot, поэтому описание составлено по ней. Etelis/Sentiment140_fewshot — модель на базе MPNet в формате PyTorch, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. В карточке указано обучение с CosineSimilarityLoss; модель предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Она содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель можно использовать с библиотекой Sentence-Transformers или через Transformers с подходящей операцией pooling. Она выдаёт текстовые эмбеддинги, которые подходят для поиска похожих предложений и группировки текстов по смыслу. Название указывает на Sentiment140 и few-shot, однако README не уточняет языки, конкретную схему обучения или результаты оценки. Лицензия в предоставленных данных не указана.
Карточка модели Etelis/TUF_fewshot на Hugging Face совпадает с карточкой Etelis/YELP_fewshot, поэтому описание составлено по ней. Etelis/YELP_fewshot — модель семейства MPNet, опубликованная пользователем Etelis в формате PyTorch и оформленная как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Обучение использовало CosineSimilarityLoss. Модель содержит 136,7 млн параметров и рассчитана на входные последовательности длиной до 514 токенов. Её можно применять с библиотекой Sentence Transformers либо через Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.