I.12Рекомендации и персонализация
В разделе собраны самостоятельные задачи, где AI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 627 моделейRU-ELECTRA medium — предварительно обученная трансформерная модель семейства ELECTRA, разработанная командой SaluteDevices RnD Team для получения эмбеддингов русскоязычного текста. Архитектура плотная, размер — 100,6 млн параметров, контекст — до 512 токенов; модель доступна в формате PyTorch. Модель подходит для вычисления векторных представлений предложений и токенов на русском языке. Для получения эмбеддинга предложения авторы рекомендуют усреднять представления токенов. Её можно применять как основу для семантического поиска, сравнения текстов и других задач, где нужны текстовые эмбеддинги. Модель распространяется по лицензии MIT. Карточка описывает её как предварительно обученную языковую модель, но не приводит отдельных результатов оценки или гарантий качества для конкретных прикладных задач.
ceggian/sbert_standard_reddit_softmax — модель Sentence Transformers на базе архитектуры BERT, разработанная автором репозитория ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Обучение использовало SoftmaxLoss; модель также можно применять через библиотеку sentence-transformers или Transformers с соответствующей операцией pooling. Модель принимает текст и возвращает векторные представления. Контекст ограничен 512 токенами. Карточка не приводит сведения о языковой специализации или лицензии, поэтому нельзя установить целевой язык и условия использования.
sentence-transformers/sentence-t5-base — модель Sentence Transformers для кодирования предложений и абзацев в плотные векторы размерностью 768. Она построена на энкодере T5-base и предназначена прежде всего для оценки сходства между предложениями; для семантического поиска в README отмечено более низкое качество. Модель создана преобразованием TensorFlow-модели st5-base-1 в PyTorch. Используются только веса энкодера T5-base; размер модели — 123,8 млн параметров, контекст — до 512 токенов. Доступны форматы PyTorch и Safetensors, веса сохранены в FP16. Карточка ссылается на публикацию Sentence-T5: Scalable sentence encoders from pre-trained text-to-text models. Модель принимает текст и выдаёт векторные представления, пригодные для сравнения семантической близости. Метаданные указывают английский язык. Лицензия — Apache-2.0.
adit94/sentenceTest_kbert — модель на базе BERT, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с TripletLoss; контекст ограничен 512 токенами. Модель подходит для построения векторного поиска по текстам и группировки семантически близких предложений. Карточка не уточняет поддерживаемые естественные языки и лицензию, поэтому эти характеристики нельзя достоверно указать.
Это Sentence Transformer, разработанный myrkur и дообученный на базе myrkur/sentence-transformer-parsbert-fa на наборе персидских вопросов и ответов myrkur/persian-blog-QA. Модель использует архитектуру BERT с усреднением токенных представлений и преобразует предложения и абзацы на персидском языке в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов на персидском языке. Она содержит около 190 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт векторы. Для использования распространяется по лицензии Apache-2.0.
Карточка модели Bjornrun/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Карточка модели Chadeh/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Карточка модели rsilveira79/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Muennighoff/SGPT-1.3B-weightedmean-nli-bitfit — модель для получения векторных представлений предложений и оценки их семантической близости. Она основана на GPT-Neo и использует взвешенное усреднение токенных представлений; модель дообучена методом BitFit на данных NLI с функцией MultipleNegativesRankingLoss и косинусным сходством. Число параметров — около 1,5 млрд, максимальный контекст — 2048 токенов. Модель подходит для поиска предложений по смыслу, сопоставления текстов и построения семантического поиска. Она выдаёт эмбеддинги, пригодные для сравнения по косинусному сходству. README ссылается за примерами использования и результатами оценки на код проекта и публикацию, поэтому конкретные показатели качества здесь не приведены. Лицензия в предоставленных данных не указана.
LazarusNLP/simcse-indobert-base — модель векторных представлений предложений на базе BERT, опубликованная LazarusNLP. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости. Модель содержит 151,6 млн параметров и принимает текст длиной до 512 токенов. Модель обучена с использованием Sentence-Transformers и функции потерь MultipleNegativesRankingLoss с косинусным сходством. Её можно применять для семантического поиска, кластеризации и вычисления сходства предложений на индонезийском языке. Доступны веса PyTorch и Safetensors; лицензия в предоставленных данных не указана.
vitthalbhandari/simcse_retrain_edos_100k — модель эмбеддингов предложений на базе RoBERTa, опубликованная пользователем Hugging Face vitthalbhandari. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит около 151,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством. В названии указаны SimCSE и EDOS, но карточка не поясняет датасет или специализацию, поэтому назначение следует считать общим для семантических эмбеддингов. Для использования доступны Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.
vitthalbhandari/simcse_retrain_edos_100k_64batch — модель эмбеддингов предложений на базе RoBERTa, опубликованная в формате PyTorch и рассчитанная на использование с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768; заявленные сценарии включают семантический поиск и кластеризацию. В обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для сравнения смысловой близости текстов и построения систем поиска по смыслу. Контекст составляет до 514 токенов. Карточка не сообщает лицензию и языковую специализацию, поэтому их нельзя установить по предоставленным сведениям.
Карточка модели ITESM/st_demo_2 на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
Карточка модели ITESM/st_demo_5 на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
Карточка модели ITESM/st_demo_6 на Hugging Face совпадает с карточкой somosnlp-hackathon-2022/bertin-roberta-base-finetuning-esnli, поэтому описание составлено по ней. bertin-roberta-base-finetuning-esnli — модель Sentence-Transformers на архитектуре RoBERTa, разработанная Anibal Pérez, Emilio Tomás Ariza, Lautaro Gesuelli и Mauricio Mazuecos. Модель обучена на испанских задачах вывода по естественному языку, включая ESXNLI и автоматически переведённые SNLI и MultiNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, кластеризации и оценки семантического сходства. Модель содержит 151,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. В оценке на испанском наборе SemEval-2015 STS она превзошла приведённый в карточке базовый результат BETO STS по корреляциям Пирсона и Спирмена. Для использования с Transformers требуется корректная операция pooling поверх контекстных представлений токенов. Сведения о лицензии в предоставленных данных отсутствуют.
BlueAvenir/sti_workplace_new_prompting_0_1 — модель семейства XLM-RoBERTa на базе Sentence-Transformers, разработчик в карточке не раскрыт. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 305,2 млн параметров, принимает текст и имеет контекстное окно 514 токенов. В README указано обучение с CosineSimilarityLoss; доступны веса PyTorch и использование через Sentence-Transformers или Transformers с соответствующим pooling. Модель подходит для поиска семантически близких текстов и группировки текстовых данных. Карточка не сообщает языковой охват и лицензию, поэтому их нельзя уточнить.
princeton-nlp/sup-simcse-roberta-base — модель эмбеддингов предложений, разработанная командой Princeton NLP в рамках SimCSE. Это вариант SimCSE с учителем: RoBERTa-base дообучена на наборах данных для вывода на естественном языке, чтобы получать векторы предложений, отражающие их смысловое сходство. Модель предназначена для построения эмбеддингов, сравнения семантической близости текстов и поиска похожих предложений. В опубликованном авторами сравнении она достигла среднего результата 82,52 на задачах семантического сходства предложений. Модель основана на RoBERTa, содержит около 151,8 млн параметров и принимает текст длиной до 514 токенов. Модель возвращает векторные представления, а не готовые ответы на вопросы или сгенерированный текст. Основная карточка и материалы проекта не подтверждают поддержку русского языка, поэтому не следует считать её русскоязычной без отдельной проверки. Файлы доступны в форматах PyTorch и Flax; лицензию по доступным источникам надёжно установить не удалось.
textgain/tags-allnli-GroNLP-bert-base-dutch-cased — модель Sentence-Transformers на базе BERT, разработанная Textgain. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством; архитектура содержит около 136,3 млн параметров, а максимальный контекст составляет 512 токенов. Карточка и метаданные указывают на поддержку нидерландского языка. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Tien09/tiny_bert_ft_sim_score — дообученная модель Sentence Transformers на базе prajjwal1/bert-tiny, созданная для сравнения сходства английских предложений и текстовых фрагментов. Она кодирует каждый текст в плотный вектор размерности 128; сходство векторов оценивается косинусной мерой. Модель обучена на наборе pair_similarity из 8 959 примеров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, сравнения пар предложений и классификации на основе эмбеддингов. Архитектура объединяет BertModel и mean pooling. Репозиторий использует формат safetensors, библиотеку sentence-transformers и лицензию Apache-2.0. README содержит несоответствие в заголовке, где упомянут MPNet и AllNLI, тогда как основное описание и метаданные указывают на дообучение bert-tiny на pair_similarity.
triBne-e5-large — модель векторных представлений предложений, разработанная Istiaq Fuad и дообученная на базе intfloat/multilingual-e5-large. Она предназначена для семантического поиска, извлечения и сравнения текстов на бенгальском, английском и банглиш — бенгальском, записанном латиницей, в том числе при вариантах написания вроде «bhalobashi» и «valobashi». Модель использует архитектуру XLM-RoBERTa-large, содержит около 658,7 млн параметров и выдаёт эмбеддинги размерности 1024; сходство оценивается косинусной мерой. Для кодирования достаточно передавать обычный текст без префиксов query или passage. Модель подходит для поиска соответствий между разными вариантами написания банглиш, текстом на бенгальском письме и переводами на английский, а также для кластеризации и поиска в смешанных бенгальско-английских коллекциях. Дообучение выполнено контрастивным методом с LoRA-адаптером, слитым с базовой моделью. README сообщает о тестировании на трёх задачах поиска и приводит метрики на отложенных наборах данных. Максимальная длина последовательности в метаданных — 514 токенов; README указывает, что модель обучалась с ограничением 128 токенов и более длинный текст усекается. Часть примеров банглиш создана языковой моделью и может отражать её смещения; модель не предназначена для классификации или генерации. Лицензия — MIT.
Это модель эмбеддингов предложений на архитектуре BERT, опубликованная slimaneMakh. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель обучалась с Triplet Loss и евклидовой метрикой расстояния; размер составляет 194,6 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих документов и вычисления сходства между предложениями. В карточке не указаны поддерживаемые естественные языки и специализированные предметные области. Лицензия в предоставленных данных не приведена.
Twitter4SSE — модель для вычисления семантического сходства текстов, разработанная авторами исследования об использовании Twitter для создания корпусов слабосвязанных пар предложений. Она преобразует текст в плотные эмбеддинги размерностью 768 и обучена на данных Twitter с функцией потерь Multiple Negatives Ranking Loss (MNRL). Модель основана на BERTweet и обучена с помощью Sentence-Transformers. Архитектура — RoBERTa; размер составляет 162,4 млн параметров, максимальный контекст — 130 токенов. Модель предназначена для сравнения предложений и поиска семантически близких текстов; метаданные указывают английский язык. Лицензия — Apache 2.0.
UME-R1-2B — модель семейства Qwen2-VL, представленная в виде плотной архитектуры с 1,5 млрд параметров. По карточке, модель прошла этап обучения с учителем для холодного старта и этап обучения с подкреплением. Она формирует эмбеддинги текста, изображений, нескольких изображений и видео; доступны дискриминативные и генеративные представления. Для генеративных эмбеддингов описан потенциал масштабирования за счёт повторных выборок во время вывода. Контекст составляет 32 768 токенов. Модель предназначена для мультимодального поиска и сопоставления представлений; карточка сообщает о преимуществах в оценках относительно дискриминативных эмбеддингов, но не приводит датасеты и численные результаты. Использование предполагает библиотеку Transformers и формат safetensors. Лицензия — Apache-2.0.
princeton-nlp/unsup-simcse-roberta-large — модель Princeton NLP для получения векторных представлений предложений. Она основана на архитектуре RoBERTa-large и обучена в рамках метода SimCSE без разметки: к одному и тому же предложению применяются разные маскирования dropout, чтобы обучать устойчивые семантические embedding-представления. Разработчики — исследователи Princeton NLP, включая Tianyu Gao, Xingcheng Yao и Danqi Chen. Модель предназначена для сравнения семантической близости текстов, поиска похожих предложений, sentence retrieval, кластеризации и построения признаков для последующих NLP-задач. Она работает как encoder и feature-extraction модель, а не как генеративная система. Для получения embedding обычно используется представление токена CLS; для unsupervised SimCSE разработчики рекомендуют вариант без дополнительного pooler-преобразования. Максимальная длина входа в конфигурации токенизатора — 512 токенов. Обучение выполнялось на предложениях из English Wikipedia, поэтому модель ориентирована прежде всего на английский язык и не является мультиязычной. В опубликованном авторами списке модель получила средний результат 78.90 на задачах semantic textual similarity (STS), что характеризует её пригодность для оценки семантического сходства. Ограничения включают зависимость качества от языка, домена и способа pooling, ограничение длины входа и отсутствие возможностей генерации текста. На странице репозитория отдельная лицензия для этого чекпойнта не указана, поэтому условия использования следует проверять по исходному репозиторию и базовой модели RoBERTa.
kowshik/upsc-classification-model-v1 — модель Sentence-Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации; метаданные указывают 136,7 млн параметров и контекст до 514 токенов. Модель работает с текстом и выдаёт эмбеддинги. В README описано обучение с CosineSimilarityLoss; доступны веса PyTorch и использование через Sentence-Transformers или Transformers с соответствующим pooling. Лицензия и целевые естественные языки в предоставленных данных не указаны.
Это визуальный энкодер SigLIP 2 на архитектуре Vision Transformer (ViT) с патчами 16×16 и входным разрешением 384 пикселя, подготовленный для библиотеки timm. Он соответствует визуальной части мультимодальной модели SigLIP 2 и обучен на наборе данных WebLI. Модель предназначена для извлечения признаков и визуальных представлений изображений, которые можно использовать в поиске по изображениям, сопоставлении изображений с текстовыми представлениями и других задачах анализа изображений. Это только image encoder: карточка не описывает генерацию изображений или обработку текста самой моделью. Модель распространяется под лицензией Apache-2.0. Для запуска используется библиотека timm; веса доступны в форматах PyTorch и safetensors. Карточка не сообщает оценок качества или отдельных ограничений применения.
xiaobu-embedding-v2 — модель эмбеддингов предложений, разработанная на основе piccolo-embedding. В версии v2 синтетические данные заменены данными, накопленными для xiaobu-embedding-v1; обучение объединяет шесть типов задач CMTEB с использованием circle loss и позволяет учитывать несколько положительных примеров из исходных наборов данных. Модель предназначена для создания векторных представлений текста и вычисления сходства между предложениями, например для семантического поиска и поиска похожих фраз. Это плотная модель архитектуры BERT с 424,3 млн параметров и контекстом до 512 токенов; доступна в форматах PyTorch, Safetensors и ONNX, используется через Sentence-Transformers. README указывает на задачи CMTEB, но не сообщает конкретные языки поддержки. Условия лицензии в предоставленных данных не приведены.
Ramos-Ramos/xlm-roberta-base-en-tl — модель на основе XLM-RoBERTa, преобразующая предложения и абзацы в плотные векторы размерностью 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling; размер составляет 305,2 млн параметров, контекст — до 514 токенов. Модель обучена с использованием MSELoss на датасете Ramos-Ramos/nllb-eng-tgl-12k и поддерживает английский и тагальский языки. Лицензия в предоставленных данных не указана.
KFST/XLMRoberta-en-da-sv-nb — модель эмбеддингов предложений на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. Модель содержит 305,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Модель предназначена для поиска смысловой близости между текстами и организации текстовых коллекций по смыслу. В названии указаны английский, датский, шведский и норвежский языки; это согласуется с использованием модели для многоязычных текстовых представлений в этих языках. Для применения можно использовать Sentence-Transformers либо Transformers с соответствующей операцией pooling. В карточке приведено обучение с MSELoss, но подробные результаты оценки и сведения о тренировочных данных не представлены. Лицензия в доступных данных не указана.
zpoint_large_embedding_zh — китайскоязычная модель эмбеддингов, опубликованная пользователем iampanda. Она предназначена для преобразования предложений в векторы, которые можно сравнивать по сходству; пример в карточке показывает сопоставление отзывов о товаре с противоположной тональностью. Модель построена на архитектуре BERT, содержит 424,3 млн параметров, работает с контекстом до 512 токенов и распространяется в форматах PyTorch и Safetensors через библиотеку sentence-transformers. Модель подходит для поиска семантически близких китайских текстов и сравнения предложений. Карточка указывает на обучение и приводит пример использования, однако подробно не описывает обучающие данные и качество на тестах. Лицензия MIT.