I.12Рекомендации и персонализация
В разделе собраны самостоятельные задачи, где AI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 627 моделейavsolatorio/MixEmbedMean-base-20240116001529-best — компактная модель эмбеддингов предложений на архитектуре BERT, опубликованная 16 января 2024 года. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска по смыслу, кластеризации и сравнения текстов. Размер модели — 18,8 млн параметров, максимальная длина контекста — 512 токенов; для работы доступны веса в формате safetensors и библиотека Sentence-Transformers. Согласно README, модель дистиллирована из BAAI/bge-small-en-v1.5 и имеет вчетверо меньше параметров, не относящихся к эмбеддингам, чем исходная модель. В README также отмечено, что при примерно половине параметров all-MiniLM-L6-v2 она показывает сопоставимое качество. Английский язык следует из базовой модели bge-small-en-v1.5; подтверждений поддержки других языков нет. Лицензия в предоставленных данных не указана.
ronanki/ml_mpnet_768_MNR_10 — модель Sentence-Transformers для получения плотных векторных представлений предложений и абзацев размерностью 768. Она основана на XLM-RoBERTa и предназначена для семантического поиска и кластеризации текстов. В метаданных указано 305,2 млн параметров и контекст длиной 514 токенов. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. В README описано использование с Sentence-Transformers или Hugging Face Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch; лицензия не приведена в доступных данных.
Карточка модели artdev99/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой artdev99/MNLP_M3_document_encoder, поэтому описание составлено по ней. artdev99/MNLP_M3_document_encoder — модель для кодирования предложений и коротких абзацев в плотные векторы размерностью 384, отражающие их семантику. Это форк all-MiniLM-L6-v2, дообученный на базе nreimers/MiniLM-L6-H384-uncased с контрастивной целью на более чем миллиарде пар предложений. Модель использует архитектуру BERT и библиотеку Sentence Transformers; число параметров — 25,9 млн. Векторы подходят для семантического поиска, оценки сходства предложений и кластеризации. Модель принимает текст и выдаёт векторные представления; в README указано усечение входа длиннее 256 word pieces, а контекстное окно по метаданным составляет 512 токенов. В карточке заявлен английский язык. Модель распространяется по лицензии Apache-2.0.
Карточка модели Alexhuou/MNLP_M2_document_encoder_v1 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
MNLP_M3_document_encoder — дообученный Stergios Konstantinidis текстовый энкодер на базе sucharush/e5_stem_finetuned. Модель построена на BERT с Sentence Transformers: усредняет токенные представления, нормализует результат и отображает предложения и абзацы в плотные векторы размерности 768. Для сравнения векторов используется косинусное сходство; максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Карточка сообщает о дообучении на 99 980 примерах с ContrastiveTensionLoss. Языковая специализация и лицензия в предоставленных данных не описаны.
Карточка модели taghyan/model на Hugging Face совпадает с карточкой KingName1/sentence_transformer, поэтому описание составлено по ней. KingName1/sentence_transformer — модель Sentence Transformers на архитектуре MPNet, предназначенная для преобразования предложений и коротких абзацев в плотные семантические векторы размерности 768. README описывает её как дообученную на основе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений; метаданные указывают 136,7 млн параметров и библиотеку sentence-transformers. Входной текст кодируется для семантического поиска, сравнения сходства и кластеризации.
hunkim/model1 — модель на базе RoBERTa, опубликованная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Параметры модели включают 137,8 млн, максимальная длина контекста — 512 токенов. Векторы можно использовать для поиска предложений по смыслу, кластеризации и сравнения текстов по семантическому сходству. Модель также поддерживает извлечение признаков; для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. README рекомендует библиотеку Sentence-Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Условия лицензии в предоставленных данных не указаны.
jfarray/Model_all-distilroberta-v1_1_Epochs — модель на базе RoBERTa, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации; также подходит для вычисления сходства между предложениями. Модель содержит 95,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать в приложениях поиска по смыслу и группировки текстов через Sentence Transformers. В карточке не указаны целевые языки и лицензия, поэтому их нельзя подтвердить по имеющимся данным.
jfarray/Model_paraphrase-multilingual-MiniLM-L12-v2_1_Epochs — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Она предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу. Модель обучалась с функцией потерь CosineSimilarityLoss; для получения векторов можно использовать библиотеку sentence-transformers или Transformers с соответствующей операцией pooling. В репозитории указано 124,3 млн параметров и контекст до 512 токенов. Метка multilingual в названии указывает на многоязычную основу, однако конкретный список поддерживаемых языков в доступных данных не приведён. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
jfarray/Model_paraphrase-multilingual-MiniLM-L12-v2_50_Epochs — модель эмбеддингов предложений на архитектуре BERT, представленная в формате PyTorch. Она кодирует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения текстов. В метаданных указаны 124,3 млн параметров и контекст до 512 токенов; модель обучалась с функцией CosineSimilarityLoss. Модель подходит для поиска похожих фрагментов текста, группировки документов и вычисления семантического сходства. В названии указано multilingual MiniLM, однако README и метаданные не перечисляют поддерживаемые языки. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformers, дообученная на базе mixedbread-ai/deepset-mxbai-embed-de-large-v1. Она использует трансформер XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 1024, нормализованные для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; библиотека модели — sentence-transformers. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В карточке указаны результаты оценки на задаче поиска информации, однако данных недостаточно, чтобы обобщать эти показатели на другие наборы текстов. Лицензия в предоставленных источниках не указана.
makiart/modernbert-base-ft-all-nli — англоязычная модель Sentence Transformers, дообученная разработчиком makiart на answerdotai/ModernBERT-base с использованием набора all-nli. Encoder-only архитектура ModernBERT содержит около 149 млн параметров; модель кодирует предложения и абзацы в плотные векторы размерности 768. Максимальная длина входной последовательности — 8192 токена, для сравнения векторов подходит косинусное сходство. Модель предназначена для измерения семантического сходства текстов и семантического поиска. Её также можно применять для поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. На указанной в карточке оценке TripletEvaluator модель получила cosine accuracy 0,8572. Модель принимает текст на английском языке и выдаёт векторные представления. Веса доступны в формате safetensors; лицензия в предоставленных данных не указана.
joe32140/ModernBERT-base-msmarco — англоязычная модель Sentence Transformers, дообученная автором на базе answerdotai/ModernBERT-base на наборе msmarco-co-condenser-margin-mse-sym-mnrl-mean-v1. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства текстов и других задач, где нужно находить близкие по смыслу фрагменты. Модель использует encoder-архитектуру ModernBERT с усреднением токенных представлений; максимальная длина входа — 8192 токена, сходство векторов обычно оценивается косинусной мерой. Модель также может применяться для поиска перефразировок, кластеризации и классификации текста. Доступны веса safetensors и формат ONNX. В README приведён результат cosine_accuracy 0,984 на TripletEvaluator для набора msmarco-co-condenser-dev. Это значение относится к указанной оценке и само по себе не гарантирует аналогичное качество на других задачах и доменах. Лицензия в предоставленных данных не указана.
ModernBERT DAPT Embed DAPT Math — англоязычная модель Sentence Transformers на базе ModernBERT, дообученная Master-thesis-NAP для получения эмбеддингов предложений и абзацев. Модель содержит 149 млн параметров и принимает последовательности длиной до 8192 токенов, преобразуя текст в нормализованные плотные векторы размерности 768; для сравнения предусмотрено косинусное сходство. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. Архитектура использует ModernBertModel, усреднение токенных представлений и нормализацию. Лицензия — Apache-2.0.
Akryl/modernbert-embed-base-akryl-matryoshka — англоязычная Sentence Transformers модель, дообученная разработчиком Akryl на базе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768 с нормализацией; близость текстов можно оценивать косинусным сходством. Архитектура включает ModernBertModel, усреднение токенных представлений и нормализацию. Модель принимает последовательности длиной до 8192 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. Matryoshka-обучение позволяет использовать укороченные представления, в том числе размерностью 512 и 256; в карточке приведены результаты поиска для этих размерностей и исходных 768 на наборе dim_768. Лицензия — Apache-2.0. Оценки в карточке относятся к небольшому набору из 402 примеров и не гарантируют такое же качество на других данных.
IoannisKat1 разработал англоязычную модель Sentence Transformers для получения плотных векторных представлений предложений и абзацев. Это дообученная версия nomic-ai/modernbert-embed-base на архитектуре ModernBertModel с усреднением токенных представлений и нормализацией выходного вектора. Модель имеет 149 млн параметров, формирует эмбеддинги размерности 768 и принимает последовательности длиной до 8192 токенов; для сравнения используется косинусное сходство. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В README приведены результаты оценки поиска при сокращении размерности эмбеддингов до 512, 256, 128 и 64 измерений, однако качество зависит от набора данных. Данные обучения содержат 1627 пар anchor-positive. Лицензия Apache-2.0.
Это англоязычная модель Sentence Transformer, созданная дообучением nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и сравнения текстов. Архитектура включает ModernBERT, усредняющий пулинг токенов и нормализацию векторов; максимальная длина входа — 8192 токена. Для сравнения векторов используется косинусное сходство. Модель подходит для поиска релевантных документов и фрагментов, оценки семантического сходства, поиска перефразирований, классификации и кластеризации текста. В README приведены результаты оценки поиска с векторами размерностью 768, 512, 256, 128 и 64, что позволяет сокращать размерность представлений с некоторым снижением показателей. В карточке указан обучающий набор из 391 пары текстов. Модель распространяется по лицензии Apache-2.0.
YeonwooSung выпустил дообученную на answerdotai/ModernBERT-large модель Sentence Transformer для получения плотных векторных представлений предложений и абзацев. Она предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Архитектура состоит из энкодера ModernBERT-large с усреднением токенных представлений; размер вектора — 1024, сходство измеряется косинусной метрикой. Модель содержит 394,7 млн параметров; метаданные указывают контекст до 8192 токенов, тогда как конфигурация Sentence Transformers в README ограничивает длину последовательности 512 токенами. Обучающий набор включает 499 184 примера. Карточка демонстрирует англоязычные данные, поэтому основное применение — для английского текста. Лицензия — MIT.
YeonwooSung/ModernBERT-large-msmarco-v3-bpr — модель Sentence Transformers, дообученная разработчиком на базе answerdotai/ModernBERT-large с использованием BPRLoss на 498 970 примерах. Она кодирует предложения и абзацы в плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. Архитектура состоит из энкодера ModernBERT-large с усреднением токенных представлений, максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Подходит для построения эмбеддингов длинных текстов; базовый ModernBERT описан как англоязычный энкодер. Лицензия в предоставленных данных не указана.
hlyu/mpnet_14710 — модель на основе MPNet, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 61,2 млн параметров и рассчитана на входные последовательности длиной до 514 токенов. Векторы можно использовать для поиска похожих текстов и группировки семантически близких предложений. Для работы предусмотрены Sentence-Transformers и Hugging Face Transformers; при использовании Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов. Модель опубликована под идентификатором hlyu/mpnet_14710; сведения о лицензии в доступных данных отсутствуют.
ayoubkirouane/Mpnet-base-ALL-NLI — модель эмбеддингов предложений на архитектуре MPNet, созданная на основе microsoft/mpnet-base и дообученная на датасете sentence-transformers/all-nli. Она преобразует текстовые предложения в векторы размерности 768 для сравнения смысловой близости, поиска похожих фраз и построения семантического поиска. Модель содержит 136,7 млн параметров, принимает до 514 токенов и рассчитана на английский язык. Доступна в формате safetensors и совместима с библиотекой Sentence Transformers. Лицензия — Apache-2.0.
Это текстовая модель Sentence Transformers, разработанная tomaarsen и дообученная на базе microsoft/mpnet-base на наборе GooAQ с трудными отрицательными примерами. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и сравнения их по косинусному сходству. Архитектура включает MPNetModel с усреднением токенных представлений; модель содержит 136,7 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текста. Она обучена на англоязычных вопросах и ответах GooAQ; лицензия Apache-2.0. Качество зависит от соответствия входных текстов английскому языку и тематике обучающих данных.
Это англоязычная модель Sentence Transformers, дообученная tomaarsen на microsoft/mpnet-base с использованием набора gooaq-hard-negatives и функции потерь MultipleNegativesBidirectionalRankingLoss. Архитектура MPNet преобразует предложения и абзацы в плотные векторы размерности 768; для представления последовательности используется среднее по токенам, а сходство измеряется косинусом. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, включая поиск ответов по вопросам, оценку сходства предложений, поиск перефразировок, кластеризацию и классификацию текста. В карточке приведена оценка на gooaq-dev: cosine_accuracy@1 — 0,589, @3 — 0,723, @5 — 0,776. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0.
din0s/mpnet-base-nq-prompts-noschedule-lr1e-5 — текстовая модель Sentence Transformers, дообученная автором на базе microsoft/mpnet-base на датасете Natural Questions. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством; архитектура включает MPNet и усреднение токенных представлений. Модель рассчитана на английский язык, принимает последовательности длиной до 514 токенов. Модель подходит для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В карточке приведены результаты оценки на наборах NanoBEIR и отдельных задачах информационного поиска, но качество зависит от данных и сценария применения. Лицензия — Apache-2.0.
navidmadani/mpnet-twitter-freq100 — модель Sentence-Transformers на архитектуре MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Её обучили с функцией CosineSimilarityLoss; по назначению это модель эмбеддингов для сравнения текстов. Модель подходит для семантического поиска, кластеризации и оценки сходства предложений. Архитектура содержит около 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Репозиторий содержит веса PyTorch и не указывает лицензию. README не сообщает, на каких языках обучена модель.
AIDA-UPM/MSTSb_paraphrase-xlm-r-multilingual-v1 — модель на базе XLM-RoBERTa, опубликованная AIDA-UPM и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения сходства предложений. В метаданных указано 305,2 млн параметров и контекстное окно 514 токенов; веса доступны в формате PyTorch. Модель обучалась с CosineSimilarityLoss. Для работы требуется корректное объединение контекстных представлений токенов с помощью pooling; Sentence-Transformers предоставляет готовый способ использования. Карточка не указывает лицензию, поэтому условия распространения здесь описать нельзя.
IoannisKat1 выпустил дообученную версию multilingual-e5-large для создания текстовых эмбеддингов. Модель построена на XLM-RoBERTa-large с архитектурой Sentence Transformer: усредняет токенные представления, нормализует результат и отображает предложения и абзацы в плотное векторное пространство размерности 1024. Максимальная длина входной последовательности — 512 токенов; для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В README описано дообучение на 82 парах anchor-positive и приведены метрики поиска при нескольких размерностях вектора; результаты зависят от выбранной размерности и тестового набора. Указанная лицензия — Apache-2.0.
serbog/multilingual-e5-large-skill-job-matcher — модель эмбеддингов на базе XLM-RoBERTa, представленная как Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Название указывает на сопоставление навыков и вакансий, однако README не приводит конкретных примеров или описания этой специализации. Модель имеет 658,7 млн параметров, работает с текстом и принимает последовательности длиной до 514 токенов. В README указано обучение с CosineSimilarityLoss; доступный формат — PyTorch. Модель подходит для построения векторного поиска и ранжирования по сходству. Лицензия и конкретные поддерживаемые языки в предоставленных данных не приведены.
Модель austinpatrickm/multilingual-e5-small-finetuned — дообученный автором модели Sentence Transformer на базе intfloat/multilingual-e5-small. Она использует архитектуру BERT с усреднением токенных представлений и нормализацией и преобразует предложения и абзацы в плотные эмбеддинги размерности 384. Максимальная длина входа — 512 токенов; близость векторов можно оценивать косинусным сходством. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и классификации текста. В README приведены результаты оценки поиска информации и обучающий набор из 29 840 пар текстов. Многоязычность наследуется от базовой multilingual-e5-small; конкретные языки в карточке не перечислены. Лицензия в предоставленных данных не указана.
jangedoo/multilingual-e5-small-ne-pruned — компактная модель создания текстовых эмбеддингов, основанная на multilingual-e5-small от intfloat. Она использует архитектуру BERT и Sentence Transformers; словарь токенов сокращён примерно на 91,6%, а количество параметров — на 74,8% относительно базовой версии по README. Модель предназначена для семантического поиска, сравнения предложений и подбора похожих текстов на разных языках. Она принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. В оценке на STSbenchmark для непальского языка pruning сохранил почти исходные показатели сходства предложений, тогда как на NanoClimateFEVER точность поиска первого результата снизилась. README показывает пример использования через Sentence Transformers. Лицензия в предоставленных данных не указана.