I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейT-Systems-onsite/german-roberta-sentence-transformer-v2 — модель T-Systems для получения векторных представлений предложений. Она основана на XLM-RoBERTa и предназначена для извлечения признаков, семантического поиска и сопоставления предложений, в частности на немецком языке. В карточке указан STSbenchmark; размер модели — 305,2 млн параметров, максимальный контекст — 514 токенов. Модель выдаёт эмбеддинги текста и распространяется под лицензией MIT. Автор карточки рекомендует более новую модель cross-en-de-roberta-sentence-transformer для немецкого и английского языков.
akot/german-semantic-bmf-matryoshka — Sentence Transformers-модель, дообученная на основе aari1995/German_Semantic_V3. Архитектура использует JinaBertModel с пулингом CLS-токена; модель преобразует немецкие предложения и абзацы в плотные векторы размерностью 1024 для сравнения по косинусному сходству. В README максимальная длина последовательности указана как 1024 токена, а метаданные каталога указывают нативный контекст до 8192 токенов. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразирований, кластеризации и классификации текста. Обучение использовало MatryoshkaLoss и MultipleNegativesRankingLoss на наборе из 4 957 примеров; поддерживаются сокращённые размерности эмбеддингов. В README приведены результаты оценки поиска для нескольких размерностей, но качество зависит от данных и сценария применения. Лицензия в предоставленных данных не указана.
Модель rithwik-db/gpl_tsdae-e5-base-unsupervised-test-1-d165d6 — модель Sentence-Transformers на базе BERT, разработанная пользователем rithwik-db. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Обучение проводилось с MarginMSELoss; модель можно использовать через Sentence-Transformers или Transformers с подходящим pooling для контекстных представлений токенов. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы. Максимальная длина контекста — 512 токенов. В карточке не заявлена поддержка конкретных языков, поэтому применимость к отдельным языкам не уточняется. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных данных.
Это векторная модель Sentence Transformers на архитектуре ModernBERT, дообученная Thivy на базе ibm-granite/granite-embedding-311m-multilingual-r2 на наборе eti-embedding-training-data-4096-granite-v2. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768 для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Модель рассчитана на норвежский букмол и нюношк, включая длинные фрагменты: README указывает максимум 4096 токенов, а метаданные — нативный контекст 32768 токенов. В README приведены метрики на тестовых данных: точность cosine similarity 0,985 для TripletEvaluator и cosine_accuracy@1 0,612, @3 0,902, @5 0,95 для InformationRetrievalEvaluator; эти результаты относятся к указанным наборам оценки и не гарантируют качество на других данных. Модель предназначена для построения поиска и сравнения текстов на норвежском языке, в том числе для содержательных фрагментов длиной до 4096 токенов. Обучающий набор содержит 543 922 примера. Доступны веса в формате safetensors; в предоставленных данных лицензия не указана.
gte-base-zh — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Она предназначена для получения векторных представлений китайских текстов и подходит для информационного поиска, сравнения смысловой близости предложений и ранжирования текстов. Модель содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов; более длинные тексты обрезаются. Метаданные указывают на векторные представления и задачи извлечения признаков и сравнения предложений. Репозиторий содержит веса PyTorch и Safetensors. Модель распространяется по лицензии MIT.
danieleff/hubert-base-cc-sentence-transformer — модель на базе BERT, представленная как sentence-transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. В метаданных указаны 137,8 млн параметров и контекст до 512 токенов; модель использует PyTorch и поддерживает венгерский язык. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно применять через библиотеку Sentence-Transformers либо через Transformers с подходящей операцией pooling для получения представления текста. Лицензия в предоставленных данных не указана.
HydroEmbed/HydroEmbed-OpenQA-MiniLM-DualLoss — англоязычный Sentence Transformer, дообученный разработчиком HydroEmbed на базе sentence-transformers/all-MiniLM-L6-v2 для сопоставления и поиска связанных текстов. Модель использует энкодер BERT с усреднением токенных представлений и нормализацией; она преобразует предложения и абзацы в плотные векторы размерности 384. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов; в README указана максимальная длина последовательности 256 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. В README приведены англоязычные пары вопросов и ответов по тематике водных ресурсов и окружающей среды, однако специализация модели на этой области не заявлена. Указаны потери CosineSimilarityLoss и MultipleNegativesRankingLoss. Лицензия в предоставленных данных не приведена.
danfeg/IF-E5-L-M_Finetuned-FR-1000 — модель эмбеддингов предложений на архитектуре XLM-RoBERTa, опубликованная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для поиска по смыслу, кластеризации и сравнения текстов. В метаданных указано около 658,7 млн параметров и контекст длиной 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss; название репозитория указывает на дообучение для французского языка, но README не уточняет состав обучающих данных или результаты оценки. Она принимает текст и возвращает векторы, которые можно использовать для семантического поиска и группировки похожих фрагментов. Лицензия в предоставленных данных не указана.
ArthurZ/Ilama-3.2-1B — модель для извлечения признаков из текста, опубликованная на Hugging Face и предназначенная для использования с библиотекой Transformers. Модель имеет около 1,2 млрд параметров и поддерживает контекст длиной до 131 072 токенов. Основной сценарий применения — преобразование текстовых последовательностей в векторные представления для последующего семантического поиска, кластеризации, сравнения текстов, классификации и построения систем RAG. В метаданных модель также отмечена как совместимая с text-embeddings-inference и использующая формат Safetensors. В README отсутствуют сведения о разработчике, лицензии, языках, архитектурных деталях, обучающих данных, результатах оценки и конкретных ограничениях качества. Поэтому пригодность модели для определённых языков и прикладных областей следует проверять самостоятельно перед использованием.
aloobun разработал эту Sentence Transformer на основе aloobun/d-mxbai-L8-embed, дообучив её для работы с несколькими индийскими языками. Модель на базе BERT преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между текстами можно оценивать по косинусному сходству. В README указана максимальная длина последовательности 128 токенов, а в метаданных — 512 токенов; это расхождение требует проверки при настройке обработки длинных текстов. Модель предназначена для поиска по смыслу и сопоставления текстов на английском и бенгальском, гуджаратском, хинди, каннада, малаялам, маратхи, тамильском и телугу. Её можно применять для поиска семантически близких предложений, оценки сходства, поиска перефразирований, кластеризации и классификации текстов. Репозиторий распространяется по лицензии Apache-2.0. В README приведены результаты оценки для языковых пар с английским; показатели сходства заметно различаются между языками и в некоторых случаях низкие или отрицательные. Поэтому качество следует проверять на данных и сценариях конкретного применения; модель не генерирует текст, а возвращает векторы для последующей обработки.
Indonesia Islamic Sentence-BERT — модель Sentence Transformers на базе BERT, дообученная авторами репозитория ramadita на firqaaa/indo-sentence-bert-large. Она преобразует предложения и абзацы на индонезийском языке в плотные эмбеддинги размерностью 2048 для сравнения смысловой близости, семантического поиска, поиска перефразировок и кластеризации. Архитектура включает BertModel и слои pooling; максимальная длина входа — 512 токенов, для сравнения эмбеддингов предусмотрена косинусная близость. Модель также можно применять для классификации текста на основе эмбеддингов. В README приведены результаты TripletEvaluator на dev- и test-наборах, однако они не гарантируют качество на других данных и сценариях. Модель принимает текст и выдаёт векторные представления; опубликована под лицензией Apache-2.0.
indoSBERT-large — модель семейства BERT, опубликованная пользователем denaya в формате PyTorch и предназначенная для получения плотных векторных представлений предложений и абзацев на индонезийском языке. Модель основана на sentence-transformers и дообучена по схеме сиамской сети, вдохновлённой SBERT, с использованием набора STS 2012–2016, переведённого на индонезийский язык. Размер эмбеддинга — 256 измерений, контекст — до 512 токенов. Полученные векторы подходят для семантического поиска, сравнения смысловой близости предложений и кластеризации текстов. Доступны веса PyTorch; модель принимает текст и выдаёт векторы. Лицензия в предоставленных сведениях не описана.
Jade-Software разработала Jade-ModernBert-FT — англоязычную модель Sentence Transformers, дообученную на наборе jade_embeddings_train_25.04.04 от базовой модели nomic-ai/modernbert-embed-base. Архитектура ModernBERT преобразует предложения и абзацы в плотные эмбеддинги размерности 768, нормализованные для сравнения по косинусному сходству; максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска по текстам, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. Обучающие примеры связывают короткие вопросы с более длинными релевантными фрагментами, что подходит для поиска ответов и документов по запросу. Лицензия — Apache-2.0. Модель обучена на английском языке; данных о поддержке других языков нет. Она возвращает векторы, а не готовые ответы, поэтому для поиска, классификации или кластеризации нужны соответствующие downstream-компоненты. Качество за пределами английского языка и предметной области обучающих данных не подтверждено.
hotchpotch/japanese-reranker-cross-encoder-base-v1 — японский reranker серии CrossEncoder, разработанный hotchpotch. Он предназначен для повторного ранжирования результатов поиска: модель совместно оценивает запрос и документ, чтобы упорядочить найденные варианты по релевантности. Модель построена на архитектуре BERT и содержит 12 слоёв со скрытым размером 768; всего в ней 138,4 млн параметров. Она принимает пары текстов, поддерживает японский язык и имеет контекстное окно до 512 токенов. В карточке приведены оценки на японских наборах JQaRA, JaCWIR, MIRACL и JSQuAD. Модель распространяется по лицензии MIT.
jina-embeddings-v2-base-de-GGUF — GGUF-квантизированная версия модели jinaai/jina-embeddings-v2-base-de, разработанной Jina AI и подготовленной квантизатором Second State Inc. Это embedding-модель для преобразования текстов в векторные представления, пригодные для семантического поиска, сопоставления текстов и других задач, где требуется оценивать смысловую близость. В README указаны немецкий и английский языки. Модель поддерживает контекст до 8192 токенов и формирует embeddings размерностью 768. Доступны варианты квантизации от Q2_K до Q8_0, а также f16 в формате GGUF; размеры файлов составляют примерно от 82,5 до 323 МБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, тогда как Q2_K–Q4_0 могут заметно снижать качество. Более высокие разрядности уменьшают потери качества, но требуют больше памяти. Модель предназначена для локального запуска через совместимые инструменты, включая LlamaEdge; README приводит конфигурацию с контекстом 8192 и embedding prompt template. Архитектура базовой модели, объём параметров и точные показатели качества в предоставленных данных не указаны. Распространение осуществляется по лицензии Apache-2.0.
Это мультимодальная embedding-модель jina-embeddings-v4-vllm-retrieval, разработанная Jina AI и представленная в формате GGUF сообществом mradermacher. Репозиторий содержит квантизированные варианты модели, включая imatrix-файл для создания собственных квантов. Модель предназначена для multilingual embedding, извлечения признаков, оценки семантического сходства и поиска Text-to-Visual Document (T→VD), то есть сопоставления текста с визуальными документами. Она также связана с задачами и бенчмарками Vidore, ColPali и MTEB. Из README известно, что модель поддерживает мультимодальные входы и многоязычное использование, однако точные архитектура, число параметров, размерность embeddings, перечень языков и размер контекстного окна не указаны. Доступны варианты квантизации GGUF размером примерно от 0,9 до 2,0 ГБ и более; наиболее рекомендуемыми в описании названы i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно уступать по качеству. Модель подходит для семантического поиска и retrieval-систем, включая поиск по визуальным документам и мультимодальное сопоставление текста и изображений. Ограничения, связанные с конкретными характеристиками качества и производительности, в README не приведены; выбор квантизации влияет на компромисс между размером, скоростью и точностью. Лицензия модели — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое.
semin-pk/klue-roberta-base-klue-sts-mrc — это Sentence Transformer на базе klue-roberta-base-klue-sts, дообученный для преобразования предложений и абзацев в плотные векторы размерности 768. Модель использует RoBERTa с усреднением токенных представлений и косинусным сходством; максимальная длина последовательности составляет 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов. В README приведён пример корейских вопросов и длинных фрагментов документов; оценка на задаче сходства предложений составляет 0,8141 по Spearman для косинусного сходства. Модель содержит 137,8 млн параметров и опубликована в формате safetensors. Лицензия в предоставленных данных не указана.
jhgan/ko-sroberta-nli — модель эмбеддингов предложений на основе RoBERTa, опубликованная пользователем jhgan. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для оценки семантического сходства, поиска по смыслу и кластеризации текстов. Модель обучалась на наборе KorNLI с функцией потерь MultipleNegativesRankingLoss и оценивалась на KorSTS; README приводит результаты корреляции Пирсона и Спирмена для нескольких способов сравнения векторов. Модель содержит 137,8 млн параметров, использует архитектуру RobertaModel и поддерживает контекст до 514 токенов. Доступны форматы PyTorch и TensorFlow. Карточка указывает корейский язык; лицензия в предоставленных данных не приведена.
jhgan/ko-sroberta-nli — корейская модель Sentence Transformers на базе RoBERTa, дообученная на KorNLI с использованием Matryoshka Representation Learning. Она преобразует предложения в векторные представления размером 768, 512, 256, 128, 64 или 32 измерения: можно использовать первые m компонент, чтобы сократить объём хранения и задержку при небольшом снижении точности. Модель предназначена для сравнения смысловой близости корейских предложений и поиска по семантическому сходству; README приводит результаты оценки на наборе KorSTS. Число параметров — 137,8 млн, максимальный контекст — 514 токенов. Распространяется по лицензии CC BY-SA 4.0.
LaBSE — перенос многоязычной модели LaBSE в PyTorch, опубликованный командой sentence-transformers. Модель на архитектуре BERT содержит 498,1 млн параметров и отображает предложения на общем векторном пространстве, чтобы сопоставлять их смысл на разных языках. Поддерживает 109 языков; максимальная длина контекста — 512 токенов. Модель подходит для поиска семантически близких предложений, сопоставления текстов на разных языках и построения многоязычных эмбеддингов для семантического поиска и кластеризации. Доступна через библиотеку sentence-transformers и в форматах PyTorch, TensorFlow, Flax и ONNX. Лицензия — Apache-2.0. README указывает на публикацию LaBSE, но не приводит подробностей обучения или сравнительных результатов.
LaBSE-EnKo-Nano-Preview-v0.3 — предварительная модель Sentence Transformers, дообученная автором lemon-mint на sentence-transformers/LaBSE. Она кодирует предложения и абзацы на английском и корейском языках в плотные векторы размерности 768; сходство текстов предлагается оценивать косинусной мерой. Архитектура основана на BERT и включает пулинг CLS-токена, полносвязный слой с Tanh и нормализацию. Максимальная длина последовательности в метаданных — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации по эмбеддингам. Лицензия — Apache-2.0. Автор отмечает, что это предварительная версия и планирует выпустить более качественные модели, поэтому качество на конкретных данных стоит проверить перед широким применением.
Модель deman539/legal-ft-snowflake-l-94559c3c-e86d-40df-86f3-b60b1e6a59e8 — дообученная версия Snowflake/snowflake-arctic-embed-l, разработанная автором репозитория на базе Sentence Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства текстов и поиска перефразировок. В README также перечислены кластеризация и классификация текстов как возможные сценарии использования. В основе — BERT с пуллингом CLS-токена и нормализацией векторов; сходство измеряется косинусной близостью. Максимальная длина входа составляет 512 токенов. Модель обучалась на 156 парах предложений и документов; README приводит результаты оценки поиска на тестовом наборе, но они не характеризуют качество на других данных. Данных о лицензии в предоставленных источниках нет.
Llama-3-8B-Instruct-80K-QLoRA-Merged — диалоговая языковая модель семейства Llama 3, созданная namespace-Pt на основе Meta-Llama-3-8B-Instruct. Контекст модели расширен примерно до 80 тысяч токенов с помощью QLoRA и обучения на синтетических длинных примерах, после чего веса объединены с исходной инструкционной моделью. Архитектура — плотная авторегрессионная LlamaForCausalLM; в репозитории представлены веса Safetensors, размер модели — 7,5 млрд параметров. Модель предназначена для генерации ответов и работы с длинными текстами: поиска сведений в больших документах, ответов по нескольким источникам, суммаризации и задач с большим контекстом. README приводит результаты оценок на LongBench, InfiniteBench и тесте Needle-in-a-Haystack; это бенчмарки, а не гарантия качества для конкретных данных. Модель принимает текст и генерирует текст. Язык оценки в README — английский; поддержка других языков не установлена предоставленными данными. Лицензия репозитория указана как MIT. Модель сохраняет ограничения базовой Llama и может ошибаться, особенно при обработке длинного контекста; фактическое поведение зависит от используемой конфигурации и максимальной длины генерации.
Llama3-ChatQA-2-8B — диалоговая языковая модель NVIDIA на архитектуре LLaMA 3 с 7,5 млрд параметров. Модель создана на базе Llama 3: контекст расширен с 8K до 128K токенов продолжением обучения, после чего проведено трёхэтапное дообучение по инструкциям. Контрольные точки преобразованы из формата Megatron-LM в формат Hugging Face PyTorch. Модель предназначена для ответов на вопросы по документам и найденному контексту, генерации ответов в диалоге и сценариев RAG. Она оптимизирована для использования предоставленного контекста; модель может обработать документ целиком, если он помещается в контекстное окно. В карточке приведена рекомендация явно сообщать, когда ответ не найден в контексте. Модель поддерживает английский язык и контекст до 128K токенов. Она принимает текст и генерирует текст. Лицензия в предоставленных материалах не указана.
Llama-Bi-JP-0.5B-PT-stage2 — двунаправленный энкодер семейства Llama, созданный на основе iamtatsuki05/Llama-JP-0.5B-PT-stage2 с применением подхода LLM2Vec. Модель разработана для семантического поиска и извлечения релевантных текстов на японском языке; её векторное представление имеет размерность 1280. В модели 661,9 млн параметров, контекст — до 8192 токенов, позиционное кодирование — RoPE, токенизатор — SentencePiece с размером словаря 102 400. Модель принимает текст и выдаёт векторные представления для задач семантического сходства и поиска. В метаданных также указаны text-classification и text-generation как поддерживаемые задачи, однако основное назначение карточки — sentence similarity. Модель распространяется в формате safetensors через Transformers по лицензии MIT.
llama-embed-mamba2-1.3b — модель векторных представлений текста, разработанная Dynatrace Open Source на основе state-spaces/mamba2-1.3b. Она воспроизводит процедуру обучения e5-mistral-7b-instruct и предназначена для поиска по смыслу, кластеризации, классификации и других задач сравнения текстов. Модель использует рекуррентную архитектуру Mamba-2, содержит 2,9 млрд параметров и выдаёт эмбеддинги. Вертикальная обработка блоками позволяет выполнять инференс с постоянным потреблением памяти независимо от длины последовательности; вычислительная сложность при этом линейна по длине входа. В README приведены результаты MTEB Multilingual v2 — 55,2, MTEB English v2 — 64,3 и LongEmbed — 40,8. Модель принимает текст и предназначена для многоязычных задач, с отдельно приведёнными результатами для английского языка; основной язык не выделен. Для длинных входов требуется вертикальная обработка блоками, а для использования указана зависимость от transformers версии 5.5.0 или новее. Лицензия — Apache-2.0; обучение частично использовало синтетические данные, созданные Llama 3.1 70B.
BAAI/LLARA-passage — текстовая модель семейства LLaMA, разработанная BAAI для создания эмбеддингов и оценки сходства предложений и текстовых фрагментов. Проект описывает подходы EBAE (Embedding-Based Auto-Encoding) и EBAR (Embedding-Based Auto-Regression); репозиторий passage предназначен для работы с пассажами текста. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст до 4096 токенов. Она подходит для поиска и сопоставления текстов по смыслу, а также извлечения признаковых представлений. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. По имеющимся сведениям, модель работает с текстом; заявленные поддерживаемые задачи также включают генерацию текста. README отсылает за подробностями к статье и репозиторию проекта, поэтому конкретные языки обучения и ограничения качества не описаны.
harsh-wk/long-seq-paraphrase-MiniLM-L6-v2 — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 384. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. По метаданным, модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена Sentence Transformers и распространяется по лицензии Apache-2.0. В репозитории доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. README описывает семантический поиск и кластеризацию как основные сценарии; язык текстов, поддерживаемых моделью, в предоставленных данных не установлен.
BorisTM/loss-guided-static-multi — мультиязычный статический кодировщик предложений для семантического поиска и сравнения текстов. Модель обучена с контрастивной целью и расширенным словарём: полезные пары соседних токенов получают собственные строки эмбеддингов, при этом базовый токенизатор не меняется. При инференсе используются таблица эмбеддингов и усреднение, без Transformer; размерность векторов — 1 024, всего 321,7 млн параметров. Модель рассчитана на CPU-эффективное семантическое сходство, поиск, кластеризацию и классификацию на 176 языках. Каждый текст необходимо предварять языковым маркером, например __rus_Cyrl__; без него обработка завершается ошибкой. Репозиторий включает пользовательский модуль эмбеддингов и требует trust_remote_code=True. Распространяется по лицензии Apache-2.0.
MarcoMancini/low-law-emb — модель iMEmbeddings на базе архитектуры BERT, разработанная Marco Mancini. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для поиска по смыслу и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством нацелено на получение эмбеддингов, пригодных для сравнения текстов. Модель подходит для построения семантического поиска, группировки похожих фрагментов и других задач сравнения предложений. Максимальная длина контекста составляет 512 токенов; модель работает с текстом и выдаёт векторы. В README нет сведений о лицензии, поэтому условия использования по доступным данным определить нельзя.