I.3Извлечение и структурирование данных

annakotarba/sentence-similarity — модель Sentence-Transformers на базе BERT, преобразующая предложения и абзацы в плотные векторы размерностью 384. Её можно применять для семантического поиска и кластеризации текстов, а также для сравнения сходства предложений. Модель содержит 124,3 млн параметров и рассчитана на контекст до 512 токенов. При обучении использовалась TripletLoss с евклидовой метрикой расстояния. Для работы предусмотрена библиотека sentence-transformers; при использовании Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Сведения о лицензии и языках в предоставленных данных отсутствуют.

Это дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, опубликованная пользователем richie-ghost. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству, семантического поиска и других задач работы со сходством текстов. Архитектура состоит из MPNet, среднего pooling по токенам и нормализации; модель содержит 136,7 млн параметров и рассчитана на последовательности до 514 токенов по метаданным Hugging Face. README указывает максимальную длину 384 токена, поэтому практический предел может зависеть от используемой конфигурации. Модель подходит для поиска похожих фрагментов, выявления перефразировок, кластеризации и получения признаков для классификации текста. В README описано дообучение на 48 393 парах предложений с MultipleNegativesRankingLoss. Языки обучения или поддерживаемые языки не подтверждены предоставленными данными. Лицензия в метаданных и README не указана.

Карточка модели ai-human-lab/sentence-transformers_all-mpnet-base-v2 на Hugging Face совпадает с карточкой XHY-DY/all-mpnet-base, поэтому описание составлено по ней. XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Pyjay/sentence-transformers-multilingual-snli-v2-500k — модель эмбеддингов предложений на базе XLM-RoBERTa, опубликованная пользователем Pyjay. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения текстов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучалась с использованием Sentence-Transformers и функций потерь SoftmaxLoss и CosineSimilarityLoss. В карточке указано многоязычное назначение, однако конкретный список поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.

PrabalAryal/Sentence_Transformer_v0.0.1 — дообученная модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768; сходство между ними оценивается косинусной мерой. В README указана максимальная длина последовательности 64 токена, а метаданные каталога сообщают о контекстном окне 514 токенов. Модель предназначена для семантического сравнения текстов, поиска похожих фрагментов, поиска перефразировок, кластеризации и классификации текста по эмбеддингам. Обучение описано на 8 884 парах предложений с помощью MultipleNegativesRankingLoss; в примерах датасета есть тексты на нидерландском языке. Базовая модель многоязычная, но конкретный перечень поддерживаемых языков этой версии не приведён. Для использования указана библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

Карточка модели mah18/sent_similarity на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Карточка модели Bjornrun/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Карточка модели lewtun/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Laxman/setfit-model-v2 — модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория Laxman. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Обучение использовало CosineSimilarityLoss; модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения текстовых эмбеддингов и поиска смыслово близких фрагментов. В метаданных указан формат PyTorch. Лицензия и языковая специализация в предоставленных данных не обозначены.

SJT-7B-1M — разговорная языковая модель Sakalti, созданная слиянием моделей через mergekit. В качестве основы использована Qwen/Qwen2.5-7B-Instruct-1M, объединённая с Sakalti/model-3 методом TIES. Модель построена на плотной архитектуре Qwen2 и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 1 010 000 токенов. Метаданные также отмечают интерфейс для вызова инструментов. Репозиторий содержит веса в формате safetensors; README указывает тип float16. Лицензия в предоставленных данных не указана.

dnth выпустила модель Sentence Transformer, дообученную на наборе ssf-train-valid-v4 на основе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768, нормализованные для сравнения по косинусному сходству. Архитектура включает ModernBertModel с усреднением токеновых представлений; максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, а также использования эмбеддингов для классификации и кластеризации. Обучение описано на парах и тройках anchor-positive-negative из датасета размером 4524 обучающих примера. Метаданные указывают задачи sentence-similarity и feature-extraction. Язык примеров или языковая специализация модели не подтверждены, поэтому языки не указаны. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.

NovaSearch/stella_en_1.5B_v5 — модель встраивания текста, разработанная NovaSearch на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных фрагментов по запросу, семантического сходства и других задач сравнения текстов; поддерживает кодирование через SentenceTransformers и Transformers. Модель построена на плотной архитектуре Qwen2ForCausalLM и содержит 1,5 млрд параметров. Для векторов доступны размерности 512, 768, 1024, 2048, 4096, 6144 и 8192; обычно авторы рекомендуют 1024 измерения. Контекст архитектуры составляет до 131 072 токенов, однако README рекомендует последовательности длиной 512 токенов: модель обучалась на такой длине, а на специализированных задачах поиска по длинным текстам результаты часто снижаются. Для большинства задач предусмотрены инструкции s2p для поиска и s2s для семантического сходства. Модель подходит для семантического поиска и ранжирования по сходству; метаданные также указывают поддержку извлечения признаков, генерации текста и классификации текста, но README описывает прежде всего получение эмбеддингов. Данные обучения и подробный метод обучения в карточке ещё не опубликованы. Лицензия — MIT.

r2d2 разработала модель эмбеддингов предложений на архитектуре RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 162,4 млн параметров, обучалась с функцией CosineSimilarityLoss и поддерживает контекст длиной до 130 токенов. Для работы доступны PyTorch и библиотека Sentence-Transformers. Модель подходит для построения семантического поиска и группировки текстов, когда важна близость значений, а не совпадение слов. Данных о лицензии и целевых языках в предоставленных источниках нет; применимость к конкретному языку следует проверить на своих данных.

Hoax0930/tf_paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, создающая плотные векторы размерностью 768 для предложений и абзацев. В репозитории указано 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для построения эмбеддингов, семантического поиска и кластеризации текстов. Её можно применять для поиска похожих фрагментов и сравнения семантической близости предложений; README описывает обучение с CosineSimilarityLoss. Метаданные указывают формат PyTorch и возможность извлечения эмбеддингов. Карточка не сообщает конкретный перечень поддерживаемых языков, поэтому многоязычность из названия модели не подтверждена. Лицензия в предоставленных данных отсутствует. Результаты зависят от языка и предметной области; для сравнения векторов и поиска требуется подходящая метрика или индекс.

Это модель Sentence Transformers на базе архитектуры BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, сравнивая полученные представления по близости. Модель обучалась с Triplet Loss и евклидовой метрикой расстояния. Она содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Для использования подходят библиотека sentence-transformers или Transformers с соответствующей операцией pooling. Языки и лицензия в предоставленных сведениях не определены.

BaoLocTown/tuned_KaLM-embedding-multilingual-mini-instruct-v2.5_combined_v4_200k_2048_len_lr_2e-5_lasttoken — текстовая модель Sentence Transformer на архитектуре Qwen2 с 494 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 896; сходство между векторами оценивается косинусной мерой. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. В архитектуре используется pooling по последнему токену. README указывает максимальную длину последовательности 32 768 токенов, а метаданные каталога — нативный контекст 131 072 токена. Модель ориентирована на многоязычные текстовые эмбеддинги, но конкретные языки в предоставленных данных не перечислены. Репозиторий содержит веса в формате safetensors; лицензия в источниках не указана.

voyage-4-nano — мультиязычная модель для создания текстовых эмбеддингов, разработанная Voyage AI для семантического поиска и извлечения релевантных документов. Она подходит для локальной разработки и сценариев, где важны низкая стоимость и высокая пропускная способность. Модель построена на плотной архитектуре Qwen3 и содержит 306,6 млн параметров; длина контекста по метаданным составляет 40 960 токенов. Модель обучена с Matryoshka Representation Learning и поддерживает эмбеддинги размерностью 2048, 1024, 512 и 256. Благодаря обучению с учетом квантования доступны выходы в форматах float32, int8, uint8 и бинарной точности. Эмбеддинги совместимы в общем пространстве с другими моделями серии Voyage 4, поэтому модели серии можно менять без переиндексации данных. По карточке модель поддерживает многоязычные тексты; лицензия — Apache 2.0.

amahdaouy/xlmrsim-mar_2ep — мультиязычная модель Sentence Transformers, дообученная разработчиком на базе sentence-transformers/stsb-xlm-r-multilingual для сравнения смысловой близости предложений. Архитектура XLM-RoBERTa преобразует текст в плотные векторы размерности 768; представление строится усреднением токенных эмбеддингов, а сходство обычно оценивается косинусной мерой. В метаданных указано 305,2 млн параметров и контекст длиной 514 токенов; карточка модели задаёт максимальную длину последовательности 128 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Примеры обучающих пар включают английский, французский и арабский языки, а базовая модель мультиязычная. В README приведены результаты оценки сходства, включая Spearman 0,8659 для косинусного сходства; переносить их на другие наборы данных без проверки не следует. Лицензия в предоставленных сведениях не указана.

Watwat100/256data — модель на базе MPNet, опубликованная в формате PyTorch и упакованная для Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и поддерживает контекст длиной до 514 токенов. При обучении использовалась функция потерь CosineSimilarityLoss. Веса можно применять для построения эмбеддингов и оценки смысловой близости текстов в сценариях поиска и анализа коллекций документов. Лицензия в доступных данных не указана.

gte-tiny — компактная модель эмбеддингов предложений на базе архитектуры BERT, опубликованная avsolatorio. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения текстов. Модель дистиллирована из thenlper/gte-small и, согласно карточке, показывает сопоставимое, немного более низкое качество при примерно вдвое меньшем размере. Модель содержит 25,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Для получения векторов можно использовать Sentence Transformers либо Transformers с подходящей операцией pooling. Лицензия и перечень поддерживаемых естественных языков в предоставленных данных не описаны.

Карточка модели jamiehudson/579-STmodel-v3 на Hugging Face совпадает с карточкой jamiehudson/579-STmodel-v4, поэтому описание составлено по ней. jamiehudson/579-STmodel-v4 — модель Sentence Transformers на базе архитектуры MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Для получения эмбеддингов используются веса PyTorch и операция pooling над контекстными представлениями токенов. Модель содержит 136,7 млн параметров, а длина контекста составляет 514 токенов. В README указано обучение с CosineSimilarityLoss. Языки применения не обозначены. Лицензия в предоставленных данных не указана.

jamiehudson/579-STmodel-v4 — модель Sentence Transformers на базе архитектуры MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Для получения эмбеддингов используются веса PyTorch и операция pooling над контекстными представлениями токенов. Модель содержит 136,7 млн параметров, а длина контекста составляет 514 токенов. В README указано обучение с CosineSimilarityLoss. Языки применения не обозначены. Лицензия в предоставленных данных не указана.

Это модель Sentence Transformers на архитектуре Qwen3, разработанная frankwong2001 и дообученная на базе Qwen/Qwen3-Embedding-0.6B. Она преобразует предложения и абзацы в плотные текстовые векторы размерности 1024 для семантического сравнения и поиска; для оценки сходства используется косинусная близость. Модель поддерживает последовательности длиной до 32 768 токенов. Её можно применять для поиска похожих документов, выявления перефразировок, кластеризации текстов и классификации на основе эмбеддингов. При дообучении использован набор ssf-train-valid-full-synthetic-v2 с парами положительных и отрицательных примеров. Метаданные указывают 507,6 млн параметров и формат safetensors. Сведения о лицензии в предоставленных источниках отсутствуют.

JALLAJ/5epo — дообученная модель Sentence Transformer на базе BAAI/bge-small-en-v1.5, разработанная автором репозитория JALLAJ. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 384 для сравнения по косинусному сходству. Модель предназначена для семантического поиска, оценки сходства текстов и поиска перефразирований; её также можно применять для кластеризации и классификации текстов. В основе лежит BERT-архитектура с максимальной длиной последовательности 512 токенов; в README указаны pooling по CLS-токену и нормализация векторов. Для обучения использовалась функция потерь MultipleNegativesRankingLoss и набор из 1 466 примеров. Модель рассчитана на английские тексты, унаследовав англоязычную базу BGE-small-en-v1.5. Она компактна — около 40 млн параметров — и выдаёт векторы, пригодные для поиска и сравнения. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

teven/all_bs160_allneg — модель на базе MPNet для получения плотных векторных представлений предложений и абзацев. Она содержит 136,7 млн параметров, выдаёт эмбеддинги размерности 768 и рассчитана на контекст до 514 токенов. Модель распространяется в формате PyTorch и используется через библиотеку Sentence-Transformers. Эмбеддинги подходят для семантического поиска, сравнения текстов и кластеризации. При обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством. В карточке не указаны обучающие языки и лицензия, поэтому применимость к конкретному языку и условия распространения требуют проверки.

Модель all_datasets_v4_MiniLM-L6 разработана в рамках Community Week Hugging Face проектом по обучению моделей эмбеддингов предложений на больших наборах данных. Это дообученная контрастивным обучением версия MiniLM-L6-H384-uncased с архитектурой BERT и примерно 25,9 млн параметров. Для кодирования текста она выдаёт векторное представление, отражающее семантику предложения; длина контекста по метаданным — до 512 токенов. Модель предназначена для поиска информации по смыслу, кластеризации текстов и оценки сходства предложений. При обучении использовалось более миллиарда пар предложений из нескольких наборов данных. В README длина последовательности во время обучения ограничена 128 токенами. Репозиторий содержит веса PyTorch; модель можно применять через SentenceTransformers. Сведения о лицензии в предоставленных данных отсутствуют.

all-distilroberta-v1 — модель Sentence Transformers на архитектуре DistilRoBERTa, разработанная в рамках Hugging Face Community Week для проекта по обучению эмбеддингов предложений на большом наборе пар. Модель дообучена на базе distilroberta-base контрастивным обучением на более чем 1 млрд пар предложений. Она преобразует предложения и короткие абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, оценки сходства и кластеризации текста. Модель принимает текст и выдаёт векторные представления. В README указано усечение входа длиннее 128 word pieces; метаданные сообщают контекстное окно 514 токенов. В карточке отмечен английский язык. Репозиторий содержит веса PyTorch и варианты ONNX, OpenVINO и safetensors. Модель распространяется по лицензии Apache-2.0. Модель подходит для поиска текстов по смыслу и группировки семантически близких фрагментов. Она не предназначена для генерации ответов; качество зависит от соответствия языка и предметной области обучающим данным, а длинные входы ограничиваются усечением.

all-MiniLM-L12-v1 — модель sentence-transformers, разработанная в рамках Community Week Hugging Face в проекте по обучению эмбеддингов предложений на большом наборе пар. Она основана на microsoft/MiniLM-L12-H384-uncased и дообучена контрастивным методом на более чем миллиарде пар предложений. Архитектура — BERT; модель содержит около 40 млн параметров и выдаёт плотный вектор размерности 384 для каждого входного текста. Модель предназначена для кодирования предложений и коротких абзацев. Полученные эмбеддинги подходят для семантического поиска, сравнения сходства предложений и кластеризации. README указывает ограничение на вход длиной свыше 128 word pieces: такой текст обрезается, хотя контекстное окно в метаданных составляет 512 токенов. Поддерживается английский язык. Доступны форматы PyTorch, safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0.

ronanki/all-MiniLM-L12-v2-2022-11-07 — модель Sentence-Transformers на архитектуре BERT с примерно 40 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Модель работает с текстом и имеет контекстное окно до 512 токенов. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. Её можно использовать для поиска похожих текстов и группировки предложений или документов; для эксплуатации требуется библиотека sentence-transformers. В репозитории указаны веса PyTorch. Лицензия в предоставленных данных не указана.

KhaledReda/all-MiniLM-L6-test_model-pair_score — англоязычная модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L6-v2. Это плотный BERT-энкодер с 25,9 млн параметров: он преобразует предложения и абзацы в нормализованные векторы размерности 384, которые можно сравнивать косинусным сходством. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и поиска перефразировок; полученные векторы также подходят для кластеризации и классификации текстов. Она принимает текст и возвращает векторные представления. Обучение указано с функцией потерь CoSENTLoss. Лицензия — Apache-2.0.