I.3Извлечение и структурирование данных

ronanki/all_mpnet_128_10_MNR_PT — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория ronanki. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Обучение с MultipleNegativesRankingLoss использовало косинусное сходство; модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения эмбеддингов текстов и сравнения их семантической близости. Для работы README рекомендует библиотеку sentence-transformers. Языки и специализированные предметные области в доступных данных не обозначены; качество на конкретных наборах данных следует проверять отдельно. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели questgen/all-mpnet-base-v2-feature-extraction-pipeline на Hugging Face совпадает с карточкой XHY-DY/all-mpnet-base, поэтому описание составлено по ней. XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

AMBER (Adaptive Multitask Bilingual Embedding Representations) — текстовая модель эмбеддингов, разработанная Retrieva, Inc. на основе архитектуры ModernBERT и дообученная от sbintuitions/modernbert-ja-310m. Модель рассчитана прежде всего на японский язык и также поддерживает английский; при обучении использовались данные на обоих языках и естественно-языковые инструкции, позволяющие адаптировать эмбеддинги к задаче. В метаданных указан размер 314,6 млн параметров, контекст до 8192 токенов и формат safetensors. README указывает максимальную длину последовательности 512 токенов, выходные эмбеддинги размерностью 768 и косинусную меру сходства. Модель подходит для семантического поиска, сопоставления предложений и других задач, где требуется сравнивать текстовые представления, включая двуязычные сценарии на японском и английском. В README приведены оценки на японских JMTEB, JQaRA, JaCWIR и подмножестве MLDR, а также на английском MTEB; это результаты авторской оценки. Лицензия — Apache 2.0. Для практического применения следует учитывать расхождение между указанным в метаданных контекстом 8192 токена и лимитом последовательности 512 токенов в README.

Это англоязычная модель Sentence Transformer на базе google-bert/bert-base-uncased, дообученная авторами kh-li на парах и тройках из наборов all-nli, STS-B, Quora и Natural Questions. Модель кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними оценивается косинусной мерой. Архитектура состоит из BERT и mean pooling, максимальная длина последовательности — 512 токенов, библиотека — Sentence Transformers. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Её можно использовать, например, для подбора релевантных фрагментов в поисковой системе или группировки похожих вопросов. Она рассчитана на английский язык; качество на других языках не подтверждено. Лицензия в предоставленных сведениях не указана.

Это Sentence Transformer на базе google-bert/bert-base-multilingual-uncased, дообученный авторами репозитория на наборе из 10 200 пар текстов. Модель использует архитектуру BERT с усреднением токенных представлений и кодирует предложения и абзацы в плотные векторы размерностью 768; сходство можно оценивать косинусной метрикой. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Многоязычные возможности унаследованы от базового BERT, обученного для 102 языков; примеры обучающих данных в карточке приведены на вьетнамском. Метаданные указывают библиотеку Sentence Transformers и формат Safetensors. Лицензия в предоставленных данных не указана.

Модель tomaarsen/bert-base-uncased-gooaq-og — англоязычная модель Sentence Transformers, созданная дообучением google-bert/bert-base-uncased на наборе вопросов и ответов sentence-transformers/gooaq. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством; максимальная длина входа — 512 токенов. Архитектура состоит из BERT и среднего пулинга токенов. Модель предназначена для семантического поиска и сравнения текстов, включая поиск ответов по вопросам, выявление перефразировок, кластеризацию и классификацию текста с последующим обучением классификатора. В README приведены результаты оценки поиска на gooaq-dev. Модель принимает текст и возвращает векторы; сама по себе она не генерирует ответы. Лицензия — Apache-2.0.

Это англоязычная Sentence Transformer-модель, разработанная на базе google-bert/bert-base-uncased и дообученная на наборе all-nli. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Для сравнения векторов используется косинусное сходство. Модель построена на BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Обучение с MatryoshkaLoss поддерживает усечение представления до 512, 256, 128 или 64 измерений. Модель принимает текст и выдаёт эмбеддинги; в карточке указаны результаты оценки сходства на STS и all-nli. Модель рассчитана на английский язык, поэтому её пригодность для других языков не подтверждена. Для использования доступны веса в формате safetensors; метаданные указывают 136,7 млн параметров. Лицензия в предоставленных данных не указана.

barisaydin/bge-base-en — англоязычная модель встраивания текста из семейства BGE (BAAI General Embedding), представленная в карточке FlagEmbedding. Она кодирует текст в плотные векторы для поиска релевантных документов, семантического поиска, кластеризации и классификации, а также для использования в векторных базах данных и системах RAG. Архитектура — BERT; модель содержит 136,7 млн параметров и обрабатывает до 512 токенов. Для поиска по короткому запросу в длинных документах авторы рекомендуют добавлять к запросу инструкцию «Represent this sentence for searching relevant passages:», но не к документам. В README рекомендован переход на BAAI/bge-base-en-v1.5: у текущей версии распределение оценок сходства менее удобно. Абсолютные значения сходства могут быть высокими даже у несхожих предложений, поэтому порог следует подбирать на данных конкретной задачи и ориентироваться на относительный порядок результатов. Модель распространяется по лицензии MIT.

zhou209/bge-ft — модель Sentence Transformers на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в плотные нормализованные векторы размерностью 1024; сходство текстов измеряется косинусным сходством. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. В карточке не раскрыты обучающие данные и языковой охват, поэтому нельзя точнее оценить качество для отдельных языков и предметных областей. Репозиторий содержит веса в формате safetensors; сведения о лицензии отсутствуют.

BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

seongil-dn/bge-m3-3800_steps_v2_24-144_mixed — модель Sentence Transformer на архитектуре XLM-RoBERTa, разработанная автором репозитория seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для поиска семантически близких текстов и сравнения их сходства. В README также заявлены поиск перефразировок, классификация текста и кластеризация как сценарии применения. Модель принимает текстовые последовательности длиной до 8192 токенов, использует CLS-пулинг и нормализацию векторов; для оценки сходства рекомендована косинусная мера. Веса опубликованы в формате safetensors, использовать их можно через библиотеку Sentence Transformers. Языки и условия лицензии в предоставленных данных не указаны.

JINSUP/bge-m3-ko-axriv-agent-part-2025 — модель Sentence Transformer, дообученная разработчиком JINSUP на базе BAAI/bge-m3. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения семантической близости, семантического поиска, поиска перефразировок, классификации текста и кластеризации. В README указаны архитектура XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов, косинусная функция сходства и максимальная длина последовательности 8192 токена. Обучение проводилось на 2162 парах предложений с функцией потерь MultipleNegativesRankingLoss. Примеры данных включают корейские и английские тексты, в том числе вопросы и ответы о научных темах и лекарствах, но модель описана как дообученная на базе многоязычной BGE-M3, поэтому применима к многоязычному поиску и сопоставлению текстов. Модель принимает текст и выдаёт векторы, пригодные для семантического поиска и оценки сходства. Лицензия в предоставленных данных не указана.

Это дообученная модель Sentence Transformers на базе BAAI/bge-m3, разработанная автором репозитория seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации. Архитектура основана на XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов; модель использует косинусное сходство. В README указан предел последовательности 1024 токена, а метаданные каталога указывают контекст до 8194 токенов. Модель подходит для построения текстового поиска и группировки похожих фрагментов. Базовая BGE-M3 ориентирована на многоязычный семантический, лексический и гибридный поиск; отдельная языковая специализация этой версии не подтверждена. Размер модели — 658,7 млн параметров. В метаданных указана лицензия? Информация о лицензии в предоставленных данных отсутствует, поэтому условия использования установить нельзя.

BorisTM/bge-m3-unsupervised_en_ru — уменьшенная по словарю версия модели BAAI/bge-m3-unsupervised, предназначенная для создания эмбеддингов английских и русских текстов и сравнения предложений. Разработчик оставил в словаре токены только для английского и русского языков: размер словаря составляет 21% от исходного, а число параметров — 63,3% от исходного. В репозитории указано 449,9 млн параметров; архитектура основана на XLM-RoBERTa, максимальная длина контекста — 8194 токена. Модель подходит для семантического поиска, сопоставления предложений и построения векторных представлений текстов на английском и русском языках. В README заявлено, что сокращение словаря не снизило качество эмбеддингов для этих языков. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

Карточка модели tomaarsen/bge-small-en-v1.5-copy на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

BOOM_4B_eng_data_v1 — англоязычная модель текстовых эмбеддингов, созданная авторами исследования BOOM на основе Qwen3-4B. Она предназначена для получения представлений текста для поиска, ранжирования, семантического сходства, классификации и кластеризации. Модель объединяет несколько вариантов эмбеддинговой модели, обученных на выборках разного размера, методом Multi-SLERP; такой подход рассчитан на повышение устойчивости и качества переноса на новые данные при сохранении эффективности инференса одной моделью. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров и контекст до 40 960 токенов. Обучение охватывает англоязычные задачи поиска, переранжирования, классификации, кластеризации и семантического сходства; README также сообщает о включении общих данных, в том числе многоязычных наборов для поиска, и выборки кода. Для практического применения доступны веса в формате safetensors. Лицензия в предоставленных сведениях не указана.

Карточка модели AnkushRaut216/cl-finetuned-sentence-transformer-vectorstore на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Ductratra/cocondenser_v2 — модель Sentence Transformers на архитектуре RoBERTa, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Её можно применять для семантического поиска, сравнения предложений и кластеризации текстов; среди поддерживаемых каталогом задач также указано извлечение признаков. Модель содержит 468,2 млн параметров, принимает текст и выдаёт векторные представления. Контекст ограничен 258 токенами. В README указано обучение с OnlineContrastiveLoss. Доступен формат PyTorch; лицензия в предоставленных сведениях не указана.

Citaman/command-r-23-layer — языковая модель семейства Cohere, представленная в формате Safetensors и предназначенная для генерации текста и диалогового взаимодействия. В метаданных указаны 21 млрд параметров, контекст до 8192 токенов и поддержка интерфейса вызова инструментов. Модель создана с помощью mergekit методом SLERP на основе Citaman/command-r-24-layer. В конфигурации объединения использованы диапазоны слоёв [0, 23] и [1, 24] одной базовой модели; поэтому заявленная в README операция является слиянием весов, хотя метаданные каталога классифицируют происхождение как дообучение. Лицензия в предоставленных данных не указана.

Contrastive-Embedding-v2 — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем cheongmyeong17. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Модель обучалась с ContrastiveLoss и косинусной метрикой расстояния; для работы можно использовать Sentence-Transformers или Transformers с соответствующей операцией pooling. Модель содержит 144 млн параметров, принимает текстовые входы, а её контекст ограничен 512 токенами. В карточке не указаны конкретные языки, область специализации или лицензия, поэтому эти характеристики нельзя уточнить. Эмбеддинги подходят для построения поиска и группировки текстов, но качество на конкретном языке и предметной области следует проверять отдельно.

Карточка модели Gabbana/Deobfuscation_SBERT на Hugging Face совпадает с карточкой harsh-wk/long-seq-paraphrase-MiniLM-L6-v2, поэтому описание составлено по ней. harsh-wk/long-seq-paraphrase-MiniLM-L6-v2 — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 384. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. По метаданным, модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена Sentence Transformers и распространяется по лицензии Apache-2.0. В репозитории доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. README описывает семантический поиск и кластеризацию как основные сценарии; язык текстов, поддерживаемых моделью, в предоставленных данных не установлен.

diwank/dfe-base-en-1 — модель на основе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1536 для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена с использованием TripletLoss с евклидовой метрикой расстояния. Она подходит для семантического поиска и кластеризации текстовых фрагментов. Суффикс en в названии указывает на английскую ориентацию; карточка не перечисляет поддерживаемые языки явно. Доступна в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

rithwik-db/dirty-e5-base-unsupervised — модель эмбеддингов предложений на базе архитектуры BERT, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения сходства. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указано, что модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Её можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Сведения о поддерживаемых языках и лицензии в предоставленных источниках отсутствуют.

Это дообученная модель Sentence Transformers на базе distilbert/distilbert-base-multilingual-cased, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 768. Архитектура включает DistilBERT и усредняющий mean pooling; максимальная длина входа составляет 512 токенов, для сравнения векторов используется косинусное сходство. Модель подходит для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и использования текстовых представлений в классификаторах. В README приведены результаты оценки сходства на переведённых наборах STS для ассамского языка. Многоязычная базовая модель сохраняет регистр; доступные данные подтверждают работу с ассамским, но не позволяют перечислить остальные поддерживаемые языки по отдельности. Модель опубликована под лицензией базовой модели; сведения о лицензии в предоставленных данных отсутствуют.

Это дообученный на базе sentence-transformers/all-MiniLM-L6-v2 энкодер предложений на архитектуре BERT, разработанный пользователем ayushexel. Модель преобразует предложения и абзацы в плотные векторы размерности 384 и подходит для вычисления семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Для оценки сходства используется косинусная близость. В README указана максимальная длина последовательности 256 токенов; метаданные каталога указывают контекст 512 токенов. Модель содержит 25,9 млн параметров, принимает текст и выдаёт векторы. Примеры и описание обучающих данных ориентированы на пары вопросов и контекстов, а базовая модель описана как англоязычная. Лицензия в предоставленных данных не указана.

EmbeddingGemma 300M 4bit — модель для создания текстовых эмбеддингов, представленная сообществом mlx-community и конвертированная в формат MLX из модели Google embeddinggemma-300m-qat-q4_0-unquantized. Она предназначена для задач семантического сравнения предложений, поиска, кластеризации, классификации, reranking, retrieval и суммаризации. Модель имеет размер 300 млн параметров и использует 4-битное квантование. Она работает с текстом и возвращает нормализованные векторные представления, для сравнения которых можно применять скалярное произведение. README не указывает поддерживаемые языки и максимальную длину контекста. Для разных задач предусмотрены специализированные текстовые префиксы, включая sentence similarity, search result, clustering, classification и summarization. К сильным сторонам относятся компактный размер, сниженное потребление памяти благодаря 4-битному представлению и интеграция с экосистемой MLX через библиотеку mlx-embeddings. Ограничения включают отсутствие в README подробностей о языковом охвате, контексте, качестве на бенчмарках и совместимости за пределами MLX. Для использования требуется принять лицензию Google Gemma на Hugging Face; точные условия лицензии Gemma следует проверить отдельно.

VinitT/Embeddings-NLI-ContradictionMargin — англоязычная модель Sentence Transformer, дообученная разработчиком на базе VinitT/Embeddings-Trivia на наборе all-nli. Модель кодирует предложения и абзацы в плотные векторы размерности 384; сходство между ними оценивается косинусной близостью. Архитектура включает BERT, усредняющий пулинг токенов и нормализацию векторов. Размер модели — 25,9 млн параметров; метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 256 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и получения признаков для классификации текста. Она обучена с ContradictionMarginLoss, что ориентирует векторы на различение логически противоречащих и согласованных высказываний. В README приведён результат cosine accuracy 0,95 на contra_eval; это оценка на конкретном наборе, а не гарантия качества на других данных. Модель рассчитана на английский язык. Лицензия в предоставленных данных не указана.

spacemanidol/esci-es-mpnet-crossencoder — модель на базе MPNet, представленная как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения текстов. Обучение описано с использованием CosineSimilarityLoss; в README также приведён способ работы через Sentence-Transformers или Transformers с подходящим pooling. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги. Максимальная длина контекста — 514 токенов. В метаданных основная задача обозначена как sentence-similarity, а каталог также относит модель к feature-extraction. Сведения о поддерживаемых естественных языках и лицензии в предоставленных данных отсутствуют.

NorskHelsenett/eti-granite-4096-v1 — модель Sentence Transformers, дообученная на датасете eti-embedding-training-data-4096-granite-v2 от базовой модели IBM Granite Embedding 311M Multilingual R2. Она использует архитектуру ModernBERT и преобразует предложения и абзацы в нормализованные плотные векторы размерности 768, которые сравниваются по косинусному сходству. В карточке указана максимальная длина последовательности 4096 токенов; метаданные каталога указывают нативный контекст 32768 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены результаты оценки на тестовых выборках для сравнения предложений и информационного поиска; они не гарантируют такую же точность на других данных. Карточка называет норвежские языки no, nb и nn. Сведения о лицензии в предоставленных источниках отсутствуют.

abhiraj1/eval_triple_encoder — модель Sentence Transformer на базе BERT, дообученная автором репозитория от UKPLab/triple-encoders-dailydialog. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между векторами оценивается косинусной мерой. Модель использует mean pooling, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors через библиотеку sentence-transformers. Модель предназначена для сравнения смысловой близости текстов, семантического поиска, поиска парафразов, кластеризации и классификации на основе эмбеддингов. README описывает обучение на наборах пар и троек предложений с функциями потерь CosineSimilarityTripleEncoderLoss и ContrastiveLoss. Данные не устанавливают конкретный язык модели, поэтому языковую специализацию определить нельзя. Условия лицензирования в доступных сведениях не приведены.