I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельЭто дообученная модель Sentence Transformers на базе Snowflake/snowflake-arctic-embed-s, разработанная автором репозитория tjohn327. Модель на архитектуре BERT преобразует предложения и абзацы в плотные текстовые векторы размерностью 384 и нормализует их; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и извлечения эмбеддингов. Также её можно применять для поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска по набору val-ir-eval, но они не гарантируют аналогичного качества на других данных. Для модели указано 4 321 обучающий пример пар предложений; язык этих данных в предоставленной карточке не обозначен. В метаданных указана лицензия? Нет сведений о лицензии, поэтому условия использования по этой карточке установить нельзя.
mehularora/scrabble-embed-v1 — модель Sentence Transformers, дообученная автором на базе sentence-transformers/all-MiniLM-L6-v2 на наборе данных CSV. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерностью 384; для сравнения векторов используется косинусное сходство. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов, а README описывает максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Карточка не уточняет языковой охват, поэтому английский язык базовой модели не позволяет уверенно утверждать, что дообученная версия предназначена только для английского. Репозиторий содержит веса Safetensors и использует библиотеку sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.
embedingHF/Sentence_Transformer — модель эмбеддингов предложений на базе BERT, разработанная в рамках Community week Hugging Face для проекта по обучению моделей sentence embeddings на миллиарде пар. Она дообучена контрастивным методом на объединении крупного набора текстовых пар; в README названа исходной предобученной моделью nreimers/MiniLM-L6-H384-uncased. Модель преобразует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения предложений и кластеризации. Модель принимает текст и возвращает векторное представление. README указывает усечение входа длиннее 256 word pieces; при обучении длина последовательности ограничивалась 128 токенами. Метаданные указывают 25,9 млн параметров, контекст 512 токенов, английский язык и библиотеку Sentence Transformers. Репозиторий распространяется по лицензии Apache-2.0.
embaas/sentence-transformers-gte-large — модель эмбеддингов предложений и абзацев, опубликованная embaas. Она преобразует текст в плотные векторы размерностью 1024, предназначенные для поиска по смыслу, сравнения текстов и кластеризации. Модель построена на архитектуре BERT и содержит около 433,9 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для создания векторного поиска и группировки семантически близких предложений или документов. Её можно использовать через библиотеку Sentence-Transformers; в репозитории указаны веса PyTorch. README не сообщает целевые языки или результаты бенчмарков. Условия лицензии в предоставленных данных не указаны.
Mozilla/smart-tab-embedding-fine-tuned — дообученный Mozilla на базе sentence-transformers/all-MiniLM-L6-v2 энкодер предложений Sentence Transformers с архитектурой BERT. Он преобразует предложения и абзацы в плотные семантические векторы размерности 384 и предназначен для сравнения сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 256 токенов; метаданные каталога сообщают нативный контекст 512 токенов. Для сравнения используется косинусное сходство. Модель принимает текст и выдаёт векторы; данных о поддерживаемых языках в карточке нет. Репозиторий содержит форматы ONNX и safetensors и насчитывает около 25,9 млн параметров. Лицензия в предоставленных данных не указана.
Rnfudge/snapd-embedder-v1 — дообученная модель Sentence Transformers на базе unsloth/Qwen3-Embedding-4B, подготовленная Rnfudge с использованием Unsloth. Она преобразует предложения и абзацы в плотные векторы размерностью 2560 и предназначена для семантического поиска, оценки сходства текстов, поиска перефразирований, классификации и кластеризации. Для сравнения в README указана косинусная близость; архитектура использует представление последнего токена и нормализацию векторов. Модель обучена на 223 748 парах anchor-positive с функцией потерь MultipleNegativesRankingLoss и направлением query-to-document. Репозиторий указывает контекст до 40 960 токенов, тогда как README для конфигурации Sentence Transformers задаёт максимальную длину последовательности 8192 токена. Поддерживаемый язык карточки — английский; базовая модель описана как многоязычная. Модель распространяется по лицензии GPL-3.0.
dnth/ssf-retriever-all-MiniLM-L6-v2 — модель Sentence Transformer, дообученная на базе nomic-ai/modernbert-embed-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Архитектура включает ModernBERT, усреднение токенных представлений и нормализацию эмбеддингов; максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В карточке указаны обучающая выборка из 3016 примеров с парами и отрицательными примерами, а также оценочная выборка из 754 примеров. Метаданные называют её дообучением ModernBERT и указывают библиотеку Sentence Transformers. Модель работает с текстом и выдаёт векторы; карточка не указывает поддерживаемые естественные языки, поэтому область применения по языкам не уточняется. Лицензия в предоставленных данных не указана.
Карточка модели hilabs/tm_custom_embedding на Hugging Face совпадает с карточкой nomic-ai/nomic-embed-text-v1.5, поэтому описание составлено по ней. nomic-embed-text-v1.5 — текстовая модель эмбеддингов компании Nomic AI на архитектуре NomicBert, содержащая 136,7 млн параметров. Она преобразует тексты в векторы для семантического поиска, индексации документов для RAG, кластеризации, поиска дубликатов и подготовки признаков для классификации. Для выбора режима перед текстом требуется указать инструкционный префикс, например search_document или search_query. Модель использует Matryoshka Representation Learning: размерность вектора можно уменьшать, снижая потери качества; в карточке приведены результаты для размерностей 768 и 512. README сообщает о последовательностях до 8192 токенов, тогда как метаданные указывают базовый размер контекста 2048 токенов. Доступны форматы safetensors и ONNX, лицензия Apache-2.0. Для совместных мультимодальных эмбеддингов README указывает на отдельную модель nomic-embed-vision-v1.5; сама эта модель кодирует текст.
ksg-dfci/TrialSpace-0526 — модель Sentence Transformer на базе архитектуры Qwen3, обученная на наборах mnri_dataset и contrastive_dataset. Она преобразует текстовые предложения и абзацы в нормализованные плотные векторы размерностью 1024, пригодные для поиска и сравнения по косинусному сходству. В метаданных указано 507,6 млн параметров и контекст до 32 768 токенов; карточка модели заявляет максимальную длину последовательности 2500 токенов. Модель предназначена для извлечения признаков и семантического поиска по тексту. Её можно применять для векторизации документов и запросов, поиска релевантных фрагментов и оценки сходства предложений. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
Frank Wong дообучил модель Sentence Transformers на базе Qwen/Qwen3-Embedding-0.6B на наборе ssf-train-valid-full-synthetic-batch10-cleaned. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразирований, классификации текста и кластеризации. Модель использует архитектуру Qwen3Model с пулингом по последнему токену и нормализацией; сходство векторов можно оценивать косинусной мерой. Максимальная длина последовательности — 32 768 токенов. Веса доступны в формате safetensors, библиотека — Sentence Transformers. Лицензия в предоставленных данных не указана.
Frank Wong дообучил sentence-transformers на базе nomic-ai/modernbert-embed-base на датасете ssf-train-valid-combi-v1v2v3. Модель ModernBERT с 149 млн параметров кодирует предложения и абзацы в плотные векторы размерностью 768; средний pooling по токенам сопровождается нормализацией, а сходство оценивается косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и подготовки эмбеддингов для классификаторов. Карточка описывает англоязычную базовую модель, однако язык дообучающего датасета явно не установлен. Файлы доступны в формате safetensors; лицензия в предоставленных данных не указана.
Карточка модели jamiehudson/579-STmodel-v1 на Hugging Face совпадает с карточкой jamiehudson/579-STmodel-v1a, поэтому описание составлено по ней. jamiehudson/579-STmodel-v1a — модель Sentence-Transformers на базе MPNet, разработанная пользователем Jamie Hudson. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. Для обучения использовалась CosineSimilarityLoss. Репозиторий содержит веса PyTorch, а для работы подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.
Trelis/all-MiniLM-L12-v2-ft-pairs — дообученная модель Sentence Transformers от Trelis на базе sentence-transformers/all-MiniLM-L12-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384 для сравнения смысла и поиска похожих текстов. Архитектура основана на BERT: эмбеддинги токенов объединяются усреднением, затем нормализуются; для сравнения используется косинусное сходство. Модель содержит около 40 млн параметров и рассчитана на последовательности длиной до 512 токенов по метаданным; README указывает максимум 128 токенов. Модель подходит для семантического поиска, оценки текстового сходства, поиска перефразировок, кластеризации и классификации текстов с использованием полученных эмбеддингов. В карточке описан англоязычный базовый чекпойнт, поэтому применение для других языков не подтверждено. Лицензия в предоставленных данных не указана.
KhaledReda выпустил англоязычную модель Sentence Transformers, дообученную на sentence-transformers/all-MiniLM-L6-v2 на наборе пар текстов с оценками сходства. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; для оценки сходства используется косинусная близость. Метаданные указывают 25,9 млн параметров и максимальный контекст 512 токенов, а в карточке модели заявлена максимальная длина последовательности 256 токенов. Модель предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Её можно применять для ранжирования найденных по смыслу предложений и группировки похожих формулировок. Модель принимает текст и выдаёт векторы; основным языком является английский. Лицензия — Apache-2.0.
KhaledReda/all-MiniLM-L6-v46-pair_score — англоязычная модель Sentence Transformers, дообученная на sentence-transformers/all-MiniLM-L6-v2 для сопоставления пар текстов. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и позволяет сравнивать косинусное сходство. Архитектура включает энкодер BERT и усреднение токенных представлений; метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок и кластеризации. Её обучали с CoSENTLoss на парах текстов со score из KhaledReda/pairs_with_scores_v39; README также указывает возможное применение для классификации текста. Она рассчитана на английский язык. Лицензия — Apache-2.0.
KhaledReda/all-MiniLM-L6-v60-pair_score — англоязычная модель Sentence Transformers, дообученная на pairs_with_scores_v48 на основе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для сравнения смысловой близости текстов по косинусному сходству. Архитектура включает энкодер BERT, mean pooling и нормализацию; в метаданных указаны 25,9 млн параметров и контекст до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов, а также для построения эмбеддингов. Карточка указывает Apache 2.0. Модель рассчитана на английский язык; качество для других языков не подтверждено.
KhaledReda разработал all-MiniLM-L6-v61-pair_score — англоязычную модель Sentence Transformers, дообученную на парах текстов с оценками сходства. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 384; близость текстов оценивается косинусным сходством. В архитектуру входят BERT-трансформер, усреднение токенных представлений и нормализация. В README указана максимальная длина последовательности 256 токенов, а в метаданных — контекст до 512 токенов. Модель подходит для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текстов. Она обучена на наборе pairs_with_scores_v49 и имеет 25,9 млн параметров. Лицензия Apache-2.0 разрешает использование на её условиях. Модель предназначена для английского языка; качество на других языках не заявлено.
KhaledReda/all-MiniLM-L6-v62-pair_score — англоязычная модель Sentence Transformers, дообученная автором на датасете пар текстов pairs_with_scores_v50. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и позволяет сравнивать косинусное сходство. Модель основана на энкодере BERT all-MiniLM-L6-v2; метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Вход — текст на английском языке, выход — векторные представления; модель не генерирует текст. Лицензия Apache-2.0.
KhaledReda разработал англоязычную модель Sentence Transformers, дообученную на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и сравнивает по косинусному сходству. Модель подходит для семантического поиска, оценки сходства и перефразирования, а также кластеризации и классификации текста на основе эмбеддингов. Архитектура включает энкодер BERT, mean pooling и нормализацию; размер модели — 25,9 млн параметров. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы; она рассчитана на английский язык. Лицензия — Apache-2.0.
ronanki/all_mpnet_base_128_20_MNR — модель Sentence Transformers на базе MPNet, разработанная ronanki. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и других задач сопоставления по смыслу. Модель обучалась с MultipleNegativesRankingLoss и косинусной мерой сходства; в метаданных указано 136,7 млн параметров и контекст до 514 токенов. Модель принимает текст и возвращает векторные представления, которые можно сравнивать или индексировать для семантического поиска. Репозиторий содержит веса PyTorch; для использования в README рекомендована библиотека sentence-transformers. Лицензия в предоставленных данных не указана.
Карточка модели diptanuc/all-mpnet-base-v2 на Hugging Face совпадает с карточкой XHY-DY/all-mpnet-base, поэтому описание составлено по ней. XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
Mungert/Apriel-1.6-15b-Thinker-GGUF — GGUF-версия мультимодальной модели Apriel-1.6-15B-Thinker, разработанной ServiceNow в рамках серии Apriel SLM. Модель предназначена для рассуждений по тексту и изображениям, диалоговых приложений, следования инструкциям, работы с функциями и инструментами, а также корпоративных сценариев, включая телекоммуникации, розничную торговлю и авиаперевозки. Модель содержит около 15 млрд параметров и поддерживает текстово-изображённые входы. GGUF-файлы созданы с использованием llama.cpp; в процессе квантования для отдельных важных слоёв применялось повышение точности сверх стандартной конфигурации IMatrix, что должно улучшать качество при заданном уровне квантования, хотя увеличивает размер файла. Заявлены более эффективное расходование токенов рассуждений по сравнению с Apriel-1.5-15B-Thinker, конкурентоспособные результаты на ряде бенчмарков и возможность запуска на одной GPU. Для вызовов инструментов предусмотрены специальные токены, включая <tool_calls> и </tool_calls>. Сильные стороны модели — сочетание мультимодального reasoning, относительно небольшого размера, эффективности по памяти и поддержки сценариев function calling. Ограничения конкретного GGUF-файла зависят от выбранного уровня квантования: снижение точности может влиять на качество, а повышенная точность отдельных слоёв увеличивает размер модели. В представленных данных не указаны контекстное окно, языки, точные требования к памяти и полный перечень ограничений базовой модели. Лицензия — MIT.
Модель marumarukun/BAAI-bge-large-en-v1.5_fine_tuned_fold3_20241115_191836 — дообученная англоязычная модель Sentence Transformers на архитектуре BERT. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; сходство текстов можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В метаданных указаны 433,9 млн параметров и формат safetensors. Лицензия в предоставленных данных не указана.
biggy-smiley/bert-base-uncased-fibe-ST — модель Sentence Transformers, дообученная на основе pilotj/bert-base-uncased-fibe-final. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для вычисления семантического сходства по косинусной близости, семантического поиска, поиска перефразировок, классификации текста и кластеризации. В основе — BERT с усреднением токенных представлений; максимальная длина входа составляет 512 токенов. Модель предназначена для получения текстовых эмбеддингов и сравнения фрагментов текста. Карточка описывает использование через библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
Shobhank-iiitdwd/BERT-snli-mnli-stsb — модель на основе BERT, представленная в формате sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения сходства и кластеризации текстов. Модель содержит 136,7 млн параметров, работает с текстом и принимает последовательности длиной до 512 токенов. Модель обучалась с функцией CosineSimilarityLoss и подходит для построения семантического поиска и группировки похожих текстов. Веса доступны в формате PyTorch. В карточке не указаны лицензия и явные ограничения на применение.
BorisTM/bge-m3_en_ru — компактная версия модели эмбеддингов BAAI/bge-m3, подготовленная для английского и русского языков. В модели оставлены токены этих двух языков: размер словаря сокращён до 21% от исходного, а общее число параметров составляет 449,9 млн, или 63,3% от исходного размера. Архитектура — XLM-RoBERTa; модель доступна в формате safetensors и рассчитана на контекст до 8194 токенов. Модель предназначена для получения текстовых эмбеддингов и сравнения сходства предложений, например для семантического поиска и подбора похожих текстов. Её можно использовать с Sentence-Transformers или Transformers, применяя подходящую операцию pooling к контекстным представлениям токенов. Автор README сообщает, что сокращение словаря не ухудшило качество эмбеддингов на английском и русском языках. Это производная версия BAAI/bge-m3, созданная сокращением словаря токенизатора. Лицензия в предоставленных данных не указана.
YeonwooSung/bge-m3-msmarco-v3-sbert — дообученная модель Sentence Transformers на базе BAAI/bge-m3, разработчик в карточке не назван. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, оценки сходства, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из XLM-RoBERTa и mean pooling; максимальная длина последовательности — 8192 токена, сходство обычно оценивается косинусной мерой. Модель обучена на датасете примерно из 499 тысяч примеров с MultipleNegativesRankingLoss. Метаданные характеризуют базовую BGE-M3 как многоязычную модель поиска; конкретный перечень поддерживаемых языков для этой версии не указан. Для работы доступны веса safetensors и библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.
BidirLM-1B-Embedding — мультиязычная модель эмбеддингов из семейства BidirLM, разработанного авторами карточки. Это плотный двунаправленный энкодер BidirLMModel на 1 млрд параметров, полученный дообучением BidirLM/BidirLM-1B-Base. Модель использует mean pooling и выдаёт векторы размерности 1152; поддерживает контекст до 32 768 токенов, хотя в оценке MTEB для этой версии использовалось 512 токенов. Модель предназначена для построения текстовых эмбеддингов и поиска по смыслу: её можно применять для семантического поиска, оценки сходства предложений, кластеризации, поиска межъязыковых соответствий и ранжирования. Также её архитектура поддерживает дальнейшее дообучение для классификации последовательностей и токенов, извлечения сущностей и задач NLI. В карточке заявлена мультиязычная поддержка более чем 140 языков; контрастивное обучение охватывало 87 языков. Для загрузки требуется trust_remote_code=True и совместимая версия Transformers; это следует учитывать при интеграции. Модель распространяется по лицензии Apache-2.0.
CALE-MBERT-en — англоязычная модель эмбеддингов предложений на базе двунаправленного энкодера ModernBERT-large. Разработчик дообучил её с помощью ContrastiveLoss на датасете CALE-SPCD; модель преобразует слова и тексты в плотные векторы размерностью 1024 и рассчитана на контекст до 8192 токенов. Модель предназначена для поиска семантически близких текстов, кластеризации и задач сходства предложений. Её можно использовать для семантического поиска и группировки текстовых данных. Веса опубликованы в формате safetensors, лицензия — Apache-2.0.
tubyneto/crowdedflowertunedbertt — модель Sentence-Transformers на архитектуре MPNet для получения эмбеддингов предложений и абзацев. Она кодирует текст в плотные векторы размерности 768 и предназначена для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. В карточке указано обучение с ContrastiveLoss и косинусной метрикой расстояния. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.