/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
16 321–16 350 из 25 791
tjohn327
scion-snowflake-arctic-embed-s-v2

Это дообученная модель Sentence Transformers на базе Snowflake/snowflake-arctic-embed-s, разработанная автором репозитория tjohn327. Модель на архитектуре BERT преобразует предложения и абзацы в плотные текстовые векторы размерностью 384 и нормализует их; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и извлечения эмбеддингов. Также её можно применять для поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска по набору val-ir-eval, но они не гарантируют аналогичного качества на других данных. Для модели указано 4 321 обучающий пример пар предложений; язык этих данных в предоставленной карточке не обозначен. В метаданных указана лицензия? Нет сведений о лицензии, поэтому условия использования по этой карточке установить нельзя.

1600март 2025ctx512
textembeddinghugging-face
mehularora
scrabble-embed-v1

mehularora/scrabble-embed-v1 — модель Sentence Transformers, дообученная автором на базе sentence-transformers/all-MiniLM-L6-v2 на наборе данных CSV. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерностью 384; для сравнения векторов используется косинусное сходство. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов, а README описывает максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Карточка не уточняет языковой охват, поэтому английский язык базовой модели не позволяет уверенно утверждать, что дообученная версия предназначена только для английского. Репозиторий содержит веса Safetensors и использует библиотеку sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.

980дек. 2025ctx512
textembeddinghugging-face
embedingHF
Sentence_Transformer

embedingHF/Sentence_Transformer — модель эмбеддингов предложений на базе BERT, разработанная в рамках Community week Hugging Face для проекта по обучению моделей sentence embeddings на миллиарде пар. Она дообучена контрастивным методом на объединении крупного набора текстовых пар; в README названа исходной предобученной моделью nreimers/MiniLM-L6-H384-uncased. Модель преобразует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения предложений и кластеризации. Модель принимает текст и возвращает векторное представление. README указывает усечение входа длиннее 256 word pieces; при обучении длина последовательности ограничивалась 128 токенами. Метаданные указывают 25,9 млн параметров, контекст 512 токенов, английский язык и библиотеку Sentence Transformers. Репозиторий распространяется по лицензии Apache-2.0.

1160апр. 2026ctx512
textembeddingapache-2.0hugging-face
embaas
sentence-transformers-gte-large

embaas/sentence-transformers-gte-large — модель эмбеддингов предложений и абзацев, опубликованная embaas. Она преобразует текст в плотные векторы размерностью 1024, предназначенные для поиска по смыслу, сравнения текстов и кластеризации. Модель построена на архитектуре BERT и содержит около 433,9 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для создания векторного поиска и группировки семантически близких предложений или документов. Её можно использовать через библиотеку Sentence-Transformers; в репозитории указаны веса PyTorch. README не сообщает целевые языки или результаты бенчмарков. Условия лицензии в предоставленных данных не указаны.

9.4K1авг. 2023ctx512
textembeddinghugging-face
Mozilla
smart-tab-embedding-fine-tuned

Mozilla/smart-tab-embedding-fine-tuned — дообученный Mozilla на базе sentence-transformers/all-MiniLM-L6-v2 энкодер предложений Sentence Transformers с архитектурой BERT. Он преобразует предложения и абзацы в плотные семантические векторы размерности 384 и предназначен для сравнения сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 256 токенов; метаданные каталога сообщают нативный контекст 512 токенов. Для сравнения используется косинусное сходство. Модель принимает текст и выдаёт векторы; данных о поддерживаемых языках в карточке нет. Репозиторий содержит форматы ONNX и safetensors и насчитывает около 25,9 млн параметров. Лицензия в предоставленных данных не указана.

1280февр. 2025ctx512
textembeddinghugging-face
Rnfudge
snapd-embedder-v1

Rnfudge/snapd-embedder-v1 — дообученная модель Sentence Transformers на базе unsloth/Qwen3-Embedding-4B, подготовленная Rnfudge с использованием Unsloth. Она преобразует предложения и абзацы в плотные векторы размерностью 2560 и предназначена для семантического поиска, оценки сходства текстов, поиска перефразирований, классификации и кластеризации. Для сравнения в README указана косинусная близость; архитектура использует представление последнего токена и нормализацию векторов. Модель обучена на 223 748 парах anchor-positive с функцией потерь MultipleNegativesRankingLoss и направлением query-to-document. Репозиторий указывает контекст до 40 960 токенов, тогда как README для конфигурации Sentence Transformers задаёт максимальную длину последовательности 8192 токена. Поддерживаемый язык карточки — английский; базовая модель описана как многоязычная. Модель распространяется по лицензии GPL-3.0.

680март 2026ctx41K
textembeddinggpl-3.0hugging-face
dnth
ssf-retriever-all-MiniLM-L6-v2

dnth/ssf-retriever-all-MiniLM-L6-v2 — модель Sentence Transformer, дообученная на базе nomic-ai/modernbert-embed-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Архитектура включает ModernBERT, усреднение токенных представлений и нормализацию эмбеддингов; максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В карточке указаны обучающая выборка из 3016 примеров с парами и отрицательными примерами, а также оценочная выборка из 754 примеров. Метаданные называют её дообучением ModernBERT и указывают библиотеку Sentence Transformers. Модель работает с текстом и выдаёт векторы; карточка не указывает поддерживаемые естественные языки, поэтому область применения по языкам не уточняется. Лицензия в предоставленных данных не указана.

920авг. 2025ctx8.2K
textembeddinghugging-face
hilabs
tm_custom_embedding

Карточка модели hilabs/tm_custom_embedding на Hugging Face совпадает с карточкой nomic-ai/nomic-embed-text-v1.5, поэтому описание составлено по ней. nomic-embed-text-v1.5 — текстовая модель эмбеддингов компании Nomic AI на архитектуре NomicBert, содержащая 136,7 млн параметров. Она преобразует тексты в векторы для семантического поиска, индексации документов для RAG, кластеризации, поиска дубликатов и подготовки признаков для классификации. Для выбора режима перед текстом требуется указать инструкционный префикс, например search_document или search_query. Модель использует Matryoshka Representation Learning: размерность вектора можно уменьшать, снижая потери качества; в карточке приведены результаты для размерностей 768 и 512. README сообщает о последовательностях до 8192 токенов, тогда как метаданные указывают базовый размер контекста 2048 токенов. Доступны форматы safetensors и ONNX, лицензия Apache-2.0. Для совместных мультимодальных эмбеддингов README указывает на отдельную модель nomic-embed-vision-v1.5; сама эта модель кодирует текст.

170июль 2026ctx2K
textembeddingapache-2.0hugging-face
ksg-dfci
TrialSpace-0526

ksg-dfci/TrialSpace-0526 — модель Sentence Transformer на базе архитектуры Qwen3, обученная на наборах mnri_dataset и contrastive_dataset. Она преобразует текстовые предложения и абзацы в нормализованные плотные векторы размерностью 1024, пригодные для поиска и сравнения по косинусному сходству. В метаданных указано 507,6 млн параметров и контекст до 32 768 токенов; карточка модели заявляет максимальную длину последовательности 2500 токенов. Модель предназначена для извлечения признаков и семантического поиска по тексту. Её можно применять для векторизации документов и запросов, поиска релевантных фрагментов и оценки сходства предложений. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

1.6K0май 2026ctx32.8K
textembeddinghugging-face
frankwong2001
4_attempt_Qwen3-Embedding-0.6B

Frank Wong дообучил модель Sentence Transformers на базе Qwen/Qwen3-Embedding-0.6B на наборе ssf-train-valid-full-synthetic-batch10-cleaned. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразирований, классификации текста и кластеризации. Модель использует архитектуру Qwen3Model с пулингом по последнему токену и нормализацией; сходство векторов можно оценивать косинусной мерой. Максимальная длина последовательности — 32 768 токенов. Веса доступны в формате safetensors, библиотека — Sentence Transformers. Лицензия в предоставленных данных не указана.

1200сент. 2025ctx32.8K
textembeddinghugging-face
frankwong2001
4_modernbert-embed-base

Frank Wong дообучил sentence-transformers на базе nomic-ai/modernbert-embed-base на датасете ssf-train-valid-combi-v1v2v3. Модель ModernBERT с 149 млн параметров кодирует предложения и абзацы в плотные векторы размерностью 768; средний pooling по токенам сопровождается нормализацией, а сходство оценивается косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и подготовки эмбеддингов для классификаторов. Карточка описывает англоязычную базовую модель, однако язык дообучающего датасета явно не установлен. Файлы доступны в формате safetensors; лицензия в предоставленных данных не указана.

1220сент. 2025ctx8.2K
textembeddinghugging-face
jamiehudson
579-STmodel-v1

Карточка модели jamiehudson/579-STmodel-v1 на Hugging Face совпадает с карточкой jamiehudson/579-STmodel-v1a, поэтому описание составлено по ней. jamiehudson/579-STmodel-v1a — модель Sentence-Transformers на базе MPNet, разработанная пользователем Jamie Hudson. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. Для обучения использовалась CosineSimilarityLoss. Репозиторий содержит веса PyTorch, а для работы подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.

670нояб. 2022ctx514
textembeddinghugging-face
Trelis
all-MiniLM-L12-v2-ft-pairs

Trelis/all-MiniLM-L12-v2-ft-pairs — дообученная модель Sentence Transformers от Trelis на базе sentence-transformers/all-MiniLM-L12-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384 для сравнения смысла и поиска похожих текстов. Архитектура основана на BERT: эмбеддинги токенов объединяются усреднением, затем нормализуются; для сравнения используется косинусное сходство. Модель содержит около 40 млн параметров и рассчитана на последовательности длиной до 512 токенов по метаданным; README указывает максимум 128 токенов. Модель подходит для семантического поиска, оценки текстового сходства, поиска перефразировок, кластеризации и классификации текстов с использованием полученных эмбеддингов. В карточке описан англоязычный базовый чекпойнт, поэтому применение для других языков не подтверждено. Лицензия в предоставленных данных не указана.

991июнь 2024ctx512
textembeddinghugging-face
KhaledReda
all-MiniLM-L6-v17-pair_score

KhaledReda выпустил англоязычную модель Sentence Transformers, дообученную на sentence-transformers/all-MiniLM-L6-v2 на наборе пар текстов с оценками сходства. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; для оценки сходства используется косинусная близость. Метаданные указывают 25,9 млн параметров и максимальный контекст 512 токенов, а в карточке модели заявлена максимальная длина последовательности 256 токенов. Модель предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Её можно применять для ранжирования найденных по смыслу предложений и группировки похожих формулировок. Модель принимает текст и выдаёт векторы; основным языком является английский. Лицензия — Apache-2.0.

1210окт. 2025ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v46-pair_score

KhaledReda/all-MiniLM-L6-v46-pair_score — англоязычная модель Sentence Transformers, дообученная на sentence-transformers/all-MiniLM-L6-v2 для сопоставления пар текстов. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и позволяет сравнивать косинусное сходство. Архитектура включает энкодер BERT и усреднение токенных представлений; метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок и кластеризации. Её обучали с CoSENTLoss на парах текстов со score из KhaledReda/pairs_with_scores_v39; README также указывает возможное применение для классификации текста. Она рассчитана на английский язык. Лицензия — Apache-2.0.

1370апр. 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v60-pair_score

KhaledReda/all-MiniLM-L6-v60-pair_score — англоязычная модель Sentence Transformers, дообученная на pairs_with_scores_v48 на основе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для сравнения смысловой близости текстов по косинусному сходству. Архитектура включает энкодер BERT, mean pooling и нормализацию; в метаданных указаны 25,9 млн параметров и контекст до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов, а также для построения эмбеддингов. Карточка указывает Apache 2.0. Модель рассчитана на английский язык; качество для других языков не подтверждено.

1180июнь 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v61-pair_score

KhaledReda разработал all-MiniLM-L6-v61-pair_score — англоязычную модель Sentence Transformers, дообученную на парах текстов с оценками сходства. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 384; близость текстов оценивается косинусным сходством. В архитектуру входят BERT-трансформер, усреднение токенных представлений и нормализация. В README указана максимальная длина последовательности 256 токенов, а в метаданных — контекст до 512 токенов. Модель подходит для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текстов. Она обучена на наборе pairs_with_scores_v49 и имеет 25,9 млн параметров. Лицензия Apache-2.0 разрешает использование на её условиях. Модель предназначена для английского языка; качество на других языках не заявлено.

1000июнь 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v62-pair_score

KhaledReda/all-MiniLM-L6-v62-pair_score — англоязычная модель Sentence Transformers, дообученная автором на датасете пар текстов pairs_with_scores_v50. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и позволяет сравнивать косинусное сходство. Модель основана на энкодере BERT all-MiniLM-L6-v2; метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Вход — текст на английском языке, выход — векторные представления; модель не генерирует текст. Лицензия Apache-2.0.

930июнь 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v63-pair_score

KhaledReda разработал англоязычную модель Sentence Transformers, дообученную на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и сравнивает по косинусному сходству. Модель подходит для семантического поиска, оценки сходства и перефразирования, а также кластеризации и классификации текста на основе эмбеддингов. Архитектура включает энкодер BERT, mean pooling и нормализацию; размер модели — 25,9 млн параметров. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы; она рассчитана на английский язык. Лицензия — Apache-2.0.

880июнь 2026ctx512
textembeddingapache-2.0hugging-face
ronanki
all_mpnet_base_128_20_MNR

ronanki/all_mpnet_base_128_20_MNR — модель Sentence Transformers на базе MPNet, разработанная ronanki. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и других задач сопоставления по смыслу. Модель обучалась с MultipleNegativesRankingLoss и косинусной мерой сходства; в метаданных указано 136,7 млн параметров и контекст до 514 токенов. Модель принимает текст и возвращает векторные представления, которые можно сравнивать или индексировать для семантического поиска. Репозиторий содержит веса PyTorch; для использования в README рекомендована библиотека sentence-transformers. Лицензия в предоставленных данных не указана.

1250март 2023ctx514
textembeddinghugging-face
diptanuc
all-mpnet-base-v2

Карточка модели diptanuc/all-mpnet-base-v2 на Hugging Face совпадает с карточкой XHY-DY/all-mpnet-base, поэтому описание составлено по ней. XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

1081апр. 2023ctx514
textembeddingapache-2.0hugging-face
Mungert
Apriel-1.6-15b-Thinker-GGUF

Mungert/Apriel-1.6-15b-Thinker-GGUF — GGUF-версия мультимодальной модели Apriel-1.6-15B-Thinker, разработанной ServiceNow в рамках серии Apriel SLM. Модель предназначена для рассуждений по тексту и изображениям, диалоговых приложений, следования инструкциям, работы с функциями и инструментами, а также корпоративных сценариев, включая телекоммуникации, розничную торговлю и авиаперевозки. Модель содержит около 15 млрд параметров и поддерживает текстово-изображённые входы. GGUF-файлы созданы с использованием llama.cpp; в процессе квантования для отдельных важных слоёв применялось повышение точности сверх стандартной конфигурации IMatrix, что должно улучшать качество при заданном уровне квантования, хотя увеличивает размер файла. Заявлены более эффективное расходование токенов рассуждений по сравнению с Apriel-1.5-15B-Thinker, конкурентоспособные результаты на ряде бенчмарков и возможность запуска на одной GPU. Для вызовов инструментов предусмотрены специальные токены, включая <tool_calls> и </tool_calls>. Сильные стороны модели — сочетание мультимодального reasoning, относительно небольшого размера, эффективности по памяти и поддержки сценариев function calling. Ограничения конкретного GGUF-файла зависят от выбранного уровня квантования: снижение точности может влиять на качество, а повышенная точность отдельных слоёв увеличивает размер модели. В представленных данных не указаны контекстное окно, языки, точные требования к памяти и полный перечень ограничений базовой модели. Лицензия — MIT.

8371дек. 2025
textimagemithugging-face
marumarukun
BAAI-bge-large-en-v1.5_fine_tuned_fold3_20241115_191836

Модель marumarukun/BAAI-bge-large-en-v1.5_fine_tuned_fold3_20241115_191836 — дообученная англоязычная модель Sentence Transformers на архитектуре BERT. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; сходство текстов можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В метаданных указаны 433,9 млн параметров и формат safetensors. Лицензия в предоставленных данных не указана.

880нояб. 2024ctx512
textembeddinghugging-face
biggy-smiley
bert-base-uncased-fibe-ST

biggy-smiley/bert-base-uncased-fibe-ST — модель Sentence Transformers, дообученная на основе pilotj/bert-base-uncased-fibe-final. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для вычисления семантического сходства по косинусной близости, семантического поиска, поиска перефразировок, классификации текста и кластеризации. В основе — BERT с усреднением токенных представлений; максимальная длина входа составляет 512 токенов. Модель предназначена для получения текстовых эмбеддингов и сравнения фрагментов текста. Карточка описывает использование через библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

130сент. 2024ctx512
textembeddinghugging-face
Shobhank-iiitdwd
BERT-snli-mnli-stsb

Shobhank-iiitdwd/BERT-snli-mnli-stsb — модель на основе BERT, представленная в формате sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения сходства и кластеризации текстов. Модель содержит 136,7 млн параметров, работает с текстом и принимает последовательности длиной до 512 токенов. Модель обучалась с функцией CosineSimilarityLoss и подходит для построения семантического поиска и группировки похожих текстов. Веса доступны в формате PyTorch. В карточке не указаны лицензия и явные ограничения на применение.

1260дек. 2022ctx512
textembeddinghugging-face
BorisTM
bge-m3_en_ru

BorisTM/bge-m3_en_ru — компактная версия модели эмбеддингов BAAI/bge-m3, подготовленная для английского и русского языков. В модели оставлены токены этих двух языков: размер словаря сокращён до 21% от исходного, а общее число параметров составляет 449,9 млн, или 63,3% от исходного размера. Архитектура — XLM-RoBERTa; модель доступна в формате safetensors и рассчитана на контекст до 8194 токенов. Модель предназначена для получения текстовых эмбеддингов и сравнения сходства предложений, например для семантического поиска и подбора похожих текстов. Её можно использовать с Sentence-Transformers или Transformers, применяя подходящую операцию pooling к контекстным представлениям токенов. Автор README сообщает, что сокращение словаря не ухудшило качество эмбеддингов на английском и русском языках. Это производная версия BAAI/bge-m3, созданная сокращением словаря токенизатора. Лицензия в предоставленных данных не указана.

30911июнь 2024ctx8.2K
textembeddinghugging-face
YeonwooSung
bge-m3-msmarco-v3-sbert

YeonwooSung/bge-m3-msmarco-v3-sbert — дообученная модель Sentence Transformers на базе BAAI/bge-m3, разработчик в карточке не назван. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, оценки сходства, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из XLM-RoBERTa и mean pooling; максимальная длина последовательности — 8192 токена, сходство обычно оценивается косинусной мерой. Модель обучена на датасете примерно из 499 тысяч примеров с MultipleNegativesRankingLoss. Метаданные характеризуют базовую BGE-M3 как многоязычную модель поиска; конкретный перечень поддерживаемых языков для этой версии не указан. Для работы доступны веса safetensors и библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

1301март 2025ctx8.2K
textembeddinghugging-face
BidirLM
BidirLM-1B-Embedding

BidirLM-1B-Embedding — мультиязычная модель эмбеддингов из семейства BidirLM, разработанного авторами карточки. Это плотный двунаправленный энкодер BidirLMModel на 1 млрд параметров, полученный дообучением BidirLM/BidirLM-1B-Base. Модель использует mean pooling и выдаёт векторы размерности 1152; поддерживает контекст до 32 768 токенов, хотя в оценке MTEB для этой версии использовалось 512 токенов. Модель предназначена для построения текстовых эмбеддингов и поиска по смыслу: её можно применять для семантического поиска, оценки сходства предложений, кластеризации, поиска межъязыковых соответствий и ранжирования. Также её архитектура поддерживает дальнейшее дообучение для классификации последовательностей и токенов, извлечения сущностей и задач NLI. В карточке заявлена мультиязычная поддержка более чем 140 языков; контрастивное обучение охватывало 87 языков. Для загрузки требуется trust_remote_code=True и совместимая версия Transformers; это следует учитывать при интеграции. Модель распространяется по лицензии Apache-2.0.

6.9K5апр. 2026ctx32.8K
textembeddingapache-2.0hugging-face
gabrielloiseau
CALE-MBERT-en

CALE-MBERT-en — англоязычная модель эмбеддингов предложений на базе двунаправленного энкодера ModernBERT-large. Разработчик дообучил её с помощью ContrastiveLoss на датасете CALE-SPCD; модель преобразует слова и тексты в плотные векторы размерностью 1024 и рассчитана на контекст до 8192 токенов. Модель предназначена для поиска семантически близких текстов, кластеризации и задач сходства предложений. Её можно использовать для семантического поиска и группировки текстовых данных. Веса опубликованы в формате safetensors, лицензия — Apache-2.0.

1250авг. 2025ctx8.2K
textembeddingapache-2.0hugging-face
tubyneto
crowdedflowertunedbertt

tubyneto/crowdedflowertunedbertt — модель Sentence-Transformers на архитектуре MPNet для получения эмбеддингов предложений и абзацев. Она кодирует текст в плотные векторы размерности 768 и предназначена для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. В карточке указано обучение с ContrastiveLoss и косинусной метрикой расстояния. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

660нояб. 2022ctx514
textembeddinghugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей