/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
16 711–16 740 из 25 791
mitra-mir
setfit_model_Calgary_epochs2_Jul_15_2023

mitra-mir/setfit_model_Calgary_epochs2_Jul_15_2023 — модель эмбеддингов предложений на базе MPNet, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и рассчитана на контекст до 514 токенов. В README указано обучение с CosineSimilarityLoss; карточка описывает модель как sentence-transformers. Её можно использовать для поиска похожих фрагментов, группировки текстов по смыслу и вычисления семантического сходства. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.

980июль 2023ctx514
textembeddinghugging-face
vitthalbhandari
simcse_retrain_edos_100k_64batch

vitthalbhandari/simcse_retrain_edos_100k_64batch — модель эмбеддингов предложений на базе RoBERTa, опубликованная в формате PyTorch и рассчитанная на использование с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768; заявленные сценарии включают семантический поиск и кластеризацию. В обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для сравнения смысловой близости текстов и построения систем поиска по смыслу. Контекст составляет до 514 токенов. Карточка не сообщает лицензию и языковую специализацию, поэтому их нельзя установить по предоставленным сведениям.

1100дек. 2022ctx514
textembeddinghugging-face
vitthalbhandari
simcse_retrain_edos_10k

vitthalbhandari/simcse_retrain_edos_10k — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством ориентирует модель на получение векторов, отражающих семантическую близость текстов. Модель содержит около 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Её можно использовать через Sentence-Transformers или Transformers с соответствующей операцией pooling. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Лицензия в предоставленных данных не указана.

1310дек. 2022ctx514
textembeddinghugging-face
Tiiny
SmallThinker-21BA3B-Instruct-GGUF

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

1.2K38июль 2025
textapache-2.0hugging-face
ielabgroup
Starbucks_STS

ielabgroup/Starbucks_STS — модель Sentence Transformers на основе BERT, дообученная командой ielabgroup на наборе all-nli для создания текстовых эмбеддингов. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для сравнения косинусным сходством. Модель представлена в работе Starbucks: Improved Training for 2D Matryoshka Embeddings и обучалась с использованием Matryoshka-подхода для работы с несколькими размерностями эмбеддингов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Она принимает текст на английском языке, использует архитектуру BERT с усреднением токенов и поддерживает последовательности до 512 токенов. В README приведён результат Spearman 0,8274 на sts-test для косинусного сходства. Для работы нужны библиотека Sentence Transformers или совместимый движок эмбеддингов; веса доступны в формате safetensors. Лицензия в предоставленных данных не указана. Модель обучена на англоязычных данных, поэтому её применение к другим языкам не подтверждено.

1172окт. 2024ctx512
textembeddinghugging-face
BlueAvenir
sti_workplace_new_prompting_0_1

BlueAvenir/sti_workplace_new_prompting_0_1 — модель семейства XLM-RoBERTa на базе Sentence-Transformers, разработчик в карточке не раскрыт. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 305,2 млн параметров, принимает текст и имеет контекстное окно 514 токенов. В README указано обучение с CosineSimilarityLoss; доступны веса PyTorch и использование через Sentence-Transformers или Transformers с соответствующим pooling. Модель подходит для поиска семантически близких текстов и группировки текстовых данных. Карточка не сообщает языковой охват и лицензию, поэтому их нельзя уточнить.

660июнь 2023ctx514
textembeddinghugging-face
mlx-community
tasksource-ModernBERT-base-embed-8bit

mlx-community/tasksource-ModernBERT-base-embed-8bit — 8-битная версия модели эмбеддингов, преобразованная сообществом mlx-community из tasksource/ModernBERT-base-embed в формат MLX с помощью mlx-lm 0.0.3. Она построена на ModernBERT-base и предназначена для получения векторных представлений предложений и оценки их семантического сходства. Модель подходит для поиска по смыслу, сопоставления запросов с документами и ранжирования текстовых кандидатов; обучающие данные включают наборы для поиска ответов, семантического сходства и распознавания текстовых отношений. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Метаданные указывают английский язык. Квантованное представление рассчитано на запуск в экосистеме MLX; README рекомендует библиотеку mlx-embeddings. Лицензия в предоставленных данных не указана.

810апр. 2025ctx8.2K
textembeddinghugging-face
dhruvnayee
test_help_text

SentenceTransformer на базе BAAI/bge-large-en-v1.5, дообученный на 16 909 примерах с парами anchor, positive и negative. Модель кодирует предложения и абзацы в плотные векторы размерности 1024; архитектура включает BERT, пулинг CLS и нормализацию. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. README указывает максимальную длину последовательности 384 токена, тогда как метаданные каталога указывают нативный контекст 512 токенов. Обучающие примеры и описание базовой модели ориентированы на английский язык. Лицензия в предоставленных данных не указана.

890сент. 2025ctx512
textembeddinghugging-face
hyperalpha
transferzai-bge

Карточка модели hyperalpha/transferzai-bge на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

1290апр. 2026ctx512
textembeddingmithugging-face
swardiantara
two-crk10-m0.05-e2-b128-L6

swardiantara/two-crk10-m0.05-e2-b128-L6 — модель Sentence Transformers на базе архитектуры BERT, которая преобразует предложения и абзацы в плотные векторы размерности 384. Её можно применять для поиска семантически близких текстов, кластеризации и вычисления сходства между предложениями. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. В карточке указано обучение с ContrastiveLoss и косинусной метрикой расстояния. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

1150апр. 2025ctx512
textembeddinghugging-face
swardiantara
two-crk10-m0.15-e2-b128-L6

swardiantara/two-crk10-m0.15-e2-b128-L6 — модель на основе BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель использует библиотеку Sentence Transformers и имеет около 25,9 млн параметров; максимальная длина контекста составляет 512 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. В репозитории указаны веса в формате safetensors. Данные не устанавливают язык модели или её специализированную предметную область. Условия лицензии в доступных сведениях не приведены.

1060апр. 2025ctx512
textembeddinghugging-face
Sakalti
ultiima-32B-v1.5

Sakalti разработал ultiima-32B-v1.5 — объединённую языковую модель на архитектуре Qwen2 с 32 млрд параметров. Она создана методом TIES с помощью mergekit: в качестве основы использована Qwen/Qwen2.5-32B, объединённая с Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Она работает с текстом и поддерживает контекст до 131 072 токенов. Модель подходит для создания чат-ботов, подготовки текстовых ответов и запросов к инструментам в приложениях. В репозитории веса представлены в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

160янв. 2025ctx131.1K
texthugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_840

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_840 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1160февр. 2025ctx8.2K
textembeddingmithugging-face
jamiehudson
579-STmodel-v1a

jamiehudson/579-STmodel-v1a — модель Sentence-Transformers на базе MPNet, разработанная пользователем Jamie Hudson. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. Для обучения использовалась CosineSimilarityLoss. Репозиторий содержит веса PyTorch, а для работы подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.

1270нояб. 2022ctx514
textembeddinghugging-face
RonanMcGovern
all-MiniLM-L12-v2-ft

RonanMcGovern разместил sentence-transformers/all-MiniLM-L12-v2-ft — дообученную модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2. Это компактный BERT-энкодер примерно на 40 млн параметров: он преобразует предложения и абзацы в плотные эмбеддинги размерности 384, нормализует векторы и сравнивает их с помощью косинусного сходства. В README указана максимальная длина последовательности 128 токенов; метаданные указывают контекст до 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также может применяться для поиска перефразирований, кластеризации и классификации текста. Карточка описывает дообучение с TripletLoss, но не уточняет датасет и специализацию, поэтому качество для конкретных доменов и языков из этих данных установить нельзя. Базовая модель англоязычная, и основной сценарий использования — англоязычные тексты. Для применения указана библиотека Sentence Transformers; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

950июнь 2024ctx512
textembeddinghugging-face
Trelis
all-MiniLM-L12-v2-ft-pairs-balanced

Trelis/all-MiniLM-L12-v2-ft-pairs-balanced — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2, разработанная Trelis. Она кодирует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, сравнения текстов, выявления перефразировок и кластеризации. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию; сходство векторов можно измерять косинусной близостью. Модель имеет около 40 млн параметров и принимает последовательности длиной до 512 токенов по метаданным; README указывает максимальную длину 128 токенов. Модель подходит для построения семантического поиска, сравнения коротких текстов и получения признаков для классификации. Базовая модель описана как англоязычная, поэтому основное применение ориентировано на английский. Лицензия в предоставленных данных не указана.

1170июнь 2024ctx512
textembeddinghugging-face
darylnigel
all-MiniLM-L6-v2

Карточка модели darylnigel/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой optimum/all-MiniLM-L6-v2, поэтому описание составлено по ней. optimum/all-MiniLM-L6-v2 — конверсия в формат ONNX модели sentence-transformers/all-MiniLM-L6-v2, разработанной в рамках проекта Hugging Face Community Week. Это компактный энкодер на архитектуре BERT с 25,9 млн параметров, который преобразует предложения и короткие абзацы в плотные векторы размерностью 384 для сравнения семантики. Метаданные указывают контекст до 512 токенов; README сообщает, что по умолчанию вход длиннее 256 word pieces обрезается. Модель предназначена для поиска по смыслу, вычисления сходства предложений и кластеризации текстов. Она обучена контрастивным методом на наборе более чем из миллиарда пар предложений, начиная с предобученной nreimers/MiniLM-L6-H384-uncased. В карточке указана поддержка английского языка. Лицензия — Apache-2.0.

70июль 2026ctx512
textembeddingapache-2.0hugging-face
GRBogar
all-MiniLM-L6-v2

Карточка модели GRBogar/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1310июнь 2026ctx512
textembeddingapache-2.0hugging-face
laowang11111
all-MiniLM-L6-v2

Карточка модели laowang11111/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

290июль 2026ctx512
textembeddingapache-2.0hugging-face
Saim-11
all-MiniLM-L6-v2

Карточка модели Saim-11/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1320апр. 2025ctx512
textembeddingapache-2.0hugging-face
sky-meilin
all-MiniLM-L6-v2

Карточка модели sky-meilin/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

750июнь 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v21-pair_score

KhaledReda/all-MiniLM-L6-v21-pair_score — англоязычная модель Sentence Transformers, дообученная автором на KhaledReda/all-MiniLM-L6-v20-pair_score на наборе пар текстов с оценками сходства, синонимами и опечатками. Она кодирует предложения и абзацы в плотные векторы размерностью 384; сходство между текстами оценивается косинусной близостью. Архитектура основана на BERT и использует усреднение токенных представлений с последующей нормализацией. Модель предназначена для семантического сравнения текстов и поиска: её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога задают нативный контекст 512 токенов. Модель поддерживает английский язык, содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Обучение ориентировано на пары коротких текстов; качество на других языках и существенно отличающихся доменах README не подтверждает.

1240дек. 2025ctx512
textembeddingapache-2.0hugging-face
Abdul-Ib
all-MiniLM-L6-v2-2024

Abdul-I опубликовал модель sentence-transformers на базе BERT, которая преобразует предложения и абзацы в плотные векторы размерностью 384. Её можно использовать для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. При обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством. В репозитории указаны веса в формате safetensors. Языковая специализация и лицензия в предоставленных данных не описаны.

970янв. 2024ctx512
textembeddinghugging-face
Gloomreach
all-MiniLM-L6-v2-ru-hnp-mnrl

Gloomreach/all-MiniLM-L6-v2-ru-hnp-mnrl — русскоязычная модель эмбеддингов на базе sentence-transformers/all-MiniLM-L6-v2. Автор адаптировал её дообучением на 20 000 примерах парафраз из deepvk/ru-HNP в течение пяти эпох с функцией потерь MultipleNegativesRankingLoss. Модель преобразует текст в векторы размерности 384 и предназначена для сравнения семантической близости русскоязычных предложений, поиска похожих текстов и задач ранжирования по сходству. Это 25,9-миллионная модель семейства BERT с mean pooling и нормализацией эмбеддингов; контекст ограничен 512 токенами. В README указан небольшой прирост Recall@5 и Recall@10 после дообучения. Модель распространяется по лицензии Apache-2.0. Автор отмечает, что качество понимания русской семантики остаётся далёким от идеального; результаты могут зависеть от данных и сценария применения.

1080июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v65-pair_score

KhaledReda/all-MiniLM-L6-v65-pair_score — англоязычная модель Sentence Transformers, дообученная автором на sentence-transformers/all-MiniLM-L6-v2 с использованием набора пар текстов и оценок pairs_with_scores_v52. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Архитектура — BERT-энкодер с усреднением токеновых представлений и нормализацией векторов; модель содержит 25,9 млн параметров. В README указан максимальный размер входа 256 токенов, а метаданные каталога указывают контекст 512 токенов. Основной язык — английский. Для сравнения векторов рекомендуется косинусное сходство. Модель подходит для поиска семантически близких фрагментов и ранжирования пар текстов по близости. Лицензия — Apache-2.0. Качество на иных доменах и языках, чем английские данные обучения, не установлено; максимальная длина по README ограничена 256 токенами.

630июнь 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v66-pair_score

KhaledReda/all-MiniLM-L6-v66-pair_score — англоязычный энкодер предложений на базе Sentence Transformers, дообученный KhaledReda на наборе pairs_with_scores_v53. Модель преобразует предложения и абзацы в плотные векторы размерности 384 и нормализует их; для сравнения используется косинусное сходство. Архитектура включает Transformer на базе BertModel и mean pooling. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов; в README максимальная длина последовательности указана как 256 токенов. Модель предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Обучающий набор содержит пары текстов с оценками сходства, а функция потерь — CoSENTLoss. Векторы можно использовать в системах поиска и других задачах сравнения текстов. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Указанные в карточке сценарии описывают возможности эмбеддинговой модели, но качество для конкретного домена следует проверять отдельно.

710июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v68-pair_score

all-MiniLM-L6-v68-pairscore — англоязычная модель Sentence Transformers, дообученная KhaledReda на базе KhaledReda/all-MiniLM-L6-v67-pair_score на наборе pairs_with_scores_v55. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена прежде всего для оценки семантического сходства и семантического поиска; также подходит для поиска перефразирований, кластеризации и классификации текста. Архитектура основана на BERT с усреднением токенных представлений и нормализацией векторов; сходство рассчитывается косинусной мерой. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы, которые можно сравнивать для ранжирования по смысловой близости. Обучающие данные содержат пары текстов с оценками сходства. Лицензия — Apache-2.0. Модель рассчитана на английский язык; качество на других языках не подтверждено. При использовании следует учитывать ограничение длины входа и проверять качество на целевых данных.

1040июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v69-pair_score

Khaled Reda создал all-MiniLM-L6-v69-pair_score — англоязычный Sentence Transformer, дообученный на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. Энкодер на архитектуре BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Метаданные указывают максимальный контекст 512 токенов, а README описывает ограничение последовательности в 256 токенов. Модель предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Её можно использовать для построения векторных представлений и ранжирования текстов по близости; модель принимает текст и выдаёт эмбеддинги. Обучающие данные — пары с числовыми оценками сходства из датасета pairs_with_scores_v56. Модель распространяется по лицензии Apache-2.0. Она рассчитана на английский язык; качество для других языков не подтверждено. Для корректной обработки входов учитывайте указанное в README ограничение последовательности в 256 токенов.

170июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v72-pair_score

KhaledReda разработал all-MiniLM-L6-v72-pair_score как Sentence Transformers энкодер, дообученный на парах текстов с оценками сходства из набора pairs_with_scores_v58. Модель основана на sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру BERT с усреднением токенных представлений и нормализацией выходного вектора. Модель кодирует предложения и абзацы в плотные векторы размерности 384; сходство можно оценивать косинусной мерой. Она подходит для поиска семантически близких текстов, сравнения предложений и абзацев, поиска перефразировок, кластеризации и классификации текста. Основной язык — английский. README указывает максимальную длину последовательности 256 токенов, тогда как метаданные сообщают контекст 512 токенов. Число параметров — 25,9 млн. Модель принимает текст и выдаёт векторы и оценки сходства. Лицензия — Apache-2.0. Результаты зависят от домена и качества входных текстов; при работе с длинными последовательностями следует учитывать ограничение длины модели.

150июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v79-pair_score

KhaledReda/all-MiniLM-L6-v79-pair_score — англоязычная модель Sentence Transformers, дообученная KhaledReda на парах текстов с оценками сходства. Она основана на sentence-transformers/all-MiniLM-L6-v2, использует энкодер BERT и преобразует предложения и абзацы в плотные векторы размерности 384; для оценки близости подходит косинусное сходство. В README указана максимальная длина последовательности 256 токенов, а метаданные указывают контекст до 512 токенов. Модель предназначена для семантического сравнения текстов и получения эмбеддингов для поиска, выявления перефразировок, кластеризации и классификации текстов. Она обучалась с CoSENTLoss на датасете pairs_with_scores_v64. Лицензия — Apache-2.0. Модель ориентирована на английский язык. Векторы могут терять точность на текстах длиннее рабочего ограничения последовательности, а результаты для других языков в карточке не подтверждены.

180авг. 2026ctx512
textembeddingapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей