/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
17 071–17 100 из 25 791
ichko
redis-langcache-v1-test

ichko/redis-langcache-v1-test — дообученная модель Sentence Transformers на базе redis/langcache-embed-v1 от Redis. Она использует ModernBERT с пуллингом CLS-токена и преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста, а также для других задач, где нужны векторные представления текстов. Лицензия в предоставленных данных не указана.

960июнь 2025ctx8.2K
textembeddinghugging-face
Barleysack
rtdb_embedder

Карточка модели Barleysack/rtdb_embedder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1240июнь 2026ctx512
textembeddingapache-2.0hugging-face
sergeyzh
rubert-mini-uncased

sergeyzh/rubert-mini-uncased — компактная BERT-модель автора sergeyzh для получения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA: модель имеет 7 слоёв, размер эмбеддинга 384 и контекст до 512 токенов. Веса доступны в формате safetensors, лицензия — MIT. Модель предназначена для оценки семантического сходства предложений, поиска и сравнения текстов, а также задач классификации и кластеризации на основе эмбеддингов. README указывает поддержку префиксов FRIDA, включая search_query: и search_document:, и приводит результаты по STS, идентификации перефразирований, выводу по тексту, анализу тональности и выявлению токсичности. Модель uncased: регистр букв не влияет на токенизацию. В приведённых сравнениях она уступает FRIDA по ряду метрик; максимальная длина контекста ограничена 512 токенами.

1435март 2025ctx512
textembeddingmithugging-face
zilliz
semantic-highlight-bilingual-v1

Semantic Highlight Bilingual — модель Zilliz для семантического выделения релевантных предложений в тексте по запросу. Она дообучена на базе BAAI/bge-reranker-v2-m3 и использует архитектуру OpenProvence с весами в формате safetensors. Модель принимает запрос и текстовый контекст, оценивает релевантность токенов, агрегирует оценки по предложениям и возвращает релевантные предложения и показатели сжатия текста. Предназначена для подсветки результатов поиска и сокращения контекста в системах RAG. Модель поддерживает китайский и английский языки. В README указаны размер около 0,6 млрд параметров и вывод за миллисекунды; порог релевантности можно настраивать. Лицензия — MIT. Размер и скорость приведены в карточке модели; фактическая производительность зависит от оборудования и параметров инференса.

432100янв. 2026ctx8.2K
textmithugging-face
hunkim
sentence-transformersklue-bert-base

hunkim/sentence-transformersklue-bert-base — модель семейства BERT, представленная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла, семантического поиска и кластеризации. Модель содержит 137,8 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель обучена с функцией CosineSimilarityLoss и рассчитана на получение эмбеддингов текста. Её можно применять для поиска похожих фрагментов и группировки текстов; в Transformers поверх контекстных представлений требуется использовать подходящий pooling. Репозиторий содержит веса PyTorch. Языковая специализация и лицензия в предоставленных данных не указаны.

1030май 2022ctx512
textembeddinghugging-face
CultriX
SeQwence-14B-EvolMerge

CultriX/SeQwence-14B-EvolMerge — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES. В слиянии использованы CultriX/SeQwence-14Bv1 как базовая модель, а также CultriX/Qwestion-14B и CultriX/Qwen2.5-14B-Wernicke. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; доступен интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. Заявленный родной размер контекста — до 131 072 токенов. В метаданных указан английский язык, поэтому её можно применять для англоязычных запросов и диалогов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

502нояб. 2024ctx131.1K
textapache-2.0hugging-face
YNSScarSaiyan
simi-weights

SImi-2B — генеративная языковая модель, разработанная Dakuwon Moody. Это публичное распространение только весов модели SImiModel без исходного кода архитектуры, обучающего кода и полного внутреннего дерева восстановления. Модель предназначена для генерации текста, следования инструкциям, агентских сценариев и использования инструментов, включая задачи с tool use и function calling. Модель представляет собой decoder-only causal language model в стиле Llama, реализованную на JAX/Flax. Она содержит примерно 2,32 млрд параметров, 30 слоёв, скрытую размерность 2560, GQA с 20 query heads и 4 KV heads, RoPE, RMSNorm и SwiGLU. Используется untied token embedding и LM head, токенизатор GPT-2 BPE с 50 257 токенами и максимальная длина последовательности 1024 токена. Вычисления и веса имеют тип bfloat16. В README указан английский язык модели. Сильными сторонами являются обучение на полноразмерных потоках данных для инструкционного, агентского и инструментального использования, а также компактный размер по сравнению с крупными языковыми моделями. Ограничения включают отсутствие поддержки hosted inference, отсутствие исходного кода и несовместимость с Transformers AutoModel.from_pretrained; для восстановления требуются JAX/Flax и специфические процедуры работы с Orbax. Модель обучалась на AMD Instinct MI300X. Распространяется по лицензии Apache-2.0.

6260сент. 2026
textapache-2.0hugging-face
JatinkInnovision
snowflake-arctic-embed-l-v2.0_all-nli

JatinkInnovision/snowflake-arctic-embed-l-v2.0_all-nli — модель Sentence Transformers, дообученная на наборе all-nli на основе Snowflake/snowflake-arctic-embed-l-v2.0. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 1024; архитектура включает XLM-RoBERTa, пулинг CLS-токена и нормализацию. Максимальная длина последовательности — 8192 токена, сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок. Также её можно применять для кластеризации и классификации текстов на основе эмбеддингов. В README приведена точность cosine_accuracy 0,9558 на TripletEvaluator для all-nli-test. Для использования нужны Sentence Transformers или совместимая среда инференса эмбеддингов. Метаданные указывают лицензию не указывают; условия лицензии по предоставленным данным определить нельзя. Оценка на all-nli не гарантирует качество на других языках и предметных областях.

1120дек. 2024ctx8.2K
textembeddinghugging-face
nota-ai
Solar-Open2-250B-Nota-NVFP4

Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.

1.5K178июль 2026ctx1M
textotherhugging-face
Myric
Spark-X2.5-4B-GGUF

Myric/Spark-X2.5-4B-GGUF — это GGUF-конверсия модели XHToken/Spark-X2.5-4B, предназначенная для генерации текста и работы в сценариях рассуждений, включая агентное программирование. Модель выпускается в нескольких вариантах точности и квантования для запуска через llama.cpp. Модель имеет плотную архитектуру примерно на 4,11 млрд параметров, 36 слоёв, скрытое пространство размером 2560, 16 query-heads и 4 KV-heads. Она использует чередующееся sliding-window attention: 27 слоёв с окном 512 токенов и 9 слоёв с полным вниманием. Заявлен максимальный контекст до 1 048 576 токенов, однако качество на таком контексте в README не измерялось. Модель поддерживает текстовую модальность, имеет словарь на 131 072 токена и выдаёт блок рассуждений. Сильными сторонами являются сравнительно низкие требования к памяти при длинном контексте, наличие вариантов от BF16 до Q4_K_M и оптимизация квантований с importance matrix. Для запуска требуется специально пропатченная ветка llama.cpp с поддержкой архитектуры spark2_5; стандартная upstream-версия не загрузит модель. Необходимо явно задавать размер контекста, иначе может быть предпринята попытка выделить память под полный контекст в 1 млн токенов. Производительность и результаты в README измерены на ограниченном наборе задач, поэтому их нельзя считать универсальными оценками. Модель и конверсия распространяются по лицензии Apache-2.0.

1.8K2сент. 2026
textapache-2.0hugging-face
uukuguy
speechless-code-mistral-orca-7b-v1.0

Speechless Code Mistral Orca 7B v1.0 — языковая модель на архитектуре Mistral с 7,1 млрд параметров, опубликованная uukuguy. Это дообучение Open-Orca/Mistral-7B-OpenOrca на наборе из 201 981 примера: данные охватывают программирование, рассуждения и планирование, включая примеры Python и SQL. Модель предназначена для генерации кода и диалоговых ответов на текстовые инструкции; заявленная длина контекста — 32 768 токенов. В карточке приведён результат 47,561 на HumanEval Python, а также оценки ARC, HellaSwag и MMLU. Они описывают результаты автора и не гарантируют качество на других задачах. Модель распространяется с лицензией Llama 2; перед применением следует соблюдать её условия.

715окт. 2023ctx32.8K
textllama2hugging-face
Downtown-Case
Star-Command-R-Lite-32B-v1

Star-Command-R-Lite-32B-v1 — плотная языковая модель на 32,3 млрд параметров, полученная автором репозитория методом SLERP-слияния Star-Command-R-32B-v1 и Cohere Command R от Cohere. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель работает через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов. Слияние призвано смягчить поведение Star-Command-R и сохранить больше характеристик Command R. Это позволяет использовать модель для диалогов, генерации текста и сценариев с вызовом инструментов. Карточка не сообщает лицензию и не уточняет поддерживаемые естественные языки, поэтому эти характеристики здесь не приводятся.

270сент. 2024ctx131.1K
texthugging-face
billatsectorflow
stella_en_400M_v5

stella_en_400M_v5 — англоязычная модель эмбеддингов от автора stella, обученная на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных фрагментов по запросу, оценки семантического сходства предложений и извлечения текстовых признаков в системах поиска и RAG. Модель содержит 433,9 млн параметров, принимает текст и выдаёт векторы размерностью 512, 768, 1024, 2048, 4096, 6144 или 8192. Для поиска по запросу и сравнения текстов предусмотрены отдельные шаблоны инструкций; автор рекомендует длину последовательности 512 токенов, хотя контекст модели составляет 8192 токена. Модель доступна в форматах PyTorch и safetensors и распространяется по лицензии MIT. В README отмечена хорошая производительность на MTEB, но результаты на специализированных задачах поиска по длинным текстам могут быть слабыми. Подробности обучения и датасеты на момент публикации README не раскрыты.

36K3янв. 2025ctx8.2K
textembeddingmithugging-face
sdadas
st-polish-paraphrase-from-mpnet

sdadas/st-polish-paraphrase-from-mpnet — польская модель Sentence-Transformers, разработанная SDadas. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения перефразировок. Архитектура основана на RoBERTa; модель содержит 151,6 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для семантического поиска по польским текстам, группировки похожих документов и оценки сходства предложений. Для использования через Hugging Face Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Опубликована под лицензией LGPL.

2.6K5июль 2022ctx514
textembeddinglgplhugging-face
Jiunsong
supergemma4-e4b-abliterated

SuperGemma4 E4B Abliterated — производная от Google Gemma 4 E4B Instruct модель Jiunsong для генерации текста в диалоге. По данным карточки, модель прошла абляцию и дополнительную настройку для улучшения форматирования, качества кода и исправления ошибок, структурированных JSON-ответов и скорости первого токена. Метаданные указывают архитектуру Gemma4ForConditionalGeneration и поддержку чата, следования инструкциям и интерфейса вызова инструментов; исходная Gemma 4 E4B также описана как мультимодальная модель для анализа изображений и обработки аудио, однако в метаданных этой модели подтверждена только задача text-generation. Разработчик позиционирует её для помощников по программированию и отладке, выдачи JSON по схеме и серверных агентных сценариев. В README приведены высокие результаты внутренних оценок, но методика и независимая проверка не описаны, поэтому их нельзя считать гарантией качества. Карточка называет релиз приватным; лицензия указана как Gemma. Ослабление отказов от ответов может влиять на поведение модели в чувствительных сценариях.

35982апр. 2026
textgemmahugging-face
princeton-nlp
sup-simcse-bert-base-uncased

princeton-nlp/sup-simcse-bert-base-uncased — модель Princeton NLP для получения эмбеддингов предложений методом SimCSE. Это BERT-base, дообученный с учителем на парах из наборов данных для вывода на естественном языке: пары следствий используются как положительные примеры, а противоречия — как сложные отрицательные. Модель содержит 136,7 млн параметров, принимает текстовые токены и поддерживает контекст до 512 токенов. Модель предназначена для сравнения смысловой близости предложений, поиска семантически похожих текстов и извлечения признаков текста. Разработчики приводят средний результат 81,57 на задачах семантического сходства предложений (STS). Суффикс uncased указывает на регистр-независимую обработку английского текста. Это текстовый энкодер, а не генеративная модель; сведений о лицензии в предоставленных метаданных и использованных источниках нет.

15K26март 2022ctx512
textembeddinghugging-face
Tien09
tiny_bert_ft_sim_score

Tien09/tiny_bert_ft_sim_score — дообученная модель Sentence Transformers на базе prajjwal1/bert-tiny, созданная для сравнения сходства английских предложений и текстовых фрагментов. Она кодирует каждый текст в плотный вектор размерности 128; сходство векторов оценивается косинусной мерой. Модель обучена на наборе pair_similarity из 8 959 примеров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, сравнения пар предложений и классификации на основе эмбеддингов. Архитектура объединяет BertModel и mean pooling. Репозиторий использует формат safetensors, библиотеку sentence-transformers и лицензию Apache-2.0. README содержит несоответствие в заголовке, где упомянут MPNet и AllNLI, тогда как основное описание и метаданные указывают на дообучение bert-tiny на pair_similarity.

700дек. 2024ctx512
textembeddingapache-2.0hugging-face
omarelsayeed
tsdae_small_40mb

omarelsayeed/tsdae_small_40mb — модель на базе BERT, опубликованная в формате PyTorch и обученная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для сравнения их смыслового сходства. Модель подходит для семантического поиска, группировки текстов и других сценариев, где нужно находить близкие по смыслу предложения или документы. Архитектура содержит 12,4 млн параметров, максимальная длина контекста — 512 токенов. Для использования доступны Sentence-Transformers и Hugging Face Transformers с соответствующей операцией pooling. В карточке указано обучение с DenoisingAutoEncoderLoss. Языки обучения или поддержки и лицензия в предоставленных данных не подтверждены. Ограничение контекста — 512 токенов; README не сообщает результатов оценки качества.

640нояб. 2023ctx512
textembeddinghugging-face
swardiantara
two-stage-cdk10-MiniLM-L6-v2

Карточка модели swardiantara/two-stage-cdk10-MiniLM-L6-v2 на Hugging Face совпадает с карточкой swardiantara/two-stage-k10-MiniLM-L6-v2, поэтому описание составлено по ней. swardiantara/two-stage-k10-MiniLM-L6-v2 — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, а также сравнивать смысловую близость предложений. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучалась с ContrastiveLoss, использующей косинусное расстояние. В карточке не указаны языки обучения и оценки качества, поэтому нельзя подтвердить её пригодность для конкретного языка или домена. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.

1180апр. 2025ctx512
textembeddinghugging-face
Sakalti
ultiima-108B

Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.

210янв. 2025ctx131.1K
textotherhugging-face
second-state
Yi-1.5-34B-Chat-16K-GGUF

Yi-1.5-34B-Chat-16K-GGUF — GGUF-квантизированная версия диалоговой языковой модели Yi-1.5-34B-Chat-16K, разработанной 01-ai и квантизированной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая локальное развёртывание через LlamaEdge. Она использует архитектуру Yi, поддерживает шаблон запросов ChatML и контекст длиной до 16 384 токенов. Доступны варианты с точностью от 2 до 16 бит и размером файлов примерно от 12,8 до 36,5 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более сильное сжатие уменьшает требования к памяти, но приводит к заметной потере качества; полноформатные F16-файлы требуют существенно больше ресурсов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии yi-license; подробные условия приведены в файле LICENSE. Для работы требуется совместимый рантайм, например LlamaEdge версии 0.10.0 или выше, с использованием соответствующего GGUF-файла.

5853май 2024
textotherhugging-face
Zyphra
Zamba2-7B-Instruct

Zamba2-7B-Instruct — диалоговая языковая модель Zyphra, дообученная на наборах данных для следования инструкциям и общения на основе Zyphra/Zamba2-7B. Это плотная гибридная архитектура, сочетающая слои пространства состояний Mamba2 с блоками внимания Transformer; общие веса внимания и LoRA-проекции помогают ограничить дополнительные параметры. В метаданных указано 16,8 млрд параметров, а базовый контекст составляет 4096 токенов. Модель предназначена для генерации ответов в чате, выполнения инструкций, рассуждений и других задач общего назначения. В README описан экспериментальный режим контекста до 16 тысяч токенов с резким снижением качества примерно после 18 тысяч. Разработчик заявляет о низкой задержке генерации и меньших затратах памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 требуют отдельной установки; без них задержка и расход памяти значительно выше. Также README предупреждает о временной реализации Hugging Face, совместимость которой с некоторыми инструментами может быть неполной. Лицензия — Apache-2.0.

6.4K93окт. 2024ctx4.1K
textapache-2.0hugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_3440

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_3440 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1030февр. 2025ctx8.2K
textembeddingmithugging-face
avsolatorio
40-100-11-1-2-2-0-0-mean-normed-384-512_GIST_TaylorAI_gte-tiny-20240201182729-latest

gte-tiny — компактная модель для получения эмбеддингов предложений и абзацев, опубликованная avsolatorio. Она основана на архитектуре BERT, содержит 25,9 млн параметров и преобразует текст в плотные векторы размерности 384. Модель дистиллирована из thenlper/gte-small; по данным карточки, её качество сопоставимо с базовой моделью, но немного ниже при примерно вдвое меньшем размере. Эмбеддинги подходят для семантического поиска, кластеризации и сравнения сходства предложений. Контекст модели — 512 токенов. Для использования доступны веса safetensors; README описывает работу через Sentence-Transformers или Transformers с соответствующей операцией pooling. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

1430февр. 2024ctx512
textembeddinghugging-face
overfitting-co
A2P-constrastive-all

Это англоязычная модель Sentence Transformers, созданная сообществом overfitting-co путём дообучения sentence-transformers/all-MiniLM-L6-v2 на 4 505 парах предложений с контрастивной функцией потерь. Энкодер на архитектуре BERT преобразует предложения и абзацы в нормализованные плотные векторы размерности 384; сходство между ними оценивается косинусной мерой. Метаданные указывают размер модели 25,9 млн параметров и контекст до 512 токенов, а карточка README заявляет максимальную длину последовательности 256 токенов. Модель предназначена для семантического сравнения текстов, поиска по смыслу, поиска перефразировок, кластеризации и классификации текстов на основе векторов. Её можно применять для подбора похожих предложений и построения семантического поиска. В README приведены высокие значения точности и F1 на бинарной оценке сходства, однако они относятся к указанным в карточке оценочным наборам и не гарантируют такого же качества на других данных. Опубликованы форматы Safetensors и ONNX; библиотека — Sentence Transformers. Лицензия в предоставленных данных не указана.

1320нояб. 2024ctx512
textembeddinghugging-face
mergekit-community
Albatrox7B

Albatrox7B — объединённая языковая модель на архитектуре Mistral, созданная сообществом с помощью mergekit. Она получена методом SLERP из NousResearch/Nous-Hermes-2-Mistral-7B-DPO и mlabonne/AlphaMonarch-7B; в репозитории указана конфигурация bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на инструкции и рассуждения. Число параметров — 7,1 млрд, заявленный контекст — до 32 768 токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

170май 2024ctx32.8K
texthugging-face
AtesiT
all-MiniLM-L6-v2-ru-adapted

AtesiT/all-MiniLM-L6-v2-ru-adapted — русскоязычная доменно-адаптированная модель на базе sentence-transformers/all-MiniLM-L6-v2, созданная автором AtesiT для семантического поиска. Это энкодер предложений архитектуры BERT с 25,9 млн параметров: он преобразует текст в эмбеддинги размерностью 384, пригодные для сравнения по семантической близости. Модель принимает текст, поддерживает русский язык и рассчитана на последовательности длиной до 512 токенов по метаданным; в README указано ограничение 256 токенов. Модель дообучена на русских парафразах из deepvk/ru-HNP с TripletLoss. Её можно применять для поиска похожих фраз и документов, ранжирования кандидатов по сходству и построения семантического поиска по коллекциям русскоязычных текстов. Лицензия — Apache-2.0. Качество дообученной версии в README ещё не оценено: приведены только низкие результаты базовой модели на rubq-retrieval. Обучение охватывало 20 тысяч примеров и три эпохи, а различие между обучающими парафразами и задачами поиска по QA может ограничивать перенос качества.

1091июль 2026ctx512
textembeddingapache-2.0hugging-face
deepset
all-mpnet-base-v2-table

deepset/all-mpnet-base-v2-table — модель эмбеддингов предложений на основе MPNet, выпущенная компанией deepset. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Обучение использовало MultipleNegativesRankingLoss с косинусной функцией сходства. Векторы можно применять для ранжирования текстов по смысловой близости и поиска похожих фрагментов. Модель принимает текст и выдаёт векторные представления; сведений о специализации на конкретном языке в карточке нет. Лицензия в предоставленных данных не указана.

1677апр. 2022ctx514
textembeddinghugging-face
LazarusNLP
all-nusabert-large-v4

LazarusNLP/all-nusabert-large-v4 — модель эмбеддингов предложений на базе архитектуры BERT, выпущенная LazarusNLP и реализованная на Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения смысловой близости, семантического поиска и кластеризации. Модель обучалась с функцией CachedMultipleNegativesRankingLoss и косинусным сходством; поддерживает контекст до 512 токенов и содержит 435,5 млн параметров. Модель подходит для построения поиска по смыслу и сопоставления индонезийских текстов, включая поиск документов, кластеризацию и задачи сходства предложений. В карточке указаны обучающие наборы данных для индонезийских задач и многоязычного NLI, но полный перечень поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.

1072май 2024ctx512
textembeddinghugging-face
pritamdeka
assamese-bert-nli-v2

pritamdeka/assamese-bert-nli-v2 — модель Sentence Transformers на архитектуре BERT, дообученная на sentence-transformers/all-nli от базовой модели l3cube-pune/assamese-bert. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые можно сравнивать косинусной мерой сходства. Модель рассчитана на семантический поиск, оценку сходства текстов, поиск перефразирований, кластеризацию и классификацию текстов. Модель принимает текст на английском языке, использует среднее объединение токенных представлений и поддерживает последовательности длиной до 512 токенов. В README приведены оценки Spearman 0,8483 на STS-dev и 0,823 на STS-test. Для эмбеддингов длиннее лимита контекста потребуется обрезка или разбиение текста; заявленная языковая специализация — английский, несмотря на название базовой модели. Лицензия в предоставленных данных не указана.

1070июль 2024ctx512
textembeddinghugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей