/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
7 531–7 560 из 25 791
atakankutalp
LFM2.5-2.6B-heretic

atakankutalp/LFM2.5-2.6B-heretic — это изменённая версия LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic 1.4.0. В модели применена направленная абляция: из весов удалено направление, связанное с отказами. Число параметров не изменилось и составляет 2,69 млрд; архитектура LFM2 — плотная языковая модель из 30 слоёв, сочетающая блоки коротких свёрток и группированное внимание. Контекст — 131 072 токена. Репозиторий содержит веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для генерации текста в диалоге и агентных сценариев: вызова инструментов, извлечения данных, RAG и работы с длинным контекстом. Базовая LFM2.5 поддерживает 17 языков, включая русский, английский, китайский, арабский и другие; карточка не сообщает, насколько абляция влияет на качество по отдельным языкам. В сравнении с исходной моделью отказы на чувствительных запросах стали заметно реже, поэтому ответы не следует считать защищёнными фильтрами безопасности. Исходная карточка также не рекомендует базовую модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, без конкретных условий в предоставленных данных.

1.8K0сент. 2026ctx131.1K
textotherhugging-face
rethem-expeditecommerce
MiniLM-L6-GPL

Карточка модели rethem-expeditecommerce/MiniLM-L6-GPL на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.

1220май 2023ctx512
textembeddingapache-2.0hugging-face
sdadas
mmlw-retrieval-e5-base

MMLW-retrieval-e5-base — польскоязычный текстовый энкодер для информационного поиска, разработанный авторами проекта MMLW. Модель основана на XLM-RoBERTa и содержит 305,2 млн параметров; она преобразует запросы и фрагменты документов в векторы размерностью 768 для сравнения их релевантности. Максимальная длина контекста — 514 токенов. Модель сначала обучали методом дистилляции на 60 млн польско-английских пар текстов, используя англоязычные FlagEmbeddings (BGE) как учителя, затем дообучили с контрастивной функцией потерь на польской обучающей части MS MARCO. Для кодирования запросов нужен префикс «query: », а для фрагментов документов — «passage: ». На польском бенчмарке PIRB модель показала NDCG@10 56,09. Подходит для семантического поиска и построения систем извлечения информации. Распространяется по лицензии Apache-2.0.

2091окт. 2023ctx514
textembeddingapache-2.0hugging-face
hunkim
model1

hunkim/model1 — модель на базе RoBERTa, опубликованная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Параметры модели включают 137,8 млн, максимальная длина контекста — 512 токенов. Векторы можно использовать для поиска предложений по смыслу, кластеризации и сравнения текстов по семантическому сходству. Модель также поддерживает извлечение признаков; для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. README рекомендует библиотеку Sentence-Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Условия лицензии в предоставленных данных не указаны.

640май 2022ctx512
textembeddinghugging-face
celik-muhammed
multi-qa-mpnet-base-dot-v1-finetuned-dtc-zoomcamp

Модель celik-muhammed/multi-qa-mpnet-base-dot-v1-finetuned-dtc-zoomcamp — дообученная модель Sentence Transformers на архитектуре MPNet, разработанная Muhammed Celik. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу и кластеризации. В обучении использовались MultipleNegativesRankingLoss и OnlineContrastiveLoss с косинусным сходством. Модель содержит 136,7 млн параметров, принимает текст и формирует векторные представления; заявленная длина контекста — 514 токенов. Доступны форматы PyTorch, Safetensors и TFLite. Лицензия в предоставленных данных не указана.

690февр. 2024ctx514
textembeddinghugging-face
DataikuNLP
paraphrase-MiniLM-L6-v2

DataikuNLP/paraphrase-MiniLM-L6-v2 — копия модели sentence-transformers, обученной командой Sentence Transformers. Это компактный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в плотные векторы размерности 384. Модель предназначена для вычисления сходства предложений и получения эмбеддингов для семантического поиска и кластеризации. Её можно применять для поиска фрагментов текста по смыслу, группировки похожих высказываний и сравнения формулировок. В README показаны варианты использования через Sentence-Transformers и Transformers; для Transformers требуется подходящая операция pooling поверх контекстных представлений токенов. Максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторы; язык в карточке явно не указан. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Это копия модели sentence-transformers/paraphrase-MiniLM-L6-v2, а не отдельное дообучение Dataiku.

690март 2022ctx512
textembeddingapache-2.0hugging-face
orenpereg
paraphrase-mpnet-base-v2_sst2_4samps

orenpereg/paraphrase-mpnet-base-v2_sst2_4samps — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Контекст модели составляет 514 токенов; для работы доступны веса PyTorch и библиотека Sentence-Transformers. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно применять для поиска похожих высказываний и группировки текстов по смыслу. Языки обучения и лицензия в предоставленных данных не указаны.

960май 2022ctx514
textembeddinghugging-face
seslami-pplx
pplx-embed-context-v1.3.1-4B

pplx-embed-context-v1.3.1-4B — контекстная модель эмбеддингов предложений от seslami, представленная как предварительная закрытая версия. Она предназначена для текстового поиска и улучшает разрешение перефразировок, снижает влияние лексически похожих отвлекающих фрагментов и помогает находить связанные с запросом термины из глоссария. Модель использует плотную архитектуру bidirectional_pplx_qwen3, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов. Модель загружается через Transformers и распространяется в формате safetensors. По карточке она является заменой версии v1.3-4B с той же архитектурой и кодом загрузки. Лицензия — Apache-2.0. Карточка называет выпуск закрытым предварительным просмотром; результаты и пригодность для конкретных коллекций документов следует проверять на собственных данных.

101июнь 2026ctx32.8K
textapache-2.0hugging-face
ehristoforu
qwen2.5-with-lora-think-3b-it

Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

330янв. 2025ctx32.8K
textotherhugging-face
rgtjf
Qwen2-UtK-7B-128K

Qwen2-UtK-7B-128K — языковая модель на основе Qwen2-7B, дообученная командой проекта Untie the Knots для работы с длинным контекстом. Это плотная авторегрессионная модель с 7,1 млрд параметров; её контекстное окно составляет до 131 072 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и поиска нужной информации в длинных последовательностях. Метод Untie the Knots продолжает предобучение на перемешанных фрагментах документов, чтобы улучшить выделение релевантных сведений при большом контексте. В README приведены результаты оценки на RULER для 128K контекста; указанный пример обслуживания использует vLLM. Карточка сообщает о поддержке английского и китайского языков. Модель основана на Qwen2-7B с изменённым параметром RoPE theta: 5 000 000 вместо 1 000 000. README описывает отдельную инструктивную версию ChatQA2, но эта карточка относится к базовой модели UtK, поэтому её не следует считать чат-моделью ChatQA2. Практическое качество зависит от задачи и длины входа; результаты README не гарантируют такую же точность на других данных и сценариях.

180сент. 2024ctx131.1K
textapache-2.0hugging-face
trohrbaugh
Qwen3.8-27B-heretic-ara

trohrbaugh/Qwen3.8-27B-heretic-ara — производная версия мультимодальной модели Qwen3.8-27B, изменённая методом abliteration для снижения частоты отказов. По приведённому сравнению модель не отказала ни на одном из 100 запросов, тогда как исходная модель отказала на 99 из 100; это результат конкретного теста, а не гарантия поведения на любых запросах. Модель построена на архитектуре Qwen3.5: плотная причинная языковая модель с визуальным энкодером, 27 млрд параметров, 64 слоя. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и выполнения многошаговых задач; README семейства также описывает понимание видео, но метаданные этой модели подтверждают только задачу image-text-to-text. Модель унаследовала от семейства Qwen3.8 режим рассуждений с настраиваемой глубиной, поддержку длинного контекста и применение в программировании, исследованиях и профессиональных сценариях. Для базовой Qwen3.8 указаны 262 144 токена контекста с расширением до 1 000 000, но метаданные не подтверждают эти пределы отдельно для данной производной версии. Доступны веса Safetensors для Transformers и совместимых средств инференса. Лицензия — Apache 2.0. Abliteration существенно меняет поведение отказов, поэтому следует учитывать риск ответов на запросы, которые исходная модель отклоняла.

2.2K107авг. 2026ctx262.1K
textimageapache-2.0hugging-face
cafonez
Qwen3.8-27B-ROCmI4-MTP-GGUF

Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.

24319авг. 2026
textimageapache-2.0hugging-face
zhiqian99
Qwen3-Embedding-0.6B-GGUF

Qwen3-Embedding-0.6B-GGUF — набор GGUF-квантизаций компактной мультиязычной embedding-модели Qwen3-Embedding-0.6B, разработанной Qwen. Квантизации подготовлены PeterAM4 с использованием llama.cpp и importance matrix, оптимизированной преимущественно для финансовых и технических текстов. Модель предназначена для построения RAG-систем, семантического поиска, извлечения документов и других задач сравнения предложений и текстов. Базовая модель содержит около 596 млн параметров, поддерживает контекст до 32 768 токенов, использует pooling по последнему токену и формирует embeddings размерностью 1024. Заявлена поддержка английского, китайского, японского, корейского, французского, немецкого, испанского, португальского, русского и арабского языков. Доступны варианты от 8-битных до 1-битных, что позволяет запускать модель на периферийных устройствах, ноутбуках и серверах с ограниченными ресурсами. Сильными сторонами являются небольшой размер, низкие требования к памяти и задержке, а также калибровка квантования на финансовых вопросах и ответах, документах SEC 10-K, финансовых данных, математических задачах и общем тексте. В README рекомендован вариант Q3_K_M-imat размером около 331 МБ; его показатель PPL близок к BF16-базовой версии на указанном тестовом корпусе. При этом агрессивное квантование снижает качество: особенно заметная деградация наблюдается у вариантов ниже примерно 3 BPW, а результаты приведённых тестов не гарантируют аналогичную точность в конкретной задаче поиска. Модель распространяется по лицензии Apache 2.0.

4680авг. 2026
textapache-2.0hugging-face
muflihimaduddin
sbert-finetuned-oe

muflihimaduddin/sbert-finetuned-oe — дообученная модель Sentence Transformers на основе sentence-transformers/all-distilroberta-v1, разработанная автором репозитория. Она преобразует предложения и короткие абзацы в нормализованные плотные векторы размерностью 768, пригодные для семантического поиска, извлечения релевантных фрагментов и сравнения текстов по косинусному сходству. Архитектура включает RoBERTa, усредняющий pooling и нормализацию; модель принимает текст и имеет максимальную длину последовательности 512 токенов. Обучение проводилось на 6 798 парах предложений с оценками сходства с использованием CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

650июль 2026ctx514
textembeddinghugging-face
raphaelsty
semanlink_all_mpnet_base_v2

semanlink_all_mpnet_base_v2 — модель Sentence Transformers на архитектуре MPNet, дообученная разработчиком raphaelsty на графе знаний Semanlink с помощью библиотеки MKB для задачи предсказания связей. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации терминов. Модель ориентирована на техническую и общую терминологию в машинном обучении, NLP и новостях; поддерживает английский и французский языки и принимает текст. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Контекст модели — до 514 токенов.

941июнь 2022ctx514
textembeddingapache-2.0hugging-face
ukisai
Swift-Qwen3.8-27b-BF16-AMD

Swift-Qwen3.8-27b-BF16-AMD — полноразмерная BF16-версия модели UkisAI Swift, производной от Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration; опубликована в формате safetensors для Transformers и предназначена для AMD/ROCm и рабочих процессов AMD Quark. Веса включают компонент обработки изображений и видео и MTP-голову. Модель ориентирована на диалоги и многошаговые рассуждения, включая программирование, решение математических задач, ответы на вопросы и генерацию структурированного JSON. Метод дообучения нацелен на сокращение избыточных рассуждений: в тестах UkisAI модель использовала на 58,3% меньше токенов мышления при потере качества менее 1% и ускорении до 1,95 раза на ряде задач. Эти результаты относятся к описанным в карточке испытаниям и не гарантируют аналогичных показателей в каждом сценарии. Модель принимает текст и изображения, а также поддерживает визуальные возможности базовой модели для анализа видео; выдаёт текст. Указанная в README длина контекста для приведённых тестов — 262 144 токена. Лицензия обозначена как other; карточка сообщает, что доступ к API бесплатен для исследований, но не задаёт полных условий лицензии весов. Для использования на AMD требуется совместимая среда ROCm; AMD/ROCm-развёртывание и его производительность на момент описания не проверены, а приведённые результаты получены не на оборудовании AMD.

1862сент. 2026ctx262.1K
textimageotherhugging-face
lang-uk
ukr-paraphrase-multilingual-mpnet-base

ukr-paraphrase-multilingual-mpnet-base — модель sentence-transformers проекта lang-uk, дообученная для украинского языка на основе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текст; максимальная длина контекста составляет 514 токенов. Модель ориентирована прежде всего на украинский, сохраняя многоязычную основу. Её можно применять для поиска семантически близких фрагментов, группировки текстов и построения эмбеддингов. Распространяется по лицензии Apache-2.0.

4.1K12март 2024ctx514
textembeddingapache-2.0hugging-face
YOYO-AI
ZYH-LLM-Qwen2.5-14B-V3

YOYO-AI/ZYH-LLM-Qwen2.5-14B-V3 — третья версия модели серии ZYH-LLM от YOYO-AI, созданная с помощью слияния нескольких языковых моделей. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров в формате safetensors. В README описан первый этап слияния Qwen/Qwen2.5-14B-Instruct и Qwen/Qwen2.5-14B методом DELLA; метаданные также указывают среди исходных моделей Azure99/Blossom-V6-14B, arcee-ai/Virtuoso-Small-v2 и варианты Qwen2.5-14B. Модель предназначена для генерации текста и диалогов, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Заявленная длина контекста — 1 010 000 токенов. Метаданные карточки указывают английский и китайский языки. В README приведены результаты Open LLM Leaderboard: среднее значение 41,63, IFEval — 85,78 и BBH — 48,18; эти результаты не описывают все сценарии применения. Модель распространяется по лицензии Apache-2.0.

648февр. 2025ctx1M
textapache-2.0hugging-face
avsolatorio
30-100-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240201131522-best

Карточка модели avsolatorio/30-100-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240201131522-best на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.

1090февр. 2024ctx512
textembeddingapache-2.0hugging-face
Nhat1904
7_shot_STA_freezed_body_1e-5_batch_8

Nhat1904/7_shot_STA_freezed_body_1e-5_batch_8 — модель Sentence-Transformers на архитектуре MPNet, разработчик которой в карточке не назван. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов и кластеризации. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss; название репозитория указывает на эксперимент с few-shot настройкой, но точные данные обучения в карточке опущены. Для работы доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.

1000нояб. 2022ctx514
textembeddinghugging-face
jondurbin
airoboros-c34b-2.2

airoboros-c34b-2.2 — экспериментальная инструкционная языковая модель, разработанная Jon Durbin и дообученная на преимущественно синтетических данных набора airoboros-2.2. Это плотная модель семейства LLaMA с 33,5 млрд параметров, рассчитанная на генерацию текста и следующие инструкции; заявленная длина контекста — 16 384 токена. Карточка описывает формат диалога с отдельными строками USER и ASSISTANT и рекомендует останавливать генерацию при начале следующей реплики USER. Модель ориентирована на ответы по предоставленному контексту, выполнение инструкций, викторины и вопросы с вариантами ответа, генерацию кода и планов для сценариев с инструментами. Она также умеет формировать JSON или YAML для запросов, похожих на вызов функций, но сама по себе не вызывает инструменты. Автор отмечает, что модель может следовать системным инструкциям, однако их можно переопределить; контекстное обучение призвано ограничивать ответы источником, но не гарантирует отсутствия галлюцинаций. Для весов указана лицензия Llama 2. Карточка называет модель экспериментальной и описывает обучение на синтетических данных; отдельные языки и специализированная предметная область не заявлены.

234сент. 2023ctx16.4K
textllama2hugging-face
flax-sentence-embeddings
all_datasets_v3_roberta-large

Модель flax-sentence-embeddings/all_datasets_v3_roberta-large разработана участниками Community Week Hugging Face в рамках проекта по обучению моделей эмбеддингов предложений на больших наборах данных. Это дообученная с контрастивной целью версия roberta-large с архитектурой RoBERTa и 454,1 млн параметров. Она кодирует входное предложение в вектор, отражающий его семантическое содержание, и рассчитана на извлечение признаков и сравнение предложений. В README описано обучение на более чем миллиарде пар предложений из объединённых датасетов; указаны длина последовательности обучения 128 токенов и использование SentenceTransformers. Метаданные указывают родной контекст в 514 токенов. Модель подходит для семантического поиска, группировки текстов и оценки сходства предложений. В карточке указана поддержка английского языка. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

18913март 2022ctx514
textembeddinghugging-face
LeoChiuu
all-MiniLM-L6-v2-negations

LeoChiuu/all-MiniLM-L6-v2-negations — дообученный разработчиком модели энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Архитектура Sentence Transformer включает BertModel, усреднение токенных представлений и нормализацию; модель содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384. README описывает дообучение на 77 376 парах предложений с CosineSimilarityLoss, включая примеры, где смысл меняется из-за отрицания. Модель предназначена для сравнения семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Метаданные указывают максимум контекста 512 токенов, тогда как README задаёт максимальную длину последовательности 256 токенов; для практического использования следует учитывать лимит Sentence Transformers из карточки. Для сопоставления текстов используется косинусное сходство. В карточке нет отдельного указания лицензии или дополнительных ограничений. Базовая модель описана как англоязычный энкодер; поддержка других языков не подтверждена.

1400июль 2024ctx512
textembeddinghugging-face
textattack
distilbert-base-uncased-QQP

textattack/distilbert-base-uncased-QQP — модель классификации текста, созданная TextAttack на основе DistilBERT. Она дообучена для определения, задают ли два вопроса на английском языке один и тот же вопрос; подходит для поиска дубликатов и выявления перефразированных вопросов. Архитектура — DistilBertForSequenceClassification, контекст — до 512 токенов. Модель доступна в формате PyTorch. Карточка Hugging Face не содержит описания лицензии, поэтому условия использования здесь не уточняются.

1.0K0март 2022ctx512
texthugging-face
brahim-23
eu-pii-anonimization-multilang

Карточка модели brahim-23/eu-pii-anonimization-multilang на Hugging Face совпадает с карточкой bardsai/eu-pii-anonimization-multilang, поэтому описание составлено по ней. Многоязычная модель bards.ai для обнаружения и разметки персональных и чувствительных данных в тексте, предназначенная для последующего обезличивания. Она основана на XLM-RoBERTa-base и дообучена для классификации токенов с BIO-метками; охватывает 36 классов сущностей, включая идентификационные и контактные данные, финансовые и технические идентификаторы, сведения о здоровье, биометрические и генетические данные, а также специальные категории GDPR. Модель рассчитана на 24 официальных языка ЕС. Доступны веса Safetensors и ONNX, включая версию ONNX с INT8-квантизацией для CPU; размер модели — 305,2 млн параметров, контекст — до 514 токенов. Подходит для поиска данных перед сохранением документов, писем, обращений и переписок, очистки наборов данных и фильтрации текста в RAG-конвейерах и поисковых индексах. Лицензия — Apache-2.0. Точность зависит от языка, предметной области и качества входа; OCR-ошибки, смешение языков и неоднозначные упоминания могут ухудшать обнаружение. Для соответствия требованиям модель следует использовать как часть процесса проверки и обезличивания, а не как самостоятельную гарантию юридической достаточности.

130июнь 2026ctx514
textapache-2.0hugging-face
LGAI-EXAONE
EXAONE-4.5-33B-GGUF

EXAONE-4.5-33B-GGUF — квантованная версия открытой мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и специализированный визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуальные вопросы и ответы, мультимодальное рассуждение и задачи на корейском языке. Модель имеет 33 млрд параметров, из которых 31,7 млрд приходятся на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное sliding window attention и глобальное внимание, а также Grouped Query Attention в визуальном энкодере. Контекст поддерживает до 262 144 токенов, размер скрытого представления составляет 5120, словарь — 153 600 токенов. Заявлены языки: английский, корейский, испанский, немецкий, японский и вьетнамский. Дата отсечения знаний — декабрь 2024 года. Сильными сторонами модели являются мультимодальность, понимание документов, корейское контекстное рассуждение и конкурентные результаты на общих и визуально-языковых бенчмарках. Версия GGUF доступна с квантованиями языковой модели Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; веса визуального энкодера представлены в форматах F32, F16 и BF16. Ограничения включают зависимость качества от выбранного уровня квантования и значительные требования к вычислительным ресурсам из-за размера модели. Лицензия указана как exaone; конкретные условия следует уточнять в файле LICENSE.

3.7K53апр. 2026
textimageotherhugging-face
knowledgator
gliclass-large-v1.0

GLiClass large v1.0 — компактная модель классификации последовательностей, разработанная Knowledgator. Она выполняет классификацию текста без предварительного обучения на конкретных целевых наборах данных: пользователь задаёт категории, а модель относит к ним текст. По описанию автора, классификация выполняется за один проход модели, что снижает вычислительные затраты по сравнению с cross-encoder при сопоставимой производительности. Модель основана на архитектуре GLiClass и содержит 438 млн параметров. Модель предназначена для классификации тем и тональности, а также для ранжирования документов в RAG-системах. В карточке приведены результаты zero-shot оценки на наборах данных для отзывов, новостей и эмоций; качество зависит от задачи и категорий. Обучение проводилось на синтетических данных, заявлена поддержка коммерческого применения. Модель распространяется под лицензией Apache-2.0; доступны форматы Safetensors и ONNX.

7935июль 2024
textapache-2.0hugging-face
knowledgator
gliclass-x-base

GLiClass X-Base — компактная мультиязычная модель классификации последовательностей от Knowledgator, построенная на основе mdeberta-v3-base. Она выполняет классификацию по заданным категориям в zero-shot режиме, используя один проход модели; разработчики отмечают вычислительную эффективность на уровне cross-encoder-подхода. Модель предназначена для классификации тем и тональности, а также для ранжирования текстов в RAG-системах. В README приведены результаты zero-shot оценки на общих и мультиязычных наборах данных. Обучение проводилось на синтетических и лицензированных данных, разрешающих коммерческое использование; лицензия репозитория — Apache-2.0. Модель принимает текст и возвращает оценки классов, поэтому качество зависит от формулировки категорий и языка входа. Показатели на приведённых наборах различаются; перед применением в конкретной предметной области их следует проверить на собственных данных.

2.6K7июль 2025
textapache-2.0hugging-face
Isotonic
Hermes-2-Pro-Mixtral-4x7B

Hermes-2-Pro-Mixtral-4x7B — разговорная языковая модель, собранная Isotonic как смесь экспертов (MoE) с помощью LazyMergekit из четырёх копий NousResearch/Hermes-2-Pro-Mistral-7B. Модель предназначена для диалогов по инструкциям и генерации текста; поддерживает формат чата ChatML, многошаговое общение, вызов функций и структурированные ответы в JSON. В карточке указано 7,1 млрд параметров и контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors; для 4-битного инференса README приводит ориентир около 5 ГБ видеопамяти. Модель может подойти для чат-ботов, ассистентов и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Данных о поддерживаемых естественных языках и конкретных оценках качества в карточке нет.

782март 2024ctx32.8K
textapache-2.0hugging-face
thealper2
intfloat-multilingual-e5-base-tr-nli

Это турецкоязычная модель эмбеддингов предложений с двухэнкодерной архитектурой, разработанная на основе intfloat/multilingual-e5-base и дообученная контрастивным обучением на турецких NLI-триплетах. Она использует XLM-RoBERTa, mean pooling и косинусное сходство; размерность векторов — 768. Метаданные указывают 305,2 млн параметров, а базовая модель поддерживает контекст до 514 токенов; при обучении использовалась длина последовательности до 256 токенов. Модель предназначена для семантического поиска и извлечения фрагментов для RAG, оценки сходства предложений, поиска перефразировок и дубликатов, кластеризации и получения признаков для классификаторов на турецком языке. Для запросов используется префикс «query: », для документов — «passage: »; в задачах с симметричным сравнением обеим сторонам задают «query: ». Модель лучше приспособлена к турецким текстам, чем к другим языкам, несмотря на многоязычную основу. Обучающие данные получены машинным переводом набора AllNLI, поэтому в модели могут сохраняться артефакты перевода. Для длинных документов рекомендуется разбивать текст на фрагменты; для переранжирования с перекрёстным вниманием эта модель не предназначена. Результаты на научных и финансовых текстах слабее, а в чувствительных сценариях необходима проверка человеком. Лицензия — CC BY-SA 4.0.

230авг. 2026ctx514
textembeddingcc-by-sa-4.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей