/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
10 201–10 230 из 23 488
deepvk
bert-base-uncased

deepvk/bert-base-uncased — предобученный двунаправленный энкодер BERT, разработанный deepvk для обработки текстов, преимущественно на русском языке. Модель обучалась стандартной задачей masked language modeling на корпусе из 250 ГБ отфильтрованных текстов, включая Википедию, книги и данные из социальных сетей. По метаданным, она содержит 140,9 млн параметров, использует архитектуру BERT с 12 слоями и 12 головами внимания и поддерживает контекст до 512 токенов. Модель предназначена для извлечения признаков из текста и может служить основой для дообучения под классификацию, анализ сходства и другие задачи понимания языка. В репозитории находятся только веса энкодера без предварительно обученной выходной головы, поэтому для конкретной задачи может потребоваться подходящая голова и дообучение. Карточка сообщает о преимущественно русском обучающем корпусе с небольшой долей других языков; метаданные указывают русский и английский. Лицензия — Apache 2.0.

895февр. 2023ctx512
textembeddingapache-2.0hugging-face
Zlovoblachko
bert-base-uncased-augmentation-indomain-bm25-sts

Zlovoblachko/bert-base-uncased-augmentation-indomain-bm25-sts — англоязычная модель Sentence Transformers, дообученная разработчиком на базе google-bert/bert-base-uncased для сравнения предложений по смыслу. Она преобразует текстовые фрагменты в плотные векторы размерности 768; близость векторов оценивается косинусным сходством. В README указана максимальная длина последовательности 128 токенов, а метаданные Hugging Face указывают контекст до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и сравнения пар предложений. Также в карточке перечислены классификация текста и другие задачи на основе эмбеддингов. На тесте sts-test указана корреляция Спирмена 0,4729 для косинусного сходства; результат характеризует конкретный набор данных и не гарантирует качество на других доменах. Модель содержит 136,7 млн параметров, использует архитектуру BERT с усреднением токенных представлений и реализована на Sentence Transformers. Она рассчитана на английский язык; для языков и текстов вне обучающего распределения качество может быть ниже. Лицензия в предоставленных данных не указана.

1290авг. 2025ctx512
textembeddinghugging-face
swardiantara
bert-tiny-snli-k5-fixed-euclidean

swardiantara/bert-tiny-snli-k5-fixed-euclidean — компактная модель Sentence Transformers, дообученная на базе google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы в плотные векторы размерности 128 для поиска и сравнения текстов; архитектура включает BERT с усредняющим pooling. Метаданные указывают 4,4 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 128 токенов. Для сравнения векторов README указывает косинусное сходство. Модель подходит для семантического поиска, подбора похожих предложений и извлечения признаков текста. Она обучалась на 6 043 097 примерах с контрастивной функцией потерь. Базовая модель англоязычная, поэтому заявленную применимость разумно ограничить английским языком. Формат весов — safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

690июнь 2026ctx512
textembeddinghugging-face
Qdrant
bge-base-en-v1.5-onnx-Q

Qdrant/bge-base-en-v1.5-onnx-Q — это квантованная версия в формате ONNX модели BAAI/bge-base-en-v1.5, опубликованная Qdrant. Модель предназначена для вычисления текстовых представлений, задач классификации текста и поиска по сходству. Модель работает с текстовыми данными на английском языке, поскольку базовая модель имеет суффикс en. Она преобразует документы и запросы в числовые векторы, которые можно сравнивать для семантического поиска, кластеризации или последующей классификации. В README указана интеграция с библиотекой FastEmbed. Ключевое преимущество модели — использование квантованного ONNX-представления, что может быть удобно для эффективного выполнения инференса в совместимых средах. При этом в README не приведены точные сведения об архитектуре, размере модели, размерности векторов, поддерживаемой длине контекста и характеристиках производительности. Ограничением также является ориентация на английский язык. Модель распространяется по лицензии Apache-2.0.

127K1янв. 2024ctx512
textmithugging-face
jackhsuster
bge-large-zh-v1.5

Карточка модели jackhsuster/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.

1060май 2026ctx512
textembeddingmithugging-face
ryanx0019
bge-large-zh-v1.5

Карточка модели ryanx0019/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.

1020июнь 2026ctx512
textembeddingmithugging-face
Qdrant
bge-small-en-v1.5-onnx-Q

Qdrant подготовила ONNX-порт модели BAAI/bge-small-en-v1.5 с квантизованными весами. Это компактная BERT-модель примерно на 40 млн параметров для получения текстовых представлений и поиска похожих предложений; в карточке также указаны задачи классификации текста и поиска сходства. Контекст ограничен 512 токенами. Модель подходит для семантического поиска, сравнения предложений и классификации текста в системах, использующих ONNX или FastEmbed. Указанная лицензия — MIT. Поскольку модель основана на англоязычной bge-small-en-v1.5, её основное применение — англоязычные тексты.

1.6M11янв. 2024ctx512
textmithugging-face
AkshitaS
bhasha-embed-v0

Bhasha embed v0 — модель эмбеддингов Akshita Sukhlecha на базе google/muril-base-cased. Она преобразует предложения и тексты на хинди письмом деванагари, английском и хинди в латинской транслитерации в векторы размерности 768, предназначенные для сравнения по косинусному сходству. Модель рассчитана на межъязыковое сопоставление и поиск по смешанным корпусам, где встречаются тексты на хинди, английском и транслитерированном хинди. Она использует архитектуру BERT, обучалась дистилляцией англоязычной модели эмбеддингов и дообучением на триплетных данных. Максимальная длина последовательности — 512 токенов. Модель опубликована под лицензией Apache-2.0. Карточка заявляет поддержку романизированного хинди и межъязыкового выравнивания; результаты приведены для нескольких задач поиска и сходства. Качество может зависеть от языка, письма и состава корпуса; сведения карточки не задают отдельные ограничения по применению.

61013июнь 2024ctx512
textembeddingapache-2.0hugging-face
teven
bi_all_bs160_allneg_finetuned_WebNLG2020_correctness

teven/bi_all_bs160_allneg_finetuned_WebNLG2020_correctness — модель Sentence Transformers на базе архитектуры MPNet, разработанная автором teven. Она преобразует предложения и абзацы в плотные векторы размерности 768 для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Модель дообучена с функцией потерь CosineSimilarityLoss; название указывает на обучение на данных WebNLG2020 для оценки корректности. Её можно применять для поиска текстов со сходным смыслом и группировки текстовых фрагментов. Данных о лицензии и поддерживаемых естественных языках в доступных источниках нет.

930сент. 2022ctx514
textembeddinghugging-face
shareAI
CodeLLaMA-chat-13b-Chinese

shareAI/CodeLLaMA-chat-13b-Chinese — китайская версия CodeLlama для многоходового диалога, предназначенная для ответов на вопросы по программированию и работы в роли помощника по коду. Модель разработала shareAI; карточка описывает её как специализированную на коде, в отличие от ChineseLLaMa общего языкового назначения. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 12,9 млрд параметров. Она работает через Transformers, принимает текст и генерирует текст; заявленный контекст составляет 16 384 токена. Метаданные указывают китайский и английский языки, а обучение связано с наборами ShareGPT-Chinese-English-90k и CodeChat. Модель подходит для диалога о коде, ответов на вопросы по программированию и генерации программного текста. Лицензия — OpenRAIL; перед использованием следует учитывать её условия. Карточка не сообщает конкретные результаты оценки качества или ограничения по языкам программирования.

16819авг. 2023ctx16.4K
textopenrailhugging-face
Salesforce
codet5p-770m-py

Salesforce/codet5p-770m-py — модель CodeT5+, разработанная Salesforce Research для понимания и генерации программного кода. Это плотная модель семейства T5 с архитектурой encoder-decoder и 385,2 млн параметров; карточка описывает семейство как способное работать в режимах encoder-only, decoder-only и encoder-decoder. Модель загружает через T5ForConditionalGeneration и использует токенизатор исходного CodeT5. Контекст составляет 512 токенов. Чекпойнт предварительно обучен на разрешительном подмножестве GitHub Code и ориентирован на код на C, C++, C#, Go, Java, JavaScript, PHP, Python и Ruby. Он подходит для генерации кода по текстовому описанию, дополнения кода, поиска соответствия между текстом и кодом и других задач понимания кода. В zero-shot тесте HumanEval показал 15,5% pass@1. Лицензия — BSD-3-Clause. Разработчики позиционируют выпуск как исследовательский и рекомендуют проверять точность, безопасность и справедливость перед внедрением; качество для конкретных прикладных сценариев требует отдельной оценки.

44120май 2023ctx512
textbsd-3-clausehugging-face
luxopes
Cognix-1-Flash-2.6B

Cognix 1 Flash — текстовая модель семейства LFM2, созданная LuxAI на основе дообучения LiquidAI/LFM2.5-2.6B-Base. Это плотная авторегрессионная модель на 2,6 млрд параметров для генерации текста, диалога и задач с кодом. Репозиторий содержит объединённую модель в формате BF16; обучение выполнялось методом SFT с LoRA, после чего веса были объединены. Контекстное окно — до 128 000 токенов по метаданным; максимальная длина обучающих примеров составляла 32 768 токенов. Модель рассчитана на диалоговое использование и сценарии, где нужно генерировать или дополнять код. Для вызова инструментов предусмотрен формат, совместимый с исходным шаблоном чата; генерируемые вызовы следует исполнять только через разрешённый список функций. В карточке указаны английский и чешский языки. Количественные оценки качества и гарантии не заявлены. Практическая надёжность вызова инструментов, качество на чешском и поведение на длинном контексте требуют дополнительной оценки. Полные контексты до 32 тысяч токенов могут быть непрактичны на телефонах с 8 ГБ памяти. Применяются условия LFM Open License v1.0 базовой модели и производной; модель не распространяется под Apache-2.0.

1850сент. 2026ctx128K
textotherhugging-face
knowledgator
comprehend_it-base

comprehend_it-base — англоязычная модель Knowledgator на базе энкодера DeBERTaV3-base, обученная на наборах для вывода на естественном языке и классификации текста. Она предназначена прежде всего для классификации по заданным пользователем категориям в zero-shot режиме: можно передать текст и список меток, не дообучая модель на этих категориях. Также модель применяют для ранжирования результатов поиска и задач извлечения информации, включая распознавание именованных сущностей, извлечение отношений, связывание сущностей и ответы на вопросы. Модель использует архитектуру DeBERTa-v2 для классификации последовательностей, содержит 211,6 млн параметров и принимает контекст до 512 токенов. В карточке заявлено, что на нескольких наборах классификации она превосходила BART-large-mnli в zero-shot сценарии при почти втрое меньшем размере; также приведены результаты для нескольких наборов данных. Доступны веса PyTorch, библиотека Transformers и лицензия Apache-2.0. Модель рассчитана на английский язык. Как энкодер-классификатор, она выдаёт метки и оценки классов, а не генерирует свободный текст. Качество зависит от формулировок текста и кандидатов-меток; контекст ограничен 512 токенами, а README не приводит сравнительных результатов для всех заявленных задач извлечения информации.

18288дек. 2023ctx512
textapache-2.0hugging-face
TencentBAC
Conan-embedding-v1

Conan-embedding-v1 — модель эмбеддингов от Tencent, представленная в формате sentence-transformers и основанная на архитектуре BERT. Она преобразует текст в векторные представления для поиска и сравнения текстов; в карточке приведены результаты на задачах извлечения, ранжирования, кластеризации и оценки сходства предложений. Модель содержит 424,3 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и safetensors. В метаданных указан китайский язык. По опубликованному сравнению модель показывает средний результат 72,62, а также результаты по отдельным категориям MTEB. Подробности обучения отсылаются к техническому отчёту, который не включён в карточку. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

530K166авг. 2024ctx512
textembeddingcc-by-nc-4.0hugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-no-reconstruction

Это англоязычный разреженный CSR-кодировщик текста tomaarsen/csr-mxbai-embed-large-v1-nq-no-reconstruction, разработанный на базе mixedbread-ai/mxbai-embed-large-v1 с помощью Sentence Transformers и дообученный на наборе Natural Questions. Модель предназначена для семантического поиска и разреженного извлечения документов: она преобразует предложения и абзацы в векторы, которые можно сравнивать скалярным произведением. Архитектура основана на BERT и содержит 433,9 млн параметров. Размер выходного пространства — 4096 измерений, при этом в векторе активно не более 256 измерений. Максимальная длина последовательности — 512 токенов. В README приведены результаты оценки извлечения на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Модель подходит для поиска по текстовым коллекциям и ранжирования кандидатов по релевантности. Она рассчитана на английский язык; результаты для других языков не заявлены. Распространяется по лицензии Apache-2.0.

1670июнь 2025ctx512
textembeddingapache-2.0hugging-face
NaniDAO
deepseek-r1-qwen-2.5-32B-ablated

NaniDAO разработала naniseek — языковую модель для генерации текста и диалогов с рассуждениями, полученную абляцией на основе DeepSeek-R1-Distill-Qwen-32B. Модель содержит 32 млрд параметров, использует архитектуру Qwen2 и принимает текст; заявленная длина контекста — до 131 072 токенов. Модель предназначена для диалоговых ответов и задач рассуждения, включая математику и программирование. По заявлению авторов, абляция снижает число отказов на допустимые запросы. Модель доступна в формате Safetensors под лицензией MIT. Карточка не приводит сравнительных оценок качества или подробностей метода абляции.

5153янв. 2025ctx131.1K
textmithugging-face
textattack
distilbert-base-uncased-MRPC

Это модель DistilBERT, дообученная TextAttack для классификации пар предложений на наборе данных MRPC из бенчмарка GLUE. Она предназначена для определения того, выражают ли два предложения одно и то же значение. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые пары с максимальной длиной последовательности 512 токенов; при дообучении использовалось ограничение 256 токенов. Модель обучалась пять эпох с размером батча 32 и скоростью обучения 2e-05; лучшая точность на оценочной выборке составила около 85,8%. Это специализированный классификатор для задачи распознавания перефразирования, а не универсальная языковая модель. В карточке указана точность на eval-наборе, поэтому качество на других данных может отличаться. Лицензия в предоставленных материалах не указана.

4681март 2022ctx512
texthugging-face
osiria
distiluse-base-italian

osiria/distiluse-base-italian — модель DistilUSE для получения векторных представлений предложений на итальянском языке. Она создана на основе mDistilUSE (sentence-transformers/distiluse-base-multilingual-cased-v1) с адаптацией слоя эмбеддингов под итальянский язык с использованием частот слов из Википедии. Модель построена на архитектуре DistilBERT, содержит 67 млн параметров и словарь из 30 785 токенов; максимальная длина контекста — 512 токенов. Модель предназначена для кодирования итальянских текстов и вычисления сходства между ними, например, для семантического поиска и сравнения предложений. Она принимает текст и выдаёт векторные представления. Выпущена под лицензией Apache-2.0.

1150июнь 2023ctx512
textembeddingapache-2.0hugging-face
dphn
dolphin-2.9.4-gemma2-2b

Dolphin 2.9.4 Gemma2 2B — диалоговая языковая модель, подготовленная Эриком Хартфордом и Cognitive Computations на базе Google Gemma 2 2B. Это плотная авторегрессионная модель с 2,7 млрд параметров, обученная с контекстом 8192 токена; для диалога использует шаблон ChatML. В метаданных указаны формат safetensors и задача генерации текста. Модель предназначена для следования инструкциям, диалогов, написания и анализа кода, а также сценариев с функциями и агентными действиями. Разработчик отмечает обучение на данных для разных языков и особое внимание к соблюдению системных инструкций. Упомянуто применение GrokAdamW и Liger Kernel, но автор не утверждает, что обучение привело к ожидаемому обобщению. Модель описана разработчиком как uncensored и может охотно выполнять вредоносные или неэтичные запросы; перед предоставлением пользователям рекомендуется добавить собственный слой выравнивания. Она распространяется по лицензии Gemma, условия которой следует учитывать при использовании.

10839авг. 2024ctx8.2K
textgemmahugging-face
gabor-hosu
e5-mistral-7b-instruct-bnb-4bit

gabor-hosu/e5-mistral-7b-instruct-bnb-4bit — 4-битная версия модели эмбеддингов e5-mistral-7b-instruct, опубликованная пользователем gabor-hosu на базе модели intfloat. Она предназначена для преобразования текстов в векторные представления и использования в задачах семантического сходства, классификации и информационного поиска. Модель основана на архитектуре Mistral с 7 млрд параметров и рассчитана на работу через экосистемы Transformers и Sentence Transformers. В README указана поддержка оценивания в MTEB и приведены результаты на наборах данных для английского, немецкого, испанского, французского, японского и китайского языков. Максимальный размер контекста и полный перечень поддерживаемых языков не указаны. Ключевое преимущество модели — сниженное потребление памяти благодаря 4-битной квантизации BitsAndBytes, что может упростить локальный запуск по сравнению с полноразмерной версией. Ограничениями являются возможные потери качества из-за квантизации, а также отсутствие в README подробностей о процедуре квантизации, рекомендуемых параметрах использования, лицензии и результатах комплексного сравнения с другими моделями.

780K11янв. 2026ctx32.8K
textembeddingmithugging-face
borsimnet
e5-sk-large

Карточка модели borsimnet/e5-sk-large на Hugging Face совпадает с карточкой slovak-nlp/e5-sk-large, поэтому описание составлено по ней. e5-sk-large — модель текстовых эмбеддингов для словацкого языка, выпущенная в рамках проекта SkMTEB. Она создана на основе intfloat/multilingual-e5-large: словарь сокращён с 250 тысяч до 60 тысяч токенов, после чего модель дообучена на словацких данных. В метаданных указаны архитектура XLM-RoBERTa, 464,1 млн параметров и контекст до 514 токенов; README сообщает о 365 млн параметров и 1024-мерных эмбеддингах, поэтому размеры расходятся между источниками. Модель предназначена для семантического поиска и извлечения документов, сравнения смысла текстов, кластеризации и классификации по эмбеддингам, а также поиска между словацким, английским и чешским языками. Для запросов поиска рекомендуется добавлять префикс «query: », а для индексируемых документов — «passage: »; для симметричных задач префикс не нужен. Модель показывает сопоставимые с multilingual-e5-large результаты на словацком бенчмарке SkMTEB и подходит для локального развёртывания. Модель оптимизирована для словацкого языка; перенос на другие языки, кроме указанных межъязыковых сценариев, не оценён. Сокращение словаря может ухудшить работу с текстом, смешивающим языки, а обучающие данные преимущественно охватывают новости, парламентские материалы и энциклопедии. При дообучении использовалась длина последовательности 256 токенов, хотя архитектура поддерживает контекст до 512. Лицензия — MIT.

2250авг. 2026ctx514
textembeddingmithugging-face
elliot-mllm
elliot-ov2-sft-9k

Elliot OV2 SFT 9k — исследовательский vision-language чекпойнт ElliotVL, экспортированный из 9-тысячного шага обучения Megatron в формат Hugging Face. Модель содержит 2 млрд параметров: языковая башня основана на Qwen3.5-2B с гибридным полным и линейным вниманием, а визуальная — на SigLIP2 NaViT с поддержкой изображений исходного разрешения. Модель принимает изображения вместе с текстовыми запросами и формирует текстовые ответы. Она предназначена для диалога по изображениям, распознавания текста на изображениях и документов, визуальных вопросов и ответов, а также анализа диаграмм и графиков. В README приведены результаты оценки на OCRBench, RealWorldQA и других наборах; автор отдельно указывает ограничения сопоставимости некоторых бенчмарков и особенности их подсчёта. Для запуска требуется Transformers 5.8.0.dev0, а также PyTorch, Pillow, Accelerate и Safetensors; в репозитории представлены веса safetensors, процессор, шаблон чата и модули удалённого кода. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели.

61июнь 2026
textimageotherhugging-face
alibayram
embeddingmagibu-200m

alibayram/embeddingmagibu-200m — модель SentenceTransformers на архитектуре Gemma 3 Text, разработанная для создания эмбеддингов турецких текстов. Она содержит 202,1 млн параметров, формирует нормализованные векторы размерности 768 и поддерживает контекст до 8192 токенов. В README описаны адаптация токенизатора для турецкого языка и дистилляция эмбеддингов от EmbeddingGemma; метаданные также указывают на дистилляцию. Модель предназначена для семантического поиска и извлечения длинных документов, оценки сходства предложений, кластеризации и классификации на основе эмбеддингов. В README приведены результаты STSbTR, однако оценка TR-MTEB ещё продолжается. Модель опубликована под лицензией MIT. При обработке длинных текстов без разбиения на части возрастает потребление памяти; README рекомендует для инференса bfloat16 или float32 вместо float16.

3245янв. 2026ctx8.2K
textembeddingmithugging-face
spacy
en_core_web_sm

en_core_web_sm — англоязычная модель обработки естественного языка, разработанная компанией Explosion для фреймворка spaCy. Она предназначена для CPU-сценариев и выполняет токенизацию, морфологическую разметку, синтаксический анализ зависимостей, определение границ предложений, лемматизацию и распознавание именованных сущностей. Модель построена как конвейер компонентов tok2vec, tagger, parser, senter, attribute_ruler, lemmatizer и ner. Она поддерживает только английский язык, не содержит предобученных векторных представлений слов и имеет 0 векторов размерности 0. Версия модели — 3.7.1; требуется spaCy версии от 3.7.2 до версии ниже 3.8.0. Распознавание сущностей охватывает, в частности, персон, организации, географические объекты, даты, деньги, проценты, события и произведения искусства. Сильные стороны модели — компактный CPU-ориентированный конвейер с широким набором базовых NLP-функций и хорошими показателями на указанных тестах: точность тегирования 97,25%, F1 синтаксического анализа зависимостей LAS 89,87% и F1 распознавания сущностей 84,56%. Ограничения — работа только с английским языком, отсутствие векторных представлений и более ограниченная точность по сравнению с крупными специализированными моделями, особенно для задач NER. Модель распространяется по лицензии MIT; автор — Explosion.

8.3K66март 2022
textmithugging-face
xsvmyx
extremist-text-detector

Карточка модели xsvmyx/extremist-text-detector на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1110нояб. 2025ctx512
textembeddingapache-2.0hugging-face
deepdml
faster-whisper-large-v3-turbo-ct2

Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт текстовую расшифровку. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Карточка указывает поддержку распознавания на множестве языков, в том числе русском и английском. Репозиторий распространяется по лицензии MIT.

198K230окт. 2024
textaudiomithugging-face
EpistemeAI2
Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.005-128K-code-COT

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.005-128K-code-COT — дообученная EpistemeAI языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. Она предназначена для генерации текста и кода, выполнения агентных задач и пошагового рассуждения. В карточке заявлены встроенные сценарии поиска, калькулятора и ReAct, а также применение в RAG-системах и интеграция с LangChain и LlamaIndex. Модель принимает текст и генерирует текст; заявленное контекстное окно составляет 131 072 токена. Карточка указывает на обучение на наборе данных с кодом и Glaive's CoT Tasks; язык карточки — английский. Модель может подойти для прототипирования кодирующих агентов, которые разбивают задачи на действия, используют поиск или калькулятор, а также для диалоговых приложений с длинным контекстом. Указана лицензия Apache-2.0. Модель обозначена как экспериментальная, а функция самообучения — как находящаяся в разработке; фактическое качество и безопасность выполнения кода требуют проверки в целевом приложении.

350окт. 2024ctx131.1K
textapache-2.0hugging-face
deutsche-telekom
gbert-large-paraphrase-cosine

deutsche-telekom/gbert-large-paraphrase-cosine — модель Sentence Transformers, разработанная Deutsche Telekom на основе deepset/gbert-large и дообученная для работы с немецкими парафразами. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; при обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель предназначена для улучшения классификации текстов на немецком языке в few-shot сценариях с SetFit, а также подходит для сравнения сходства предложений и извлечения эмбеддингов. Модель основана на архитектуре BERT, содержит 434,5 млн параметров и принимает текст длиной до 512 токенов. В карточке сообщается, что дообученная версия показала лучшие результаты среди сравнивавшихся моделей в немецком few-shot сценарии на NLU Few-shot Benchmark. Лицензия — MIT.

11K27янв. 2023ctx512
textembeddingmithugging-face
manaladan6
GLM-5.1

Карточка модели manaladan6/GLM-5.1 на Hugging Face совпадает с карточкой zai-org/GLM-5.1, поэтому описание составлено по ней. GLM-5.1 — флагманская модель Z.ai для агентной разработки и инженерных задач. Это языковая модель с архитектурой GLM MoE DSA и 30,4 млрд параметров; она доступна в формате safetensors и совместима с Transformers. Модель принимает текст и предназначена для генерации кода, решения задач по разработке программного обеспечения и работы с инструментами в длительных сессиях. GLM-5.1 рассчитана на сложные и неоднозначные задачи: она может разбивать работу на этапы, проводить эксперименты, анализировать результаты и менять стратегию в ходе многократных итераций. Разработчик сообщает о сильных результатах на SWE-Bench Pro, NL2Repo и Terminal-Bench 2.0. Модель поддерживает английский и китайский языки и контекст до 202 752 токенов. Для локального запуска перечислены SGLang, vLLM, xLLM, Transformers и KTransformers. Модель распространяется по лицензии MIT. Описание подчёркивает её возможности в агентных сценариях и бенчмарках, но не приводит независимых оценок качества или гарантий результата; практическая работа с инструментами зависит также от используемой системы запуска.

230авг. 2026ctx202.8K
textmithugging-face
OrionLLM
GRM-1.5b

GRM-1.5b — компактная языковая модель общего назначения, разработанная OrionLLM и дообученная на базе Qwen/Qwen2.5-1.5B-Instruct для многоэтапных рассуждений. Модель предназначена для решения задач по математике, логике, программированию и широкому кругу вопросов; её также предлагают использовать как основу для дальнейшего дообучения. В обучающую смесь, согласно карточке, включены некоторые данные для медицинских рассуждений. Модель имеет плотную архитектуру Qwen2, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Она принимает текст и генерирует текст; доступна в формате safetensors для Transformers. В карточке приведены результаты на математических, научных и программных бенчмарках, но они сами по себе не гарантируют качество на конкретных пользовательских задачах. Модель распространяется по лицензии Apache-2.0. Её небольшой размер удобен для локального запуска и экспериментов, однако, как компактная модель, она может уступать более крупным моделям в сложных задачах и требует проверки ответов, особенно в медицинских сценариях.

415март 2026ctx32.8K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей