/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
13 981–14 010 из 23 488
KRLabsOrg
lettucedect-610m-eurobert-de-v1

LettuceDetect — модель KRLabsOrg для поиска галлюцинаций в ответах на немецком языке в приложениях с генерацией с дополнением извлечёнными данными (RAG). Это дообученная EuroBERT-610M с архитектурой EuroBertForTokenClassification и примерно 607,8 млн параметров. Модель получает контекст и ответ и помечает на уровне токенов фрагменты ответа, которые не подтверждаются контекстом; предсказания можно объединять в участки текста для проверки. Модель обучена на переведённом наборе RagTruth-DE и рассчитана на немецкий язык. Контекстное окно — до 8192 токенов. В описанных авторами оценках F1 составил 74,95% на тесте RagTruth-DE и 71,79% на вручную проверенных 300 примерах. Вариант на 610 млн параметров требует больше вычислительных ресурсов, чем вариант на 210 млн. Репозиторий распространяется по лицензии MIT.

8182май 2025ctx8.2K
textmithugging-face
KRLabsOrg
lettucedect-610m-eurobert-es-v1

LettuceDetect Spanish v1 — модель KRLabsOrg для выявления галлюцинаций в ответах RAG. Это дообученная EuroBERT-610M с архитектурой EuroBertForTokenClassification и 607,8 млн параметров; она принимает контекст и ответ на испанском языке и размечает неподтверждённые контекстом токены, чтобы затем объединить их в фрагменты. Модель рассчитана на документы и контексты длиной до 8192 токенов. Модель обучена на испанской версии датасета RagTruth, переведённой с оригинального RAGTruth. В описанной оценке на RAGTruth-ES она достигла F1 73,25% при точности 76,32%. Эти показатели относятся к переведённому тестовому набору и не гарантируют такой же результат на других данных. Для работы используется библиотека Transformers; README предупреждает о несовместимости загружаемого удалённого кода с Transformers 5.x. Лицензия — MIT.

430май 2025ctx8.2K
textmithugging-face
KRLabsOrg
lettucedect-610m-eurobert-fr-v1

KRLabsOrg LettuceDetect French v1 — модель для выявления галлюцинаций в ответах генеративных систем с опорой на контекст, предназначенная для многоязычных RAG-приложений. Это дообученная EuroBERT-610M с архитектурой EuroBertForTokenClassification, содержащая 607,8 млн параметров и принимающая контекст вместе с ответом для токенной классификации. Поддерживается контекст до 8192 токенов; модель обучена на французской версии набора RagTruth-FR. Модель отмечает токены ответа, не подтверждённые предоставленным контекстом, чтобы затем выделить подозрительные фрагменты. В описанной оценке на переведённом RAGTruth-FR она показала F1 73,13% и полноту 80,38%; эти результаты относятся к указанному набору данных и не гарантируют такого же качества на других данных. Для запуска используется библиотека Transformers, а карточка отмечает несовместимость загружаемого удалённого кода с Transformers 5.x. Лицензия — MIT.

541май 2025ctx8.2K
textmithugging-face
KRLabsOrg
lettucedect-large-modernbert-en-v1

LettuceDetect large modernbert en v1 — англоязычная модель KRLabsOrg для выявления галлюцинаций в ответах на основе заданного контекста, в частности в системах Retrieval-Augmented Generation (RAG). Это дообученная для классификации токенов модель ModernBERT-large; в метаданных базовой моделью указана answerdotai/ModernBERT-base. Репозиторий содержит веса Safetensors, модель насчитывает 394,7 млн параметров и поддерживает контекст до 8192 токенов. Модель анализирует контекст вместе с ответом и размечает токены ответа, которые не подтверждаются контекстом; оценки по токенам можно объединить в фрагменты, чтобы показать подозрительные места. Она предназначена для проверки ответов RAG и локализации неподтверждённых утверждений. В README приведён результат F1 79,22% на тестовой выборке RAGTruth для оценки на уровне примеров. Указана лицензия MIT. Заявленные характеристики и результаты относятся к описанной конфигурации и набору данных; качество на других данных может отличаться.

5.7K30февр. 2025ctx8.2K
textmithugging-face
KRLabsOrg
lettucedect-mmbert-base-hu-v1

LettuceDetect — модель KRLabsOrg для поиска галлюцинаций в ответах, сопоставляя их с предоставленным контекстом в RAG-сценариях. Она возвращает токенные метки для неподтверждённых фрагментов, которые можно объединить в более крупные spans и показать пользователю, какие части ответа не подкреплены источником. Модель построена на mmBERT-base с архитектурой ModernBERT и дообучена для token classification на датасете RagTruth-HU, переведённом на венгерский язык. Контекстное окно составляет до 8192 токенов, размер — около 306,9 млн параметров. Лицензия — MIT.

1110окт. 2025ctx8.2K
textmithugging-face
Mizuiro-sakura
luke-japanese-base-finetuned-jsts

Mizuiro-sakura/luke-japanese-base-finetuned-jstsは、LUKE日本語版をYahoo! JAPANのJGLUEベンチマークに含まれるJSTSデータセットでファインチューニングした文章類似度モデルです。LUKEはTransformerベースの言語表現モデルで、単語とエンティティを別々のトークンとして扱い、エンティティを考慮した自己注意機構を用います。モデルは約138.4 млн параметров, принимает текст и выдаёт оценку сходства предложений по шкале, где 5 — максимальное сходство. Максимальная длина контекста — 514 токенов. Модель предназначена для сравнения японских предложений, ранжирования похожих формулировок и поиска семантически близких текстов. В README приведено значение корреляции Пирсона 0,8971. Это специализированная модель сходства предложений, поэтому её не следует считать универсальной разговорной моделью или использовать для генерации текста. Распространяется по лицензии MIT.

1341февр. 2023ctx514
textmithugging-face
zeromodels
metaclip2_worldwide_l14_224

Это конверсия MetaCLIP 2 ViT-L/14 от zeromodels, основанная на facebook/metaclip-2-worldwide-l14. Модель использует архитектуру CLIP с двумя энкодерами: один обрабатывает изображения, другой — текстовые описания. Реализация выполнена на Keras 3 и работает с TensorFlow, PyTorch и JAX. Модель предназначена для классификации изображений без предварительного обучения на заданных классах: она сопоставляет изображение с текстовыми метками или описаниями и оценивает их соответствие. Worldwide-вариант обучен на многоязычных данных и использует словарь XLM-RoBERTa на 901 тысячу токенов, поэтому поддерживает текстовые запросы на разных языках без отдельного мультиязычного чекпойнта. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях.

180июль 2026
textimagecc-by-nc-4.0hugging-face
GJATT
mms-pa_Sep27_152songs

GJATT/mms-pa_Sep27_152songs — модель распознавания речи на основе wav2vec2, дообученная разработчиком GJATT на базе facebook/mms-1b-all. Она преобразует входящее аудио в текст; карточка приводит результаты оценки: WER 0,3271 и CER 0,0971, а также loss 0,3949. Базовая модель поддерживает более тысячи языков, но язык и область применения именно этой версии в карточке не уточнены. Модель содержит 1,3 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. README не описывает обучающий набор данных или предполагаемые сценарии использования. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

2010сент. 2026
textaudiocc-by-nc-4.0hugging-face
musafa901
modernbert-ja-310m

Карточка модели musafa901/modernbert-ja-310m на Hugging Face совпадает с карточкой sbintuitions/modernbert-ja-310m, поэтому описание составлено по ней. ModernBERT-Ja-310M — плотный энкодер на архитектуре ModernBERT, разработанный SB Intuitions и обученный для заполнения пропусков в тексте. Модель содержит около 314,6 млн параметров, использует локальное и глобальное внимание, RoPE и контекст до 8192 токенов. Для токенизации применяется SentencePiece с unigram-моделью, словарём из 102 400 токенов и byte fallback; предварительная сегментация японского текста не требуется. Модель обучена на корпусе японских и английских текстов объёмом около 4,09 трлн токенов, включая два этапа расширения контекста. Она предназначена прежде всего для дообучения на прикладных задачах и подходит как энкодер для задач понимания текста; сама по себе не предназначена для генерации связного текста. Разработчик отмечает, что токенизация может ухудшать результаты задач разметки токенов, например распознавания именованных сущностей и извлечения фрагментов. Лицензия — MIT.

140сент. 2026ctx8.2K
textmithugging-face
unicamp-dl
monoptt5-base

MonoPTT5-base — португалоязычный ранжировщик текстов на архитектуре T5, разработанный командой unicamp-dl. Модель основана на ptt5-v2-base и дообучена в течение 100 тысяч шагов на смеси португальских и английских данных набора mMARCO. Она содержит 123,8 млн параметров, работает с контекстом до 512 токенов и распространяется в формате PyTorch. Модель предназначена для повторного ранжирования результатов поиска и отбора наиболее релевантных текстовых фрагментов запросу. Лицензия Apache-2.0 разрешает её использование на условиях этой лицензии. Карточка описывает её как T5-ранжировщик, тогда как метаданные указывают задачу text-generation, поэтому точный pipeline-тег для ранжирования не подтверждён метаданными.

3880июнь 2024ctx512
textapache-2.0hugging-face
AI4Industry
MoonViT-V2

MoonViT-V2 — визуальный энкодер, представленный как нативный vision backbone Kimi K3; репозиторий AI4Industry содержит извлечённые веса из чекпойнта moonshotai/Kimi-K3. Модель предназначена для кодирования изображений и видео в визуальные токены для мультимодальной обработки. Метаданные относят её к задаче извлечения признаков изображений. Архитектура — 27-слойный Vision Transformer примерно на 453 млн параметров с размером скрытого состояния 1024, 12 головами и патчами 14 × 14. Для изображений и видео используется общий путь с пространственным и временным вниманием; сжатие токенов включает pixel shuffle 2 × 2 и временной pooling. README указывает на обработку видео последовательностью кадров, по умолчанию до четырёх кадров. В репозитории сохранены веса vision tower в формате safetensors, без языковой модели и проектора, поэтому это не самостоятельная мультимодальная чат-модель. Модель может служить визуальным энкодером для распознавания текста, анализа интерфейсов и понимания видео. Обучающие данные, согласно README, охватывают подписи, документы, OCR, видео, визуальный код, grounding, SVG, 3D-объекты, веб-страницы, игры и CAD. Лицензия указана как other; конкретные условия следует сверить с лицензией репозитория и исходного Kimi K3.

396авг. 2026
imageembeddingotherhugging-face
BSC-LT
mRoBERTa

mRoBERTa — многоязычная языковая модель на архитектуре RoBERTa, разработанная BSC-LT и обученная с нуля на данных 35 европейских языков и 92 языков программирования. В метаданных указано 309,9 млн параметров, библиотека Transformers и контекст до 514 токенов; README приводит оценку размера 283 млн параметров. Модель использует токенизатор SentencePiece с словарём на 256 000 токенов и предобучалась методом masked language modeling на корпусе объёмом 12,8 ТБ. Основная задача модели — предсказывать замаскированные фрагменты текста. Её также можно дообучать для классификации, распознавания именованных сущностей и других задач понимания текста на поддерживаемых языках. README описывает оценку на многоязычных тестах, включая XTREME, а также отдельные тесты для каталанского, галисийского и баскского языков. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache 2.0. Как энкодерная модель заполнения масок, mRoBERTa не предназначена для генерации длинных текстов в режиме диалога; для прикладных задач, отличных от заполнения масок, потребуется подходящая дополнительная настройка.

4117март 2025ctx514
textapache-2.0hugging-face
nomic-ai
nomic-bert-2048

nomic-ai/nomic-bert-2048 — англоязычная модель семейства NomicBERT, разработанная Nomic AI и предварительно обученная на Wikipedia и BookCorpus. Это плотная BERT-архитектура для работы с последовательностями длиной до 2048 токенов; модель поддерживает задачу fill-mask и может служить основой для дообучения классификатора последовательностей и других задач понимания текста. В обучении используются Rotary Position Embeddings, позволяющие экстраполировать контекст, и активации SwiGLU; dropout отключён. В оценке на GLUE модель показала средний результат 0,84, сопоставимый с другими BERT-моделями, при более длинном контексте, чем у приведённых в карточке базовых моделей. Доступны веса PyTorch и Safetensors. Модель рассчитана на английский текст. Её можно дообучить для классификации текста, разметки токенов, ответов на вопросы и задач с выбором ответа. Это энкодер для понимания текста, а не генеративный чат-бот. Лицензия — Apache-2.0.

2.7K54янв. 2024ctx2K
textapache-2.0hugging-face
bbanany
qwen25-3b-korean-pii-qlora3

bbanany разработал дообученную модель на базе Qwen2.5-3B-Instruct для классификации фрагментов-кандидатов в ответах корейской RAG-системы: модель определяет, содержит ли фрагмент персональные данные (PII) или не содержит их (NOT_PII). Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров и контекстом до 32 768 токенов; основное назначение — проверка и фильтрация ответов перед выдачей пользователю. Модель обучена методом QLoRA с 4-битной NF4-квантизацией, после чего адаптер объединён с базовой моделью и сохранён в FP16 Safetensors. Репозиторий также содержит LoRA-адаптер. Корейский язык указан как целевой; для загрузки объединённых весов не требуются PEFT или bitsandbytes, поддерживаются CUDA и Apple Silicon MPS. Классификатор выдаёт только два класса. Данные обучения преимущественно синтетические и ориентированы на рабочие контексты, поэтому поведение на реальных документах, новых тегах и языковых вариантах нужно отдельно проверять. Модель не предназначена для юридического установления факта обработки персональных данных. Лицензия указана как other, конкретные условия в доступных сведениях не раскрыты.

370авг. 2026ctx32.8K
textotherhugging-face
tomaarsen
reranker-msmarco-v1.1-MiniLM-L12-H384-uncased-plistmle-pr3827-baseline

Это англоязычный CrossEncoder, разработанный tomaarsen и дообученный на базе microsoft/MiniLM-L12-H384-uncased с использованием библиотеки sentence-transformers и данных MS MARCO. Модель принимает пару текстов — например, запрос и документ — и вычисляет оценку их соответствия для ранжирования результатов поиска. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification и содержит около 40 млн параметров. Максимальная длина входа — 512 токенов; результатом служит один скалярный балл. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ, а также NanoBEIR. Модель рассчитана на английский язык и текстовый ввод. Лицензия в предоставленных данных не указана.

150июнь 2026ctx512
texthugging-face
PoSTMEDIA
Rosetta-7B-Think

Rosetta-7B-Think — двуязычная модель рассуждений от PoSTMEDIA на основе плотной авторегрессионной архитектуры Rosetta. Она содержит 7,1 млрд параметров и дообучена на Rosetta-7B-Base методом supervised fine-tuning на длинных трассах рассуждений. Модель генерирует трассу рассуждений перед итоговым ответом и поддерживает контекст до 65 536 токенов. Модель предназначена для диалоговой генерации ответов и пошаговых рассуждений на корейском и английском языках, в том числе для математических задач, понимания корейского текста, программирования и научных вопросов. В описанных разработчиком тестах она показала результаты на HRM8K, HAE-RAE, AIME24, AIME25 и GSM8K; сравнительные показатели получены по внутреннему протоколу разработчика. Длинные трассы рассуждений увеличивают задержку и расход токенов, а убедительные рассуждения могут содержать фактические ошибки. Модель оптимизирована для корейского и английского; качество на других языках не гарантируется. Хотя контекстное окно достигает 65 536 токенов, разработчик рекомендует проверять качество на длине свыше 32 768 токенов. Лицензия Apache-2.0 допускает коммерческое использование.

1811сент. 2026ctx65.5K
textapache-2.0hugging-face
Veritone
siglip2-base-patch16-384-text

Veritone/siglip2-base-patch16-384-text — текстовая башня модели SigLIP 2 Base, представленная Veritone как облегчённая копия google/siglip2-base-patch16-384. Она кодирует текстовые запросы в общее пространство эмбеддингов с изображениями и рассчитана на отдельную загрузку при поиске, когда в индексирующей части используется соответствующая модель Veritone/siglip2-base-patch16-384-vision. Такое разделение позволяет загружать только нужную башню и экономить память и время загрузки. Модель предназначена для текстовой стороны поиска по изображениям и классификации изображений по кандидатным текстовым меткам без отдельного обучения на этих метках. SigLIP 2 использует единый рецепт предобучения для улучшения семантического понимания, локализации и плотных визуальных признаков; исходная модель предобучена на WebLI. Карточка не указывает языковую специализацию текстовой башни, поэтому конкретные поддерживаемые языки не заявляются. Репозиторий содержит только текстовую башню, поэтому сам по себе не принимает изображения: для сопоставления нужны эмбеддинги изображений, полученные совместимой визуальной башней. Модель распространяется по лицензии Apache-2.0.

60июнь 2026ctx64
textimageapache-2.0hugging-face
Veritone
siglip2-so400m-patch14-224

Карточка модели Veritone/siglip2-so400m-patch14-224 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch14-224, поэтому описание составлено по ней. SigLIP 2 So400m — модель визуального энкодера от Google на архитектуре SigLIP. Она обучена на наборе WebLI и предназначена для понимания связей между изображениями и текстом. Модель поддерживает классификацию изображений по заданным текстовым меткам без специального дообучения, поиск изображений по текстовому запросу и использование в качестве визуального энкодера для VLM и других задач компьютерного зрения. Модель принимает изображения и текстовые метки или запросы, сопоставляет их семантически и выдаёт оценки соответствия. Вариант So400m использует патчи 14 × 14 и входное разрешение 224 × 224. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия Apache-2.0 разрешает коммерческое использование при соблюдении её условий.

60июнь 2026ctx64
textimageapache-2.0hugging-face
zeromodels
siglip_base_p16_256

zeromodels/siglip_base_p16_256 — конверсия SigLIP от Google в формате Keras 3, подготовленная для zeromodels. Это двухэнкодерная модель зрения и текста, обученная сопоставлять изображения с текстовыми описаниями с помощью попарной сигмоидной функции потерь. Она предназначена для классификации изображений без примеров: при выводе модель получает изображения и текстовые подсказки и оценивает их соответствие. Реализация работает с TensorFlow, Torch и JAX; базовая модель — google/siglip-base-patch16-256. Лицензия — Apache 2.0.

130июль 2026
textimageapache-2.0hugging-face
google
siglip-base-patch16-256-multilingual

google/siglip-base-patch16-256-multilingual — мультимодальная модель семейства SigLIP, разработанная Google и представленная в работе Zhai и соавторов. Это модель базового размера, предварительно обученная на наборе WebLI без фильтрации по языку; архитектура использует sigmoid loss для обучения на парах изображение–текст. Изображения обрабатываются при разрешении 256×256, а текст токенизируется с длиной до 64 токенов. Модель предназначена для классификации изображений по текстовым описаниям без специального дообучения, а также для поиска соответствий между изображениями и текстом. Она принимает изображения и текстовые запросы, сопоставляет их в общем мультимодальном пространстве и подходит для многоязычных сценариев. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Качество зависит от формулировки текстовых меток и охвата обучающих данных; модель не является универсальным генератором текста или изображений. Карточка не приводит конкретных ограничений по языкам или оценки качества для отдельных прикладных областей.

20K58янв. 2024ctx64
textapache-2.0hugging-face
zxcvo
sup-SimCSE-VietNamese-phobert-base-soc

zxcvo выпустил дообученную модель Sentence Transformers на базе VoVanPhuc/sup-SimCSE-VietNamese-phobert-base для сравнения смысла вьетнамских предложений и абзацев. Она использует трансформер RoBERTa (PhoBERT) с усреднением токенных представлений и формирует плотные эмбеддинги размерностью 768; для сравнения применяется косинусное сходство. Максимальная длина последовательности в README — 256 токенов, а метаданные указывают контекст в 258 токенов. Обучение проводилось на 288 примерах пар «запрос — релевантный текст»; Matryoshka Loss позволяет использовать укороченные векторы размерностью 512, 256, 128 или 64. Модель подходит для семантического поиска и ранжирования вьетнамских текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Примеры обучающих данных посвящены сетевой безопасности и информационной безопасности, но карточка не подтверждает специализацию модели на этих областях. Небольшой обучающий набор и приведённые в README результаты оценки ограничивают основания для выводов о качестве на широком круге текстов. Условия лицензирования в доступных сведениях не приведены.

1220дек. 2024ctx258
textembeddinghugging-face
utahnlp
tevatron3-reranker-8b-distill

utahnlp/tevatron3-reranker-8b-distill — точечная модель-переранжировщик пассажей на базе плотной авторегрессионной Qwen3-8B, обученная командой Utah NLP с помощью инструментария Tevatron 3.0. Она предназначена для ранжирования найденных фрагментов по релевантности запросу: для каждой пары «запрос — пассаж» вычисляет разность логитов ответов «yes» и «no» после вопроса о релевантности. Модель прошла полное дообучение с дистилляцией listwise-KL на наборе RLHN-680K и сохраняется в формате safetensors. Модель принимает текст запроса и текста пассажа, включая заголовок, и выдаёт оценку релевантности для сортировки результатов поиска. Размер составляет 7,6 млрд параметров, длина контекста — 32 768 токенов. Лицензия Apache-2.0. Карточка описывает конкретный контракт оценки; при использовании нужно сохранить указанный шаблон запроса и не добавлять EOS-токен перед вычислением оценки.

100июль 2026ctx32.8K
textapache-2.0hugging-face
ytu-ce-cosmos
turkish-colbert

Turkish-ColBERT — модель поиска от YTU-CE-Cosmos для извлечения релевантных фрагментов турецкого текста. Она использует архитектуру ColBERT с поздним взаимодействием между многовекторными представлениями запросов и документов; модель создана дообучением Turkish Base BERT на 500 тысячах троек «запрос, релевантный фрагмент, нерелевантный фрагмент» из переведённого на турецкий датасета MS MARCO. Модель содержит 137,8 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Модель предназначена для поиска пассажей и подбора документов для систем вопросно-ответного поиска и RAG. В README приведены результаты оценки на турецких наборах Scifact-tr и WikiRAG-TR. Известное ограничение: из-за особенности токенизатора перед обработкой требуется вручную приводить текст к нижнему регистру, заменяя латинскую I на турецкую ı. Лицензия — MIT.

17444дек. 2024ctx512
textembeddingmithugging-face
Harveenchadha
vakyansh-wav2vec2-telugu-tem-100

Harveenchadha/vakyansh-wav2vec2-telugu-tem-100 — модель автоматического распознавания речи на телугу, опубликованная Harveen Singh Chadha в рамках проекта Vakyansh. Проект разработан как набор инструментов и моделей для ASR на индийских языках с ограниченными ресурсами; данная модель предназначена для преобразования телугуязычной речи в текст. Модель построена на архитектуре Wav2Vec2ForCTC и использует библиотеку Transformers с PyTorch. Размер модели составляет около 113,3 млн параметров. Она принимает аудио и возвращает транскрипцию на телугу; модель ориентирована на пакетное или потоковое распознавание речи, но качество может снижаться при шуме, музыке, необычной лексике, отличающихся от обучающих данных доменах и речи с сильным акцентом. Длина контекста и условия лицензирования в доступных источниках не установлены.

9740март 2022
textaudiohugging-face
timm
vit_base_patch16_siglip_512.webli

Это визуальный энкодер SigLIP из библиотеки timm, опубликованный на Hugging Face командой timm. Модель принимает изображения и извлекает их признаки; текстовый энкодер и возможности генерации в карточке не заявлены. В названии указаны архитектура ViT-Base с патчами 16×16 и разрешение 512 пикселей; сохранён оригинальный механизм attention pooling SigLIP. Модель предназначена для получения визуальных представлений, которые можно использовать в системах поиска по изображениям и других задачах, где нужны признаки изображения. Доступны веса PyTorch и Safetensors, лицензия — Apache 2.0.

2290дек. 2024
textapache-2.0hugging-face
timm
vit_base_patch32_clip_224.metaclip_400m

Это модель компьютерного зрения timm/vit_base_patch32_clip_224.metaclip_400m на архитектуре CLIP ViT-B/32 с вариантом активации QuickGELU. Она использует визуальную и текстовую части CLIP и обучена на наборе MetaCLIP-400M; доступна через библиотеки open_clip и timm. Основной сценарий — классификация изображений по текстовым описаниям без отдельного дообучения на целевых классах. Модель сопоставляет изображение с текстовыми метками или описаниями и позволяет выбирать наиболее подходящий вариант. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

2920окт. 2024ctx77
textimagecc-by-nc-4.0hugging-face
timm
vit_giantopt_patch16_siglip_256.v2_webli

Модель timm/vit_giantopt_patch16_siglip_256.v2_webli — визуальный энкодер семейства SigLIP 2 на архитектуре ViT-Giant с патчами 16×16, обученный на наборе WebLI. Это только визуальная часть модели: она преобразует изображения в признаки и предназначена для извлечения визуальных представлений, а не для генерации текста или изображений. Репозиторий использует библиотеку timm и предоставляет веса в форматах PyTorch и Safetensors. Энкодер можно применять как компонент систем поиска по изображениям, сопоставления изображений с текстовыми представлениями и других задач, которым нужны визуальные признаки. В карточке указана лицензия Apache-2.0. Число параметров и размер контекста в доступных сведениях не приводятся.

6820февр. 2025
imageembeddingapache-2.0hugging-face
ylacombe
wav2vec2-bert-CV16-en-libri

wav2vec2-bert-CV16-en-libri — модель распознавания речи, дообученная на базе facebook/w2v-bert-2.0 на чистой части набора LIBRISPEECH_ASR. Она использует архитектуру Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает английское направление по названию модели. В README приведены результаты оценки: WER 0,0708 и CER 0,0194 на оценочном наборе. Модель распространяется по лицензии MIT. Подробности о сценариях применения, контексте записи и известных ограничениях в карточке не раскрыты.

272янв. 2024
textaudiomithugging-face
jbetker
wav2vec2-large-robust-ft-libritts-voxpopuli

jbetker/wav2vec2-large-robust-ft-libritts-voxpopuli — модель автоматического распознавания речи на архитектуре wav2vec2-large, разработанная jbetker дообучением facebook/wav2vec2-large-robust-ft-libri-960h на наборах LibriTTS и VoxPopuli. Она преобразует аудио в текстовые транскрипции с пунктуацией, что особенно полезно для подготовки текстов к синтезу речи, где пунктуация влияет на просодию. Модель содержит 402,8 млн параметров и доступна в формате PyTorch. В карточке указана оценка WER 4,45% на валидационном наборе LibriSpeech; для базовой модели приводится 4,3%. Обучение велось на чистом аудио, поэтому модель хуже подходит для шумных записей. Условия лицензии в предоставленных данных не приведены.

4.5K8март 2022
textaudiohugging-face
peter2000
wav2vec2-large-xls-r-300m-kinyarwanda

Модель peter2000/wav2vec2-large-xls-r-300m-kinyarwanda — дообученная на Common Voice версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на киньяруанда. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. Число параметров — около 402,8 млн; модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для транскрибации записей и аудиопотоков на киньяруанда. В указанной оценке на тестовой выборке Common Voice значение WER составляет 0,3246. Карточка не описывает ограничения применения и не приводит дополнительные сведения о поддержке других языков.

4780май 2022
textaudioapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей