/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
10 981–11 010 из 23 488
fableforge-ai
ShellWhisperer-1.5B

ShellWhisperer-1.5B — языковая модель, разработанная командой FableForge и дообученная на базе Qwen/Qwen2.5-1.5B-Instruct. Она предназначена для преобразования запросов на естественном языке в точные команды Bash, а также для сценариев, связанных с DevOps, системным администрированием и работой в терминале. Модель имеет размер 1,5 млрд параметров, поддерживает текстовую генерацию и английский язык. Для локального запуска доступны файлы в формате GGUF с различными уровнями квантования, включая F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные варианты. Заявлена совместимость с llama.cpp, Ollama и LM Studio; для диалогового взаимодействия используется формат ChatML. Контекстное окно в README не указано. К сильным сторонам относятся компактность, быстрота и специализация на генерации Bash-команд, благодаря чему модель может работать на устройствах с ограниченными ресурсами. Ограничения включают небольшой размер и узкую специализацию, а также отсутствие опубликованных количественных оценок качества и подробных сведений о данных обучения. Модель распространяется по лицензии Apache-2.0.

1.5K11июнь 2026ctx32.8K
textapache-2.0hugging-face
Veritone
siglip2-large-patch16-256

Карточка модели Veritone/siglip2-large-patch16-256 на Hugging Face совпадает с карточкой google/siglip2-large-patch16-256, поэтому описание составлено по ней. SigLIP 2 Large — большая модель визуально-языкового кодировщика, разработанная Google. Она расширяет подход SigLIP дополнительными методами предобучения, улучшая семантическое понимание изображений, локализацию объектов и получение плотных визуальных признаков. Модель предобучена на наборе WebLI и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для классификации изображений по текстовым описаниям без специального дообучения, поиска изображений по тексту и текста по изображению, а также использования в качестве визуального энкодера для визуально-языковых моделей и других задач компьютерного зрения. На вход подаются изображения и, для классификации, набор текстовых меток; результатом служат оценки соответствия изображения и меток или визуальные признаки. Лицензия — Apache-2.0. Карточка не приводит ограничений по языкам или длине контекста; качество зависит от изображений, формулировок текстовых меток и области применения, а для специализированных сценариев может потребоваться дополнительная проверка или адаптация.

60июнь 2026ctx64
textimageapache-2.0hugging-face
google
siglip2-so400m-patch16-384

SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google и предназначенная для сопоставления изображений и текста. Её применяют для классификации изображений по произвольным текстовым меткам, поиска изображений по текстовому запросу и как визуальный энкодер для мультимодальных моделей и других задач компьютерного зрения. Модель использует плотную архитектуру SigLIP и представлена в формате safetensors; работать с ней можно через Transformers. Предобучение проведено на наборе WebLI. SigLIP 2 развивает подход к предобучению SigLIP, объединяя его с ранее разработанными методами для улучшения семантического понимания, локализации и извлечения плотных признаков. Лицензия — Apache 2.0. Модель обрабатывает изображения и текстовые метки и выдаёт оценки соответствия; качество зависит от формулировок меток и характеристик изображений. README не приводит конкретных ограничений применения.

165K14февр. 2025
textimageapache-2.0hugging-face
mayflowergmbh
smollm3-3b-german-embed

Экспериментальная модель эмбеддингов mayflowergmbh на основе SmolLM3 3B от Microsoft, дообученная с помощью LoRA для поиска по немецким текстам и оценки семантического сходства. Она преобразует текст векторовое представление размерностью 2048 и подходит для задач информационного поиска и сравнения предложений; совместима с библиотекой sentence-transformers. Архитектура основана на Llama и использует подход LLM2Vec: двунаправленное внимание и mean pooling. Метаданные указывают контекст модели 65 536 токенов, однако карточка README задаёт максимальную длину последовательности 512 токенов, после которой текст обрезается. Модель ориентирована на немецкий язык; качество для других языков не оценивалось. Для инференса требуется около 6 ГБ видеопамяти. Модель выпущена под лицензией Apache 2.0. В README она обозначена как экспериментальная; заявленное преимущество — настройка на немецкий информационный поиск с контрастивным обучением и подбором трудных негативных примеров.

1152июль 2025ctx65.5K
textembeddingapache-2.0hugging-face
tomaarsen
splade-cocondenser-base-miriad-1e-5

Это англоязычный разреженный поисковый энкодер SPLADE, разработанный tomaarsen и дообученный на наборах вопрос–пассаж MIRIAD 4.4M от базовой модели Luyu/co-condenser-marco с использованием sentence-transformers. Модель на основе BERT преобразует предложения и абзацы в разреженные векторы размерностью 30 522; для сопоставления используется скалярное произведение. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска пассажей по запросам. Максимальная длина входной последовательности — 512 токенов. Распространяется по лицензии Apache-2.0.

1240июнь 2025ctx512
textembeddingapache-2.0hugging-face
naver
splade_v2_max

SPLADEv2max — разработанная Naver разреженная модель-энкодер для поиска по предложениям и абзацам. Она кодирует текст в разреженный вектор размерности 30 522 и предназначена для семантического поиска и извлечения passages; оценки релевантности вычисляются скалярным произведением векторов. Модель основана на distilbert/distilbert-base-uncased и использует masked language modeling с max-pooling и ReLU. Максимальная длина входа — 512 токенов; для воспроизведения оценки используется длина 256 токенов. Поддерживаемый язык — английский. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.

2016апр. 2023ctx512
textembeddingcc-by-nc-sa-4.0hugging-face
ctaguchi
ssc-ttj-mms-model-mix-adapt-max

ssc-ttj-mms-model-mix-adapt-max — модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-выходом. В метаданных указано 1,3 млрд параметров; модель опубликована в формате Safetensors и использует библиотеку Transformers. Она принимает аудио и предназначена для преобразования речи в текст. В README приведены результаты оценки: CER 0,0697 и WER 0,3887 при loss 0,1838. Модель обучена с нуля на неизвестном наборе данных, поэтому нельзя определить поддерживаемые языки и области применения. Условия лицензии в предоставленных данных не указаны.

1460дек. 2025
textaudiohugging-face
orionweller
tart-dual-contriever-msmarco

orionweller/tart-dual-contriever-msmarco — модель на базе архитектуры BERT объёмом 136,7 млн параметров, опубликованная для удобства использования. Она предназначена для извлечения признаков из текста; метаданные указывают ограничение контекста в 512 токенов. Файлы модели представлены в формате Safetensors. Название указывает на связь с TART, Dual Contriever и MS MARCO, однако README не описывает обучение, назначение этих компонентов или конкретный сценарий применения. Лицензия в предоставленных данных не указана.

210март 2024ctx512
textembeddinghugging-face
zeromodels
tipsv2-so400m14

zeromodels/tipsv2-so400m14 — конверсия модели Google DeepMind TIPSv2 в Keras 3, распространяемая проектом zeromodels. Это двухбашенная модель типа CLIP/SigLIP: визуальная башня на основе ViT в стиле DINOv2 с register-токенами и двунаправленная текстовая башня, обученные сопоставлять изображения и текст контрастивным методом. Модель предназначена для классификации изображений по текстовым меткам без специального обучения на этих метках и получения согласованных визуальных и текстовых признаков. В репозитории доступны полная модель и обе башни; реализация Keras 3 работает с TensorFlow, Torch и JAX. Для обработки изображений используется разрешение 448 пикселей и масштабирование значений в диапазон [0, 1]. Модель принимает изображения и текстовые метки и выдаёт оценки соответствия; лицензия Apache-2.0.

150авг. 2026
textimageapache-2.0hugging-face
microsoft
trocr-base-str

TrOCR base STR — модель оптического распознавания текста от Microsoft, дообученная на наборах IC13, IC15, IIIT5K и SVT. Она предназначена для распознавания текста на изображениях отдельных строк, например на фотографиях вывесок и коротких надписей. Модель построена по архитектуре vision encoder-decoder: Transformer-кодировщик изображений преобразует изображение в последовательность патчей 16×16, а авторегрессионный Transformer-декодер генерирует текст. Кодировщик инициализирован весами BEiT, декодер — RoBERTa. Репозиторий содержит веса PyTorch. Модель рассчитана на распознавание строк текста; качество для документов, многострочных изображений и других доменов может отличаться от качества на использованных наборах. Лицензия в предоставленных материалах не указана.

3.2K8сент. 2022ctx512
textimagehugging-face
vllm-sr
Vela-1.0-Encoder-307M-FactCheck

Vela FactCheck — модель классификации текста от vllm-sr, дообученная на базе vllm-sr/Vela-1.0-Encoder-307M. Она определяет, требует ли запрос внешних фактических знаний или поиска по источникам; модель не проверяет истинность утверждений. Архитектура — ModernBERT для классификации последовательностей, размер — 306,9 млн параметров, максимальная длина входа — 32 768 токенов с учётом специальных токенов. Модель рассчитана на классификацию запросов в системах маршрутизации и retrieval.

3.3K3сент. 2026ctx32.8K
textapache-2.0hugging-face
timm
ViT-B-16-SigLIP2

timm/ViT-B-16-SigLIP2 — визуально-языковая модель семейства SigLIP 2, обученная на наборе WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Это контрастивный энкодер изображений и текста, предназначенный для классификации изображений без дополнительного обучения: пользователь задаёт текстовые описания классов, а модель сопоставляет их с изображением. Модель принимает изображения и текстовые описания, оценивает их соответствие и подходит для поиска изображений по тексту и классификации с произвольными текстовыми метками. В карточке указана поддержка многоязычного визуально-языкового обучения SigLIP 2; конкретные языки этой версии не перечислены. Модель распространяется в форматах PyTorch и safetensors и доступна на условиях Apache-2.0. Это конверсия исходных контрольных точек, а не отдельное дообучение. Карточка не сообщает конкретный размер модели, длину контекста или ограничения качества; результаты могут зависеть от формулировок текстовых меток и домена изображений.

59K1февр. 2025
textimageapache-2.0hugging-face
timm
vit_giantopt_patch16_siglip_384.v2_webli

Это визуальный энкодер SigLIP 2 на архитектуре ViT Giant с оптимизированными патчами 16 и входным разрешением 384 пикселя, подготовленный для библиотеки timm. Модель соответствует только визуальной части SigLIP 2 и обучена на наборе данных WebLI. Модель предназначена для извлечения признаков изображений: полученные представления можно использовать для поиска похожих изображений, сопоставления изображений с текстом в составе мультимодальной системы и других задач визуального анализа на основе признаков. Метаданные указывают задачу image-feature-extraction; модель принимает изображения и выдаёт векторные представления. Репозиторий распространяется по лицензии Apache 2.0. Карточка не сообщает число параметров, длину контекста или ограничения качества; это визуальный энкодер, поэтому он сам по себе не генерирует текст и не принимает текстовые запросы.

1.1K0февр. 2025
imageembeddingapache-2.0hugging-face
timm
ViT-SO400M-14-SigLIP

ViT-SO400M-14-SigLIP — контрастивная модель сопоставления изображений и текста на основе SigLIP, обученная на наборе WebLI. Исходные веса из контрольных точек JAX проекта Big Vision преобразованы в PyTorch; репозиторий поддерживается timm и распространяется в форматах PyTorch и safetensors под лицензией Apache-2.0. Модель предназначена для классификации изображений по текстовым описаниям без отдельного дообучения: она сравнивает изображение с набором предложенных пользователем категорий и позволяет выбрать наиболее подходящую. Через OpenCLIP доступны работа с изображениями и текстом, а через timm — получение эмбеддингов изображений. Карточка не приводит сведений о размере модели, длине контекста или поддерживаемых языках; точность зависит от формулировок текстовых меток и домена изображений.

32K20окт. 2023
textapache-2.0hugging-face
timm
vit_so400m_patch14_siglip_378.webli

Это визуальный энкодер SigLIP из библиотеки timm: модель преобразует изображения в признаки и поддерживает извлечение визуальных представлений. В карточке указаны вариант SO400M с патчами 14×14 и входным разрешением 378 пикселей; сохранён исходный механизм attention pooling. Модель разработана как часть семейства timm и распространяется в форматах PyTorch и safetensors. Энкодер подходит для получения признаков изображений в системах визуального поиска, сопоставления и анализа. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. В доступной карточке не приведены сведения о качестве на конкретных наборах данных.

1920дек. 2024
imageembeddingapache-2.0hugging-face
cahya
wav2vec2-base-turkish-cv7

cahya/wav2vec2-base-turkish-cv7 — модель распознавания турецкой речи, разработанная Cahya и дообученная на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - TR. Она использует архитектуру wav2vec2 с CTC-декодером и содержит 113,3 млн параметров. Модель принимает аудио и выдаёт распознанный текст на турецком языке. На оценочной выборке указаны loss 0,2893 и WER 0,2713. Модель подходит для транскрибации турецкой речи, в том числе записей, похожих по условиям на Common Voice. Доступна по лицензии Apache-2.0.

2900март 2022
textaudioapache-2.0hugging-face
nguyenvulebinh
wav2vec2-base-vi-vlsp2020

Модель nguyenvulebinh/wav2vec2-base-vi-vlsp2020 — акустическая модель распознавания вьетнамской речи на архитектуре wav2vec2, представленная автором репозитория. Она предварительно обучена на 13 тысячах часов неразмеченной вьетнамской речи из YouTube, а затем дообучена на 250 часах размеченных данных VLSP ASR. Модель содержит 113,3 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для преобразования вьетнамской речи в текст. В тесте VLSP T1 автор сообщает WER 8,66 без языковой модели и 6,53 с 5-граммовой языковой моделью. Эти результаты относятся к указанному тестовому набору и не гарантируют такое же качество на других типах аудио. Для использования модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое применение.

1.2M11нояб. 2022
textaudiocc-by-nc-4.0hugging-face
ctaguchi
wav2vec2-kac

ctaguchi/wav2vec2-kac — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m и реализованная на базе Wav2Vec2ForCTC. Она принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: CER 0,0452 и WER 0,1986; набор данных и условия оценки не описаны, поэтому эти показатели нельзя напрямую сопоставлять с результатами других моделей. Модель содержит около 402,7 млн параметров, распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Суффикс kac в названии может указывать на язык, однако README и метаданные не подтверждают, какой язык поддерживается, поэтому языковые характеристики здесь не уточняются.

3530окт. 2025
textaudioapache-2.0hugging-face
dianavdavidson
wav2vec2-large-xlsr-53-iv_hindi_vaani-62420-hinglish_mixed_scripts-alldata-1e-4-100-mix-0.3-FT

Модель dianavdavidson/wav2vec2-large-xlsr-53-iv_hindi_vaani-62420-hinglish_mixed_scripts-alldata-1e-4-100-mix-0.3-FT — дообученная Dianavdavidson версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи. Она построена на архитектуре Wav2Vec2ForCTC, содержит 402,8 млн параметров и принимает аудио, выдавая распознанный текст. По названию модели она ориентирована на хинди и хинглиш со смешанными письменностями; оценка на тестовом наборе указана как Global WER 29,1776 и loss 0,7903. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

80сент. 2026
textaudioapache-2.0hugging-face
scottykwok
wav2vec2-large-xlsr-cantonese

Модель scottykwok/wav2vec2-large-xlsr-cantonese разработана участником scottykwok и представляет собой wav2vec 2.0 XLSR, дообученную для автоматического распознавания кантонской речи. Она принимает аудио и выдаёт текстовую транскрипцию; модель основана на wav2vec2-large-xlsr-53 и обучалась на Common Voice zh-HK версии 6.1.0. Архитектура — Wav2Vec2ForCTC, размер — 406,3 млн параметров. Для тестовой части Common Voice zh-HK автор сообщает CER 15,11%. Модель рассчитана на кантонский язык; карточка не приводит длину аудиозаписи или контекста. Распространяется по лицензии CC BY-SA 4.0.

30K2март 2022
textaudiocc-by-sa-4.0hugging-face
eddiegulay
wav2vec2-large-xlsr-mvc-swahili

wav2vec2-large-xlsr-mvc-swahili — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53. Она предназначена для преобразования аудиозаписей на суахили в текст и обучена на данных Common Voice 13.0. Модель использует архитектуру Wav2Vec2ForCTC, содержит около 402,7 млн параметров и принимает аудио, выдавая текст. Базовая модель предварительно обучена на речи 53 языков. В README отмечена проблема со словарём: при обучении не учли некоторые специальные символы, поэтому распознавание таких символов может работать некорректно. Модель распространяется по лицензии Apache-2.0.

631K3нояб. 2023
textaudioapache-2.0hugging-face
danurahul
wav2vec2-large-xlsr-pa-IN

danurahul/wav2vec2-large-xlsr-pa-IN — модель автоматического распознавания речи на панджаби, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования панджабской речи в текст. Для входного аудио требуется частота дискретизации 16 кГц; доступны веса PyTorch и Flax. В карточке указан результат тестирования 100% на тестовых данных Common Voice, однако метрика не названа, а разделение данных описано неоднозначно: README сообщает об использовании наборов train и validation для обучения, валидации и тестирования. Поэтому результат не позволяет оценить обобщающую способность модели. Лицензия — Apache-2.0.

102март 2022
textaudioapache-2.0hugging-face
CuongLD
wav2vec2-large-xlsr-vietnamese

CuongLD разработал wav2vec2-large-xlsr-vietnamese — модель распознавания вьетнамской речи, дообученную на базе facebook/wav2vec2-large-xlsr-53. Это акустическая модель Wav2Vec2 с выходной CTC-головой; размер модели составляет 402,7 млн параметров. Модель преобразует аудиозаписи речи в текст и подходит, например, для расшифровки голосовых сообщений и записей. В обучении использовались Common Voice и Infore_25h; для входного аудио требуется частота дискретизации 16 кГц. В карточке приведён результат оценки 58,63% на тестовых данных Common Voice, но метрика не уточнена. Модель рассчитана на вьетнамский язык. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

1.1K2март 2022
textaudioapache-2.0hugging-face
davidilag
wav2vec2-xls-r-1b-scandinavian-E2-100h-30-epochs-20250123

wav2vec2-xls-r-1b-scandinavian-E2-100h-30-epochs-20250123 — дообученная Davidilag модель распознавания речи на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. В README приведены результаты на оценочном наборе: WER 21,627 и CER 4,5904; набор данных и условия оценки не описаны, поэтому эти значения нельзя уверенно переносить на другие записи. Модель предназначена для автоматической транскрипции речи. В метаданных указаны 1,3 млрд параметров, библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Язык или языки дообучения из карточки установить нельзя.

100янв. 2025
textaudioapache-2.0hugging-face
larrycmu
wav2vec2-xls-r-300m-okinoerabu-lr-3e-4

Larrycmu разработал эту модель дообучением facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Это плотная модель Wav2Vec2 с CTC-выходом, принимающая аудио и выдающая текст; репозиторий содержит веса в формате safetensors. Число параметров — около 402,8 млн. В карточке приведены результаты на тестовой выборке: CER 0,0746 и WER 0,3453. Язык распознавания и характеристики набора данных не раскрыты, поэтому применимость к конкретному языку и условиям записи по этим сведениям оценить нельзя. Лицензия — Apache-2.0.

130июнь 2026
textaudioapache-2.0hugging-face
RedHatAI
whisper-large-v3-quantized.w8a8

RedHatAI/whisper-large-v3-quantized.w8a8 — квантизированная версия модели openai/whisper-large-v3, разработанная Neural Magic. Это аудио-текстовая модель распознавания речи, преобразующая аудиовход в текст. Модель предназначена для автоматической транскрипции речи и эффективного инференса, в том числе при развертывании через vLLM и его OpenAI-совместимый сервер. В README явно указана поддержка английского языка. Архитектура соответствует Whisper large-v3; точное число параметров и максимальная длина контекста в README не указаны. Веса и активации квантизированы в INT8 по схеме W8A8, что ориентировано на снижение вычислительных и ресурсных затрат при инференсе. Модель готова к использованию с vLLM версии 0.5.2 и выше и поддерживает обработку аудиоданных в мультимодальном запросе. README не содержит количественной оценки влияния квантизации на точность и подробностей об ограничениях качества. Модель распространяется по лицензии Apache 2.0.

5201апр. 2025
textaudioapache-2.0hugging-face
TalTechNLP
whisper-large-v3-turbo-et-verbatim

Модель TalTechNLP/whisper-large-v3-turbo-et-verbatim — дообученная командой TalTechNLP мультиязычная модель Whisper large-v3-turbo для автоматического распознавания речи. Её обучили на 1400 часах аудио с вручную подготовленными дословными транскрипциями из набора TalTech Estonian Speech Dataset 1.0. Модель принимает аудио и выдаёт текст. Она подходит для дословной транскрибации эстонской речи; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Лицензия — MIT.

1323сент. 2025
textaudiomithugging-face
zuazo
whisper-medium-es

zuazo/whisper-medium-es — модель распознавания речи, созданная дообучением openai/whisper-medium на испанской части набора Mozilla Common Voice 13.0. Она принимает аудио и генерирует текст; предназначена прежде всего для транскрибации испанской речи. Архитектура — Whisper, плотная модель с 455,8 млн параметров. На оценочном наборе указаны loss 0,1915 и WER 5,4088. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0, которая разрешает использование, изменение и распространение с указанием авторства.

320дек. 2023ctx1K
textaudioapache-2.0hugging-face
schneewolflabs
Wichtelchen-Qwen3.5-9B

Wichtelchen-Qwen3.5-9B — модель schneewolflabs на архитектуре Qwen3.5-9B, дообученная для локальной работы с инженерными задачами и делегирования работы кодовому агенту. Она поддерживает диалог, работу с кодом и изображениями; в метаданных указан формат safetensors и библиотека Transformers. README сообщает о результатах 56,1% на hembench и 10/10 по делегированию в тесте egirl, однако это результаты внутренних бенчмарков разработчика. Модель предназначена для сценариев, где ассистент использует инструменты и передаёт инженерные задачи агенту egirl. README характеризует использование инструментов как одноходовое и привязанное к схеме инструментов egirl. Лицензия — Apache-2.0.

291авг. 2026ctx262.1K
textimageapache-2.0hugging-face
sentence-transformers
xlm-r-bert-base-nli-stsb-mean-tokens

sentence-transformers/xlm-r-bert-base-nli-stsb-mean-tokens — модель Sentence Transformers, обученная командой sentence-transformers на основе XLM-RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста составляет 514 токенов. Доступны варианты весов в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель многоязычная благодаря основе XLM-RoBERTa, однако README предупреждает, что качество её эмбеддингов низкое и модель устарела, поэтому для новых задач рекомендуются более современные модели эмбеддингов. Лицензия — Apache-2.0.

1.3K0март 2022ctx514
textembeddingapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей