/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
13 291–13 320 из 23 488
Gnartiel
vietnamese-sbert

Карточка модели Gnartiel/vietnamese-sbert на Hugging Face совпадает с карточкой keepitreal/vietnamese-sbert, поэтому описание составлено по ней. keepitreal/vietnamese-sbert — модель Sentence-Transformers на архитектуре RoBERTa, содержащая 162,4 млн параметров. Она преобразует предложения и абзацы на вьетнамском языке в плотные векторы размерностью 768 для сравнения семантической близости, поиска и кластеризации. Модель принимает текст и выдаёт эмбеддинги; её контекст ограничен 258 токенами. Модель подходит для семантического поиска по вьетнамским текстам, группировки похожих предложений и оценки их смыслового сходства. В README указано обучение с CosineSimilarityLoss. Доступные файлы представлены в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

1080окт. 2023ctx258
textembeddinghugging-face
aconeil
w2v2-lmk_updated

aconeil/w2v2-lmk_updated — модель автоматического распознавания речи на архитектуре wav2vec 2.0, дообученная на базе facebook/wav2vec2-large-xlsr-53. Она предназначена для преобразования аудиозаписей речи в текст. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. В README приведены результаты на оценочном наборе: WER 0,5749 и CER 0,2049. Для обучения использован набор данных audiofolder. Модель распространяется в формате safetensors по лицензии Apache-2.0. Язык распознавания и подробные ограничения в карточке не описаны.

150нояб. 2025
textaudioapache-2.0hugging-face
facebook
wav2vec2-base-10k-voxpopuli-ft-es

Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на Wav2Vec2 Base: предварительно обучена на 10 тысячах неразмеченных примеров корпуса VoxPopuli, затем дообучена на транскрибированных испанских аудиозаписях. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров; модель принимает аудио и преобразует речь в текст на испанском языке. Модель предназначена для автоматической транскрипции испанской речи, в том числе аудиозаписей, похожих на данные VoxPopuli. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 требует указания авторства и не разрешает коммерческое использование.

2.6K4март 2022
textaudiocc-by-nc-4.0hugging-face
tomascufaro
wav2vec2-large-xls-r-300m-spanish-small-v3

tomascufaro/wav2vec2-large-xls-r-300m-spanish-small-v3 — дообученная модель распознавания речи на базе jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Она использует архитектуру wav2vec2 с классификационной головой CTC и предназначена для преобразования испанской речи в текст. Модель обучалась на Common Voice; в карточке указаны значения Loss 0,3986 и WER 0,1980 на наборе оценки. Репозиторий содержит веса PyTorch и насчитывает около 402,7 млн параметров. Лицензия в доступных данных не указана.

160март 2022
textaudiohugging-face
burakaydinofficial
whisper-base-cv11

burakaydinofficial/whisper-base-cv11 — это мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Base на корпусе Whispered с лицензией CC0. Модель содержит 51,7 млн параметров и предназначена для преобразования речи в аудио в текст; она работает через библиотеку Transformers без пользовательского кода. Модель служит контрольной точкой для сравнения с вариантом whisper-base-mla-cv11, в котором изменена архитектура внимания. В карточке приведены результаты оценки на CommonVoice-17 для английского, немецкого и испанского языков; обучение проводилось на данных для чтения речи, энкодер был заморожен. Поддерживаются английский, немецкий, испанский, французский, русский, турецкий, валлийский, арабский, грузинский, тайский и китайский языки. Контекстная длина в доступных данных не указана. Модель распространяется по лицензии Apache-2.0. Результаты могут немного отличаться при повторной оценке: в карточке отмечено, что контрольная финальная контрольная точка отличается от контрольной точки, выбранной по dev-набору.

80июль 2026ctx1K
textaudioapache-2.0hugging-face
deepdml
whisper-base-es-mix-norm

deepdml/whisper-base-es-mix-norm — модель распознавания речи на основе Whisper Base от OpenAI, дообученная разработчиком deepdml. По метаданным, модель предназначена для преобразования аудио в текст и обучалась на наборах VoxForge, Common Voice, Basque Parliament, WorldSpeech, VoxPopuli, Fleurs и Multilingual LibriSpeech; README также сообщает о дообучении на Common Voice 17.0. Архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors и предназначены для использования с Transformers. На тестовом наборе из README указаны WER 12,4062 и CER 4,8335. Метаданные отмечают испанский язык, однако подробности о нормализации, поддержке отдельных языков и условиях оценки не раскрыты. Лицензия — Apache-2.0.

180июль 2026ctx1K
textaudioapache-2.0hugging-face
handy-computer
whisper-large-v2-gguf

whisper-large-v2-gguf — это конвертация мультиязычной модели автоматического распознавания речи OpenAI Whisper large-v2 в формат GGUF для использования с transcribe.cpp. Модель разработана OpenAI, а сборки и конвертация опубликованы handy-computer. Она предназначена для расшифровки аудио, определения языка и перевода речи с поддерживаемых языков на английский текст. Модель использует архитектуру encoder-decoder Transformer и обрабатывает аудио окнами по 30 секунд с чанковой декодировкой длинных записей. Поддерживается широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 6,18 ГБ. Предусмотрены сегментные временные метки, но потоковая обработка не поддерживается. Сильные стороны модели — широкая языковая поддержка, распознавание, определение языка и перевод, а также несколько вариантов квантования для компромисса между качеством и требованиями к памяти. На тесте LibriSpeech test-clean заявленная WER составляет от 2,46% до 2,97% в зависимости от варианта, однако качество заметно различается между языками и наборами данных. Производительность зависит от оборудования и режима вычислений, а отсутствие streaming ограничивает применение в сценариях с минимальной задержкой. Модель распространяется по лицензии Apache-2.0.

33K0апр. 2026
textaudioapache-2.0hugging-face
burakaydinofficial
whisper-small-24lang

burakaydinofficial/whisper-small-24lang — мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Small на 24 языках корпуса Whispered с лицензией CC0. Она предназначена для транскрибирования аудио и служит научным контрольным вариантом для сравнения с моделью, преобразованной из MHA в MLA. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате safetensors; она загружается через Transformers без trust_remote_code. Модель обучена для распознавания чтённой речи; в README приведены результаты оценки на CommonVoice-17, включая WER для английского, немецкого и испанского. Стандартную архитектуру Whisper можно конвертировать стандартными инструментами для faster-whisper, CTranslate2 и whisper.cpp. Для использования весов применяется лицензия Apache-2.0; обучающий корпус Whispered указан как CC0.

100июль 2026ctx1K
textaudioapache-2.0hugging-face
FelixChao
WizardDolphin-7B

WizardDolphin-7B — языковая модель на 7,1 млрд параметров, созданная слиянием Mistral-7B-v0.1, Dolphin-2.6-Mistral-7B-DPO-Laser и WizardMath-7B-V1.1 методом TIES. Она использует плотную архитектуру Mistral и предназначена для генерации текста, диалогов и решения задач, сочетающих общие языковые и математические навыки. Модель поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. Модель может быть полезна для ответов на вопросы, ведения диалогов, объяснения математических решений и генерации текста. Карточка не сообщает о специальной настройке для конкретного языка, поэтому языковую поддержку нельзя уверенно уточнить. Лицензия — Apache-2.0.

590янв. 2024ctx32.8K
textapache-2.0hugging-face
AlexN
xls-r-300m-pt

AlexN/xls-r-300m-pt — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на португалоязычной части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает результат WER 0,2382 на оценочной выборке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

203март 2022
textaudioapache-2.0hugging-face
mradermacher
zen4-coder-i1-GGUF

zen4-coder-i1-GGUF — это набор GGUF-квантизированных версий модели zenlm/zen4-coder, подготовленный пользователем mradermacher. Модель предназначена прежде всего для генерации и обработки программного кода, а также для сценариев локального запуска через совместимые инструменты, поддерживающие формат GGUF. В метаданных указана поддержка английского языка и библиотека Transformers. Доступны варианты с различными типами и уровнями квантизации — от IQ1 и IQ2 до Q6_K — размером примерно от 16,3 до 65,6 ГБ. README не содержит сведений об архитектуре, общем числе параметров, длине контекста, точных возможностях программирования, результатах тестирования или поддерживаемых модальностях, поэтому эти характеристики нельзя определить достоверно. Варианты различаются компромиссом между размером, скоростью и качеством: наиболее компактные квантизации могут заметно терять в качестве, тогда как Q4_K_M отмечен как быстрый и рекомендуемый, а IQ-варианты часто предпочтительнее сопоставимых по размеру стандартных квантизаций. Модель подходит для локального инференса при наличии достаточного объёма оперативной или видеопамяти, причём требования зависят от выбранного файла. Ограничениями являются возможное ухудшение качества на низких уровнях квантизации и отсутствие подробных данных о базовой модели. В метаданных указана лицензия Apache-2.0; квантизации подготовлены mradermacher.

1.3K0февр. 2026
textapache-2.0hugging-face
iampanda
zpoint_large_embedding_zh

zpoint_large_embedding_zh — китайскоязычная модель эмбеддингов, опубликованная пользователем iampanda. Она предназначена для преобразования предложений в векторы, которые можно сравнивать по сходству; пример в карточке показывает сопоставление отзывов о товаре с противоположной тональностью. Модель построена на архитектуре BERT, содержит 424,3 млн параметров, работает с контекстом до 512 токенов и распространяется в форматах PyTorch и Safetensors через библиотеку sentence-transformers. Модель подходит для поиска семантически близких китайских текстов и сравнения предложений. Карточка указывает на обучение и приводит пример использования, однако подробно не описывает обучающие данные и качество на тестах. Лицензия MIT.

30448июнь 2024ctx512
textembeddingmithugging-face
omarelshehy
Arabic-STS-Matryoshka-V2

Arabic-STS-Matryoshka-V2 — арабоязычная модель Sentence Transformers, дообученная разработчиком на базе aubmindlab/bert-base-arabertv02 для получения векторных представлений предложений и абзацев. Она построена на BERT с усреднением токенных представлений и формирует эмбеддинги размерности 768; для сравнения текстов указана косинусная мера сходства. Модель предназначена для семантического поиска, оценки смыслового сходства и кластеризации арабских текстов. Поддерживаются Matryoshka-эмбеддинги: векторы можно сокращать до 512, 256, 128 или 64 измерений, чтобы уменьшить требования к хранению и вычислениям. Максимальная длина последовательности — 512 токенов. Модель работает только с арабским языком и принимает текст, выдавая векторы для сравнения и поиска. В README приведена оценка на арабской части MTEB STS17 с небольшим снижением качества при уменьшении размерности, но числовые результаты не указаны. Лицензия в предоставленных данных не приведена.

5.8K4дек. 2024ctx512
textembeddinghugging-face
bofenghuang
asr-wav2vec2-ctc-french

bofenghuang/asr-wav2vec2-ctc-french — модель автоматического распознавания французской речи, созданная дообучением LeBenchmark/wav2vec2-FR-7K-large. Она использует архитектуру wav2vec2 с CTC-головой и содержит 402,7 млн параметров. Модель обучали на составном наборе данных объёмом более 2200 часов: Common Voice 11.0, Multilingual LibriSpeech, Voxpopuli, Multilingual TEDx, MediaSpeech и African Accented French. Модель предназначена для преобразования французской речи в текст, в том числе для транскрибации аудиозаписей и оценки качества распознавания на французских речевых корпусах. Для входного аудио требуется частота дискретизации 16 кГц. Модель принимает аудио и выдаёт текст; поддерживаемый язык — французский. Модель распространяется в форматах PyTorch и Safetensors, для работы используется библиотека Transformers. Лицензия — Apache-2.0.

5.0K15нояб. 2022
textaudioapache-2.0hugging-face
Emperorizzis
ASTRA-14B-Thinking-v1

ASTRA-14B-Thinking-v1 — дообученная командой проекта ASTRA модель на базе Qwen/Qwen3-14B, предназначенная для многошаговых задач с использованием инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 на 14 млрд параметров; она поддерживает диалог и интерфейс вызова инструментов. Для обучения применялись supervised fine-tuning на траекториях работы с инструментами и многошаговое обучение с подкреплением по проверяемым наградам. Контекстное окно составляет 133 120 токенов. Модель рассчитана на планирование действий, построение цепочек вызовов инструментов и структурированные рассуждения в агентных сценариях. В README сообщается о высоком результате на многоходовой подзадаче BFCL-V3 среди моделей сопоставимого размера. Поддерживаемые языки в карточке не перечислены; модель предназначена для работы с текстом и выдаёт текст, включая вызовы инструментов. Лицензия — Apache-2.0. README указывает исследовательское и образовательное назначение; это ограничение само по себе не определяет зрелость модели.

619янв. 2026ctx133.1K
textapache-2.0hugging-face
mabdulaziz499
bahith-arabic-retrieval-4b

bahith-arabic-retrieval-4b — текстовая модель эмбеддингов для поиска релевантных арабских фрагментов по запросу, созданная дообучением Qwen/Qwen3-Embedding-4B. Она предназначена для семантического поиска, извлечения документов и построения RAG-систем на арабских корпусах. В карточке приведены результаты оценки на арабских задачах поиска: модель показывает nDCG@10 0,7971 на MIRACLRetrievalHardNegatives и поддерживает сравнение эмбеддингов по косинусному сходству. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров и контекст до 40 960 токенов по метаданным. README указывает максимальную длину последовательности 512 токенов и размер эмбеддинга 2560 измерений; благодаря Matryoshka Representation Learning вектор можно сокращать до 1024, 512, 256 или 128 измерений. Встроенный инструктивный шаблон применяется для запросов, а для документов отдельный шаблон не задан. Модель рассчитана прежде всего на современный стандартный арабский язык; диалекты представлены ограниченно. Лицензия — Apache-2.0.

1091июль 2026ctx41K
textembeddingapache-2.0hugging-face
BAAI
bge-m3-retromae

BAAI/bge-m3-retromae — многоязычная модель BAAI на архитектуре XLM-RoBERTa, предназначенная для предварительного обучения текстовых представлений и задач поиска. Она создана расширением максимальной длины последовательности XLM-RoBERTa до 8192 токенов и дальнейшим обучением по подходу RetroMAE; в отличие от итоговой BGE-M3, эта версия описана как её предобученная основа, а не как готовая модель с унифицированной настройкой dense-, sparse- и многовекторного поиска. Модель принимает текст и формирует признаки, которые можно использовать как основу для поиска по коротким фрагментам и длинным документам, в том числе в многоязычных сценариях. В карточке семейства заявлена поддержка более 100 языков и контекст до 8192 токенов; метаданные указывают 658,7 млн параметров. Репозиторий содержит веса PyTorch, а лицензия — MIT. Карточка отмечает, что итоговая BGE-M3 сочетает несколько режимов поиска, но не приписывает весь этот функционал напрямую варианту retromae. Для прикладной системы поиска может потребоваться дополнительное обучение или настройка; качество на одном языке может уступать специализированным одноязычным моделям.

48220янв. 2024ctx8.2K
textmithugging-face
miharubajp
bge-reranker-v2-m3-gguf

Это переранжировщик BGE Reranker v2 M3, преобразованный автором репозитория в формат GGUF F16 для запуска через llama.cpp. Модель принимает запрос и список текстовых кандидатов, оценивает их релевантность и возвращает кандидатов в упорядоченном виде; её можно подключить к поисковому конвейеру через сервер llama.cpp и endpoint /v1/rerank. Основа модели — BAAI/bge-reranker-v2-m3. По README, преобразование выполнено скриптом llama.cpp без других изменений; файл GGUF занимает около 1 ГБ. В карточке указаны японский и английский языки. Модель распространяется по лицензии MIT. Автор предупреждает, что при некорректном переносе классификационной головы GGUF может выдавать числовые оценки без ошибки, но эти оценки будут бессмысленными. Перед использованием следует проверить порядок результатов на примерах с заметно различающейся релевантностью. Для работы нужен llama.cpp с режимом --reranking; сервер переранжирования запускается отдельно от сервера эмбеддингов.

470авг. 2026
textmithugging-face
badtheorylabs
BTL-4

BTL-4 — языковая модель с 35 млрд параметров от Bad Theory Labs, дообученная на базе Ornith-1.0-35B на корпусе рассуждений, отобранных по успешному выполнению кода и прохождению тестов. Модель построена на архитектуре Qwen 3.5 MoE и предназначена для генерации текста в сценариях использования инструментов, разработки ПО и длительной работы агентных систем. Среди заявленных результатов — 73,5% на BFCL v4 AST, 66,1% на LiveCodeBench v6 и 78,4% на SWE-bench Verified. Модель поддерживает контекст до 262 144 токенов; для сложных задач ей требуется большой бюджет генерации. Это специализированная модель рассуждений, а не обычный чат-бот: ответы могут быть многословными, а при запуске в агентном цикле необходимо корректно отделять рассуждения от основного текста, иначе качество длительных сессий снижается. Для обслуживания README приводит пример настройки vLLM и рекомендует доверенную загрузку удалённого кода. Лицензия — Apache-2.0.

53788авг. 2026ctx262.1K
textapache-2.0hugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-og

Это англоязычный CSR Sparse Encoder, созданный дообучением модели mixedbread-ai/mxbai-embed-large-v1 на наборе Natural Questions с использованием библиотеки Sentence Transformers. Модель преобразует запросы, предложения и абзацы в разреженные векторы размерности 4096; близость оценивается скалярным произведением. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска ответов по коллекции текстов. В карточке приведены оценки на задачах NanoBEIR и отдельных наборах BEIR. Она поддерживает английский язык и распространяется по лицензии Apache-2.0. Результаты поиска могут зависеть от предметной области и корпуса; карточка не заявляет поддержку других языков.

1720май 2025ctx512
textembeddingapache-2.0hugging-face
deepvk
deberta-v1-base

deepvk/deberta-v1-base — предварительно обученный двунаправленный энкодер DeBERTa, разработанный deepvk для русского языка. Модель обучена на задаче masked language modeling на корпусе примерно из 400 ГБ очищенных и дедуплицированных текстов: Википедии, книг, комментариев, новостей, субтитров и других источников. В обучающих данных преобладает русский язык, также присутствует небольшая доля других языков. Модель содержит 12 слоёв энкодера, 12 голов внимания и размерность представлений 768; всего около 151,8 млн параметров. Она принимает текст и извлекает контекстные векторные представления для последующего дообучения или использования в NLP-задачах. Это только энкодер без предварительно обученной задачи-специфичной головы, поэтому для классификации и других прикладных задач обычно требуется добавить и обучить соответствующую голову. Максимальная длина контекста — 512 токенов. В карточке приведены результаты оценки на русскоязычном наборе Russian SuperGLUE. Модель распространяется под лицензией Apache 2.0.

5008февр. 2023ctx512
textembeddingapache-2.0hugging-face
unsloth
Devstral-Small-2505

Devstral-Small-2505 — языковая модель для агентной разработки программного обеспечения, созданная Mistral AI совместно с All Hands AI. Версия в этом репозитории дообучена на основе mistralai/Devstral-Small-2505; её архитектура — плотная MistralForCausalLM, размер — 23,4 млрд параметров. Модель принимает и генерирует текст, поддерживает вызов инструментов и контекст до 131 072 токенов. Модель предназначена для программных агентов, которые исследуют кодовые базы, редактируют несколько файлов и помогают решать задачи разработки. В README приведён результат 46,8% на SWE-bench Verified. Заявлена поддержка множества языков, включая русский, английский, французский, немецкий, испанский, китайский и японский; отдельный основной язык не выделен. Репозиторий распространяется под лицензией Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Модель текстовая, без обработки изображений. Для локального запуска и агентного сценария README рекомендует OpenHands и vLLM; фактическая производительность зависит от оборудования и конфигурации запуска.

16721май 2025ctx131.1K
textapache-2.0hugging-face
sergioburdisso
dialog2flow-single-bert-base

Dialog2Flow single target (D2F_single) — англоязычная модель эмбеддингов предложений на базе BERT-base, представленная в работе Dialog2Flow на конференции EMNLP 2024. Она дообучена для извлечения потоков диалога и преобразует предложения и абзацы в плотные векторы размерности 768; модель реализована с помощью Sentence Transformers. Модель подходит для поиска семантически близких реплик и группировки высказываний, а также для автоматического извлечения структуры потока диалога из задачо-ориентированных диалогов. Её можно использовать через Sentence Transformers либо Transformers с подходящей операцией pooling. Контекст ограничен 512 токенами, размер модели — 136,7 млн параметров. Лицензия — MIT.

1850окт. 2024ctx512
textembeddingmithugging-face
distil-whisper
distil-large-v3.5-ct2

Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

4.6K10март 2025
textaudiomithugging-face
rrainn
doctr-parseq

rrainn публикует побайтную копию официального предобученного чекпойнта PARSeq из docTR; модель не обучалась и не изменялась rrainn. Она распознаёт текст на изображениях уже выделенных слов и предназначена для этапа распознавания в OCR-конвейере. Архитектура сочетает Vision Transformer для кодирования изображения и авторегрессионный декодер последовательностей с перестановками; модель работает на PyTorch через python-doctr и ожидает RGB-вход размером 3 × 32 × 128. Максимальная длина последовательности — 32 символа. Модель подходит для транскрибации документов, оценки OCR и как начальная точка для дообучения под конкретный домен. Это не детектор текста на полной странице: для такого сценария её нужно сочетать с детектором или подавать на вход обрезанные изображения слов. Поддерживается настроенный латинский/французский набор символов; качество может снижаться на рукописном, размытом, изогнутом или вертикальном тексте и на данных, отличающихся от обучающих. Состав обучающей выборки раскрыт не полностью, а уверенность последовательности не гарантированно откалибрована. Лицензия — Apache-2.0.

160июль 2026
textimageapache-2.0hugging-face
timm
eva02_large_patch14_clip_224.merged2b_s4b_b131k

EVA02-Large-CLIP — модель сопоставления изображений и текста, опубликованная командой PyTorch Image Models (timm) и доступная через OpenCLIP. Она предназначена для классификации изображений без специального дообучения: модель сравнивает изображение с текстовыми описаниями категорий и оценивает соответствие. Архитектура относится к семейству EVA-02 и CLIP; вариант рассчитан на изображения 224×224 пикселя и использует патч 14×14. Входы — изображения и текст, выходы — оценки сходства, пригодные для ранжирования вариантов или выбора метки. Модель имеет лицензию MIT. Её результат зависит от формулировки текстовых меток и охвата обучающих данных; это не универсальный распознаватель объектов и он может ошибаться на необычных доменах или тонких различиях между категориями.

9.9K6апр. 2023ctx77
textimagemithugging-face
sparse-encoder
example-splade-cocondenser-ensembledistil-nli

Это разреженный SPLADE-энкодер, дообученный на наборе all-nli с использованием библиотеки Sentence Transformers. Модель основана на naver/splade-cocondenser-ensembledistil и преобразует предложения и абзацы в разреженные векторы размерности 30 522; сходство между ними оценивается скалярным произведением. Архитектура включает BERT-модель для masked language modeling и max-пулинг с ReLU. Метаданные указывают 136,7 млн параметров и контекст до 512 токенов; карточка README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска, разреженного извлечения документов и оценки сходства предложений на английском языке. В README приведены результаты оценки на STS-dev и STS-test. Доступна по лицензии Apache-2.0. Ее применение ограничено английским языком и указанной длиной входной последовательности; качество на других языках и специализированных областях не заявлено.

1260май 2025ctx512
textembeddingapache-2.0hugging-face
automerger
Experiment26T3q-7B

Experiment26T3q-7B — созданная Maxime Labonne автоматическим слиянием методом SLERP моделей rwitz/experiment26-truthy-iter-1 и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Это плотная Mistral-модель с 7,1 млрд параметров для генерации текста; базовая математическая модель прошла DPO-дообучение на математических данных. Модель принимает текстовые запросы и предназначена для диалоговых ответов и генерации текста, в том числе для решения математических задач. Длина контекста — 32 768 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0.

220март 2024ctx32.8K
textapache-2.0hugging-face
codersan
FaLaBSE-v11-phase2

codersan/FaLaBSE-v11-phase2 — модель Sentence Transformers, созданная дообучением codersan/FaLaBSE-v11-phase1-Quora. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Векторы сравниваются косинусным сходством; модель построена на архитектуре BERT и использует библиотеку sentence-transformers. Для обучения использованы 16 825 пар anchor/positive с функцией потерь MultipleNegativesRankingLoss. Метаданные указывают максимальный контекст в 512 токенов, тогда как README заявляет максимальную длину последовательности 256 токенов. Примеры обучающих данных написаны на персидском языке, поэтому модель подходит для семантических задач с персидскими текстами; более широкая языковая поддержка карточкой не подтверждена. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

1120февр. 2025ctx512
textembeddinghugging-face
TurkuNLP
finnish-modernbert-tiny

Finnish ModernBERT tiny — компактная предобученная модель-энкодер архитектуры ModernBERT, разработанная TurkuNLP. Модель содержит 51 млн параметров и обучена на 447,9 млрд токенов. Она рассчитана на финский, шведский, английский, северносаамский, латинский языки и код; метаданные указывают языки fi, sv и en. Для задачи заполнения пропусков заявлен контекст 16 000 токенов, а в карточке отмечена теоретическая возможность экстраполяции до 128 000 токенов. Модель подходит для предсказания скрытых токенов, анализа текста и получения контекстных представлений, в том числе для задач поиска по текстам. В оценках семейство моделей показало конкурентные результаты на коротких задачах понимания финского, шведского и английского языков, а также сильные результаты в поиске вне обучающего домена. Обучение проводилось на суперкомпьютере LUMI на разнообразных текстовых данных. Модель распространяется по лицензии Apache-2.0. В обучающих данных могли присутствовать предвзятые и вредоносные материалы, не проводилась фильтрация токсичного или оскорбительного содержания; выходы и представления модели следует оценивать с учётом возможного влияния на уязвимые группы.

8012июнь 2025ctx16K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей