/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
5 491–5 520 из 23 488
nvidia
Alpamayo2-Super

Alpamayo 2 Super — базовая модель NVIDIA для разработки систем автономного вождения. Она объединяет трансформерную визуально-языковую основу на 32 млрд параметров с диффузионным экспертом для действий примерно на 2,3 млрд параметров и дообучена на основе nvidia/Cosmos3-Super. Модель принимает синхронизированные изображения с нескольких камер, видео, текстовые запросы и историю движения автомобиля. Модель предназначена для задач восприятия и принятия решений в автономном транспорте: предсказания траекторий, визуальных вопросов и ответов, привязки объектов к координатам и автоматической разметки. Она также формирует текстовые объяснения причин решений и метадействия. Траектория может содержать 64 точки на интервале от 0,1 до 6,4 секунды; текстовые выходы и разметка имеют переменную или структурированную форму. Обучающие данные включают многоракурсные дорожные видео и аннотации движения; карточка сообщает об оценках на наборах LingoQA, AlpaSim и PhysicalAI-AV. Для запуска NVIDIA указывает PyTorch 2.8 или новее, Transformers 4.57.1 или новее и DeepSpeed 0.17.4 или новее; проверенная аппаратная конфигурация — NVIDIA H100 с 80 ГБ памяти, ОС — Linux. Лицензия модели — OpenMDW 1.1. Для применения в реальных системах автономного вождения необходимы проверки на данных и сценариях конкретного продукта.

19K151май 2026ctx262.1K
textimageopenmdw-1.1hugging-face
nagorebravo
ast-finetuned-audioset-10-10-0.4593-finetuned-gtzan

Модель nagorebravo/ast-finetuned-audioset-10-10-0.4593-finetuned-gtzan — дообученная на датасете GTZAN модель MIT/ast-finetuned-audioset-10-10-0.4593 для классификации аудио. Она использует архитектуру Audio Spectrogram Transformer (AST), основанную на Vision Transformer, и содержит 113,2 млн параметров. По README, на оценочной выборке модель достигла точности 0,88 при значении loss 0,403864. Модель предназначена для классификации музыкальных аудиозаписей в сценариях, связанных с GTZAN. Условия использования определяет лицензия BSD 3-Clause.

100июль 2026
audiobsd-3-clausehugging-face
shamsaH
ast-gtzan

shamsaH/ast-gtzan — модель классификации аудио, дообученная на GTZAN на основе MIT/ast-finetuned-audioset-10-10-0.4593. Она использует архитектуру Audio Spectrogram Transformer (AST), основанную на Vision Transformer, и содержит 113,2 млн параметров. Модель предназначена для определения музыкального жанра по аудиозаписи; на оценочной выборке GTZAN указана точность 0,875 и значение loss 0,4171. Для загрузки доступны веса в формате safetensors, библиотека — Transformers. Модель принимает аудио и выдаёт класс жанра. README не уточняет поддерживаемые жанры и детали подготовки аудио. Репозиторий распространяется по лицензии BSD-3-Clause.

140авг. 2026
audiobsd-3-clausehugging-face
AbhayBatraAIPM
autotrain-ie3ms-0i796

Модель классификации текста, дообученная с помощью AutoTrain на базе google-bert/bert-base-uncased. Она предназначена для отнесения текстовых последовательностей к классам; конкретная предметная область и состав классов в карточке не раскрыты. Модель использует архитектуру BERT для классификации последовательностей, содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. Валидационные метрики составляют 0,5 для accuracy, micro-F1 и micro-recall; macro-F1 и weighted-F1 равны примерно 0,434. Эти результаты указывают на ограниченное качество классификации и требуют проверки на данных предполагаемого применения. Модель опубликована в формате Safetensors; сведения о лицензии в предоставленных данных отсутствуют.

70июнь 2026ctx512
texthugging-face
Polygl0t
bengali-banglabert-toxicity-classifier

BanglaBERT Toxicity Classifier — модель классификации текста на базе ELECTRA, разработанная Polygl0t для оценки токсичности текста на бенгальском языке. Она обучена на наборе Polygl0t/bengali-toxicity-qwen-annotations: к csebuetnlp/banglabert_generator добавлена классификационная голова с одним регрессионным выходом, а веса базовой модели заморожены. Модель содержит 20,8 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для определения уровня токсичности бенгальских текстовых сообщений, например для первичной модерации пользовательского контента. В карточке приведены метрики: macro F1 0,6132 и accuracy 0,7768, поэтому результаты классификации могут требовать проверки и не должны трактоваться как безошибочные. Лицензия указана как other; конкретные условия использования по предоставленным данным определить нельзя.

360апр. 2025ctx512
textotherhugging-face
DJSammy
bert-base-danish-uncased_BotXO-ai

Danish BERT — модель на архитектуре BERT, разработанная BotXO.ai для работы с датским текстом. Она предназначена для задачи fill-mask: предсказывает замаскированные слова по контексту и подходит для языкового моделирования и анализа датских текстов с маскированными токенами. Модель содержит 137,8 млн параметров и поддерживает контекст до 512 токенов. Исходные веса обучены в TensorFlow, затем преобразованы в формат PyTorch; в репозитории доступны версии PyTorch и Flax. Карточка указывает датский язык и данные Common Crawl и Wikipedia. Лицензия — CC BY 4.0.

1611март 2022ctx512
textcc-by-4.0hugging-face
MLRS
BERTu

BERTu — одноязычная модель для мальтийского языка, разработанная MLRS и обученная с нуля на корпусе Korpus Malti v4.0. Она использует базовую архитектуру BERT и предназначена для предсказания замаскированных слов в тексте, а также может служить основой для последующей адаптации к задачам обработки мальтийского языка. Модель содержит 153,2 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors. Для использования весов применяется лицензия CC BY-NC-SA 4.0, которая требует указания авторства и распространения производных материалов на тех же условиях и ограничивает коммерческое использование.

9357апр. 2022ctx512
textcc-by-nc-sa-4.0hugging-face
hfl
cino-large-v2

Карточка модели hfl/cino-large-v2 на Hugging Face совпадает с карточкой hfl/cino-base-v2, поэтому описание составлено по ней. CINO-base-v2 — многоязычная предварительно обученная языковая модель лаборатории HFL, совместной лаборатории HIT и iFLYTEK Research. Она построена на XLM-R и дополнительно обучена на корпусах китайского и ряда языков и языковых разновидностей Китая: тибетского, монгольского в уйгурской письменности, уйгурского, казахского в арабской письменности, корейского, чжуанского и кантонского. Модель предназначена для понимания текста на этих языках и может использоваться как основа для NLP-систем; её основная задача в каталоге — восстановление замаскированных токенов (fill-mask). Архитектура — XLM-RoBERTa для masked language modeling, размер — 217,2 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и TensorFlow. Модель принимает текст и предсказывает замаскированные текстовые токены. README не приводит результаты оценивания или конкретные ограничения качества. Лицензия — Apache-2.0.

33913март 2022ctx514
textapache-2.0hugging-face
flax-community
clip-rsicd-v2

flax-community/clip-rsicd-v2 — дообученная модель CLIP от OpenAI, адаптированная сообществом flax-community для изображений дистанционного зондирования Земли. Она предназначена для классификации изображений без предварительного обучения на заданных классах, а также для поиска похожих изображений и изображений по текстовому запросу. Модель сопоставляет изображения и текст по сходству: визуальный энкодер построен на ViT-B/32, текстовый — на Transformer с masked self-attention; обучение использовало контрастивную функцию потерь. Модель обучена на наборах подписей к снимкам дистанционного зондирования RSICD, UCM и Sydney. В README для zero-shot классификации приведены значения k=1: 0,883, k=3: 0,968, k=5: 0,982 и k=10: 0,998. Модель рассчитана прежде всего на исследователей компьютерного зрения и поиск по крупным коллекциям спутниковых и аэрофотоснимков; отдельно упомянуты возможные сценарии в климатических исследованиях, обороне и правоохранительной деятельности. Доступны веса в форматах Flax и PyTorch. README предупреждает о возможных смещениях и ограничениях, унаследованных от исходного CLIP и связанных с обучающими данными. Лицензия в предоставленных сведениях не указана.

1.7K26март 2022ctx77
textimagehugging-face
VADRK155
Cortex-1-Code

Cortex 1 Code — небольшая авторская языковая модель для генерации кода, разработанная VADRK155 и обученная с нуля без предобученных весов. Это декодерный Transformer с собственной реализацией на PyTorch, содержащий 36,5 млн параметров; веса представлены в формате fp32. Модель предназначена для генерации кода на Python. Комментарии и текстовый вывод — на английском языке. Короткое контекстное окно в 512 токенов подходит для небольших фрагментов кода и простых запросов, но ограничивает работу с длинными файлами и контекстом проекта. Качество генерации ограничено небольшим размером модели: код может быть неполным, ошибочным или неработающим. Лицензия MIT.

3481сент. 2026
textmithugging-face
ritesh-das
credlayer-solana-fraud-gnn

CredLayer — графовая нейросеть для выявления мошенничества в экосистеме Solana DeFi, разработанная авторами репозитория CredLayer. Архитектура объединяет GraphSAGE и GATv2: три графовых слоя используют представления размерности 128 и 64, пакетную нормализацию, активации и dropout. Модель реализована на PyTorch и PyTorch Geometric и классифицирует графовые сущности и потоки транзакций. Модель предназначена для выявления подозрительных пулов ликвидности, токенов с признаками rug pull и мошеннических потоков между кошельками. Для дисбаланса классов применяется Focal Loss, а GNNExplainer используется для ранжирования важных признаков и связей. В README приведены идеальные показатели на тестовой выборке, но не описаны протокол разбиения данных и независимая проверка, поэтому эти результаты не гарантируют качество на новых данных. Для применения нужны входные данные в совместимом графовом представлении; подробная схема входных признаков не приведена. Лицензия — MIT.

311авг. 2026
textmithugging-face
KoichiYasuoka
deberta-small-japanese-upos

Koichi Yasuoka разработал небольшую модель DeBERTa V2 для анализа японского текста. Она дообучена на базе KoichiYasuoka/deberta-small-japanese-aozora и размечает каждое короткое слово тегом части речи по стандарту UPOS; модель также предназначена для синтаксического анализа зависимостей. Модель содержит 18,4 млн параметров, принимает текст на японском языке и имеет контекст длиной до 128 токенов. Её можно использовать для автоматической разметки частей речи и анализа структуры японских предложений. Модель распространяется под лицензией CC BY-SA 4.0.

1241май 2022ctx128
textcc-by-sa-4.0hugging-face
Andou2yu
deep-attackg-bi-encoder

Andou2yu/deep-attackg-bi-encoder — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения текстов. Архитектура включает BERT, пуллинг по CLS-токену и нормализацию; сходство векторов оценивается косинусной мерой. Максимальная длина входа — 512 токенов, библиотека — Sentence Transformers. Модель обучалась на 54 320 парах предложений с помощью MultipleNegativesRankingLoss. Примеры обучающих данных относятся к кибербезопасности: описания сетевых действий и техник атак сопоставляются с формулировками об угрозах. Она подходит для семантического поиска, сравнения похожих формулировок и группировки материалов по киберугрозам. В карточке не указана лицензия.

940июнь 2026ctx512
textembeddinghugging-face
not-lain
distilhubert-finetuned-gtzan

Модель not-lain/distilhubert-finetuned-gtzan — компактная аудиомодель на архитектуре HuBERT, дообученная на GTZAN на основе ntu-spml/distilhubert. Она предназначена для классификации музыкальных аудиозаписей по жанрам; на оценочной выборке указана точность 0,88 после одной эпохи обучения. Модель содержит 18,9 млн параметров и опубликована в формате safetensors. Базовая модель NTU предназначена для извлечения представлений из аудио с частотой 16 кГц. Репозиторий выпущен под лицензией Apache-2.0. Карточка не уточняет состав классов и другие условия использования, поэтому результаты на иных аудиоданных могут отличаться.

130янв. 2024
textapache-2.0hugging-face
tue-mps
eomt-dinov3-coco-panoptic-large-640

Это крупная модель EoMT-DINOv3 для паноптической сегментации изображений, опубликованная tue-mps и обученная на COCO. Она использует архитектуру Encoder-only Mask Transformer с энкодером DINOv3 ViT-L/16; заявленный размер составляет 402,7 млн параметров. Модель рассчитана на изображения с разрешением 640×640 и выполняет сегментацию объектов и фона в рамках паноптического представления. Архитектура опирается на ViT и не требует отдельного специализированного декодера или модуля слияния пикселей; для семантической, экземплярной и паноптической сегментации используются разные этапы постобработки. Репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. Лицензия — MIT. Модель подходит для анализа сцен и получения паноптических масок на изображениях, особенно в сценариях, близких к датасету COCO. Карточка не приводит метрик качества и подробностей постобработки; данные о поддержке произвольных разрешений или других датасетов не заявлены.

3.8K0янв. 2026
imagemithugging-face
dima806
facial_age_image_detection

Модель dima806/facial_age_image_detection разработана на базе Vision Transformer google/vit-base-patch16-224-in21k и дообучена для классификации изображений лиц по возрастным группам. Она принимает изображение лица и возвращает метку возрастной группы. Модель содержит 113,2 млн параметров и распространяется в формате Safetensors. Модель предназначена для оценки возрастной категории по лицу в сценариях, где достаточно группового диапазона, а не точного возраста. Она использует архитектуру ViT для классификации изображений. Лицензия Apache-2.0.

1.0K13нояб. 2023
imageapache-2.0hugging-face
BatuhanECB
FinModernBERT-large-DAPT

FinModernBERT-large-DAPT — англоязычный ModernBERT-large, адаптированный к финансовым текстам компанией BatuhanECB посредством доменного продолжения предобучения: на 5,65 млрд токенов финансовых документов обучалась задача masked language modeling. Это плотный двунаправленный энкодер с 394,7 млн параметров, архитектурой ModernBertForMaskedLM и контекстом до 8192 токенов; основное применение чекпойнта — заполнение масок и дальнейшая настройка энкодера для финансовых задач. Модель рассчитана на английские финансовые документы, включая отчётность SEC, финансовые новости и материалы финансовых веб-сайтов. Её можно использовать как основу для дообучения, например, для получения эмбеддингов, однако сама по себе она не является готовой моделью эмбеддингов: авторские измерения показывают, что DAPT почти не улучшает качество поиска и сходства предложений без дополнительной настройки. Корпус обучения не опубликован из-за лицензионных ограничений исходных материалов; модель распространяется по лицензии Apache-2.0.

280июль 2026ctx8.2K
textapache-2.0hugging-face
Sukanyan
google_electra-base-discriminator

Модель Sukanyan/google_electra-base-discriminator — дообученный англоязычный энкодер ELECTRA для классификации последовательностей. Она основана на google/electra-base-discriminator и содержит 136,7 млн параметров; модель и её веса в формате safetensors доступны для Transformers. Контекст ограничен 512 токенами. Модель предназначена для задач классификации текста, однако README не описывает целевые классы, набор данных или конкретные сценарии применения. На указанном в карточке наборе оценки получены loss 1,0171 и accuracy 0,5934, поэтому пригодность для практической задачи следует проверять отдельно. Лицензия — Apache-2.0.

720март 2025ctx512
textapache-2.0hugging-face
tencent
HY3D-Bench

HY3D-Bench — набор высококачественных 3D-данных Tencent для обучения и оценки моделей компьютерного зрения, генеративного моделирования и робототехники. В репозитории также представлен базовый чекпойнт Hunyuan3D-Shape-v2-1 Small на 0,8 млрд параметров, обученный на Full-level данных; метаданные связывают его с Hunyuan3D-2.1 и указывают задачу image-to-3d. Набор включает три части: более 252 тысяч цельных водонепроницаемых сеток с многовидовыми изображениями и точками, 240 тысяч объектов с разбиением на части и 125 тысяч синтетических объектов из 1 252 категорий. Данные очищены и нормализованы; предусмотрены сегментация частей и изображения собранных объектов. Они подходят для обучения и тестирования генерации и реконструкции 3D-форм, анализа геометрии, а также робототехнических задач, включая планирование захвата. Это прежде всего датасет, а не отдельная модель для пользовательского вывода. Базовый чекпойнт описан как модель image-to-3d. Условия лицензии в метаданных обозначены как other, поэтому конкретные права использования следует сверять с лицензией репозитория. Полный набор занимает около 22,5 ТБ.

10959янв. 2026
textotherhugging-face
monologg
koelectra-base-v3-generator

KoELECTRA v3 Base Generator — предварительно обученная языковая модель для корейского языка, опубликованная monologg. Она основана на архитектуре ELECTRA и предназначена для заполнения пропусков в тексте и использования в качестве основы для задач обработки корейского языка. Модель содержит 21,5 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и safetensors. Модель можно загружать вместе с токенизатором через Transformers. Лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях. Карточка содержит мало сведений об обучающих данных и качестве, поэтому перед применением в конкретной задаче результаты стоит проверить на целевых текстах.

2347март 2022ctx512
textapache-2.0hugging-face
Jeevesh8
long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_13

Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_13 — модель пользователя Jeevesh8 на базе BERT-base-uncased, первоначально разработанного Google. На Hugging Face она обозначена как модель классификации текста и доступна для Transformers; отдельная карточка модели отсутствует. По идентификатору видно, что модель дообучена для задачи QQP (Quora Question Pairs), то есть предназначена для классификации пар вопросов, в частности определения их смысловой эквивалентности или дублирования. В названии также указаны длина последовательности 128 токенов и варианты процедуры обучения, включая перемешивание, clipping и warmup. Архитектура BERT-base-uncased содержит около 110 млн параметров, работает с англоязычным текстом без учета регистра и использует двунаправленный Transformer; исходная модель поддерживает контекст до 512 токенов, но данная версия, судя по названию, обучалась с длиной последовательности 128 токенов. Сильная сторона модели — использование предварительно обученных представлений BERT для специализированной классификации пар английских текстов. Она не предназначена для генерации текста, мультимодальных задач или надежной работы с другими языками. Точные метрики, состав обучающей выборки, ограничения, смещения и условия лицензирования именно этой производной модели на странице не указаны, поэтому оценить качество и юридические условия использования невозможно.

1360июль 2022ctx512
texthugging-face
l3cube-pune
marathi-bert-v2

MahaBERT — модель языка маратхи семейства BERT, разработанная L3Cube-Pune. Она создана дообучением google/muril-base-cased на корпусе L3Cube-MahaCorpus и других общедоступных одноязычных датасетах маратхи. Модель предназначена для работы с замаскированными токенами: по контексту она предсказывает пропущенное слово или часть слова в тексте на маратхи. Модель использует архитектуру BERT для masked language modeling, содержит около 264,8 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0; при распространении и использовании нужно соблюдать её условия атрибуции.

8590авг. 2022ctx512
textcc-by-4.0hugging-face
rntc
medembed-v9

rntc/medembed-v9 — модель эмбеддингов на базе Sentence Transformers, разработанная автором репозитория rntc. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 768 для оценки семантического сходства, семантического поиска, поиска перефразировок, классификации и кластеризации текста. Модель построена на ModernBERT с усреднением токенных представлений и поддерживает последовательности длиной до 8192 токенов; сходство векторов рекомендуется оценивать косинусной мерой. Модель дообучена на парах и триплетах текстов. Примеры обучающих данных включают французские медицинские коды и описания процедур, поэтому она может быть полезна для поиска и сопоставления медицинских формулировок. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

630июнь 2026ctx8.2K
textembeddinghugging-face
m-a-p
MERT-v1-95M

MERT-v1-95M — модель семейства Music Audio Pre-training, разработанного m-a-p для понимания музыки. Это предобученный трансформер MERTModel с 12 слоями и размерностью признаков 768; в метаданных репозитория указано 113,3 млн параметров, а в README размер модели округлён до 95 млн. Модель обучена по схеме MLM на музыкальных аудиоданных и предназначена для извлечения признаков и последующего решения задач классификации аудио и других задач понимания музыки. Модель принимает аудио с частотой дискретизации 24 кГц и выдаёт признаки с частотой 75 кадров в секунду. При выборе слоя для извлечения признаков следует учитывать, что разные слои могут подходить для разных задач. README указывает предварительно обучаемый контекст в 5 секунд; для работы нужно учитывать память, необходимую для загрузки модели. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

212K62март 2023
audiocc-by-nc-4.0hugging-face
TechxGenus
Mini-Jamba-v2

Mini-Jamba-v2 — экспериментальная компактная языковая модель TechxGenus, построенная по архитектуре Jamba и обученная примерно на 1 млрд токенов кода Python. В метаданных указано 27,3 млн параметров; модель реализована как причинная языковая модель JambaForCausalLM с архитектурой MoE и доступна в формате safetensors через Transformers. Модель предназначена для генерации простого кода Python по текстовым запросам. Карточка предупреждает, что она может ошибаться и выдавать вводящую в заблуждение информацию, плохо справляться с задачами вне программирования и прошла лишь ограниченное тестирование. Лицензия — Apache-2.0.

10723март 2024
textapache-2.0hugging-face
llm-semantic-router
mmbert-embed-medical

llm-semantic-router/mmbert-embed-medical — дообученная командой llm-semantic-router модель Sentence Transformers для получения эмбеддингов медицинских текстов. Она основана на ModernBERT и преобразует предложения и абзацы в плотные векторы размерностью 768; сходство между ними можно оценивать по косинусной мере. Модель принимает текстовые последовательности длиной до 32 768 токенов. Модель подходит для семантического поиска по медицинским материалам, сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Обучение проводилось на 492 примерах с использованием MultipleNegativesRankingLoss. В репозитории представлены форматы safetensors и ONNX. Условия лицензирования в предоставленных данных не описаны.

992янв. 2026ctx32.8K
textembeddinghugging-face
chordai
mms-fa-aligner-coreml

chordai/mms-fa-aligner-coreml — мультиязычный принудительный выравниватель речи и текста, подготовленный chordai на основе Meta MMS и преобразованный в формат CoreML. Модель принимает монофонический аудиосигнал с частотой 16 кГц в окне фиксированной длины 60 секунд и выдаёт логарифмические вероятности CTC по кадрам с шагом 20 мс. Для выравнивания переданный текст должен соответствовать аудио; для нелатинских письменностей его требуется предварительно романизировать с помощью uroman. Модель предназначена для получения временных меток слов в текстах песен и других сценариях, где известная расшифровка привязывается к аудиозаписи. Она поддерживает более 1000 языков через романизацию и может использоваться как часть локального на устройстве конвейера выравнивания, например на iOS 17. Для длинных записей README рекомендует обрабатывать перекрывающиеся окна, а для сильно обработанных музыкальных треков — выравнивать отделённую вокальную дорожку. Это преобразование torchaudio.pipelines.MMS_FA в CoreML, а не универсальная модель распознавания речи: для работы требуется готовый транскрипт, а выход модели — CTC-эмиссии для последующего выравнивания алгоритмом Витерби. Лицензия CC-BY-NC-4.0 допускает некоммерческое использование; для коммерческого приложения необходимо отдельно урегулировать ограничение некоммерческого использования.

130июль 2026
textaudiocc-by-nc-4.0hugging-face
KoichiYasuoka
modernbert-base-japanese-aozora-upos

KoichiYasuoka/modernbert-base-japanese-aozora-upos — дообученная модель ModernBERT, созданная Koichi Yasuoka на основе modernbert-base-japanese-aozora. Она размечает японский текст по коротким словесным единицам, назначая каждой тег части речи UPOS и признаки FEATS; карточка также указывает применение для синтаксического разбора зависимостей. Модель подходит для анализа японских предложений и подготовки лингвистически размеченных корпусов. Модель имеет плотную архитектуру ModernBERT и 160,2 млн параметров, принимает текст и выдаёт метки токенов. Нативная длина контекста — 8192 токена. Весы доступны в формате PyTorch, лицензия — Apache-2.0. Карточка демонстрирует использование через Transformers pipeline с пользовательским кодом.

491янв. 2025ctx8.2K
textapache-2.0hugging-face
OpenMOSS-Team
MOSS-Audio-Tokenizer-v2

MOSS-Audio-Tokenizer-v2 — аудиотокенизатор команды OpenMOSS-Team, представленный в работе «MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models». Это унифицированная дискретная модель на архитектуре Cat (Causal Audio Tokenizer with Transformer), обученная с нуля. Общий размер энкодера и декодера составляет 2 млрд параметров; репозиторий содержит веса Safetensors и реализацию для Transformers с удалённым кодом. Модель кодирует и восстанавливает стереозвук с частотой дискретизации 48 кГц, сжимая его до 12,5 кадров в секунду. Стек из 32 уровней residual vector quantization поддерживает разные битрейты. Токены рассчитаны на сохранение качества реконструкции и семантических характеристик речи, звуковых эффектов и музыки; их можно использовать в последующих системах распознавания и синтеза речи. Предусмотрена потоковая обработка фрагментами. Модель обучена на 3 млн часов разнообразных аудиоданных с совместной оптимизацией компонентов кодека и семантического выравнивания. Карточка не заявляет конкретный список поддерживаемых языков. Для загрузки требуется Transformers и trust_remote_code=True; README рекомендует фиксировать проверенную ревизию. Лицензия — Apache-2.0.

26K24апр. 2026
textembeddingapache-2.0hugging-face
bashar-talafha
multi-dialect-bert-base-arabic

Multi-dialect-Arabic-BERT — модель семейства BERT от Mawdoo3-AI, дообученная на арабских текстах для работы с различными диалектами. Веса инициализированы из Arabic-BERT, затем модель обучали на 10 млн арабских твитов из неразмеченной части данных задачи Nuanced Arabic Dialect Identification (NADI). Модель с 137,8 млн параметров принимает текст и предсказывает токены вместо замаскированных фрагментов; её можно использовать, например, для подстановки пропущенных слов в арабских текстах. Максимальная длина контекста — 512 токенов. Доступны версии весов PyTorch и Flax для библиотеки Transformers. Модель ориентирована на арабский язык, включая диалектные тексты. Карточка не приводит сравнительных оценок качества или условий лицензии, поэтому пригодность для конкретного диалекта и сценария следует проверять отдельно.

1998март 2022ctx512
texthugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей