/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 491–8 520 из 23 488
meetkai
functionary-v4r-small-preview

meetkai/functionary-v4r-small-preview — языковая модель MeetKai для диалогов с вызовом функций и плагинов. Она основана на Meta-Llama-3.1-8B-Instruct и имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров. Модель принимает описания функций в формате JSON Schema и умеет выбирать, когда вызвать инструмент, выполнять вызовы последовательно или параллельно, учитывать их результаты и формировать ответ на их основе. Также поддерживает обычные ответы в чате и сценарии с интерпретатором кода. Модель рассчитана на интеграцию в приложения и серверы, поддерживающие совместимый с OpenAI интерфейс; для подготовки запросов предусмотрен шаблон чата Functionary. В метаданных указан контекст до 131 072 токенов и формат весов safetensors. Лицензия — MIT. Карточка описывает предварительную версию и заявляет поддержку вызова инструментов, но не приводит результатов независимых оценок качества.

164дек. 2024ctx131.1K
textmithugging-face
prithivMLmods
Gliese-Qwen3.5-0.8B-Abliterated-Caption

Gliese-Qwen3.5-0.8B-Abliterated-Caption — мультимодальная vision-language модель от prithivMLmods, построенная на базе Qwen/Qwen3.5-0.8B. Она предназначена прежде всего для обобщённого и нефильтрованного описания изображений: генерации подробных подписей, анализа сцен, объектов, людей и окружения. Модель ориентирована на создание наборов данных и аннотаций, мультимодальные исследования, локальные inference-пайплайны, развёртывание на периферийных устройствах и разработку приложений с анализом изображений. Модель содержит 0,8 млрд параметров и поддерживает обработку текста и изображений. В README заявлена оптимизация визуального понимания, контекстных и семантически подробных описаний, а также поддержка английского и китайского языков. Доступны варианты в форматах BF16, F16, F32 и Q8_0, включая мультимодальные проекционные компоненты для GGUF. Указанный pipeline — image-text-to-text; поддерживаются Transformers и vLLM. К сильным сторонам относятся компактность, эффективность развёртывания, высокая детализация подписей и сниженное количество встроенных отказов благодаря abliterated-тренировке и анализу направлений отказа. Ограничения включают отсутствие в README точных данных о размере контекста, качестве на стандартных бенчмарках и полной архитектуре. Снижение отказов может повысить риск генерации небезопасного или нежелательного контента, поэтому авторы рекомендуют использовать модель только в исследовательских и учебных целях и возлагают ответственность за её применение на пользователя. Модель распространяется по лицензии Apache-2.0.

92611март 2026ctx262.1K
textimageapache-2.0hugging-face
laion
Kimi-K2T-ling-coder-sft-sandboxes-1-maxeps-32k

Kimi-K2T-ling-coder-sft-sandboxes-1-maxeps-32k — дообученная компанией LAION модель Qwen3-8B для генерации текста в диалоговом формате. Она обучена на наборе open-athena/Kimi-K2T-ling-coder-sft-sandboxes-1-maxeps-32k; название набора указывает на специализацию, связанную с кодом и песочницами, однако README не описывает конкретные сценарии или результаты обучения. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Она принимает текст и выдаёт текст; метаданные указывают на диалоговую возможность. Модель распространяется в формате safetensors по лицензии Apache-2.0. Это производная версия Qwen/Qwen3-8B, дообученная на указанном наборе данных. Практическое качество, точное поведение при работе с кодом и ограничения не описаны в карточке, поэтому их следует проверять на целевых задачах.

430янв. 2026ctx41K
textapache-2.0hugging-face
shtoshni
longformer_coreference_ontonotes

shtoshni/longformer_coreference_ontonotes — модель Longformer-large, дообученная автором репозитория на данных OntoNotes для разрешения кореференции. Она предназначена для анализа документов: связывает упоминания одного и того же объекта или лица в разных частях текста. В README указано, что этот энкодер документов нужно использовать вместе с остальными параметрами модели для выполнения задачи; отдельно он предоставляет извлечения признаков. Модель основана на архитектуре Longformer и содержит 454,1 млн параметров. Максимальная длина контекста — 4098 токенов; формат репозитория — PyTorch. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

1.6K1март 2022ctx4.1K
textembeddinghugging-face
stevenbucaille
lwdetr_tiny_60e_coco

stevenbucaille выпустил LW-DETR Tiny — компактную модель обнаружения объектов, основанную на Light-Weight Detection Transformer. Модель представлена в статье «LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection» и доступна в библиотеке Transformers; веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает изображения и определяет на них объекты, выдавая классы и рамки. Архитектура использует ViT-энкодер с чередованием оконного и глобального внимания, сверточный проектор и неглубокий трехслойный DETR-декодер с деформируемым cross-attention. Такая конструкция рассчитана на баланс скорости и точности для обнаружения объектов в реальном времени. Модель обучалась с предварительным обучением на Objects365 и финальной настройкой на COCO 2017. Карточка описывает общую архитектуру LW-DETR, но не приводит отдельные показатели качества или скорости именно для варианта Tiny.

770сент. 2025
imageapache-2.0hugging-face
plingampally
meridianpii-hi-v1

MeridianPII Hindi/Hinglish v1 — модель токенной классификации для обнаружения персональных данных в текстах на хинди, хинглише и индийском английском. Разработчик дообучил multilingual MiniLM от Microsoft и адаптировал модель к письму деванагари и смешанным языковым текстам. Модель имеет около 65,2 млн параметров, контекст до 512 токенов и поставляется в форматах ONNX и safetensors; README описывает компактную версию ONNX INT8 размером 56 МБ для запуска в браузере через transformers.js. Модель предназначена для локального обнаружения имён, фамилий, телефонов и других контекстных PII перед отправкой текста, например, в размещённую в облаке LLM. В README указаны высокие показатели полноты на тестовом наборе, однако версия v1 заменена v2, обученной на дополнительных данных на хинди и показывающей несколько лучшие результаты. Модель рассчитана на работу вместе с отдельными детерминированными распознавателями структурированных идентификаторов. Известные ограничения: модель может путать метки CITY и STATE, не рассчитана на географические названия за пределами Индии и не обнаруживает структурированные идентификаторы вроде Aadhaar, PAN, IFSC, адресов электронной почты и URL — их должен обрабатывать отдельный слой. Трудными случаями остаются длинные фрагментированные адреса и плотное переключение языков. Лицензия — CC BY 4.0.

170июль 2026ctx512
textcc-by-4.0hugging-face
zeromodels
metaclip2_worldwide_b16_224

Это конверсия MetaCLIP 2 от zeromodels: мультимодальный двухэнкодерный чекпойнт архитектуры CLIP для классификации изображений без обучения на конкретном наборе классов. Базовая модель — facebook/metaclip-2-worldwide-b16; версия подготовлена в формате Keras 3 и работает с TensorFlow, Torch и JAX. Модель сопоставляет изображение с текстовыми описаниями классов и подходит для классификации по пользовательским меткам. Вариант worldwide обучен на многоязычном распределении данных и использует словарь XLM-RoBERTa на 901 тыс. токенов, поэтому запросы-классы можно задавать на разных языках без отдельного мультиязычного чекпойнта. Для обработки рекомендуется использовать совместимый с вариантом процессор, который задаёт размер изображения и токенизатор. Модель распространяется по лицензии CC-BY-NC-4.0, допускающей использование на некоммерческих условиях. Качество зависит от формулировки текстовых меток и соответствия изображения обучающим данным; README не приводит количественных оценок качества или ограничений по разрешению.

100июль 2026
textimagecc-by-nc-4.0hugging-face
studio-ousia
mluke-base

mLUKE-base — базовая мультиязычная модель семейства LUKE, разработанная Studio Ousia. Это плотная трансформерная модель для предсказания замаскированных токенов; её можно использовать как основу для языкового моделирования и адаптации к задачам, связанным с сущностями и отношениями. Модель имеет 12 слоёв и скрытый размер 768; в метаданных указано 305,2 млн параметров, а README приводит оценку 585 млн с учётом эмбеддингов сущностей. Контекст — до 514 токенов. Модель инициализирована весами XLM-RoBERTa-base и обучена на данных Википедии за декабрь 2020 года на 24 языках. В карточке перечислена поддержка арабского, бенгальского, немецкого, греческого, английского, испанского, финского, французского, хинди, индонезийского, итальянского, японского, корейского, нидерландского, польского, португальского, русского, шведского, тайского и китайского; README сообщает о 24 языках, не перечисляя их все. Архитектура LUKE поддерживает работу с представлениями сущностей, а предобученные веса включают параметры entity-aware attention, отключённого по умолчанию в стандартной конфигурации. Модель подходит для продолжения предобучения и последующей настройки под задачи извлечения информации, например распознавание сущностей и классификацию отношений. Лицензия — Apache-2.0. Результаты для конкретных downstream-задач зависят от дополнительной настройки; предел контекста составляет 514 токенов.

40K6март 2022ctx514
textapache-2.0hugging-face
apple
MobileCLIP-B-LT-OpenCLIP

MobileCLIP-B (LT) — модель сопоставления изображений и текста из семейства MobileCLIP, разработанного Apple и представленного на CVPR 2024. Этот репозиторий содержит чекпойнт для OpenCLIP, предназначенный для классификации изображений по текстовым описаниям без отдельного обучения на целевых классах: пользователь задаёт варианты классов текстом, а модель оценивает соответствие изображения каждому из них. Модель использует мультимодальное представление изображений и текста. Для MobileCLIP-B (LT) в README указана точность zero-shot классификации ImageNet 77,2%; авторы также приводят результаты сравнения с другими моделями близкой архитектуры. В карточке Hugging Face указаны библиотека OpenCLIP и форматы PyTorch и safetensors. Лицензия — Apple AMLR. Модель подходит для быстрой классификации изображений с гибко задаваемыми текстовыми метками. Приведённые характеристики не гарантируют аналогичного качества на пользовательских данных; корректность зависит от формулировок меток и предметной области. README не описывает отдельные ограничения или поддержку конкретных естественных языков.

5.8K11июнь 2024ctx77
textimageapple-amlrhugging-face
LSX-UniWue
ModernGBERT_134M

ModernGBERT 134M — немецкоязычная языковая модель-энкодер от LSX UniWue, построенная на архитектуре ModernBERT в стиле BERT. Она содержит 134,2 млн параметров, имеет 22 слоя и скрытый размер 768; длина контекста составляет до 8 192 токенов. Модель предварительно обучена на 470 млрд токенов немецкой части RedPajama V2. Модель предназначена для извлечения признаков из текста и может служить основой для задач понимания немецкого языка, получения эмбеддингов и дообучения, например для классификации токенов с помощью LoRA. В README указаны результаты на SuperGLEBer и German MTEB; для оценки эмбеддингов модели предварительно дообучались без разметки на немецкой части mMARCO. Репозиторий содержит веса PyTorch в формате Safetensors, модель поддерживается библиотекой Transformers версии 4.48.0 и новее. Лицензия обозначена в метаданных как other, поэтому конкретные условия использования следует сверить с карточкой репозитория. Модель рассчитана на немецкий язык; результаты и описание не подтверждают сопоставимое качество для других языков. Для эмбеддингов README приводит результаты после дополнительного дообучения, поэтому они не обязательно отражают качество исходного чекпойнта без адаптации.

9.8K7май 2025ctx8.2K
textotherhugging-face
leomaurodesenv
nli-MiniLM2-L6-H768-nvidia-aegis-v2

nli-MiniLM2-L6-H768-nvidia-aegis-v2 — модель классификации текста, созданная дообучением cross-encoder/nli-MiniLM2-L6-H768. В метаданных указаны архитектура RoBERTa с классификационной головой RobertaForSequenceClassification, 95,2 млн параметров и контекст до 514 токенов. Модель распространяется в формате safetensors и использует библиотеку Transformers. Базовая модель предназначена для определения логического отношения между парой предложений и zero-shot-классификации; эта версия дообучена на неизвестном наборе данных. В README приведены результаты оценки: loss 0,3403 и accuracy 0,8630, однако набор данных и подробности оценки не описаны. Лицензия — Apache-2.0.

230сент. 2026ctx514
textapache-2.0hugging-face
leomaurodesenv
nli-MiniLM2-L6-H768-nvidia-aegis-v2-augmented

leomaurodesenv/nli-MiniLM2-L6-H768-nvidia-aegis-v2-augmented — дообученная модель на базе cross-encoder/nli-MiniLM2-L6-H768 для классификации отношений между текстами. В карточке приведены результаты оценки: loss 0,3119 и accuracy 0,8644; обучающий датасет не раскрыт. Модель использует архитектуру RoBERTa для классификации последовательностей, содержит 95,2 млн параметров и принимает до 514 токенов контекста. Она подходит для определения логического отношения между парой предложений и классификации текста. Лицензия — Apache-2.0.

240сент. 2026ctx514
textapache-2.0hugging-face
NoemaAI-labs
Noema-2B

Noema-2B — дообученная NoemaAI-labs модель для диалогов и рассуждений, созданная на базе Qwen/Qwen3.5-2B. Это плотная причинная языковая модель с гибридной архитектурой Gated-DeltaNet и softmax-attention; в репозитории указано около 2 млрд параметров, а метаданные каталога сообщают 1,7 млрд. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 262 144 токена. Модель предназначена для общего ассистентского использования, особенно для математических задач, коротких программ, следования инструкциям и форматным ограничениям. Разработчики сообщают об улучшении результатов на GSM8K, MATH-500 и тестах генерации кода относительно базовой модели, а также о меньшем числе генерируемых токенов. Дообучение выполнено с LoRA на замороженной базовой модели; итоговые веса объединены с базой. Режим рассуждений thinking не поддерживается: в нём возможны зацикливание и незавершённая генерация. Среди ограничений — снижение точности на тестах фактических знаний относительно базовой модели, а качество свободного диалога и творческого письма не оценивалось. Модель распространяется по лицензии Apache-2.0.

3614июль 2026ctx262.1K
textapache-2.0hugging-face
Shuibai12138
Open-Dcoder-0.5B-CDLM-OpenCodeInstruct

Open-Dcoder-0.5B-CDLM-OpenCodeInstruct — компактная модель генерации кода, разработанная Shuibai12138 как часть открытого релиза Corrective Diffusion Language Models. Это дообученная на 2 000 шагах версия fredzzp/open-dcoder-0.5B на наборе nvidia/OpenCodeInstruct с корректирующей целью CDLM: к маскированному зашумлению добавлена равномерная замена 10% видимых токенов. Архитектура — плотная Qwen2 с 494 млн параметров и контекстом 32 768 токенов. Модель предназначена для генерации кода по текстовым запросам, а также для локализации и исправления заменённых фрагментов кода. Она использует маскированную диффузию и двунаправленное внимание; загрузка через AutoModelForCausalLM приводит к некорректным результатам, поэтому для оценки следует применять средства из репозитория CDLM. Обучение выполнено на открытом корпусе OpenCodeInstruct; результаты этой модели не являются результатами моделей из статьи. Лицензия — MIT. В README отмечено ограничение в реализации вычисления градиента: веса отдельных токенов обучающей цели фактически не применялись ожидаемым образом, хотя значения логируемых потерь корректны. Это может влиять на качество и воспроизводимость обучения.

7260сент. 2026ctx32.8K
textmithugging-face
LSW142857
OPSD-PI-Qwen3.5-9B-Medium-Trailing-1024-A6000-Merged-Update08

OPSD-PI Qwen3.5-9B Medium Trailing — update 8 — это непосредственно загружаемая объединённая модель на базе Qwen3.5-9B, опубликованная LSW142857. Репозиторий содержит результат восьми обновлений оптимизатора в эксперименте OPSD на выборке из 1024 строк; в него включены объединённая начальная настройка expert-SFT, изменения основной модели и MTP, включая дообученные тензоры MTP. Отдельный адаптер или дополнительное объединение для загрузки не требуются. Модель предназначена для генерации текста и диалогового использования; в метаданных также отмечена работа с кодом. README описывает экспериментальную обучающую конфигурацию и рекомендует оценивать модель на отложенных задачах без добавления PI, который использовался только как учитель. Архитектура Qwen3.5, библиотека Transformers и формат safetensors указаны в метаданных. Лицензия, размер контекста и поддерживаемые естественные языки в предоставленных данных не установлены.

140сент. 2026ctx262.1K
texthugging-face
addy88
programming-lang-identifier

addy88/programming-lang-identifier — дообученная на CodeSearchNet модель для классификации фрагментов кода по языку программирования. Она основана на CodeBERT с архитектурой RoBERTa и использует классификационную голову RobertaForSequenceClassification. Модель принимает текстовый фрагмент кода и выдаёт оценку для каждого класса; наиболее вероятный класс можно выбрать по максимальному логиту. Размер модели — 96,6 млн параметров, контекст — до 514 токенов. В карточке указана загрузка через Transformers с весами PyTorch. Лицензия в предоставленных данных не указана.

427март 2022ctx514
texthugging-face
hellonlp
promcse-bert-base-zh

hellonlp/promcse-bert-base-zh — китайскоязычная модель для сравнения предложений, разработанная на основе метода Prompt-based Contrastive Sentence Embeddings (PromCSE). Она кодирует предложения в векторные представления, по которым можно вычислять косинусное сходство; README описывает применение через пакет promcse и оценивание на китайских наборах данных ATEC, BQ, LCQMC и PAWSX. Модель использует плотную архитектуру BERT с классом BertForCL, содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов. Репозиторий содержит веса PyTorch. Модель рассчитана на китайский язык; лицензия — MIT. Для переноса на другие языки или задачи в предоставленных сведениях подтверждений нет.

955дек. 2023ctx512
textmithugging-face
Ertugrul
Qwen2.5-VL-7B-Captioner-Relaxed

Ertugrul/Qwen2.5-VL-7B-Captioner-Relaxed — дообученная мультимодальная модель на базе Qwen/Qwen2.5-VL-7B-Instruct с архитектурой Qwen2.5-VL и 7,1 млрд параметров. Она принимает изображения вместе с текстовыми инструкциями и создаёт подробные описания на естественном языке, в том числе указывает расположение объектов. Модель настроена на подготовленном вручную наборе данных для текстово-графических моделей и форматы подписей, подходящие для датасетов генерации изображений. По сравнению с исходной моделью она выдаёт более подробные описания и менее ограничена в их формулировках. Основное назначение — автоматическая генерация подписей к изображениям; качество на других задачах может быть ниже, чем у базовой модели. Контекст — до 32 768 токенов; заявлена поддержка английского языка. Модель распространяется под лицензией Apache-2.0.

22929март 2025ctx32.8K
textimageapache-2.0hugging-face
bigatuna
Qwen3.5-9b-Sushi-Coder

Qwen3.5-9b-Sushi-Coder — дообученная и объединённая версия Qwen3.5-9B от автора bigatuna, созданная на базе unsloth/qwen3.5-9b с продолжением обучения через LoRA. В обучении использовались наборы open-r1/codeforces-cots и nohurry/Opus-4.6-Reasoning-3000x-filtered; модель собрана в формате safetensors и предназначена для диалоговой работы с кодом и рассуждениями. Архитектура — плотная мультимодальная Qwen3.5 с поддержкой изображений и текста; карточка указывает английский язык. Лицензия — Apache-2.0. Модель подходит для запросов по программированию, решения задач в стиле Codeforces и анализа изображений вместе с текстовым запросом. Публичная карточка не приводит оценок качества и ограничений по контексту, поэтому пригодность для конкретного кода или сложных задач нужно проверять на собственных примерах.

725март 2026ctx262.1K
textimageapache-2.0hugging-face
Youssofal
Qwen3.8-27B-MTPLX-Bare-Speed-FP16

Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed-FP16 — это MLX-сборка модели Qwen3.8-27B, подготовленная для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локального текстового общения и генерации, включая задачи программирования, приоритетом является высокая скорость генерации в коротких диалогах и быстрых ответах. Разработчик базовой модели — Qwen, сборку и оптимизацию MTPLX выполнил Youssofal для работы на Apple Silicon. Модель имеет размер 27B параметров, использует FP16 для части плавающих тензоров и поддерживает контекст до 262 144 токенов. В MTPLX применяется speculative decoding с multi-token prediction глубиной 3, что позволяет ускорять генерацию без изменения результата относительно обычного декодирования при указанных условиях. Размер загрузки составляет 16 ГБ; для работы требуется Mac с чипом M1–M5 и не менее 32 ГБ unified memory. Эта версия оптимизирована прежде всего для M1 и M2, тогда как для M3 и новее рекомендуется родительская сборка. Сильная сторона модели — высокая скорость генерации и эффективный локальный запуск на совместимых Mac; заявлены до 65,2 токена в секунду на тесте программирования, измеренном на M5 Max, хотя показатели для M1 и M2 отдельно не опубликованы. Ограничения — более низкое качество и меньшая скорость на длительных задачах программирования по сравнению с вариантами, ориентированными на качество, а также зависимость от оборудования Apple Silicon и MTPLX. Модель распространяется по лицензии Apache-2.0.

1.5K13авг. 2026ctx262.1K
textapache-2.0hugging-face
Kingsoft-LLM
QZhou-Embedding-Zh

QZhou-Embedding-Zh — модель эмбеддингов Kingsoft-LLM для китайского языка, построенная на архитектуре Qwen3-8B. Она предназначена для поиска по смыслу, ранжирования, оценки семантического сходства и других задач понимания китайских текстов. Для получения векторов используется pooling последнего токена; поддерживается MRL с размерностями 128, 256, 512, 768, 1024, 1280, 1536 и 1792, причём размерность по умолчанию — 1792. В обучении применён Token Prepending, а контекст модели составляет до 40960 токенов. Модель показывает улучшения на китайском бенчмарке CMTEB в задачах поиска, семантического сходства, кластеризации, классификации пар и переранжирования. Она распространяется в формате safetensors по лицензии Apache-2.0. README рекомендует запуск через sentence-transformers; результаты и качество на других языках и вне указанных сценариев в карточке не описаны.

47214сент. 2025ctx41K
textembeddingapache-2.0hugging-face
OsaurusAI
rampart-mlx

OsaurusAI/rampart-mlx — независимая конверсия модели Rampart в формат MLX, созданная для запуска на устройствах Apple Silicon. Это компактный энкодер BERT на базе MiniLM-L6 с 6 слоями, размером около 21,7 млн параметров по метаданным и контекстом до 512 токенов. Модель выполняет токенную классификацию: размечает текст по 35 BIO-классам, включая 17 типов персональных данных — имена, адреса, электронную почту, телефоны, идентификаторы и банковские реквизиты. Модель предназначена для локального обнаружения и редактирования персональных данных в пользовательском тексте, например на устройстве или на стороне клиента. В репозитории размещены веса fp16 в safetensors и автономная реализация на MLX. По README, результаты совпадают с исходной моделью ONNX на проверочных примерах: метки токенов совпали во всех случаях, а максимальное различие логитов составило около 1e-5. Это англоязычная модель; сведения о поддержке других языков не приведены. Она помечает фрагменты текста, но сама по себе не выполняет редактирование: для восстановления диапазонов символов и маскирования данных требуется декодирование BIO-разметки. Модель выпущена под лицензией CC BY 4.0; исходная Rampart указана как базовая дообученная модель.

1364июнь 2026ctx512
textcc-by-4.0hugging-face
iamtatsuki05
Sentence-Llama-Bi-JP-0.5B-PT

Sentence-Llama-Bi-JP-0.5B-PT — японская модель эмбеддингов предложений, созданная iamtatsuki05. Это двунаправленный энкодер на архитектуре Llama с 661,9 млн параметров; модель дообучена контрастным обучением со слабой разметкой на базе iamtatsuki05/Llama-Bi-JP-0.5B-PT-stage2 и датасета cl-nagoya/ruri-dataset-v2-pt. Она строит векторы размерности 1280 с mean pooling и предназначена для семантического поиска, сравнения сходства предложений и извлечения признаков из японского текста. Модель принимает последовательности длиной до 8192 токенов, использует SentencePiece с размером словаря 102 400 и RoPE. Для сравнения эмбеддингов в карточке указан косинусный критерий. Лицензия — MIT. Основной язык модели — японский; карточка не заявляет поддержку других языков.

1180нояб. 2025ctx8.2K
textembeddingmithugging-face
krlvi
sentence-t5-base-nlpl-code_search_net

krlvi/sentence-t5-base-nlpl-code_search_net — модель эмбеддингов на базе T5, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель обучена на датасете CodeSearchNet с использованием MultipleNegativesRankingLoss и косинусного сходства; подходит для поиска фрагментов кода по текстовому запросу и сопоставления семантически близких текстов. Модель содержит 123,8 млн параметров, использует архитектуру T5EncoderModel и принимает последовательности длиной до 512 токенов. Доступны веса PyTorch. Лицензия AGPL-3.0; при использовании и распространении необходимо учитывать её условия. Карточка не описывает отдельные языки программирования или конкретный список поддерживаемых естественных языков.

40512нояб. 2022ctx512
textembeddingagpl-3.0hugging-face
tomaarsen
splade-cocondenser-selfdistil-msmarco-kldiv-marginmse-minilm

Splade++ SelfDistil finetuned on MS MARCO — англоязычный разреженный энкодер SPLADE, дообученный на базе naver/splade-cocondenser-selfdistil с использованием Sentence Transformers. Он преобразует запросы и документы в разреженные векторы размерностью 30 522 для семантического поиска и извлечения релевантных документов; сходство оценивается скалярным произведением. Архитектура включает BERT MLM-трансформер и слой SPLADE pooling с max-пулингом и активацией ReLU. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для sparse retrieval, в частности поиска документов по коротким запросам; в карточке приведены результаты оценки на NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Она работает с английским текстом и распространяется по лицензии Apache-2.0. Карточка не описывает поддержку генерации ответов: модель выдаёт разреженные векторы признаков, которые используются поисковой системой для ранжирования.

1160июнь 2025ctx512
textembeddingapache-2.0hugging-face
yjoonjang
splade-ko-v1

yjoonjang/splade-ko-v1 — корейский разреженный энкодер SPLADE, дообученный автором на базе skt/A.X-Encoder-base с помощью Sentence Transformers. Модель преобразует предложения и абзацы в разреженные векторы размерности 50 000; сходство между ними оценивается скалярным произведением. В основе архитектуры — ModernBERT с маскированным языковым моделированием и SPLADE-пулингом. В метаданных указаны 148,7 млн параметров и контекст до 16 384 токенов, тогда как README задаёт максимальную длину последовательности 8 192 токена. Модель предназначена для семантического поиска и разреженного поиска документов на корейском языке. В README приведены оценки на корейских наборах поиска, включая Ko-StrategyQA, AutoRAGRetrieval и MIRACLRetrieval. Модель распространяется по лицензии Apache-2.0. Она выдаёт разреженные векторы и не генерирует ответы; заявленные характеристики поиска относятся к указанным в карточке тестам.

1.3K17окт. 2025ctx16.4K
textembeddingapache-2.0hugging-face
antoinelouis
splade-max-camembert-base-mmarcoFR

SPLADE-max CamemBERT-base mMARCO-FR — франкоязычная модель для семантического поиска, разработанная и дообученная на французской части mMARCO. Она преобразует запросы и документы в разреженные векторы размерностью 32 000, а релевантность оценивает по косинусному сходству. Модель основана на almanach/camembert-base и содержит 137,8 млн параметров; архитектура CamemBERT использует masked language modeling. Контекст модели — до 514 токенов. Модель предназначена для поиска релевантных документов по запросам на французском языке, в том числе в больших коллекциях текстов. Обучение проводилось на парах запросов и passages из mMARCO с ранжирующей функцией потерь InfoNCE и регуляризацией разреженности FLOPS. В README приведена оценка на dev-наборе mMARCO-FR с 6 980 запросами и корпусом из 8,8 млн passages. Лицензия — MIT. Оценка качества описана для французского набора mMARCO; результаты на других языках и типах данных в карточке не приведены. Для поискового применения модель формирует разреженные векторы, поэтому при интеграции нужно обеспечить совместимый способ вычисления сходства и поиска.

20K1май 2024ctx514
textmithugging-face
google
tapas-base-finetuned-sqa

google/tapas-base-finetuned-sqa — модель Google на архитектуре TAPAS, дообученная на наборе Sequential Question Answering (SQA) для ответов на вопросы по таблицам в диалоговом сценарии. Это модель на основе BERT с 136,7 млн параметров: она обрабатывает вопрос и сериализованное содержимое таблицы и выделяет ячейки, относящиеся к ответу. Базовое обучение включало masked language modeling и промежуточное обучение на синтетических примерах для рассуждений по табличным данным. В версии по умолчанию позиционные индексы сбрасываются для каждой ячейки таблицы; доступен также вариант no_reset с абсолютными позиционными индексами. Модель предназначена для ответов на вопросы на английском языке по структурированным таблицам и может использоваться в интерактивных системах, где пользователь уточняет запросы последовательно. В README для базовой версии без сброса позиций указана точность 0,6737 на dev-части SQA. Вход состоит из текста вопроса и таблицы; контекст модели в метаданных — 1024 токена. Модель выпущена под лицензией Apache-2.0. Оценка приведена для конкретного набора данных и не гарантирует аналогичного качества на других типах таблиц или запросов.

5.0K9март 2022ctx1K
textapache-2.0hugging-face
kktoto
tiny_bb_wd

kktoto/tiny_bb_wd — дообученная модель семейства BERT для классификации токенов. Она содержит 12,6 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. В README указаны результаты на оценочном наборе: F1 0,6533, точность 0,6566 и полнота 0,6502; сам набор данных не описан. Модель подходит для задач разметки отдельных токенов в тексте, например для извлечения сущностей или других типов последовательной классификации после настройки соответствующих меток. Языки и конкретное назначение разметки в доступных сведениях не раскрыты. Лицензия в предоставленных данных не указана.

190июнь 2022ctx512
texthugging-face
qihoo360
TinyR1-32B-Preview

TinyR1-32B-Preview — экспериментальная модель рассуждений, разработанная командой Qihoo 360 на основе DeepSeek-R1-Distill-Qwen-32B. Это плотная языковая модель семейства Qwen2 с 32 млрд параметров; она принимает текст и генерирует текст, а нативная длина контекста составляет 131 072 токена. Модель создана объединением трёх специализированных вариантов, дообученных на математике, программировании и науке, и предназначена для решения задач в этих областях. В README сообщается о высоких результатах на отдельных тестах по математике, программированию и научным вопросам. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка характеризует её как preview-релиз и предупреждает, что она не предназначена для общего пользовательского применения. Возможны повторяющиеся циклы генерации при неподходящих настройках; авторы рекомендуют temperature 0.6 и top-p 0.95. Модель может выдавать чрезмерно длинные цепочки рассуждений, имеет ограничения в маркерах начала рассуждения и требует дополнительных мер безопасности; опубликованные оценки охватывают ограниченный набор тестов.

556328февр. 2025ctx131.1K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей