/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
7 201–7 230 из 23 488
TheBloke
CodeLlama-13B-Python-GGUF

CodeLlama 13B Python — языковая модель Meta, специализированная на генерации программного кода, представленная в формате GGUF и квантованная TheBloke. В основе лежит архитектура Llama с 13 миллиардами параметров; исходная версия доступна как CodeLlama 13B Python в формате Hugging Face. Модель предназначена для решения задач программирования по текстовому описанию: генерации кода с учётом ограничений, прохождения примеров тестов и помощи в разработке. В README приведён шаблон запроса для таких задач. Модель работает с текстом и кодом, однако конкретный набор естественных языков, максимальный размер контекста и другие параметры не указаны. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантования от 2 до 8 бит для инференса на CPU и GPU; конкретные характеристики качества, скорости и требований к памяти зависят от выбранного варианта. Квантование может сопровождаться компромиссом между эффективностью и точностью, а README не содержит подробной оценки ограничений модели. Лицензия указана как llama2.

3.2K36авг. 2023
textllama2hugging-face
codellama
CodeLlama-34b-Python-hf

CodeLlama-34b-Python-hf — авторегрессионная плотная языковая модель семейства Code Llama, разработанная Meta и представленная в формате Transformers. Это Python-специализированный вариант с 33,5 млрд параметров и контекстом до 16 384 токенов; модель принимает текст и генерирует текст. Она предназначена для автодополнения, синтеза и понимания кода на Python, а также может применяться в общих задачах генерации кода. Модель не предназначена для диалогового следования инструкциям. Использование регулируется лицензией Meta Llama 2. Возможны неточные или нежелательные результаты, поэтому перед внедрением модель следует проверять и адаптировать к конкретному сценарию.

27099авг. 2023ctx16.4K
textllama2hugging-face
meta-llama
CodeLlama-7b-Instruct-hf

Code Llama 7B Instruct — авторегрессионная языковая модель семейства Code Llama, разработанная Meta и настроенная на выполнение инструкций. Эта версия содержит 7 млрд параметров и распространяется в формате Transformers с весами PyTorch и Safetensors. Модель предназначена для генерации и понимания кода: она поддерживает продолжение кода, заполнение пропусков и диалоговое выполнение инструкций, в том числе сценарии кодового помощника. На вход принимает текст и выдаёт текст; предназначена для работы с английским языком и языками программирования. Архитектура — оптимизированный авторегрессионный трансформер. Модель может выдавать неточный или нежелательный код и ответы; перед внедрением в приложения рекомендуется проверять её поведение и настраивать защитные меры под конкретный сценарий. Использование регулируется лицензией Meta Llama 2; условия лицензии следует соблюдать.

2.6K65март 2024
textllama2hugging-face
deepseek-ai
DeepSeek-Coder-V2-Lite-Base

DeepSeek-Coder-V2-Lite-Base — базовая модель для генерации кода от DeepSeek. Она создана продолжением предобучения промежуточного чекпойнта DeepSeek-V2 на дополнительных 6 триллионах токенов. Модель использует архитектуру Mixture-of-Experts семейства DeepSeek-V2: в репозитории каталога указано 2,5 млрд параметров, а карточка семейства указывает для Lite-версии 16 млрд общих и 2,4 млрд активных параметров. Контекст модели по метаданным — 163 840 токенов. Модель предназначена для генерации и продолжения кода, вставки фрагментов кода, а также задач программирования и математических рассуждений. Семейство поддерживает 338 языков программирования; естественные языки в карточке не перечислены. К сильным сторонам относятся большой контекст и специализация на коде при сравнительно небольшом числе активных параметров. Это базовая, а не instruct-версия, поэтому её поведение в диалоге и следование инструкциям могут быть ограничены. Для локального инференса в BF16 README приводит требование 8 GPU по 80 ГБ. Лицензия в метаданных обозначена как other; конкретные условия следует сверять с лицензией в репозитории.

8.4K143июнь 2024ctx163.8K
textotherhugging-face
dphn
dolphin-2.9.1-mixtral-1x22b

Dolphin 2.9.1 Mixtral 1x22b — чат-модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations. Она основана на Mixtral-8x22B-v0.1 и прошла полное дообучение всех слоёв; в карточке указано 22 млрд параметров. Модель представляет собой извлечённый эксперт, полученный объединением SLERP экспертов исходной архитектуры Mixtral. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и выполнения инструкций, помощи с программированием, начального уровня агентных задач и вызова функций. Контекст базовой модели составляет 64 тыс. токенов, а дообучение проводилось с длиной последовательности 16 тыс. токенов. В качестве обучающих данных использовались, среди прочего, наборы Dolphin-2.9, OpenHermes-2.5 и датасеты для кода, математики и вызова функций. Модель описана авторами как uncensored и может с высокой готовностью выполнять запросы, в том числе небезопасные; перед предоставлением её пользователям авторы рекомендуют добавить собственный слой выравнивания. Язык карточки и метаданных — английский.

10K46май 2024ctx65.5K
textapache-2.0hugging-face
dphn
dolphin-2.9-mixtral-8x22b

Dolphin 2.9 Mixtral 8x22B — диалоговая модель Cognitive Computations, подготовленная Eric Hartford, Lucas Atkins и Fernando Fernandes на основе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с разреженной архитектурой Mixtral MoE, представленная в формате safetensors и предназначенная для генерации текста по инструкциям и ведения диалогов. Модель подходит для ответов на вопросы, программирования, математических задач и сценариев с вызовом функций; README также отмечает начальные агентные возможности. Она обучалась в формате ChatML, а полное дообучение проводилось на последовательностях длиной 4 тыс. токенов. Для базовой модели заявлен контекст до 64 тыс. токенов. В метаданных указан английский язык. Dolphin описана авторами как неконтролируемая модель, которая может охотно выполнять в том числе неэтичные запросы; перед предоставлением пользователям сервиса авторы рекомендуют добавить собственный слой ограничений. В данных обучения обнаружена проблема, из-за которой модель может излишне упоминать системное сообщение; README предлагает явно просить её этого не делать. Лицензия Apache-2.0 допускает коммерческое использование при соблюдении её условий.

21526апр. 2024ctx65.5K
textapache-2.0hugging-face
qinxianliu
FAB-Ramy-v1

qinxianliu/FAB-Ramy-v1 — модель Sentence Transformers на архитектуре MPNet, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Векторное представление получается усреднением токенов с последующей нормализацией; для сравнения используется косинусное сходство. Модель содержит 136,7 млн параметров, работает с последовательностями до 514 токенов по метаданным Hugging Face; в карточке README указан предел 384 токена. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

1520окт. 2024ctx514
textembeddinghugging-face
FINGU-AI
FingUEm_V3

FingUEm_V3 — модель Sentence Transformer, дообученная FINGU-AI на базе Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она кодирует предложения и абзацы в плотные векторы размерностью 1536 для сравнения текстов по косинусному сходству. Архитектура использует Qwen2, pooling по последнему токену и нормализацию; размер модели — 1,5 млрд параметров. Метаданные указывают контекст до 131 072 токенов, тогда как карточка описывает максимальную длину последовательности 8192 токена. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Её можно применять для построения векторного поиска и группировки текстовых коллекций. В карточке не указаны языки обучения или специализированные предметные области. Лицензия в предоставленных данных не приведена.

1003июль 2024ctx131.1K
textembeddinghugging-face
legraphista
granite-20b-code-instruct-IMat-GGUF

granite-20b-code-instruct-IMat-GGUF — это GGUF-квантизированная версия модели granite-20b-code-instruct, разработанной IBM (ibm-granite) и подготовленной пользователем legraphista. Модель предназначена для генерации и объяснения программного кода, исправления ошибок, работы с инструкциями, математическими задачами, SQL и сценариями function calling. Указаны варианты квантования от 1 до 16 бит, включая конфигурации с IMatrix, оптимизированные для запуска через llama.cpp. Модель содержит около 20 млрд параметров и основана на исходном формате BF16. В README не указаны точная архитектура, максимальная длина контекста и полный перечень поддерживаемых языков, однако результаты оценки приведены для Python, JavaScript, Java, Go, C++, Rust и демонстрируют применимость к генерации, объяснению и исправлению кода. В тестах HumanEvalSynthesis показатель pass@1 составил от 42,1 до 60,4% в зависимости от языка; значения не верифицированы. Ключевое преимущество версии — возможность выбирать баланс между качеством, размером файла и требованиями к памяти благодаря множеству вариантов квантования и применению IMatrix. Ограничения связаны с потерями качества при низкой разрядности, отсутствием подробных сведений о контексте и мультимодальности, а также с тем, что приведённые метрики не подтверждены. Модель распространяется по лицензии Apache 2.0.

3.7K0сент. 2024
textapache-2.0hugging-face
ibm-granite
granite-8b-code-instruct-128k

Granite-8B-Code-Instruct-128K — языковая модель для программирования, разработанная IBM Research. Это плотная decoder-only модель семейства Llama с 8,1 млрд параметров, дообученная на базе ibm-granite/granite-8b-code-base-128k. Модель принимает текстовые инструкции и код, поддерживает контекст до 128 000 токенов и выдаёт текст. Модель предназначена для генерации и объяснения кода, а также для создания программных помощников, работающих с длинным контекстом, например с содержимым репозитория. Обучение сочетает короткие и длинные примеры, чтобы поддерживать задачи на уровне нескольких файлов и сохранять возможности при коротких запросах. В обучающие данные входили наборы для программирования, математики, SQL и диалогов с помощником. Модель выпущена IBM Research 18 июля 2024 года и распространяется по лицензии Apache 2.0. Авторы не рекомендуют применять её в новых проектах: для них предназначены более новые модели семейства Granite. Качество может быть ниже для языков программирования, слабо представленных в обучении; перед использованием в критических приложениях рекомендуется проверка безопасности и настройка под целевую задачу.

1.4K25июль 2024ctx128K
textapache-2.0hugging-face
GreenNode
GreenNode-Embedding-E5-Large-VN-V1

GreenNode/GreenNode-Embedding-E5-Large-VN-V1 — sentence-transformers-модель на базе XLM-RoBERTa, созданная для преобразования предложений и абзацев в плотные векторы размерности 1024. Архитектура включает трансформер, pooling по CLS-токену и нормализацию; сходство векторов рекомендуется измерять косинусной близостью. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. Метаданные указывают на поддержку задач извлечения признаков и оценки сходства предложений, но карточка не называет языки обучения или целевое языковое покрытие, поэтому в описании не предполагается конкретный язык. Репозиторий содержит веса PyTorch и Safetensors; лицензия в предоставленных данных не указана.

1060февр. 2026ctx514
textembeddinghugging-face
Koat
gte-tiny

Карточка модели Koat/gte-tiny на Hugging Face совпадает с карточкой TaylorAI/gte-tiny, поэтому описание составлено по ней. TaylorAI/gte-tiny — компактная модель эмбеддингов предложений на базе архитектуры BERT, представленная как sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, кластеризации и сравнения текстов. Модель дистиллирована из thenlper/gte-small; README сообщает о сопоставимом, немного более низком качестве при примерно вдвое меньшем размере. В метаданных указано 25,9 млн параметров и контекст до 512 токенов. Модель подходит для построения векторного поиска по документам, группировки похожих текстов и оценки семантической близости. Доступны веса PyTorch и safetensors, а также формат ONNX. Язык обучения или перечень поддерживаемых языков в предоставленных данных не указан, поэтому языковую специализацию определить нельзя. Условия лицензии в предоставленных данных не указаны.

971март 2024ctx512
textembeddinghugging-face
adidsh
indic-ocr-int8-onnx

adidsh/indic-ocr-int8-onnx — созданная сообществом производная модели Indic-OCR от Bodhan AI / AI4Bharat, представленная в форматах ONNX и GGUF и предназначенная для локального распознавания и разбора документов. Она использует двухэтапный конвейер: RT-DETR находит и классифицирует области документа, затем визуально-языковая модель распознаёт текст в этих областях, сохраняя порядок чтения, переносы строк и структуру таблиц. Модель рассчитана на автономную работу с документами на английском и 22 индийских языках, в том числе на устройствах с CPU и без серверного GPU. Квантизированные варианты уменьшают размер и ускоряют выполнение; в README приведены результаты замеров на CPU x86_64 с AVX2. Указанная в карточке лицензия — other; README называет лицензию исходной модели Indic Open Model License v1.0 и требует атрибуции Bodhan AI / AI4Bharat.

1792сент. 2026
textimageotherhugging-face
HYPJUDY
layoutlmv3-base-finetuned-funsd

LayoutLMv3-base-finetuned-funsd — модель Microsoft, дообученная на наборе FUNSD для извлечения и классификации информации в формах и документах. Она принимает текстовые токены с данными о расположении и изображение документа, а для токенов предсказывает метки. Модель основана на архитектуре LayoutLMv3 и содержит 151,8 млн параметров; нативная длина контекста — 514 токенов. На тестовой выборке FUNSD модель достигла F1 90,59. Она подходит для извлечения полей и классификации элементов в формах, где важны и текст, и его расположение на странице. Весы опубликованы в формате PyTorch по лицензии CC BY-NC-SA 4.0, которая требует указания авторства, распространения производных материалов на тех же условиях и ограничивает коммерческое использование.

1225апр. 2022ctx514
textcc-by-nc-sa-4.0hugging-face
QuantFactory
Llama3.1-8B-Fireplace2-GGUF

QuantFactory/Llama3.1-8B-Fireplace2-GGUF — квантизированная версия языковой чат-модели ValiantLabs/Llama3.1-8B-Fireplace2, созданная с использованием llama.cpp. В основе лежит Llama 3.1 8B Instruct; модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Дата исходного выпуска Fireplace 2 — 23 июля 2024 года. Модель ориентирована на обычный чат и техническое ассистирование, а также на формирование структурированных ответов по запросу. Она поддерживает inline function calls, SQL-запросы, JSON-объекты и генерацию примеров визуализации данных с помощью matplotlib, позволяя сочетать обычный текст и структурированные форматы в одном диалоге. Для работы используются формат промптов Llama 3.1 Instruct и специальные маркеры запросов соответствующего типа. Ключевое преимущество модели — расширение возможностей Llama 3.1 8B Instruct функциями для интеграции с инструментами, базами данных и задачами визуализации. GGUF-квантизация и создание через llama.cpp ориентированы на локальный запуск, однако конкретный вариант квантизации, требования к памяти, размер контекста и поддерживаемые форматы файлов в представленном README не указаны. Модель является текстовой и не предназначена для обработки изображений или других мультимодальных данных. Лицензия указана как llama3.1; условия её применения следует уточнять в лицензии исходной модели.

9311авг. 2024
textllama3.1hugging-face
strauss-oak
mdl_bertopic_globo

strauss-oak/mdl_bertopic_globo — многоязычная модель эмбеддингов предложений и абзацев, основанная на архитектуре XLM-RoBERTa. Карточка README описывает её как sentence-transformers-модель, преобразующую текст в плотные векторы размерности 768 для кластеризации и семантического поиска. В метаданных указаны 305,2 млн параметров, контекст до 514 токенов, формат safetensors и лицензия Apache-2.0. Модель подходит для поиска близких по смыслу текстов, группировки предложений и абзацев, а также сравнения их семантической близости на множестве языков, включая русский и английский. Для использования через Transformers требуется подходящая операция pooling над контекстными представлениями токенов. В README указано, что модель обучена командой Sentence Transformers; точное происхождение этого репозитория относительно базовой модели отдельно не описано.

1260дек. 2023ctx514
textembeddingapache-2.0hugging-face
SAIFIINDUSTRIES
Nex-N2.5-mini

Карточка модели SAIFIINDUSTRIES/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

160сент. 2026ctx262.1K
textapache-2.0hugging-face
deepanwa
NuNerZero_onnx

NuNerZero ONNX — конвертированная в ONNX версия модели NuNER_Zero, размещённая пользователем deepanwa. Это модель распознавания именованных сущностей с нулевым обучением на архитектуре GLiNER: она находит в тексте сущности заданных пользователем типов. Репозиторий предоставляет веса ONNX и файлы токенизатора; запуск предусмотрен через GLiNER и ONNX Runtime. Модель подходит для извлечения заданных типов сущностей и обезличивания текста, в том числе в составе проекта Zink. ONNX-формат рассчитан на эффективный инференс; исходная карточка указывает размер файла модели около 1,85 ГБ. Модель распространяется по лицензии MIT. Карточка не уточняет поддерживаемые языки и длину контекста.

1742март 2025
textmithugging-face
EmperoAI
NVIDIA-Nemotron-Labs-Teacher-STEM

Карточка модели EmperoAI/NVIDIA-Nemotron-Labs-Teacher-STEM на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-Labs-Teacher-STEM, поэтому описание составлено по ней. NVIDIA-Nemotron-Labs-Teacher-STEM — большая языковая модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для сложных рассуждений и использования как самостоятельная модель и учитель для генерации синтетических данных и дистилляции. Она дообучена на основе постобученной Nemotron 3 Ultra Student с дополнительной настройкой на рассуждения и обучением с подкреплением; в рецепте также применяется дистилляция с участием нескольких учителей. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Она содержит 550 млрд параметров, из которых 55 млрд активны, и поддерживает генерацию текста с контекстом до 262 144 токенов по метаданным Hugging Face. Предназначена для математики, программирования, естественных наук, гуманитарных и общественных дисциплин, ответов на сложные вопросы и работы с инструментами, включая поиск и выполнение кода. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, арабский, китайский, иврит и бразильский вариант португальского. Карточка сообщает о возможности коммерческого и некоммерческого использования; лицензия в метаданных указана как other, поэтому конкретные лицензионные условия следует сверить с репозиторием. Для запуска требуются значительные вычислительные ресурсы и совместимое оборудование.

261авг. 2026ctx262.1K
textotherhugging-face
CallComply
openchat-3.5-0106-128k

OpenChat-3.5-0106-128k — диалоговая языковая модель OpenChat, созданная на основе дообученной Mistral-7B-v0.1. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и предназначена для генерации ответов в чате, программирования, общих задач и математических рассуждений. Поддерживает контекст до 131 072 токенов; в README также описан режим оценивания ответов, обозначенный как экспериментальный. Модель рассчитана на текстовый ввод и генерацию текста. README приводит результаты бенчмарков по коду и математике, но не описывает поддерживаемые естественные языки. Веса опубликованы в формате safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache-2.0.

346янв. 2024ctx131.1K
textapache-2.0hugging-face
ATH-MaaS
OvisOCR2

OvisOCR2 — компактная мультимодальная модель ATH-MaaS для разбора страниц документов. Она создана дообучением Qwen/Qwen3.5-0.8B и имеет плотную архитектуру Qwen3.5 с генерацией текста по изображению; размер модели — 0,8 млрд параметров. На вход подаётся изображение страницы, на выходе — представление в Markdown в естественном порядке чтения, включающее текст, формулы, таблицы и визуальные области. Модель предназначена для OCR и сквозного извлечения структуры документов. В отчёте разработчиков указаны результаты 96,58 на OmniDocBench v1.6 и средний балл 75,06 на PureDocBench. Для запуска в README приведён пример с vLLM. Модель распространяется по лицензии Apache-2.0. На разнообразных и сложных документах модель может ошибаться или выдавать неполный результат; разработчики рекомендуют вручную проверять выводы в критически важных сценариях.

246K496июль 2026ctx262.1K
textimageapache-2.0hugging-face
ciCic
paraphrase-multilingual-MiniLM-L12-v2-sts-2d-matryoshka

Многоязычная модель Sentence Transformers на архитектуре BERT, дообученная на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерностью 384 и предназначена для семантического поиска, сравнения сходства и кластеризации. Обучение с Matryoshka2dLoss поддерживает использование представлений нескольких размерностей, включая 768, 512, 256, 128 и 64; контекст модели составляет 512 токенов, число параметров — 124,3 млн. Модель подходит для многоязычных текстовых коллекций и поиска семантически близких фрагментов. Для сравнения сходства и ранжирования результатов требуется использовать полученные эмбеддинги в соответствующей метрике или поисковом процессе. Лицензия в предоставленных данных не указана.

1011апр. 2024ctx512
textembeddinghugging-face
dbourget
philai-bge-2et-f5

dbourget/philai-bge-2et-f5 — модель на базе BERT, опубликованная dbourget и предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Она подходит для семантического поиска и кластеризации текстов; в каталоге также отмечена задача извлечения признаков. Модель доступна в формате safetensors и рассчитана на контекст до 512 токенов. Для запуска предусмотрена интеграция с библиотекой Sentence-Transformers; при использовании Transformers необходимо применить подходящую операцию пулинга к контекстным представлениям токенов. Объём модели — около 433,9 млн параметров. Лицензия и сведения о конкретных языках в предоставленных данных отсутствуют.

960март 2024ctx512
textembeddinghugging-face
ssl-jp
pii-ja-ner-onnx

PII-JA-Detection — модель для обнаружения персональных данных в японском тексте. Она выполняет токенную классификацию с BIO-разметкой и поддерживает 18 типов PII, включая имена людей, названия организаций и телефонные номера. Модель основана на tohoku-nlp/bert-base-japanese и экспортирована в формат ONNX для запуска через ONNX Runtime. Размер составляет 137,8 млн параметров, максимальная длина контекста — 512 токенов; входом служат токенизированные текстовые последовательности, выходом — оценки по 37 меткам BIO. Модель подходит для выделения и последующей маскировки персональных данных в японских документах и текстовых сообщениях. Лицензия — Apache-2.0.,

6972июль 2026ctx512
textapache-2.0hugging-face
mergekit-community
Qwen3-7B-Instruct

mergekit-community создал эту плотную авторегрессионную языковую модель объединением методом TIES инструктивной Qwen2.5-7B-Instruct с моделями Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и рассчитана на контекст до 32 768 токенов. Она распространяется в формате safetensors и работает с библиотекой Transformers. Модель предназначена для диалогов и генерации текста с акцентом на программирование и математические задачи; метаданные также указывают интерфейс для вызова инструментов. Объединение переносит возможности трёх исходных инструктивных моделей в один чекпойнт, однако README не приводит сравнительных оценок качества или результатов тестирования. Языки в предоставленных данных не обозначены. Лицензия в предоставленных данных не указана.

842февр. 2025ctx32.8K
texthugging-face
jinaai
reader-lm-1.5b

Jina Reader-LM 1.5B — языковая модель от Jina AI для преобразования HTML-страниц в Markdown. Она обучена на подобранных парах HTML и соответствующего Markdown и принимает исходный HTML без отдельной инструкции в запросе. Пример применения из карточки — конвертация страницы Hacker News; модель также рассчитана на преобразование содержимого произвольных веб-страниц. Модель имеет плотную архитектуру Qwen2ForCausalLM с 1,5 млрд параметров, поддерживает чатовый формат и контекст до 256 000 токенов. Веса опубликованы в формате safetensors и используются через Transformers. Карточка указывает, что выпущена более новая версия ReaderLM-v2. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

441608сент. 2024ctx256K
textcc-by-nc-4.0hugging-face
ai-forever
sbert_large_nlu_ru

ai-forever/sbert_large_nlu_ru — русскоязычная модель семейства BERT large от команды SberDevices для получения векторных представлений предложений. Она предназначена для кодирования текста в эмбеддинги; в README для повышения качества рекомендуется усреднять представления токенов. Модель можно применять для поиска и сравнения текстов по смыслу, кластеризации и других задач на основе эмбеддингов. Модель имеет архитектуру BertModel и содержит около 525,7 млн параметров. Она принимает текст на русском языке, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и Safetensors. Лицензия — MIT.

95K104март 2022ctx512
textembeddingmithugging-face
magnolia-psychometrics
surveybot3000

magnolia-psychometrics/surveybot3000 — модель Sentence-Transformers, разработчик — magnolia-psychometrics. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и обучена с помощью CosineSimilarityLoss. Модель подходит для поиска семантически близких текстов и кластеризации; метаданные также указывают на поддержку извлечения признаков и сходства предложений. Для работы используется библиотека Sentence-Transformers.

4345апр. 2024
textembeddingcc-by-nc-4.0hugging-face
datalab-to
surya_layout2

Surya Layout (fast) — компактная модель обнаружения областей документа, используемая в проекте Surya. Она анализирует изображение страницы и находит текстовые блоки, таблицы, иллюстрации, заголовки, подписи и формулы. Модель предназначена для ускоренного анализа структуры документов и работает на CPU и GPU. Это детектор объектов на PyTorch, выступающий компактной альтернативой модели анализа компоновки документов на основе VLM в Surya. Модель подходит для предварительной разметки страниц в OCR-конвейерах и извлечения структурированных элементов документа. Репозиторий распространяется по лицензии OpenRAIL.

15K8июль 2026
imageopenrailhugging-face
XingChen-AGI
TeleOCR

TeleOCR — компактная мультимодальная модель для разбора документов, опубликованная командой XingChen-AGI. Она обрабатывает цифровые документы и снимки документов, в том числе с геометрическими искажениями, и формирует структурированное текстовое представление с распознанным содержимым, порядком чтения, таблицами и формулами. Модель построена на архитектуре Qwen2.5-VL и поддерживает обработку изображений с текстовыми запросами; метаданные указывают 507,9 млн параметров, библиотеку Transformers и контекст 128 000 токенов. В README заявлена версия примерно на 1,2 млрд параметров, поэтому размер в карточке и описании расходится. TeleOCR предназначена для OCR и комплексного извлечения структуры страниц: распознавания текста, таблиц и формул, а также разбора фотографий и деформированных страниц без предварительного выравнивания. Авторы сообщают о результатах на OmniDocBench, WildOmniDocBench, PureDocBench и других тестах; это результаты разработчиков и не гарантия качества на конкретных документах. Модель может быть полезна для оцифровки архивов, обработки сканов и автоматизации извлечения данных из документов. README описывает установку через Transformers и PyTorch, а полная инструкция по разбору документов находится во внешнем репозитории. Лицензия — Apache-2.0. Карточка указывает китайский и английский языки; README не уточняет языковой охват документов, поэтому качество для других языков по имеющимся данным установить нельзя.

38K1.3Kавг. 2026ctx128K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей