/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
7 381–7 410 из 23 488
autogluon
chronos-t5-large

Chronos-T5 Large — предварительно обученная модель прогнозирования временных рядов из семейства Chronos, разработанного AutoGluon. Она использует архитектуру T5 с 356,5 млн параметров; исторические числовые значения масштабируются и квантуются в последовательность токенов, после чего модель авторегрессионно генерирует будущие значения. Длина контекста составляет 512 токенов. Модель предназначена для вероятностного прогнозирования временных рядов: по истории она строит несколько возможных траекторий будущего и тем самым оценивает распределение прогноза. Обучение проводилось на общедоступных рядах и синтетических данных, полученных с помощью гауссовских процессов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

2.9K6май 2024ctx512
textapache-2.0hugging-face
OpenMOSS-Team
claif-roberta-base

claif-roberta-base — модель OpenMOSS-Team для построения эмбеддингов предложений и абзацев. Она основана на RoBERTa и выдаёт плотные векторы размерности 768; модель обучали с функцией потерь CosineSimilarityLoss и распространяют в формате PyTorch. Модель подходит для семантического поиска, сравнения текстов и кластеризации. Векторные представления можно использовать для поиска похожих фрагментов в коллекции документов или группировки текстов по смыслу. Доступна лицензия Apache-2.0. Контекст модели составляет 514 токенов. Карточка указывает английский язык; качество на других языках не подтверждено. Для использования через Transformers требуется применить корректную операцию pooling к контекстным представлениям токенов.

1180авг. 2023ctx514
textembeddingapache-2.0hugging-face
codellama
CodeLlama-13b-hf

Code Llama 13B — базовая генеративная модель Meta для синтеза и понимания кода. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, содержащий 12,9 млрд параметров. Данная версия представлена в формате Transformers и принимает текст, выдавая текст; она поддерживает контекст до 16 384 токенов. Модель предназначена для продолжения и дополнения кода, включая infilling, а также для адаптации к разным задачам генерации и анализа кода. Она рассчитана на английский язык и языки программирования; это базовая версия, а не вариант для следования инструкциям или специализированная Python-модель. Модель может генерировать неточный или нежелательный код, поэтому результаты требуют проверки и тестирования в целевом приложении. Использование регулируется лицензией Meta Llama 2; карточка указывает на наличие коммерческой лицензии Meta.

3.2K118авг. 2023ctx16.4K
textllama2hugging-face
teven
cross_all_bs320_vanilla_finetuned_WebNLG2020_relevance

teven/cross_all_bs320_vanilla_finetuned_WebNLG2020_relevance — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сопоставления релевантности. Модель предназначена для векторного поиска и других задач, где нужно сравнивать смысл текстов; для работы подходят Sentence-Transformers и Transformers с соответствующей операцией pooling. Максимальная длина контекста составляет 514 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

930сент. 2022ctx514
textembeddinghugging-face
prithivMLmods
Crux-Qwen3_OpenThinking-4B

Crux-Qwen3_OpenThinking-4B — плотная авторегрессионная языковая модель семейства Qwen3, дообученная PrithivMLmods на базе Qwen/Qwen3-4B. Она содержит около 3,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. Для диалогового применения доступны интерфейс вызова инструментов и генерация кода. Модель ориентирована на пошаговые рассуждения, решение математических и логических задач, STEM-обучение, объяснение и генерацию кода, а также структурированные ответы и перевод. В README заявлена поддержка более 20 языков; метаданные карточки отмечают английский. Для обучения использованы наборы s1K-1.1, OpenMathReasoning и FineTome-100k. Модель может быть полезна для учебных и технических задач, но иногда допускает фактические ошибки, лучше работает с ясными однозначными запросами и, согласно карточке, хуже подходит для творческой и художественной генерации. Доступна по лицензии Apache-2.0.

246май 2025ctx41K
textapache-2.0hugging-face
Alibaba-Apsara
DASD-4B-Thinking

DASD-4B-Thinking — плотная языковая модель примерно на 3,7 млрд параметров от Alibaba Apsara, построенная на архитектуре Qwen3 и предназначенная для длинных цепочек рассуждений. Она дообучена на базе Qwen3-4B-Instruct-2507 с помощью дистилляции от gpt-oss-120b; в обучении использовалось 448 тыс. примеров из наборов Superior-Reasoning-SFT-gpt-oss-120b и Superior-Reasoning-SFT-gpt-oss-120b-Logprob. Модель подходит для рассуждений по математике и естественным наукам, генерации и анализа кода, а также диалоговых задач, требующих пошагового ответа. Размер контекста — до 262 144 токенов. Модель принимает и выдаёт текст; README рекомендует передавать системный промпт, использовавшийся при обучении, и указывает настройки Temperature=1.0 и TopP=1.0. В README заявлены хорошие результаты на математических, научных и кодовых бенчмарках при компактном размере и относительно небольшом объёме обучающих данных. Модель не подключается к внешним инструментам и не поддерживает их вызов, поэтому не может самостоятельно запускать код или обращаться к API. Лицензия — Apache-2.0.

224235дек. 2025ctx262.1K
textapache-2.0hugging-face
deepseek-ai
deepseek-coder-6.7b-base

deepseek-ai/deepseek-coder-6.7b-base — базовая языковая модель для программирования, разработанная DeepSeek. Это плотная авторегрессионная модель семейства Llama с архитектурой Multi-Head Attention и 6,6 млрд параметров, обученная с нуля на 2 трлн токенов: 87% обучающих данных составлял код, 13% — естественный язык на английском и китайском. Модель работает с контекстом до 16 384 токенов. Она предназначена для генерации и дополнения кода, заполнения пропусков внутри кода и завершения фрагментов с учётом проекта или репозитория. Обучение на коде нескольких языков программирования и задача fill-in-the-blank поддерживают редактирование кода в заданном контексте. Модель является базовой, а не настроенной для диалога, поэтому для интерактивного помощника может потребоваться дополнительная настройка. Модель опубликована в форматах PyTorch и Safetensors. В README заявлены результаты уровня ведущих открытых моделей на бенчмарках HumanEval, MultiPL-E, MBPP, DS-1000 и APPS. Лицензия указана как «other»; перед использованием следует проверить условия в карточке модели Hugging Face.

116K145окт. 2023ctx16.4K
textotherhugging-face
deepseek-ai
deepseek-coder-6.7b-instruct

DeepSeek Coder 6.7B Instruct — языковая модель для программирования, разработанная DeepSeek. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, представленная в форматах PyTorch и safetensors. Она дообучена на 2 млрд токенов инструкционных данных на основе deepseek-ai/deepseek-coder-6.7b-base. Модель предназначена для генерации и дополнения кода, заполнения пропусков в коде, а также ответов на инструкции и вопросы по программированию в диалоговом формате. Обучение семейства DeepSeek Coder включало корпус, состоящий преимущественно из кода, и данные на английском и китайском языках; README заявляет поддержку проектного дополнения кода и контекста 16 тысяч токенов. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели. Модель ориентирована на задачи программирования; ответы могут содержать ошибки и требуют проверки, а качество за пределами программирования не подтверждено приведёнными данными.

29K525окт. 2023ctx16.4K
textotherhugging-face
unsloth
DeepSeek-R1-Distill-Qwen-14B-bnb-4bit

DeepSeek-R1-Distill-Qwen-14B-bnb-4bit — дистиллированная языковая модель, разработанная командой DeepSeek на основе DeepSeek-R1 и базовой архитектуры Qwen объёмом 14 млрд параметров. Данная версия подготовлена и опубликована Unsloth в 4-битном формате bnb для использования с Transformers. Модель предназначена для задач рассуждения, решения математических задач, генерации и анализа кода, а также других сценариев, требующих многошагового вывода. Дистилляция использует reasoning-поведение DeepSeek-R1, включая самопроверку, рефлексию и развернутые цепочки рассуждений. В метаданных README указан английский язык; сведения о поддержке других языков, размере контекста и мультимодальности не приведены. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному представлению, что упрощает локальный запуск по сравнению с полноразмерной моделью. Ограничения включают возможное снижение точности из-за квантования и отсутствие в README подробных данных о бенчмарках, контекстном окне и требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

1.6K6янв. 2025ctx131.1K
textapache-2.0hugging-face
mingbao2020
distilroberta-base-nli-adaptive-layer

mingbao2020/distilroberta-base-nli-adaptive-layer — модель Sentence-Transformers на базе RoBERTa, разработанная автором репозитория mingbao2020. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 95,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате safetensors. Обучение использует AdaptiveLayerLoss с MultipleNegativesRankingLoss, что позволяет получать представления предложений для задач поиска и сопоставления по смыслу. Модель предназначена для создания текстовых эмбеддингов; сведения о лицензии и конкретных поддерживаемых языках в доступных данных отсутствуют.

960апр. 2024ctx514
textembeddinghugging-face
docling-project
DocumentFigureClassifier-v2.5

DocumentFigureClassifier-v2.5 — модель классификации изображений, разработанная проектом Docling и основанная на Google EfficientNet-B0, дообученной на подмножестве датасета HuggingFace/finepdfs. Она относит изображения из документов к одной из 26 категорий, включая логотипы, фотографии, значки, чертежи, графики, таблицы, схемы, карты, подписи, штампы и QR-коды. Модель предназначена для анализа содержимого PDF и других документов: она помогает распознавать типы иллюстраций и направлять их на подходящую последующую обработку. В README приведена оценка на отложенной выборке finepdfs: точность составляет 0,907, сбалансированная точность — 0,688, а Macro F1 — 0,689. Модель доступна в форматах ONNX и safetensors и распространяется по лицензии MIT. Показатели по отдельным классам различаются, поэтому качество может быть ниже для редких или похожих категорий; модель обучалась на подмножестве finepdfs, и её результаты могут зависеть от состава входных документов. README не описывает требования к размеру входного изображения или полный процесс предобработки.

122K4март 2026
imagemithugging-face
dphn
dolphin-2.9.1-dbrx

Dolphin 2.9.1 DBRX — разговорная и инструкционная языковая модель, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе databricks/dbrx-base. Она использует архитектуру DBRX и формат диалога ChatML; базовая модель поддерживает контекст до 32 тысяч токенов, а дообучение проводилось с длиной последовательности 4 тысячи токенов. Модель предназначена для диалоговых ответов, выполнения инструкций, генерации кода и начальных агентных сценариев, включая вызов функций. Для коммерческого и иного использования README указывает лицензию databricks-open-model-license, а метаданные — лицензию other; условия следует сверять с лицензией репозитория. Модель описана авторами как uncensored и может охотно отвечать на небезопасные запросы, поэтому перед предоставлением пользователям рекомендуется добавить собственный слой фильтрации.

299май 2024
textotherhugging-face
nicoboss
dolphin-2.9.3-mistral-nemo-12b-llamacppfixed

Карточка модели nicoboss/dolphin-2.9.3-mistral-nemo-12b-llamacppfixed на Hugging Face совпадает с карточкой dphn/dolphin-2.9.3-mistral-nemo-12b, поэтому описание составлено по ней. Dolphin 2.9.3 Mistral Nemo 12B — разговорная языковая модель, дообученная Eric Hartford и командой Cognitive Computations на базе mistralai/Mistral-Nemo-Base-2407. Она предназначена для следования инструкциям, диалогов, генерации кода и начальных агентных сценариев; также поддерживает вызов функций через ChatML-шаблон. Модель содержит 12,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и формат safetensors. Базовая модель рассчитана на контекст до 128 тыс. токенов, однако при дообучении использовалась длина последовательности 8192 токена. Dolphin описана как «uncensored» и может с высокой готовностью выполнять запросы, в том числе вредоносные или неэтичные. Перед предоставлением модели пользователям автор рекомендует добавить собственный слой контроля и выравнивания. Модель лицензирована по Apache 2.0, включая коммерческое использование.

250авг. 2024ctx1M
textapache-2.0hugging-face
EpistemeAI
EpistemeAI-codegemma-2-9b-ultra

EpistemeAI-codegemma-2-9b-ultra — языковая модель EpistemeAI на архитектуре Gemma 2, дообученная на модели unsloth/gemma-2-9b-bnb-4bit. В карточке указано дополнительное обучение на 297 тысячах примеров с отзывами и инструкциями по коду, включая инструкции по Python; общий объём этих данных составляет около 31,4 млн токенов. Модель содержит 9 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации кода и ответов на инструкции, в том числе для задач программирования на Python. Также её можно применять для диалога и генерации текстов. Метаданные Hugging Face указывают text-classification, но каталог относит модель к text-generation; описание и обучение в README поддерживают прежде всего сценарии генерации текста и кода. Для работы с Transformers в README рекомендуется форматировать запросы по шаблону Alpaca. Модель может ошибаться в фактах и сложных или неоднозначных задачах, а результаты зависят от данных обучения и контекста. Лицензия указана противоречиво: README сообщает Apache-2.0, тогда как метаданные Hugging Face указывают Gemma; перед использованием следует проверить применимые условия распространения.

362авг. 2024ctx8.2K
textgemmahugging-face
codefuse-ai
F2LLM-v2-0.6B-Preview

F2LLM-v2-0.6B-Preview — многоязычная модель эмбеддингов от CodeFuse AI, дообученная на базе Qwen3-0.6B. Она обучена на корпусе из 27 миллионов примеров на более чем 100 естественных и программных языках и предназначена как основа для задач эмбеддингов, последующей настройки и исследований. Это плотная модель семейства Qwen3 с 507,9 млн параметров и контекстом до 40 960 токенов; доступны веса в формате safetensors и работа через Transformers и Sentence Transformers. Модель подходит для кодирования текста в векторы для поиска, сопоставления текстов и других downstream-задач с эмбеддингами. Эта preview-версия обучена без инструкций, поэтому её следует рассматривать как базовую модель для дальнейшей настройки, а не как готовую инструкционную систему. Лицензия — Apache-2.0.

1813февр. 2026ctx41K
textembeddingapache-2.0hugging-face
AlucardV
finetuned_model_ver2

AlucardV дообучил модель SentenceTransformer на базе sentence-transformers/all-MiniLM-L6-v2 для поиска и сравнения предложений и абзацев. Она преобразует текст в плотные семантические векторы размерностью 384 и сравнивает их с помощью косинусного сходства. Архитектура включает энкодер BERT, усредняющий pooling и нормализацию; модель содержит 25,9 млн параметров. В обучении использовались 20 000 примеров с TripletLoss, в том числе русскоязычные тексты. Максимальная длина последовательности в README — 256 токенов, тогда как метаданные указывают контекст 512 токенов; для практического применения следует учитывать ограничение README. Модель принимает текст и выдаёт векторы для семантического поиска и извлечения признаков. Лицензия в предоставленных данных не указана.

130июль 2026ctx512
textembeddinghugging-face
futuredatascience
from-classifier-v1

Карточка модели futuredatascience/from-classifier-v1 на Hugging Face совпадает с карточкой futuredatascience/from-classifier-v0, поэтому описание составлено по ней. futuredatascience/from-classifier-v0 — модель Sentence Transformers на архитектуре MPNet, разработанная Futuredatascience. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и возвращает векторные представления; максимальная длина контекста — 514 токенов. Для обучения использовалась функция потерь CosineSimilarityLoss. Модель опубликована в формате PyTorch; метаданные не содержат сведений о лицензии или языковой специализации.

720нояб. 2022ctx514
textembeddinghugging-face
mradermacher
Garnet-OCR-3B-0422-i1-GGUF

Garnet-OCR-3B-0422-i1-GGUF — квантизированная версия модели Garnet-OCR-3B-0422, разработанной prithivMLmods и подготовленной в формате GGUF пользователем mradermacher. Это vision-language-модель для оптического распознавания символов и интеллектуальной обработки документов, включая извлечение и связывание данных, преобразование PDF в Markdown, анализ содержимого документов и image-to-text-сценарии. Модель имеет размер 3 млрд параметров и поддерживает обработку текста и изображений. В карточке указан английский язык, а среди обучающих наборов перечислены коллекции для распознавания и анализа PDF, генерации Markdown и обработки документов. Доступно множество вариантов квантизации GGUF размером примерно от 1,0 до 2,9 ГБ; варианты различаются компромиссом между качеством, скоростью и требованиями к памяти. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильными сторонами модели являются специализация на OCR и структурированном анализе документов, возможность локального запуска благодаря компактным квантизированным вариантам и поддержка различных уровней квантизации. Ограничения включают отсутствие сведений о размере контекста, точных характеристиках архитектуры, качестве на конкретных наборах данных и поддерживаемых языках помимо английского; низкобитные варианты могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

3284апр. 2026
textimageapache-2.0hugging-face
unsloth
GLM-4.7-GGUF

GLM-4.7-GGUF — это GGUF-версия языковой модели GLM-4.7, разработанная организацией Z.ai и опубликованная Unsloth. Модель предназначена прежде всего для генерации текста, программирования и агентских сценариев с использованием инструментов. Она ориентирована на multilingual coding, задачи в терминале, веб-навигацию, математическое и общее рассуждение, создание веб-интерфейсов и презентаций, а также на диалоги, творческое письмо и ролевые сценарии. В карточке указаны поддерживаемые языки English и Chinese, библиотека Transformers и базовая модель zai-org/GLM-4.7. Заявлены режимы thinking before acting, interleaved thinking и preserved thinking, однако сведения о размере модели, точной архитектуре, длине контекста и доступных модальностях отсутствуют. По приведённым результатам модель показывает сильные стороны в кодировании, использовании инструментов, математике и рассуждении; среди ограничений следует учитывать, что показатели зависят от конкретных бенчмарков и не гарантируют аналогичное качество в каждом прикладном сценарии. Модель распространяется по лицензии MIT. README не содержит подробностей о требованиях к оборудованию, конкретных квантизациях GGUF или полной процедуре локального запуска.

5.9K225дек. 2025
textmithugging-face
Ramyashree
gte-large-finetuned

Ramyashree/gte-large-finetuned — модель эмбеддингов предложений на архитектуре BERT, дообученная для задач сходства предложений. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, которые можно использовать для семантического поиска, кластеризации и сравнения текстов. В обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством; максимальная длина контекста составляет 512 токенов. Модель принимает текст и выдаёт векторные представления. Для использования подойдут Sentence-Transformers или Transformers с соответствующей операцией pooling. В карточке указан датасет Ramyashree/Dataset_For_Cluster. Сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют.

930дек. 2023ctx512
textembeddinghugging-face
yankexe
gte-multilingual-base-air-gapped

yankexe/gte-multilingual-base-air-gapped — вариант модели gte-multilingual-base из семейства GTE, предназначенный для получения текстовых представлений и поиска по смыслу. Это плотная encoder-only Transformer-модель размером 305,3 млн параметров с embedding-размерностью 768 и контекстом до 8192 токенов. README описывает запуск в изолированной среде с vLLM; метаданные указывают формат safetensors и возможность получать эмбеддинги. Модель предназначена для многоязычного поиска и извлечения информации, в том числе межъязыкового и по длинным текстам. Помимо плотных представлений, она поддерживает разреженные векторы и эластичные по размеру плотные представления, позволяя уменьшать затраты на хранение и вычисления. README заявляет поддержку более 70 языков и высокую скорость относительно некоторых крупных моделей GTE; конкретные результаты оценки приведены со ссылкой на статью и бенчмарки. Лицензия — Apache-2.0. Для запуска в air-gapped-среде README приводит конфигурацию vLLM с pooling runner и trust-remote-code. Точное соответствие опубликованных результатов конкретному варианту air-gapped и характеристики отдельных языков в карточке не раскрыты.

1541июнь 2026ctx8.2K
textembeddingapache-2.0hugging-face
Jetlink
JetlinkSTT-v1.0-7B

JetlinkSTT-v1.0-7B — многоязычная модель распознавания речи, размещённая Jetlink как управляемая организацией копия модели семейства Qwen3-ASR. Метаданные указывают на дообучение Qwen/Qwen3-ASR-1.7B; модель принимает аудио и предназначена для преобразования речи в текст и определения языка. Модель поддерживает потоковую и офлайн-обработку, длинные записи, пакетный запуск и сценарии транскрибации. В README заявлена устойчивость к шуму, сложным речевым паттернам и пению, в том числе под музыку. Указана поддержка 52 языков и диалектов исходным семейством, включая русский, английский, китайский и другие перечисленные языки. Модель подходит для транскрибации звонков и встреч, создания субтитров, голосовых помощников и аналитики речи. Практическая производительность и требования к памяти зависят от оборудования, длительности аудио, пакетного размера, конкуренции запросов и выбранного серверного ПО. Для юридических, медицинских и критически важных сценариев README рекомендует проверку человеком. Лицензия — Apache-2.0.

391май 2026ctx131.1K
textaudioapache-2.0hugging-face
IFM
K2-Horizon-0.9B

IFM/K2-Horizon-0.9B — компактная плотная авторегрессионная языковая модель семейства K2-Horizon, разработанная IFM. Модель содержит около 924,5 млн параметров и предназначена для диалоговой генерации текста и рассуждений; её оценивали на задачах математики, программирования, естественных наук и использования инструментов. В README описано обучение с дистилляцией от нескольких специализированных моделей-учителей, а также расширение контекста с помощью YaRN RoPE scaling. README указывает контекст до 131 072 токенов, тогда как метаданные каталога сообщают native context 8 192 токена; для развёртывания длинного контекста нужны соответствующие настройки RoPE. Модель ориентирована на английский и китайский языки. Веса доступны в формате Safetensors, лицензия — Apache-2.0. Карточка описывает возможность использования для инференса, оценки и последующего дообучения; для работы с инструментами требуется совместимая серверная конфигурация.

24K97сент. 2026ctx131.1K
textapache-2.0hugging-face
MDDDDR
klue-roberta-base-klue-sts-mt-30000

MDDDDR/klue-roberta-base-klue-sts-mt-30000 — модель Sentence Transformers на архитектуре RoBERTa, содержащая 137,8 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством нацелено на формирование эмбеддингов, пригодных для сравнения предложений. Модель принимает текст и выдаёт векторы; её можно использовать для семантического поиска, группировки текстов и вычисления сходства предложений. Контекст составляет до 514 токенов. В карточке не приведены сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

750янв. 2025ctx514
textembeddinghugging-face
sergeyzh
LaBSE-ru-sts

sergeyzh разработал русскоязычную модель BERT для вычисления эмбеддингов предложений и оценки их семантического сходства. Это дообученная версия cointegrated/LaBSE-en-ru, рассчитанная на использование, в частности, с библиотекой Sentence Transformers. Модель содержит 155,5 млн параметров, формирует векторы размерностью 768 и принимает последовательности длиной до 512 токенов. Модель подходит для поиска похожих предложений, выявления перефразирований и других задач сравнения смысла текстов. В README также приведены результаты для определения следования, тональности и токсичности, а также тесты классификации и кластеризации. На опубликованных метриках ruMTEB результаты различаются по задачам; для каждой из перечисленных задач качество может зависеть от данных и настройки применения. Веса доступны в формате safetensors, лицензия — MIT. Карточка описывает модель для русского языка; основание на LaBSE-en-ru само по себе не подтверждает, что эта версия предназначена для двуязычного использования.

22110март 2024ctx512
textembeddingmithugging-face
hantian
layoutreader

hantian/layoutreader — модель на базе LayoutLMv3 для предсказания порядка чтения элементов документа. Она принимает ограничивающие рамки (bounding boxes), извлечённые из PDF или распознанные OCR, и определяет, в каком порядке их следует читать. Это полезно для восстановления последовательности текста и структуры страниц при обработке документов. Модель содержит 454,1 млн параметров, использует архитектуру LayoutLMv3 и работает с контекстом до 514 токенов. В метаданных Hugging Face для неё указан pipeline token-classification; веса доступны в форматах PyTorch и Safetensors. Карточка не уточняет поддерживаемые языки и конкретные ограничения качества. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространения производных материалов на тех же условиях, а также ограничивает коммерческое использование.

59K45февр. 2024ctx514
textcc-by-nc-sa-4.0hugging-face
vikp
layout_segmenter

vikp/layout_segmenter — модель Vikas Paruchuri для сегментации макета страниц PDF на блоки. Она основана на LayoutLMv3 и применяется в проекте Marker для разбора PDF. Модель содержит около 151,8 млн параметров, использует архитектуру LayoutLMv3ForTokenClassification и предназначена для классификации токенов по типам областей страницы: подпись, сноска, формула, элемент списка, колонтитул, изображение, заголовок раздела, таблица, текст и название. Модель работает с текстом и пространственными признаками документа и выдаёт метки токенов. В доступных сведениях не указаны поддерживаемые естественные языки и лицензия; их нельзя надёжно определить по карточке. Карточка описывает применение для PDF, но не приводит подробных оценок качества или ограничений.

2.7K15нояб. 2023ctx514
texthugging-face
TencentARC
LLaMA-Pro-8B-Instruct

LLaMA-Pro-8B-Instruct — языковая модель Tencent ARC на архитектуре LLaMA, построенная расширением LLaMA2-7B с помощью расширения блоков. Она содержит около 8,2 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. При обучении использовались данные по программированию и математике объёмом свыше 80 млрд токенов. Модель предназначена для генерации и продолжения текста, ответов в чате, помощи с программированием и решения математических задач, сохраняя возможности для общих языковых сценариев. Максимальный контекст — 4096 токенов; доступны веса в форматах PyTorch и Safetensors. Модель разработана командой Tencent ARC и распространяется по лицензии Llama 2. Она может испытывать трудности с узкоспециализированными или тонкими задачами, а также наследовать предвзятости обучающих данных.

10062янв. 2024ctx4.1K
textllama2hugging-face
FrontiersMind
Lumma-fev-4b

Lumma-Fev-4B — плотная модель принятия решений на 4 млрд параметров от FrontiersMind. Она принимает документ-состояние и набор типизированных вопросов, после чего за один проход выдаёт распределение вероятностей по вариантам каждого вопроса. Модель не генерирует текст: она поддерживает вопросы типа «да/нет», выбор из вариантов и оценку по упорядоченной шкале. Модель предназначена для классификации и структурированного извлечения решений из текста или JSON: например, для независимой оценки нескольких свойств документа и маршрутизации записей по заранее заданным категориям. Вопросы обрабатываются независимо друг от друга. Модель опубликована в формате safetensors для Transformers; лицензия — Apache-2.0. Вероятности и confidence являются оценками модели, поэтому перед использованием их для автоматического принятия решений следует проверить калибровку на размеченных данных своей задачи. Карточка приводит результаты бенчмарков по типизированным решениям, новостям и эмоциям, но не сообщает длину контекста.

7.4K16сент. 2026ctx262.1K
textapache-2.0hugging-face
avsolatorio
MixEmbed-base-20240110021715-best

Карточка модели avsolatorio/MixEmbed-base-20240110021715-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

1390янв. 2024ctx512
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей