/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 251–8 280 из 23 488
jinaai
jina-code-embeddings-1.5b

jina-code-embeddings-1.5b — модель эмбеддингов для поиска по коду, разработанная Jina AI на основе Qwen/Qwen2.5-Coder-1.5B. Она предназначена для извлечения плотных векторов, которые помогают находить код по текстовому запросу, похожие фрагменты кода, естественно-языковые описания кода и подходящие продолжения кода, а также поддерживают технический поиск ответов по программным проектам. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2 и принимает контекст до 32 768 токенов. По README, она рассчитана на более чем 15 языков программирования и разные области разработки, включая веб-разработку, машинное обучение и анализ данных. Для пяти сценариев предусмотрены отдельные инструкционные префиксы; размер эмбеддинга по умолчанию — 1536 измерений, его можно сократить до 128 с минимальной потерей качества. Модель возвращает векторы, а не готовые ответы или исполняемый код, поэтому её используют как компонент поиска или retrieval-системы. Метаданные указывают лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

7.0K54авг. 2025ctx32.8K
textcc-by-nc-4.0hugging-face
jinaai
jina-embeddings-v5-text-small-classification

jina-embeddings-v5-text-small-classification — компактная мультиязычная модель эмбеддингов, разработанная Jina AI и предназначенная прежде всего для задач классификации текста. Она создана на базе jina-embeddings-v5-text-small с применением дистилляции и task-specific contrastive losses, что ориентировано на высокое качество при небольшом размере. Модель может использоваться для классификации документов, маршрутизации обращений, анализа отзывов и других сценариев, где текстовые представления подаются в последующий классификатор. Модель содержит 677 млн параметров, поддерживает последовательности длиной до 32 768 токенов и формирует эмбеддинги размерностью 1024. Используется pooling по последнему токену; доступны Matryoshka-размерности 32, 64, 128, 256, 512, 768 и 1024, позволяющие выбирать компромисс между качеством и затратами на хранение или вычисления. К сильным сторонам относятся компактность, мультиязычность, поддержка длинного контекста и оптимизация под классификационные задачи. README не приводит конкретный перечень языков и подробные количественные результаты бенчмарков, поэтому сравнение качества для отдельных языков и сценариев требует дополнительной проверки. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая запрет коммерческого применения.

4.5K9февр. 2026ctx32.8K
textcc-by-nc-4.0hugging-face
jakeroxs
KAT-Coder-V2.5-Dev-35B-A3B-MTP-ABLITERATED

Это объединённый чекпойнт jakeroxs на основе KAT-Coder V2.5 Dev 35B-A3B: к варианту Philadelphia Class с изменённым поведением отказов добавлены совместимые веса слоя Multi-Token Prediction (MTP). Базовая модель разработана KwaiPilot; вариант Philadelphia Class подготовил KridgeDookie, а MTP-голову — Myric. Модель предназначена для генерации кода и локальных сценариев программирования и работы coding-агентов. Архитектура — Qwen3.5 MoE, около 35,51 млрд параметров при примерно 3 млрд активных; репозиторий содержит веса safetensors. Добавленный MTP-слой предназначен для экспериментов со спекулятивным декодированием. Карточка также указывает разговорное применение и английский и китайский языки. Abliteration направлена на снижение склонности к отказам, но не гарантирует определённого поведения. Чекпойнт предлагается для дальнейшей конвертации или квантизации, а для прямого использования с llama.cpp автор рекомендует связанный GGUF-репозиторий. Лицензия — Apache-2.0.

420сент. 2026ctx262.1K
textapache-2.0hugging-face
Miladasghari
light-coder

light-coder — компактная инструктивная модель для программирования, созданная Миладом Асгари дообучением Qwen/Qwen2.5-0.5B-Instruct на примерно 122 тысячах пар «инструкция — ответ» по программированию. Это плотная авторегрессионная языковая модель семейства Qwen2 с 494 млн параметров; веса LoRA объединены с базовой моделью. Репозиторий содержит веса safetensors, размер модели по карточке — около 988 МБ, длина контекста — 32 768 токенов. Модель предназначена для генерации и рефакторинга кода, а также выполнения инструкций по программированию на английском языке. Компактный размер позволяет запускать её на потребительских GPU и CPU; заявлена совместимость с Transformers, vLLM и Ollama. Лицензия — Apache-2.0. Карточка не приводит результатов сравнительной оценки качества; как модель на 494 млн параметров, она может уступать более крупным кодовым моделям в сложных задачах и работе с длинным контекстом. Указанная языковая поддержка — английский и несколько языков программирования.

650сент. 2026ctx32.8K
textapache-2.0hugging-face
facebook
metaclip-2-worldwide-huge-378

MetaCLIP 2 (worldwide) — мультимодальная модель семейства CLIP, разработанная Meta и представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-H-14-378-worldwide из оригинальной реализации; для работы с ним предусмотрена библиотека Transformers. Модель предназначена для классификации изображений по текстовым описаниям без предварительного обучения на конкретных классах. Она сопоставляет изображения и текстовые метки, что позволяет задавать категории на естественном языке. Карточка указывает на многоязычную поддержку. Веса опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

9.9K9июль 2025
textimagecc-by-nc-4.0hugging-face
vllm-sr
modernbert-base-32k

vllm-sr разработала ModernBERT-base-32K — дообученную версию ModernBERT-base для обработки длинного контекста и заполнения пропусков в тексте. Это encoder-only модель архитектуры ModernBERT с 149 млн параметров. В карточке указано расширение контекста до 32 768 токенов с помощью масштабирования YaRN и специального обучения для сохранения зависимостей между удалёнными фрагментами; метаданные при этом указывают native context в 8 192 токена. Основная задача модели — предсказывать замаскированные токены. Её также можно использовать для извлечения признаков и построения downstream-решений, например классификации длинных текстов и семантического поиска по документам. Модель обучалась на длинных веб-текстах из Slimpajama; основным языком карточка указывает английский. Лицензия — Apache-2.0. Среди ограничений карточка отмечает снижение точности поиска удалённых фрагментов на больших расстояниях, ограниченную пользу контекста свыше 16K токенов и потребность примерно в 16 ГБ или более GPU-памяти для обработки 32K токенов; качество на узкоспециализированных текстах может быть ниже.

1.5K1янв. 2026ctx8.2K
textapache-2.0hugging-face
eeeeerrrr4
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория eeeeerrrr4/MyAwesomeModel-TestRepo, опубликованная на Hugging Face и предназначенная для извлечения признаков из текста. В метаданных она классифицирована как feature-extraction; среди тегов указана совместимость с BERT, PyTorch и библиотекой Transformers. README также описывает улучшенные способности к рассуждению, математике, программированию, пониманию текста, диалогу, суммаризации и вызову функций, однако эти сценарии не подтверждены отдельным pipeline-тегом или подробными техническими характеристиками в предоставленных данных. В карточке приведены результаты внутренних бенчмарков и рекомендации по использованию чат-версии модели. Модель распространяется по лицензии MIT. Для практического применения следует учитывать, что точные сведения об архитектуре, размере, поддерживаемых языках и длине контекста в предоставленных данных отсутствуют, а заявленные результаты README требуют самостоятельной проверки.

2530сент. 2026
textembeddingmithugging-face
DatarrX
myX-Semantic-Light

myX-Semantic-Light — модель эмбеддингов предложений на базе Sentence Transformers, разработанная Khant Sint Heinn и опубликованная DatarrX. Она дообучена с дистилляцией знаний от sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 на корпусе DatarrX/myX-Mega-Corpus из 500 тысяч строк и ориентирована на бирманский язык. Модель кодирует текст в плотные 384-мерные векторы и использует среднее объединение токенов. Она предназначена для семантического поиска, кластеризации и оценки сходства предложений, в том числе на мобильных устройствах и в средах с ограниченными ресурсами. Для сравнения векторов автор рекомендует косинусное сходство; ориентир 0,40 может указывать на семантическую связь. Контекст модели — 512 токенов по метаданным, а README указывает максимальную длину последовательности 128 токенов для обучения и рекомендует её для коротких и средних текстов. Модель рассчитана на текст в Unicode Burmese; кодировка Zawgyi не поддерживается, а для длинных документов качество может снижаться. Распространяется по лицензии Apache-2.0.

1145май 2026ctx512
textembeddingapache-2.0hugging-face
enigmare
nylon-v1

Nylon V1 — компактная авторская трансформерная модель Абдулварита для генерации текста, диалогов, рассуждений и помощи в инженерных задачах. Согласно карточке, модель создана с нуля и обучалась на инженерных, математических и системных данных, затем прошла настройку на многоходовых инструкциях и оптимизацию предпочтений для кратких и практичных ответов. Модель построена на декодерной архитектуре GPT-2 с 24 слоями, 16 головами внимания и размерностью представлений 1024; размер составляет около 338 млн параметров, контекст — 2048 токенов. Заявлены сценарии чат-общения, написания и анализа кода, а также решения задач по математике и системам. Метаданные указывают английский язык и поддержку генерации текста; опубликованы форматы PyTorch, SafeTensors и GGUF. Модель распространяется по лицензии Apache-2.0. Её небольшой размер удобен для локального запуска, однако контекст ограничен 2048 токенами; заявленные возможности не подкреплены в карточке описанием оценок или бенчмарков.

830авг. 2026ctx2K
textapache-2.0hugging-face
uctnlp
omniASR-CTC-300m-v2-Zulu-Baseline

omniASR-CTC-300M-v2-Zulu-Baseline — модель распознавания речи на базе Wav2Vec2 CTC, преобразованная командой uctnlp из чекпойнта fairseq2 OmniLingual omniASR_CTC_300M_v2. Модель принимает аудио и выдаёт текстовую транскрипцию через CTC-логиты по словарю SentencePiece. В метаданных указано 413,2 млн параметров; архитектура включает 24 слоя энкодера с размером скрытого состояния 1024. Модель предназначена для автоматической транскрибации речи, включая зулу; README также указывает на поддержку нескольких языков. Численная эквивалентность исходному чекпойнту fairseq2 проверена на одном отложенном аудиопримере с допуском atol=1e-4. Сведения о лицензии и ограничениях точности в предоставленных данных отсутствуют.

410авг. 2026
textaudioapache-2.0hugging-face
aufklarer
Pyannote-Segmentation-MLX

aufklarer/Pyannote-Segmentation-MLX — версия модели сегментации речи PyanNet, подготовленная для запуска на MLX. Она основана на pyannote/segmentation-3.0 и разработана для обнаружения активности речи и сегментации говорящих в аудиозаписях. Модель обрабатывает окна длительностью 10 секунд и выдаёт вероятности для семи классов: тишина или неречевая активность, отдельные говорящие из числа до трёх и их попарно перекрывающаяся речь. Архитектура включает SincNet, двунаправленную LSTM из четырёх слоёв и классификатор с двумя линейными слоями; размер — около 1,5 млн параметров. Веса преобразованы из официального чекпойнта PyTorch Lightning в формат для MLX, с предварительно вычисленными фильтрами SincNet. Репозиторий предназначен для использования с MLX и Swift на Apple Silicon. Лицензия — MIT.

3.7K2февр. 2026
audiomithugging-face
tonyxfinance
Qwen2.5-Coder-0.5B-Instruct-Gensyn-Swarm-nimble_grunting_tuna

Это языковая модель для генерации кода и диалога по инструкциям, опубликованная пользователем tonyxfinance на Hugging Face. По названию и архитектуре она основана на Qwen2.5-Coder-0.5B-Instruct, разработанной командой Qwen; репозиторий модели не содержит подробной карточки о собственном обучении Gensyn Swarm, поэтому его влияние на возможности модели установить нельзя. Модель имеет архитектуру Qwen2 и около 494 млн параметров, принимает текст и генерирует текст. Для исходной модели Qwen2.5-Coder-Instruct заявлен контекст до 32 768 токенов; семейство предназначено для генерации и понимания кода, исправления ошибок и ответов на инструкции. Репозиторий содержит веса Safetensors и использует Transformers. Лицензия для этой конкретной копии в доступных сведениях не установлена.

3640нояб. 2025ctx32.8K
texthugging-face
prayasabhinav
rai

rai reader 0.3.8 — экстрактивная модель для ответов на вопросы, разработанная для инструмента rai. Она получает вопрос и короткий ответ в свободной форме и извлекает из него фразу, отвечающую на вопрос, либо возвращает отсутствие ответа. Текст не генерирует; проверка полноты и принятие решений после извлечения выполняются обычным кодом. Модель предназначена для заранее заданных форм, где каждый вопрос запрашивает конкретные сведения — например, имя, число, место или время, — а ответы вводятся короткими фразами. В основе лежит deepset/minilm-uncased-squad2: веса трёх читателей усреднены, включая читатель, обученный распознавать некоторые ответы на хинглиш. Архитектура BERT, около 40 млн параметров по метаданным и контекст до 512 токенов. В карточке описаны английские и хинглиш-тесты, но показатели на них ограничены конкретными наборами. Модель не является универсальной проверкой полноты и сама не определяет, верен ли ответ или достаточен ли он. Карточка указывает лицензию CC-BY-4.0.

1070сент. 2026ctx512
textcc-by-4.0hugging-face
cl-nagoya
ruri-v3-pt-130m

Ruri v3 PT 130M — предварительно обученная модель эмбеддингов японского текста от команды cl-nagoya на базе ModernBERT-Ja. В отличие от дообученной версии Ruri v3 130M, этот вариант не проходил fine-tuning для задач сходства предложений. Модель содержит 132,1 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8 192 токенов. Модель предназначена для получения векторных представлений японского текста, которые можно использовать как основу для поиска и сравнения предложений после подходящей настройки под задачу. В README указана лицензия Apache-2.0. Метаданные классифицируют модель как sentence-similarity, однако README отдельно предупреждает, что этот чекпойнт не дообучен; поэтому его качество для готового сравнения сходства может отличаться от специализированной версии.

1600март 2025ctx8.2K
textapache-2.0hugging-face
semcoder
semcoder_s_1030

SemCoder S 1030 — языковая модель для генерации кода, представленная проектом SemCoder из лаборатории ARiSE. Она предназначена для сценариев, где требуется создавать код с учётом семантики и рассуждений о программе. Модель основана на архитектуре Llama, содержит 6,6 млрд параметров и поддерживает контекст до 16 384 токенов; доступна в формате safetensors для библиотеки Transformers и имеет возможность диалогового взаимодействия. Модель обучалась на синтетических данных, созданных моделями OpenAI. README отсылает за подробным описанием к репозиторию проекта; конкретные поддерживаемые языки программирования и результаты оценки здесь не приведены. В метаданных указана лицензия other, поэтому перед использованием следует проверить условия лицензии и учитывать условия OpenAI, относящиеся к синтетическим данным и наборам данных.

333нояб. 2024ctx16.4K
textotherhugging-face
zeromodels
siglip_base_p16_multilingual_256

Это конверсия на Keras 3 многоязычной модели SigLIP Base от Google, подготовленная zeromodels. Модель использует двойной визуально-текстовый энкодер и попарную sigmoid loss; она сопоставляет изображения с текстовыми запросами для классификации без дополнительного обучения. При работе подберите текстовые промпты и изображения для сравнения; для согласования размера изображений и токенизатора рекомендуется использовать соответствующий Processor. Репозиторий предоставляет реализацию, работающую с TensorFlow, PyTorch и JAX. Модель принимает изображения и текстовые промпты и выдаёт оценки соответствия для zero-shot классификации. Лицензия — Apache 2.0.

150июль 2026
textimageapache-2.0hugging-face
mlx-community
silero-vad-v6

Это порт Silero VAD v6 для MLX, подготовленный сообществом mlx-community на основе весов из официального пакета silero_vad. Модель использует ветвь для аудио с частотой 16 кГц и архитектуру STFT, за которой следуют четыре сверточных слоя Conv1d, LSTM со скрытым размером 128 и выходной Conv1d с сигмоидой. Веса сохранены в формате safetensors и предназначены для запуска через mlx-audio на Apple Silicon. Модель определяет наличие речи в аудио и выдаёт вероятность речи для фрагмента: по одному значению на каждые 32 мс в потоковом режиме либо на 256 мс при пакетном вызове с объединением восьми внутренних фрагментов. Её можно применять для отбора речевых участков перед распознаванием речи, обработки потокового аудио и разметки активности говорящего. В README приведены результаты на одном англоязычном собрании и проверка совпадения выходов с upstream PyTorch; эти оценки не устанавливают качество для других условий и языков. Лицензия репозитория — MIT.

7636май 2026
audiomithugging-face
WebOrganizer
TopicClassifier-NoURL

WebOrganizer/TopicClassifier-NoURL — англоязычный классификатор веб-страниц по содержанию их текста, разработанный WebOrganizer. Он распределяет страницы по 17 тематическим категориям, не используя URL, поэтому подходит для сортировки и тематической организации веб-контента по самому тексту. Модель основана на энкодере Alibaba-NLP/gte-base-en-v1.5 и дообучена для классификации последовательностей. В README указано около 140 млн параметров, а метаданные каталога — 136,7 млн; контекст составляет до 8192 токенов. Для обучения использованы наборы WebOrganizer с аннотациями, созданными моделями Llama 3.1 8B и Llama 3.1 405B FP8. Для ускоренного вывода авторы рекомендуют реализацию gte-base-en-v1.5 с unpadding и эффективным attention, для чего требуется xformers. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных материалах отсутствуют.

80514февр. 2025ctx8.2K
texthugging-face
Universal-NER
UniNER-7B-definition

UniNER-7B-definition — модель извлечения сущностей и понятий, разработанная авторами UniNER и дообученная на базе LLaMA-7B. Обучающие примеры подготовлены из корпуса Pile-NER-definition с помощью GPT-3.5-turbo-0301: модель училась находить сущности и понятия в отрывках и кратко определять тип каждой найденной единицы, без использования человеческой разметки. Модель предназначена для распознавания именованных сущностей и понятий, в том числе когда тип задан кратким текстовым определением или перефразирован. На вход подаётся текст, а на выходе ожидаются найденные сущности с определениями их типов. Архитектура — плотная LLaMA с 6,6 млрд параметров; длина контекста — 2048 токенов. В метаданных указан английский язык. Авторы отмечают лучшую устойчивость к перефразированию определений типов по сравнению с UniNER-7B-type; при этом версия UniNER-7B-type лучше на стандартных наборах NER с короткими распространёнными метками. Лицензия — CC BY-NC 4.0.

4928авг. 2023ctx2K
textcc-by-nc-4.0hugging-face
timm
vit_large_patch16_siglip_256.webli

Это визуальный энкодер SigLIP из библиотеки timm, разработанный для извлечения признаков изображений. Модель использует архитектуру ViT-Large с патчами 16×16 и входным разрешением 256 пикселей; в карточке указано, что сохранён оригинальный механизм attention pooling. Это только image encoder, без текстового энкодера. Векторы признаков можно использовать для поиска изображений по сходству, кластеризации и как входные представления для последующих моделей. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0.

3540дек. 2024
imageembeddingapache-2.0hugging-face
facebook
wav2vec2-large-es-voxpopuli

facebook/wav2vec2-large-es-voxpopuli — большая модель Facebook AI на архитектуре Wav2Vec2, предварительно обученная на неразмеченной испаноязычной части корпуса VoxPopuli. Модель содержит 402,7 млн параметров и предназначена для использования как основа для распознавания речи после тонкой настройки на целевой задаче. Она принимает аудио и поддерживает автоматическое распознавание речи на испанском языке. Чекпойнт доступен в форматах PyTorch и Flax; карточка рекомендует дообучить его для конкретного языка или сценария. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое.

40K3март 2022
textaudiocc-by-nc-4.0hugging-face
Lenovo-Zhihui
Zhihui_LLM_Embedding

Zhihui_LLM_Embedding — модель эмбеддингов китайского текста, разработанная Lenovo Zhihui для поиска и ранжирования документов. Она основана на 7,1-миллиардной gte-Qwen2-7B-instruct и использует двунаправленное внимание при контрастивном обучении вместо обычного причинного внимания декодерной модели. Вектор строится методом pooling по последнему токену, его размерность — 3584; заявленная длина контекста составляет 131072 токена. Модель рассчитана на извлечение текстовых эмбеддингов для семантического поиска и задач retrieval. В README сообщается о первом месте на C-MTEB с результатом 76,74 по состоянию на 25 июня 2024 года. Для обучения применялись дистилляция данных с помощью GPT-3.5 и GPT-4, подбор сложных негативных примеров и модифицированная функция контрастивных потерь. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

9916июнь 2024ctx131.1K
textcc-by-nc-4.0hugging-face
murali1996
bert-base-cased-spell-correction

Это модель murali1996 на базе bert-base-cased, дообученная для исправления орфографических ошибок. Она предназначена для коррекции текста; подробности обучения и оценки автор предлагает смотреть в репозитории neuspell. Модель построена на архитектуре BERT, содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch и Flax. Лицензия в предоставленных данных не указана.

297март 2022ctx512
textembeddinghugging-face
hilariooliveira
bertimbau_base

hilariooliveira/bertimbau_base — дообученная модель классификации текста на основе neuralmind/bert-base-portuguese-cased. Она использует архитектуру BERT с примерно 136,1 млн параметров и принимает последовательности длиной до 512 токенов. По карточке модели, на оценочном наборе получены loss 0,1139 и F1 0,9310. Назначение модели — классификация текстов; конкретные классы, данные обучения и сценарии применения не описаны. Модель распространяется по лицензии MIT.

60июнь 2026ctx512
textmithugging-face
google
bert_uncased_L-12_H-256_A-4

google/bert_uncased_L-12_H-256_A-4 — компактная англоязычная модель BERT от Google из серии BERT Miniatures, описанной в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Она обучена без учёта регистра с маскированием токенов WordPiece и имеет 12 слоёв, скрытый размер 256 и 4 attention-головы; максимальная длина контекста — 512 токенов. Число параметров — около 20,4 млн. Модель предназначена для задач понимания текста и для сред с ограниченными вычислительными ресурсами. Её можно дообучать для классификации и других задач обработки языка; авторы отмечают, что особенно полезна она в дистилляции, когда обучающие метки создаёт более крупная модель-учитель. Доступны веса в форматах PyTorch и Flax. Лицензия Apache-2.0. Как компактная модель, она может уступать более крупным моделям по качеству; README рекомендует для лучших результатов дистилляцию от более точного учителя.

4234март 2022ctx512
textapache-2.0hugging-face
google
bert_uncased_L-8_H-256_A-4

google/bert_uncased_L-8_H-256_A-4 — компактная англоязычная модель BERT из набора BERT Miniatures, опубликованного Google. Это плотный Transformer-энкодер с 8 слоями, размерностью скрытого состояния 256 и 4 головами внимания; модель содержит 16,2 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена без учёта регистра с токенизацией WordPiece и предназначена для задач понимания английского текста, в том числе для последующего дообучения по схеме BERT. Модель рассчитана на среды с ограниченными вычислительными ресурсами и может служить компактной основой для классификации текста, анализа тональности, оценки сходства и других задач обработки языка. Авторы отмечают, что особенно эффективна она при дистилляции, когда разметку для дообучения генерирует более крупная и точная модель. В карточке приведены реализации для PyTorch и Flax. Лицензия — Apache 2.0.

64K2март 2022ctx512
textapache-2.0hugging-face
maximalists
BRAG-Llama-3.1-8b-v0.1

BRAG-Llama-3.1-8b-v0.1 — языковая модель серии BRAG, разработанная Pratik Bhavasar и Ravi Theja и дообученная для задач генерации с дополненным поиском (RAG). Она предназначена для ответов на вопросы по текстовым и табличным данным, а также для диалогового RAG. Модель основана на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она принимает текст и выдаёт текст; максимальная длина контекста по метаданным составляет 131 072 токена. Модель обучалась и оценивалась на английском языке; многоязычные возможности унаследованы от базовой модели, но отдельно не подтверждены для этой версии. Для ответов по контексту рекомендуется системная инструкция, требующая опираться на предоставленные сведения и сообщать, если ответа в них нет. Модель дообучалась на коротких контекстах, поэтому качество на длинных контекстах может снижаться, несмотря на заявленную длину окна. Лицензия — Llama 3.1.

2317июль 2024ctx131.1K
textllama3.1hugging-face
carted-nlp
categorization-finetuned-20220721-164940-distilled-20220811-132317

Модель carted-nlp/categorization-finetuned-20220721-164940-distilled-20220811-132317 — дообученная и дистиллированная RoBERTa-модель классификации текста от carted-nlp. Она предназначена для отнесения текстов к категориям; конкретные категории и целевая область применения в карточке не раскрыты. Модель содержит 45,4 млн параметров, принимает последовательности длиной до 514 токенов и доступна в форматах PyTorch и ONNX. На оценочном наборе указаны accuracy 0,8783 и F1 0,8779. Датасет обозначен как None, поэтому результаты нельзя уверенно переносить на другие данные или категории. Сведения о лицензии отсутствуют в предоставленных данных.

110авг. 2022ctx514
texthugging-face
NeuML
celeberty-small-embeddings

CeleBERTy Small Embeddings — компактная модель NeuML для получения плотных векторных представлений предложений и абзацев. Она построена на архитектуре BERT, дообучена с помощью sentence-transformers и насчитывает 25,9 млн параметров по метаданным. Модель отображает текст в пространство векторов размерности 384 и поддерживает контекст до 512 токенов. Модель предназначена для семантического поиска, кластеризации текстов и подготовки источников для RAG. Обучающие примеры получены из случайной выборки статей Википедии с меткой celebrity; эмбеддинги дистиллированы из более крупной модели DenseOn. В описанной авторами оценке на созданном BEIR-совместимом наборе модель показала NDCG 55,24 и подходит для CPU-сценариев с ограниченными ресурсами. Карточка указывает английский язык и лицензию Apache-2.0. Результаты обучения и оценки основаны на выборках статей Википедии о знаменитостях, поэтому качество для других тематик может отличаться. Модель возвращает эмбеддинги, а не готовые текстовые ответы.

731июль 2026ctx512
textembeddingapache-2.0hugging-face
zentropi-ai
cope-b-a4b

CoPE-B-A4B — текстовая модель второго поколения для оценки контента, разработанная компанией Zentropi и дообученная на базе Google Gemma 4 26B A4B IT с помощью LoRA, после чего адаптеры были объединены с базовой моделью. Это разреженная MoE-модель: в README указаны 25,2 млрд параметров всего и 3,8 млрд активных параметров, тогда как метаданные каталога указывают 2 млрд параметров. Модель принимает текст с заданной политикой и содержимым и выдаёт бинарную метку: соответствует ли содержимое одному из заданных критериев. Контекст составляет до 256K токенов; модель рассчитана прежде всего на интерпретацию политик на английском языке США. Модель подходит для модерации и разметки контента, оценки риска во входных запросах и ответах LLM, фильтрации обучающих данных и формирования признаков для ранжирования ленты. Она поддерживает настраиваемые политики и выполняет классификацию за один проход. Ограничения: классификация только бинарная, объединение нескольких меток в одной политике не поддерживается, изображения не обрабатываются, качество может снижаться для других языков и локалей. Модель не проверяет факты извне, если необходимая информация не включена в контекст. Лицензия — Apache-2.0.

7037май 2026ctx262.1K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей