/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
7 591–7 620 из 23 488
sensenova
piccolo-large-zh-v2

Piccolo-large-zh-v2 — китайская модель эмбеддингов, разработанная группой General Model компании SenseTime Research. Она предназначена для получения векторных представлений текста для поиска, ранжирования, оценки сходства, классификации и кластеризации. Модель построена на архитектуре BERT и обучена с использованием многоцелевой комбинированной функции потерь; размер эмбеддинга — 1792 измерения, длина последовательности — до 512 токенов. Обучение поддерживает гибкую размерность векторов благодаря MRL. В README описаны результаты на китайском бенчмарке C-MTEB и сценарии дообучения для прикладных задач. Модель принимает текст и выдаёт эмбеддинги; в метаданных указан формат PyTorch и около 424,3 млн параметров. Весовые файлы временно сняли с публикации в мае 2024 года, поэтому README предлагает временный доступ через API. Условия лицензирования в предоставленных материалах не указаны.

22568апр. 2024ctx512
textembeddinghugging-face
ProCogia
PolyKode-Enterprise-Base

PolyKode Enterprise-Base — опубликованная ProCogia копия базовых весов Kimi-K2.7-Code от Moonshot AI. По README, веса побайтно идентичны исходной модели: PolyKode дообучивание, адаптеры и гарантии исполнения в этот выпуск не включены. Модель предназначена для генерации кода и агентных сценариев разработки, включая длительные многоэтапные задачи; её можно использовать для оценки базовых возможностей, прототипирования интеграций и экспериментов с переводом SAS, R и Python. В метаданных указаны архитектура Kimi K2.5 и класс KimiK25ForConditionalGeneration; карточка README характеризует архитектуру как Kimi K2 с Mixture of Experts. Репозиторий содержит safetensors, а README сообщает о сжатых тензорах и 64 шардах общим объёмом около 595 ГБ. Точные параметры и длина контекста здесь не приведены. Метаданные отмечают английский и китайский языки; возможности работы с изображениями и видео указаны только в описании базовой модели каталога, поэтому для этой копии они не включены во входные модальности. Модель ориентирована на программирование и сложные рабочие процессы разработки, но сама по себе не обеспечивает заявленные для отдельного продукта PolyKode Enterprise проверку паритета исполнения, аудиторские следы, сертификацию SAS или SLA. Для производственного перевода SAS в регулируемой среде README рекомендует продукт Enterprise и проверку в лицензированной среде SAS. Лицензия — Modified MIT; README сообщает о возможности коммерческого распространения и модификации и об условии атрибуции в интерфейсе при очень большом масштабе использования.

1320сент. 2026
textotherhugging-face
PaddlePaddle
PP-OCRv5_server_rec

PP-OCRv5_server_rec — модель распознавания строк текста из изображений, разработанная командой PaddleOCR. Она входит в поколение PP-OCRv5 и используется как модуль распознавания в OCR-конвейерах PaddleOCR, включая PP-OCRv5 и PP-StructureV3. Одна модель поддерживает упрощённый и традиционный китайский, английский и японский языки, а также сложные случаи: рукописный и вертикальный текст, пиньинь, редкие символы, повёрнутые и искажённые строки, художественное оформление текста. README приводит метрики для печатного и рукописного текста и других сценариев; в среднем указано 0,8401 при оценке строки как неверной, если в ней ошибочен хотя бы один символ. Модель предназначена для распознавания текста в строках изображения и выдаёт текст. Для полноценного извлечения текста из документов её объединяют с обнаружением текста и, при необходимости, модулями ориентации, коррекции и анализа структуры. Репозиторий распространяется по лицензии Apache-2.0.

166K31июнь 2025
textimageapache-2.0hugging-face
mikoy92
PP-OCRv6-medium-rec-mlx

Это версия модели распознавания текста PP-OCRv6 medium, подготовленная автором mikoy92 для запуска с библиотекой MLX и mlx-vlm. Она принимает изображения и распознаёт содержащийся на них текст; базовая модель разработана PaddlePaddle. Карточка указывает поддержку английского и китайского языков и лицензию Apache-2.0. Модель рассчитана на распознавание текста на изображениях, а не на генерацию или перевод текста.

370июнь 2026
textimageapache-2.0hugging-face
liddlefish
privacy_embedding_rag_10k_tmp

Карточка модели liddlefish/privacy_embedding_rag_10k_tmp на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

1180июнь 2024ctx512
textembeddingmithugging-face
AISE-TUDelft
python-expand-classifier

AISE-TUDelft/python-expand-classifier — модель на базе MPNet, разработанная AISE при TU Delft. Она кодирует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения семантической близости. Модель можно применять для семантического поиска, кластеризации и задач sentence similarity. Модель содержит 136,7 млн параметров, работает с текстом и имеет контекстное окно до 514 токенов. Она обучалась с функцией потерь CosineSimilarityLoss и распространяется в формате PyTorch. Лицензия в предоставленных данных не указана.

1410янв. 2023ctx514
textembeddinghugging-face
oktayd
Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Llama

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Llama — мультимодальная модель семейства Qwen3.6-35B-A3B, опубликованная пользователем oktayd. Это производный вариант, собранный на основе Qwen3.6-35B-A3B с использованием нескольких этапов reasoning-дистилляции, ablation, Heretic и OBLITERATUS Nuclear, а также дообучения Hermes для function calling, агентских сценариев, работы с кодом, терминалом, файлами и репозиториями. Указанная в названии связь с Opus 4.7 относится только к унаследованной линии дистилляции и не означает включение проприетарной модели Claude. Модель предназначена для генерации текста, анализа изображений и текста, рассуждений, программирования, использования инструментов и агентских задач. Архитектура — mixture-of-experts Qwen3.6, представленная в GGUF как qwen35 или qwen3_5_moe: всего около 35 млрд параметров, из которых активируется около 3 млрд. Поддерживаются контекст до 262 144 токенов, английский язык и мультимодальный ввод через отдельный F16 vision projector. Доступны варианты квантования MXFP4_MOE и Q4_K_M для запуска в llama.cpp. По приведённым тестам модель особенно сильна в соблюдении сложных инструкций: в IFEval она получила 9/10 по строгим промптам и 17/18 по строгим инструкциям. На небольших выборках она показала сопоставимые с базовым сравнением результаты в HumanEval+, MMLU-Pro, GSM8K и BBH, однако уступила в MBPP+ и продемонстрировала проблемы с зацикливанием или усечением вывода в отдельных задачах MuSR. Поддержка одновременного использования Vision и MTP, финальная проверка FreeToken-сервинга и комбинированные мультимодальные сценарии ещё не подтверждены. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями требуется основной GGUF-файл вместе с соответствующим vision projector; заявленная поддержка относится к llama.cpp.

9481авг. 2026ctx262.1K
textimageapache-2.0hugging-face
lmstudio-community
Qwen2.5-Coder-32B-GGUF

Qwen2.5-Coder-32B-GGUF — квантованная в формате GGUF версия базовой модели Qwen2.5-Coder-32B, разработанной командой Qwen. Квантование подготовил bartowski на основе llama.cpp. Модель предназначена прежде всего для генерации и автодополнения исходного кода, а также других сценариев текстовой генерации, связанных с программированием; это базовая модель, поэтому она не ориентирована на диалоговый режим и instruct-задачи. Модель имеет 32 миллиарда параметров и обучена на 5,5 триллиона токенов. Заявлена поддержка контекста до 128 тысяч токенов с настройками RoPE и коэффициентом YaRN 4.0 при исходной длине контекста 32 тысячи токенов. В метаданных указан английский язык. Формат GGUF и использование llama.cpp упрощают применение совместимых локальных средств инференса, однако конкретные требования к памяти и производительность зависят от выбранного уровня квантования и оборудования. К сильным сторонам относятся специализация на коде, большой размер модели и расширенный контекст. Ограничения включают базовый, а не инструкционно настроенный характер, возможное снижение точности из-за квантования и риск генерации ошибочного или небезопасного кода. Модель распространяется по лицензии Apache 2.0.

8.7K6нояб. 2024
textapache-2.0hugging-face
BenevolenceMessiah
Qwen2.5-Coder-7B-Chat-Instruct-TIES

BenevolenceMessiah/Qwen2.5-Coder-7B-Chat-Instruct-TIES — объединённая методом TIES языковая модель на архитектуре Qwen2 для генерации кода и диалогового взаимодействия. Она создана с помощью mergekit на основе Qwen/Qwen2.5-Coder-7B-Instruct и Qwen/Qwen2.5-Coder-7B; в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации кода по запросу и ответов в чате на задачи, связанные с программированием. Метаданные также отмечают интерфейс вызова инструментов, однако README не описывает его поведение или качество. Модель опубликована в формате safetensors и используется через библиотеку Transformers. Лицензия в предоставленных данных не указана.

292сент. 2024ctx32.8K
texthugging-face
DavidAU
Qwen3-Coder-42B-A3B-Instruct-TOTAL-RECALL-MASTER-CODER-M-1million-ctx

Qwen3-Coder-42B-A3B-Instruct-TOTAL-RECALL-MASTER-CODER-M-1million-ctx — дообученная модель DavidAU для программирования, основанная на Qwen/Qwen3-Coder-30B-A3B-Instruct. Это причинная языковая MoE-модель семейства Qwen3: в README указаны 42 млрд параметров, 67 слоёв и 807 тензоров; метаданные каталога указывают 3,2 млрд параметров. По описанию исходной архитектуры используются 128 экспертов, из которых активируются 8. Репозиторий содержит веса safetensors для непосредственного запуска или конвертации в другие форматы. Модель предназначена для генерации и редактирования кода на основных и многих менее распространённых языках программирования, а также для диалоговых и агентных сценариев с вызовом инструментов. Разработчик добавил Brainstorm 20X для улучшения общих ответов и рассуждений. Модель работает в обычном режиме без включённого по умолчанию блока «мышления»; README описывает необязательный системный промпт для его активации. Заявлена поддержка контекста до 1 048 576 токенов через настройки YaRN/RoPE. Карточка указывает английский, французский, китайский и немецкий языки. Данных о независимых проверках качества длинного контекста или сравнительных оценках этой версии нет. Лицензия — Apache-2.0.

13311авг. 2025ctx1M
textapache-2.0hugging-face
KasuleTrevor
Roberta-base-lug-QQ

KasuleTrevor/Roberta-base-lug-QQ — модель Sentence Transformers, дообученная Trevor Kasule на FacebookAI/xlm-roberta-base. Она кодирует предложения и абзацы в плотные векторы размерности 768, которые можно сравнивать по косинусному сходству. Модель предназначена для оценки семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает XLM-RoBERTa с mean pooling; максимальная длина последовательности — 512 токенов, размер базовой модели — 305,2 млн параметров. Обучение проводилось на 7 106 парах предложений с MultipleNegativesRankingLoss. Многоязычная основа XLM-RoBERTa позволяет обрабатывать тексты на нескольких языках, однако README не уточняет, на каких языках модель обучалась и проверялась специально. Для применения модель выдаёт эмбеддинги, а не готовые ответы; для поиска или сравнения их нужно использовать в последующем пайплайне. Лицензия в предоставленных данных не указана.

1140окт. 2024ctx514
textembeddinghugging-face
ighina
roberta_topseg_mean_wikidisease

ighina/roberta_topseg_mean_wikidisease — модель на основе RoBERTa, опубликованная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Веса содержат около 151,8 млн параметров, модель принимает текст и выдаёт эмбеддинги; максимальный контекст составляет 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss. Для работы доступны Sentence-Transformers и Transformers, причём при использовании Transformers требуется применить соответствующую операцию pooling к контекстным представлениям токенов. Репозиторий содержит веса PyTorch. Лицензия и целевые языки в предоставленных данных не обозначены.

1310май 2023ctx514
textembeddinghugging-face
ai-forever
sbert_large_mt_nlu_ru

ai-forever/sbert_large_mt_nlu_ru — русскоязычная модель семейства BERT large от команды SberDevices для получения векторных представлений предложений. Она предназначена для задач, где нужно представить текст числовым вектором, например для поиска семантически похожих фраз и сравнения предложений. Для лучшего качества авторы рекомендуют усреднять представления токенов. Модель содержит 525,7 млн параметров, принимает текст и имеет контекст до 512 токенов. В карточке указана оценка на Russian SuperGLUE, но конкретные результаты не приведены. Модель опубликована под лицензией MIT.

35626март 2022ctx512
textembeddingmithugging-face
nickprock
sentence-bert-base-italian-xxl-uncased

Итальянская модель эмбеддингов предложений на базе архитектуры BERT, разработанная автором репозитория nickprock и предназначенная для использования с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые подходят для поиска семантически близких текстов, кластеризации и оценки сходства. Модель содержит 137,9 млн параметров, принимает текстовое описание на итальянском языке и поддерживает контекст до 512 токенов. Обучение использовало CosineSimilarityLoss; в репозитории доступны форматы PyTorch, Safetensors и ONNX. Базовая модель — dbmdz/bert-base-italian-xxl-uncased. Лицензия — MIT. Возможности модели сосредоточены на получении эмбеддингов предложений; качество зависит от соответствия входных текстов итальянскому языку и прикладной задаче.

6.9K17март 2023ctx512
textembeddingmithugging-face
Bhuvana
setfit_2class_model

Bhuvana/setfit_2class_model — модель Sentence-Transformers на архитектуре MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Веса насчитывают 136,7 млн параметров, модель распространяется в формате PyTorch и принимает текстовые последовательности длиной до 514 токенов. Векторы можно использовать для поиска семантически близких фраз и документов, кластеризации текстов и сравнения предложений по смыслу. README указывает на обучение с CosineSimilarityLoss. Модель работает с текстом; сведения о поддерживаемых естественных языках в предоставленной карточке отсутствуют. Лицензия в доступных данных не указана.

980нояб. 2022ctx514
textembeddinghugging-face
aammari
setfit-zero-shot-classification-pbsp-p3-bhvr

Модель aam mari/setfit-zero-shot-classification-pbsp-p3-bhvr — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости. Подходит для семантического поиска, кластеризации и оценки сходства текстов. Модель содержит 136,7 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 514 токенов. Репозиторий содержит веса PyTorch. В карточке указано обучение с CosineSimilarityLoss; сведения о лицензии и поддерживаемых естественных языках отсутствуют.

890дек. 2022ctx514
textembeddinghugging-face
powermove72
Shark-Coder

Shark-Coder — слитая модель генерации текста для задач программирования, созданная powermove72 с помощью LazyMergekit на основе powermove72/Shark-1 и S-miguel/The-Trinity-Coder-7B. В конфигурации объединены слои 0–15 Shark-1 и слои 16–31 The-Trinity-Coder-7B методом passthrough; для токенизатора используется union, а веса представлены в FP16 формате safetensors. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации и дополнения кода. Метаданные каталога также характеризуют базовую модель как подходящую для логических рассуждений и решения задач по программированию; отдельные языки программирования или естественные языки не перечислены. Лицензия в предоставленных данных не указана.

190июль 2024ctx32.8K
texthugging-face
Kukedlc
Smart-LLaMa-3-8b-Python-v4

Smart-LLaMa-3-8b-Python-v4 — объединённая модель Kukedlc для генерации текста и диалогов, созданная с помощью LazyMergekit. Веса двух моделей семейства Llama объединены методом slerp: Smart-LLama-3-8b-Python-v2-16bit и LLama-3-8b-Python. Архитектура — плотная авторегрессионная LlamaForCausalLM с 7,5 млрд параметров; модель принимает текст и выдаёт текст, контекст — до 8192 токенов. Модель предназначена для диалогов и генерации кода на Python, а также для других текстовых запросов, поддерживаемых базовыми моделями. Репозиторий содержит веса в формате safetensors. Лицензия указана как other; конкретные условия использования по предоставленным данным определить нельзя.

280май 2024ctx8.2K
textotherhugging-face
NullCoreDeveloper
stylometric-rubert-v5

NullCoreDeveloper/stylometric-rubert-v5 — дообученная разработчиком NullCoreDeveloper модель Sentence Transformer на базе NullCoreDeveloper/stylometric-rubert-v4. Она преобразует текстовые предложения и абзацы в плотные векторы размерности 768 для поиска и сравнения по смыслу; архитектура состоит из BERT и среднего пулинга, сходство оценивается косинусной мерой. Модель обучалась на триплетах и подходит для извлечения эмбеддингов, retrieval и семантического поиска по текстовым коллекциям. Модель принимает текст, поддерживает последовательности длиной до 256 токенов по README; метаданные каталога указывают контекст до 512 токенов. В примерах обучающих данных использован русский текст, поэтому прежде всего модель ориентирована на русский язык. В README приведена точность cosine_accuracy 0,8155 на hard-triplets-val; эта оценка относится к указанному тесту и не гарантирует качество на других данных. Репозиторий содержит веса safetensors, библиотека — sentence-transformers. Лицензия в предоставленных данных не указана.

170авг. 2026ctx512
textembeddinghugging-face
mergekit-community
SuperQwen-2.5-1.5B

SuperQwen-2.5-1.5B — объединённая плотная языковая модель семейства Qwen2, созданная сообществом с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли Qwen2.5-Coder-1.5B-Instruct и Qwen2.5-Math-1.5B-Instruct. Модель содержит 1,5 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалогов; объединение инструктивной, программной и математической моделей ориентировано на широкий круг запросов, включая код и математику. В метаданных также отмечен интерфейс вызова инструментов. Опубликованные веса представлены в формате safetensors. Карточка не сообщает лицензию и не приводит отдельные оценки качества; результаты для задач программирования и математики могут зависеть от запроса и требуют проверки.

792янв. 2025ctx32.8K
texthugging-face
Neokun004
Testbge

Neokun004/Testbge — модель Sentence-Transformers на базе архитектуры BERT, разработанная автором репозитория Neokun004. Она преобразует предложения и абзацы в плотные векторы размерностью 384, предназначенные для сравнения семантической близости, семантического поиска и кластеризации. Модель содержит около 40 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. В обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством. Полученные векторы можно использовать для поиска похожих фрагментов и группировки текстов. README не описывает целевые языки или предметную область, поэтому модель можно охарактеризовать как средство общего назначения для работы с текстовыми эмбеддингами. Лицензия в предоставленных данных не указана.

1000авг. 2023ctx512
textembeddinghugging-face
futuredatascience
to-classifier-v1

Карточка модели futuredatascience/to-classifier-v1 на Hugging Face совпадает с карточкой futuredatascience/from-classifier-v0, поэтому описание составлено по ней. futuredatascience/from-classifier-v0 — модель Sentence Transformers на архитектуре MPNet, разработанная Futuredatascience. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и возвращает векторные представления; максимальная длина контекста — 514 токенов. Для обучения использовалась функция потерь CosineSimilarityLoss. Модель опубликована в формате PyTorch; метаданные не содержат сведений о лицензии или языковой специализации.

650нояб. 2022ctx514
textembeddinghugging-face
migtissera
Trinity-2-Codestral-22B-v0.2

Trinity-2-Codestral-22B-v0.2 — модель для программирования из серии Trinity, созданной Migel Tissera. Это дообученная версия Codestral-22B-v0.1 от Mistral AI: плотная авторегрессионная модель семейства Mistral с 22 млрд параметров. Она предназначена для генерации кода и диалоговых запросов; метаданные указывают поддержку чата и контекст до 32 768 токенов. Для общения используется формат ChatML. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 21,87, IFEval 43,45 и BBH 37,61; полного набора результатов в доступной карточке нет. Языки программирования и естественные языки отдельно не перечислены. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.

448авг. 2024ctx32.8K
textotherhugging-face
kmariunas
uncased-bert-triplet-40

kmariunas/uncased-bert-triplet-40 — модель Sentence-Transformers на базе BERT, представленная автором kmariunas. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Обучение с BatchHardTripletLoss указывает на настройку пространства эмбеддингов для оценки сходства предложений. Модель имеет около 136,7 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для построения семантического поиска, группировки похожих текстов и сравнения предложений по близости эмбеддингов. README не сообщает, на каких языках обучалась модель, поэтому конкретный язык или языковую поддержку установить нельзя. Лицензия в предоставленных данных не указана.

1241июль 2023ctx512
textembeddinghugging-face
baidu
Unlimited-OCR

Unlimited-OCR — мультимодальная модель Baidu для распознавания текста и разбора документов по изображениям. Она предназначена для обработки длинных документов за один проход, включая сценарии с PDF, предварительно преобразованными в изображения. Модель построена на архитектуре UnlimitedOCRForCausalLM, содержит 559,7 млн параметров, принимает изображения и текстовые инструкции и выдаёт текст. Поддерживает многоязычные сценарии и контекст длиной до 32 768 токенов. Модель доступна для запуска через Transformers, vLLM и SGLang; карточка также описывает оценку на OmniDocBench. Лицензия — MIT. Карточка не приводит подробностей о точности по языкам и типам документов, поэтому качество для конкретного набора документов следует проверять отдельно.

1.7M4.8Kиюнь 2026ctx32.8K
textmithugging-face
GIGAParviz
V-ORC

V-ORC — дообученная GIGAParviz компактная мультимодальная модель на базе unsloth/PaddleOCR-VL. Она предназначена для распознавания текста и извлечения сведений из изображений документов, а также для диалогового взаимодействия с визуальным содержимым. Модель имеет архитектуру PaddleOCR-VL с 318,2 млн параметров, принимает изображения и текст и выдаёт текст. Заявленная длина контекста — 131 072 токена. Модель распространяется в формате safetensors по лицензии Apache-2.0. В карточке указано обучение с использованием Unsloth и Hugging Face TRL; отдельные показатели качества для этой версии не приведены.

130июнь 2026ctx131.1K
textapache-2.0hugging-face
HuggingFaceH4
zephyr-orpo-141b-A35b-v0.1

Zephyr ORPO 141B-A35B v0.1 — разговорная языковая модель, совместно обученная Argilla, KAIST и Hugging Face. Это дообученная с помощью Odds Ratio Preference Optimization (ORPO) модель mistral-community/Mixtral-8x22B-v0.1 с архитектурой Mixture of Experts (MoE): в карточке указаны 141 млрд параметров всего и 39 млрд активных, тогда как метаданные каталога указывают 22 млрд параметров. Для каталога также заявлен контекст до 65 536 токенов. Модель предназначена для диалогового ассистирования и общих задач с текстом, включая код, математику и рассуждения. В обучении использован датасет argilla/distilabel-capybara-dpo-7k-binarized с синтетическими многоходовыми предпочтениями. README сообщает о сильных результатах на MT Bench и IFEval, но обучение описано как проверка ORPO в большом масштабе, а не как выпуск универсальной системы с гарантированным качеством. Основной язык — английский. Модель принимает текст и генерирует текст; метаданные отмечают поддержку чата. Лицензия — Apache 2.0. В README предупреждается, что модель не проходила этап RLHF для выравнивания по человеческим предпочтениям в области безопасности и может выдавать проблемные ответы, особенно при соответствующих запросах.

269270апр. 2024ctx65.5K
textapache-2.0hugging-face
IDEA-CCNL
Ziya-Coding-34B-v1.0

Ziya-Coding-34B-v1.0 — языковая модель для генерации кода, разработанная командой Fengshenbang исследовательского института IDEA. Это плотная авторегрессионная модель семейства LLaMA с 33,5 млрд параметров и контекстом 16 384 токена; она работает через Transformers и принимает текстовые инструкции на китайском и английском языках, выдавая текст, в том числе программный код. Модель дообучена в два этапа на примерно 450 тысячах инструкций по программированию, затем дополнительно настроена на 46 тысячах сложных инструкций с фильтрацией по компиляции и проверкой unit-тестами. Модель предназначена для генерации кода по естественно-языковому описанию и решения разнообразных задач программирования. В README приведён результат 75,5% pass@1 на HumanEval при жадной генерации; это оценка на конкретном бенчмарке и не гарантирует корректность кода в реальном проекте. Репозиторий содержит веса PyTorch, а лицензия — GPL-3.0.

4329сент. 2023ctx16.4K
textgpl-3.0hugging-face
EpistemeAI
Athene-codegemma-2-7b-it-alpaca-v1.3

Athene CodeGemma 2 7B v1.3 — языковая модель EpistemeAI для программирования, дообученная на базе EpistemeAI/Athene-codegemma-2-7b-it-alpaca-v1.1 на наборах данных по программированию с supervised fine-tuning. Это плотная decoder-only модель семейства Gemma с архитектурой GemmaForCausalLM, примерно 8,2 млрд параметров и контекстом 8192 токена. Модель принимает текстовые запросы и выдаёт код или естественный язык. Она предназначена для генерации кода по описанию на естественном языке, ответов на вопросы о фрагментах кода и диалога о программировании и технических задачах. Для использования в режиме чата следует применять встроенный шаблон диалога токенизатора. Карточка рекомендует для автодополнения кода в IDE использовать предварительно обученные варианты CodeGemma вместо instruction-tuned модели. Модель рассчитана прежде всего на английский язык и распространяется под лицензией Apache-2.0. Она доступна в форматах PyTorch и Safetensors. Карточка не приводит результатов систематической оценки качества; качество генерации может зависеть от формулировки запроса и используемого шаблона диалога.

541сент. 2024ctx8.2K
textapache-2.0hugging-face
libryo-ai
BAAI-bge-m3-int8

Это конвертированная и квантованная до INT8 версия BAAI/bge-m3 от libryo-ai. Модель основана на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и принимает текст для извлечения плотных векторных представлений. Она предназначена для использования в качестве векторного ретривера, в частности с Vespa Embedding; контекст составляет до 8194 токенов. Модель подходит для создания эмбеддингов и семантического поиска по текстам. Репозиторий содержит ONNX-файл, подготовленный для выполнения в INT8 с помощью toolkit optimum. Лицензия — MIT. README описывает только плотный ретривер и не подтверждает наличие других возможностей BAAI/bge-m3 в этой сборке.

5231июнь 2024ctx8.2K
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей