/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
13 201–13 230 из 23 488
WaveCut
Qwen3.8-Flash-Next-REAM-288-MLX-4bit

WaveCut/Qwen3.8-Flash-Next-REAM-288-MLX-4bit — 4-битная MLX-квантизированная версия модели WaveCut/Qwen3.8-Flash-Next-REAM-288, построенная на базе Qwen3.8-Flash-Next и предназначенная для запуска через mlx-vlm. Это разреженная Mixture-of-Experts-модель с 288 слотами экспертов; в отличие от варианта REAP, удаляемые эксперты здесь объединяются с наиболее похожими сохранёнными экспертами. Модель поддерживает сценарии генерации текста и кода, включая рефакторинг программ, а также заявлена для конвейера image-text-to-text. Контекст модели, её точный общий размер и полный список языков в карточке не указаны. Эксперты и основные тензоры представлены в 4-битном формате с групповой схемой квантования; таблица n-грамм использует отдельную 4-битную схему. Модель совместима со стандартным mlx-vlm из ветки main с поддержкой qwen4_exp. Для спекулятивного декодирования MTP-тензоры не включены, поэтому требуется отдельная совместимая модель-драфтер. В опубликованных сравнениях сборка немного превосходит REAP-версию по KL-дистанции, а в тестах MLX получила 89,6% на HumanEval-164, 58,0% на GSM8K-200 и 62,7% в тесте редких имён. К ограничениям относятся 4-битные потери качества на нелатинских именах, ограниченная статистическая надёжность части оценок и зависимость результатов GSM8K от лимита длины генерации. Данные о контекстном окне и системных требованиях явно не приведены. Модель распространяется по лицензии qwen-community-license-1.0; в метаданных также указана общая лицензия other.

4142авг. 2026ctx262.1K
textimageotherhugging-face
NexVeridian
Qwen3-Coder-Next-8bit

NexVeridian/Qwen3-Coder-Next-8bit — это конвертированная в формат MLX 8-битная версия модели Qwen/Qwen3-Coder-Next. Конвертацию выполнил пользователь или организация NexVeridian с использованием библиотеки mlx-lm версии 0.31.3; исходная модель разработана командой Qwen. Модель предназначена для генерации текста, включая сценарии работы с кодом, и может использоваться в приложениях на базе MLX через библиотеку mlx-lm. Модель поддерживает текстовую генерацию и применение chat template, если он доступен в токенизаторе. В README не указаны точные архитектура, количество параметров, размер контекста, поддерживаемые языки и дополнительные модальности. 8-битное представление ориентировано на более эффективное использование памяти и вычислений в совместимой среде MLX, однако конкретные характеристики качества и производительности не приведены. Модель распространяется по лицензии Apache-2.0.

9643февр. 2026ctx262.1K
textapache-2.0hugging-face
mlx-community
Qwen3-Reranker-4B-mxfp8

mlx-community/Qwen3-Reranker-4B-mxfp8 — конвертированная в формат MLX модель для ранжирования текстов. Репозиторий mlx-community создан на основе Qwen/Qwen3-Reranker-4B; веса представлены в формате mxfp8 и рассчитаны на использование с mlx-embeddings на совместимой платформе Apple. Модель подходит для оценки релевантности текстовых пар и сортировки результатов поиска или документов по запросу. В метаданных указана плотная архитектура Qwen3 с 3,7 млрд параметров, а базовая модель Qwen3-4B-Base поддерживает контекст до 40 960 токенов. Лицензия — Apache-2.0. README подтверждает конвертацию формата из Qwen3-Reranker-4B, а метаданные связывают модель с Qwen3-4B-Base как дообучение; точная цепочка происхождения поэтому не вполне однозначна.

6292февр. 2026ctx41K
textapache-2.0hugging-face
Jackrong
Qwopus3.5-4B-Coder-GGUF

Qwopus3.5-4B-Coder-GGUF — компактная модель для программирования и агентных сценариев, разработанная Jackrong на основе Qwen3.5-4B. Она дообучена для отладки кода, локализации ошибок, подготовки минимальных исправлений, структурированного использования инструментов, function calling и задач, в которых требуется пошаговое рассуждение с обратной связью от среды. В обучении заявлены Trace Inversion, траектории взаимодействия с инструментами и curriculum SFT, направленные на устойчивое форматирование и работу с длинными контекстами. Модель представляет собой плотную модель примерно на 4 млрд параметров и распространяется в формате GGUF для локального запуска, в том числе через llama.cpp. В метаданных указана поддержка текстово-изобразительных задач и мультимодальности, однако конкретные ограничения визуального ввода и размер контекстного окна не приведены. Заявлены языки English, Chinese, Spanish, Russian и Japanese. Также модель тестировалась с Multi-Token Prediction при n=2 относительно эталона Qwen3.5-4B-MTP. Сильные стороны модели — небольшой размер, ориентация на локальное выполнение, отладку, агентные циклы и инструментальные вызовы; автор позиционирует её как подходящую для ноутбуков с 16 ГБ памяти, простых повторяющихся задач и мониторинга сервисов. При этом README не содержит подробных результатов бенчмарков, требований к оборудованию, точного контекстного окна или оценки качества мультимодальных возможностей, поэтому модель не следует считать универсальной заменой более крупным системам. Лицензия — Apache-2.0.

2.8K36май 2026
textimageapache-2.0hugging-face
Mungert
Refact-1_6B-fim-GGUF

Refact-1.6B — компактная модель генерации исходного кода, представленная в формате GGUF под идентификатором Mungert/Refact-1_6B-fim-GGUF. Разработчик в предоставленном README явно не указан. Модель предназначена для автодополнения и генерации кода, включая сценарии fill-in-the-middle, а также для исправления, документирования и объяснения программного кода. Размер модели составляет 1,6 млрд параметров. В README не указаны точная архитектура, размер контекста, поддерживаемые языки в полном объёме и модальности; приведены результаты для Python, JavaScript, Java, C++, Go и Rust. Для обучения использовались, среди прочего, The Stack, GitHub-код с разрешительной лицензией, книги, arXiv, C4, Wikipedia и наборы commitpackft. В HumanEval заявлены pass@1 32,0 при температуре 0,01 и pass@100 76,9 при температуре 0,8, однако все приведённые метрики помечены как непроверенные. Сильная сторона модели — специализация на задачах программирования при относительно небольшом размере, что может упростить локальное развертывание. Ограничения включают отсутствие подробных сведений об архитектуре, контекстном окне и языковом покрытии, а также непроверенный статус опубликованных оценок; качество генерации следует дополнительно проверять тестами. Лицензия — BigScience OpenRAIL-M.

6283март 2025
textbigscience-openrai…hugging-face
yjernite
retribert-base-uncased

RetriBERT — модель извлечения признаков для поиска текстов, опубликованная пользователем yjernite на Hugging Face. Она использует архитектуру RetriBERT и предназначена для получения векторных представлений текста, которые можно применять в задачах поиска и сопоставления текстовых запросов с документами. Модель содержит 98,9 млн параметров и принимает последовательности длиной до 512 токенов. Карточка не описывает отдельно обучающие данные или конкретные языковые ограничения. В репозитории доступны веса PyTorch; для запуска показано использование Transformers с задачей feature-extraction. Лицензия в предоставленных данных не подтверждена.

1.6K1март 2022ctx512
textembeddinghugging-face
camidenecken
RM2-RoBERTa-rm-v3-SBERT-v2_8

Карточка модели camidenecken/RM2-RoBERTa-rm-v3-SBERT-v2_8 на Hugging Face совпадает с карточкой camidenecken/RM2-RoBERTa-rm-v3-SBERT-v2_7, поэтому описание составлено по ней. camidenecken/RM2-RoBERTa-rm-v3-SBERT-v2_7 — модель sentence-transformers на архитектуре RoBERTa, обученная Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и имеет контекст до 514 токенов. В README версия помечена как устаревшая: качество векторных представлений низкое, поэтому для новых систем рекомендуется выбрать более качественную модель эмбеддингов. Распространяется по лицензии Apache-2.0.

1190нояб. 2024ctx514
textembeddingapache-2.0hugging-face
Veritone
siglip2-base-patch16-512-vision

Veritone/siglip2-base-patch16-512-vision — это отдельная зрительная башня SigLIP 2 Base, созданная на основе google/siglip2-base-patch16-512. Репозиторий содержит только vision tower: она кодирует изображения и видеокадры в общее пространство эмбеддингов и рассчитана на отдельную загрузку при индексации. Текстовая башня для этапа поиска размещена в Veritone/siglip2-base-patch16-512-text. Модель на базе архитектуры SigLIP предназначена для классификации изображений по текстовым меткам без дообучения, поиска по сходству изображений и текста, а также использования в качестве визуального энкодера для мультимодальных моделей. SigLIP 2 предварительно обучена на наборе WebLI; версия Base использует изображения с разрешением 512 пикселей и патчи 16. Модель распространяется в формате Safetensors и доступна по лицензии Apache-2.0. Для сравнения изображения с текстовыми запросами нужна совместимая текстовая башня; этот репозиторий содержит только зрительную часть.

120июнь 2026ctx64
textimageapache-2.0hugging-face
bartowski
Sky-T1-32B-Preview-GGUF

Sky-T1-32B-Preview-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Sky-T1-32B-Preview, разработанной NovaSky-AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста, включая задачи, связанные с программированием и математическим рассуждением; при обучении использовались датасеты codeparrot/apps, BAAI/TACO и AI-MO/NuminaMath-CoT. Указан английский язык. Модель имеет размер 32B параметров и распространяется в форматах GGUF, совместимых с llama.cpp и приложением LM Studio. Доступны варианты от F16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством ответов, размером файла и требованиями к памяти. Для квантования использовался llama.cpp release b4456 и метод imatrix. Рекомендуемые варианты включают Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; версии с более сильным сжатием экономят память, но могут заметно снижать качество. К сильным сторонам относятся широкий выбор уровней квантизации и возможность локального запуска на совместимом оборудовании. Ограничения — отсутствие в README данных о размере контекста, мультимодальности, точных архитектурных особенностях, результатах тестирования и поддерживаемых языках помимо английского. Лицензия в представленном описании не указана.

2.2K81янв. 2025
texthugging-face
North-ML1
starlight-mini

Starlight Mini — диалоговая языковая модель для генерации текста и помощи с программированием, разработанная arthu1 в подразделении AI компании North ML. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, дообученная на основе arthu1/astrocoder-star-merge; для диалоговой настройки в метаданных указан датасет HuggingFaceH4/ultrachat_200k. Модель рассчитана прежде всего на английский язык, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Разработчик позиционирует её как помощника для задач кодирования и сообщает о результате 60–65% на SWE-Benchmark, но не приводит подробностей методики оценки. Модель можно запускать локально; лицензия — MIT. Карточка описывает её как первую версию проекта и отмечает, что качество ниже Claude Haiku 3.5.

370янв. 2026ctx32.8K
texthugging-face
Gille
StrangeMerges_42-7B-dare_ties

StrangeMerges_42-7B-dare_ties — объединённая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit. Веса объединяют rwitz/experiment26-truthy-iter-0, Kukedlc/Neural4gsm8k и Gille/StrangeMerges_30-7B-slerp методом dare_ties; в репозитории указаны веса Safetensors в формате bfloat16. Модель предназначена для генерации текста и может применяться для диалоговых ответов и решения задач на рассуждение, включая математические вопросы. Она содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Указана лицензия Apache-2.0.

570март 2024ctx32.8K
textapache-2.0hugging-face
nvidia
stt_uk_citrinet_1024_gamma_0_25

NVIDIA Streaming Citrinet 1024 для украинского языка — потоковая модель автоматического распознавания речи, разработанная NVIDIA. Это неавторегрессионная архитектура Citrinet с CTC-декодированием, примерно 141 млн параметров. Модель дообучена на украинской речи методом переноса знаний с русской Citrinet-1024 и обучалась на 69 часах проверенных записей Mozilla Common Voice 10.0. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает текстовую расшифровку украинской речи в нижнем регистре, включая пробелы и апострофы. Её можно применять для распознавания речи в потоковом режиме, пакетной транскрибации и как контрольную точку NeMo для инференса или дальнейшего дообучения; также поддерживается развёртывание через NVIDIA Riva. Лицензия — CC-BY-4.0. В README приведены результаты WER на тестовых и валидационных наборах Common Voice 8–10. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи.

4714июль 2022
textaudiocc-by-4.0hugging-face
laion
swesmith-nl2bash-stack-bugsseq

laion/swesmith-nl2bash-stack-bugsseq — дообученная модель на базе Qwen/Qwen3-8B, разработанная для генерации текста. По названию и указанным обучающим наборам она ориентирована на задачи SWE-Smith, преобразование инструкций на естественном языке в Bash-команды, вопросы по Stack Exchange и выявление ошибок в коде. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В метаданных также указана возможность диалогового взаимодействия. Для дообучения использованы наборы open-athena и penfever с данными для рассуждений; конкретные результаты оценки и более подробное описание поведения не приведены. Модель распространяется по лицензии Apache-2.0. Практическое качество для отдельных сценариев и ограничения применения в карточке не описаны.

290дек. 2025ctx41K
textapache-2.0hugging-face
daruokta
t5gemma-2-1b-multimodal-embedding-indo-v6

Это мультимодальная модель Sentence Transformers, дообученная daruokta на базе daruokta/t5gemma-2-1b-multimodal-embedding-indo-v6 для поиска и сопоставления предложений. Она кодирует текст и изображения в плотные векторы размерностью 1152; для сравнения векторов используется косинусное сходство. Максимальная длина последовательности — 4096 токенов. Модель обучалась на задачах поиска, семантического сходства, вывода и классификации и подходит для семантического поиска и сравнения текстов. В карточке указаны индонезийский и английский языки. Лицензия — Apache-2.0. В опубликованных оценках приведены результаты для семантического сходства, поиска и бинарной классификации, однако они относятся к указанным наборам оценки и не гарантируют аналогичного качества на других данных. Карточка не описывает отдельную генерацию текста или извлечение признаков изображения помимо заявленной поддержки текстовых и визуальных входов.

290июль 2026ctx4.1K
textembeddingapache-2.0hugging-face
M4-ai
tau-0.5B-instruct-DPOP

tau-instruct-0.5B-DPOP — инструктивная языковая модель M4-ai на архитектуре Qwen2 с примерно 463,9 млн параметров. Она создана на базе tau-0.5B и дообучена методом DPO-Positive на примерно 700 примерах предпочтений, размеченных с помощью GPT-4. Модель поддерживает контекст до 32 768 токенов и предназначена для диалогового взаимодействия на английском языке. Модель подходит для ответов на вопросы, генерации и продолжения текста, решения математических задач, понимания и создания кода, объяснений и анализа. Её можно применять в виртуальных помощниках, образовательных инструментах и исследовательских прототипах. По предварительной оценке авторов, дообучение улучшило следование инструкциям относительно базовой модели. Качество может снижаться на сложных задачах и при неясных инструкциях; модель сохраняет возможные смещения базовой модели и обучающих данных, а её результаты следует проверять. Лицензия указана как other; README предписывает соблюдать лицензию базовой модели tau-0.5B.

662март 2024ctx32.8K
textotherhugging-face
M4-ai
tau-1.8B

tau-1.8B — языковая модель компании M4-ai, основанная на архитектуре Qwen2 и дообученная продолжением предобучения Qwen1.5-1.8B на учебном наборе UltraTextbooks-2.0. В репозитории указано 1,8 млрд параметров, а метаданные Hugging Face сообщают 1,5 млрд; веса опубликованы в формате Safetensors. Модель поддерживает контекст до 32 768 токенов и предназначена для генерации текста и диалогового взаимодействия. Модель общего назначения, с особым акцентом на машинное обучение, математику и программирование. Её можно применять для ответов на учебные вопросы, краткого изложения материалов, создания образовательного контента, понимания и генерации кода, а также решения математических задач. В карточке названы английский и китайский языки; в качестве обучающего набора указан UltraTextbooks-2.0. Модель может воспроизводить ошибки и предвзятость данных обучения, поэтому ответы следует проверять, особенно в задачах с высокими последствиями. В метаданных указана лицензия «other» без уточнения её условий.

7212март 2024ctx32.8K
textotherhugging-face
tanbinh2210
vietnamese-bi-encoder-on-vbpl-with-neg

Это sentence-transformers модель, дообученная автором tanbinh2210 на базе bkai-foundation-models/vietnamese-bi-encoder для работы с вьетнамскими предложениями и абзацами. Она построена на RoBERTa с bi-encoder схемой и средним pooling токенов, преобразует текст в плотные векторы размерности 768 и использует косинусное сходство для сравнения. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и подготовки признаков для классификации текста. Обучение проводилось на наборе из 194 225 примеров с запросами, положительными и отрицательными текстами. Максимальная длина последовательности — 258 токенов по метаданным. Модель ориентирована на вьетнамский язык; размер — 162,4 млн параметров. Для использования требуется библиотека Sentence Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

1000окт. 2024ctx258
textembeddinghugging-face
timm
vit_base_patch16_siglip_gap_224.webli

Это визуальный энкодер SigLIP из библиотеки timm: вариант ViT-Base с патчами 16×16, глобальным усреднением признаков и входным разрешением 224 пикселя. В репозитории опубликованы веса только image encoder, обученного на данных WebLI; модель предназначена для извлечения признаков изображений и может использоваться в системах поиска и анализа изображений. Модель принимает изображения и выдаёт их векторные представления. Она доступна в форматах PyTorch и safetensors, библиотека для работы — timm. Лицензия — Apache-2.0. Карточка не описывает численное качество и подробные ограничения применения.

4111дек. 2024
textapache-2.0hugging-face
onnx-community
voyage-4-nano-ONNX

onnx-community/voyage-4-nano-ONNX — ONNX-версия модели voyageai/voyage-4-nano, подготовленная сообществом onnx-community. Это multilingual-модель для извлечения признаков и построения векторных представлений текста, пригодная, в частности, для семантического поиска и поиска документов по запросу. В README показан сценарий представления поискового запроса для последующего поиска поддерживающих документов. Модель запускается через ONNX Runtime и принимает токенизированный текст с использованием Transformers AutoTokenizer. Выходы включают last hidden state размерности 2048 на токен и pooler output размерности 2048 для всего входа. В README приведён пример с англоязычным запросом; точный перечень поддерживаемых языков, максимальная длина контекста, количество параметров и сведения об архитектуре не указаны. К сильным сторонам относятся формат ONNX, совместимый с ONNX Runtime, и получение компактного векторного представления размерности 2048 для задач поиска и сопоставления текстов. Ограничения описания связаны с отсутствием данных о качестве, производительности, поддерживаемых языках и предельной длине входа. Модель распространяется по лицензии Apache-2.0.

1.8K2февр. 2026ctx41K
textembeddingapache-2.0hugging-face
xlnet
xlnet-base-cased

XLNet base-cased — англоязычная предварительно обученная языковая модель, разработанная авторами XLNet и впервые выпущенная в этом репозитории. Она содержит 137,8 млн параметров, построена на архитектуре Transformer-XL и использует обобщённое авторегрессионное предобучение с перестановками токенов. Доступны веса PyTorch и TensorFlow; модель обучалась на BookCorpus и Wikipedia. Модель предназначена прежде всего для дообучения под задачи понимания текста, включая классификацию последовательностей и токенов, ответы на вопросы и ранжирование документов. В метаданных Hugging Face для неё указан тег text-generation, однако карточка советует для генерации рассматривать GPT-2, а XLNet использовать для задач, где решение опирается на целое предложение или его контекст. Модель распространяется по лицензии MIT.

163K82март 2022
textmithugging-face
PaddlePaddle
arabic_PP-OCRv5_mobile_rec

arabic_PP-OCRv5_mobile_rec — мобильная модель распознавания строк арабского текста из изображений, разработанная командой PaddleOCR как часть семейства PP-OCRv5_rec. Она предназначена для использования в OCR-системах, где требуется извлекать текстовые строки и выдавать их в виде текста; показатель точности на описанной в карточке оценке составляет 81,27%. Для распознавания документов модель можно подключить как модуль распознавания в конвейере PP-OCRv5 вместе с детектором текста и, при необходимости, модулями коррекции ориентации и геометрии изображения. Модель относится к мобильной линейке и использует библиотеку PaddleOCR. В метаданных указан английский язык, но README описывает поддержку арабского; идентификатор модели также указывает на арабское распознавание. Репозиторий распространяется по лицензии Apache-2.0. Это распознаватель текстовых строк, поэтому сам по себе он не выполняет полный поиск областей текста на странице: для такого сценария нужен OCR-конвейер с модулем детекции.

5.3K7окт. 2025
textimageapache-2.0hugging-face
Omartificial-Intelligence-Space
Arabic-Triplet-Matryoshka-V2

Arabic-Triplet-Matryoshka-V2 — модель эмбеддингов арабского языка от Omartificial-Intelligence-Space, созданная на базе Sentence Transformers и дообученная на aubmindlab/bert-base-arabertv02. Это плотная BERT-модель с 162,4 млн параметров и контекстом до 512 токенов; она преобразует предложения и абзацы в векторы размерностью 768. Обучение с MatryoshkaLoss формирует вложенные представления, рассчитанные на работу с эмбеддингами разной размерности. Модель предназначена для оценки семантического сходства, поиска и извлечения информации, поиска перефразирований, кластеризации и классификации арабских текстов, а также для использования в системах вопросов и ответов. В README приведены результаты на бенчмарках STS17 и STS22-v2. Модель ориентирована на арабский язык и не заявлена как многоязычная. Качество может снижаться на узкоспециализированных текстах и различаться между диалектами и региональными вариантами арабского языка. Для задач за пределами семантического сходства может потребоваться дополнительная настройка. Лицензия — Apache-2.0.

5.1K27июль 2024ctx512
textembeddingapache-2.0hugging-face
Jebadiah
Aria-diamond-ruby-v1

Jebadiah/Aria-diamond-ruby-v1 — модель генерации текста семейства Llama, созданная автором Jebadiah линейным слиянием предварительно обученных моделей Jebadiah/Aria-p1-sand-stone и Jebadiah/Tess-coder-ruby-p7 с помощью mergekit. Она содержит 7,5 млрд параметров, построена на архитектуре LlamaForCausalLM и предназначена для диалоговой генерации текста и кода, включая Ruby. Модель принимает текст и выдаёт текст; поддерживает контекст до 8192 токенов и рассчитана на использование с библиотекой Transformers. В карточке и метаданных не описаны специальные домены или языки, поэтому они не уточняются. Репозиторий распространяет веса в формате safetensors. Лицензия в предоставленных данных не указана.

110май 2024ctx8.2K
texthugging-face
Xenova
bge-m3

Xenova/bge-m3 — модель для создания векторных представлений текста, разработанная на основе BAAI/bge-m3 и адаптированная сообществом Xenova для работы с Transformers.js. Репозиторий содержит ONNX-веса, совместимые с JavaScript-библиотекой Transformers.js. Модель предназначена для получения sentence embeddings, семантического поиска и retrieval-сценариев. В README указана поддержка dense retrieval, lexical matching и multi-vector interaction; пример демонстрирует сравнение запросов и документов по косинусной близости. При использовании с Transformers.js модель формирует нормализованные embeddings размерности 1024 при pooling='cls'. Сильной стороной является возможность запуска в экосистеме JavaScript и использования ONNX-весов, в том числе для веб-ориентированных приложений. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, максимальной длине контекста, модальностях, количественных результатах тестирования или ограничениях качества. Модель распространяется по лицензии MIT.

58K53февр. 2024ctx8.2K
textembeddingmithugging-face
hooman650
bge-reranker-v2-m3-onnx-o4

hooman650 опубликовал ONNX-версию BGE-Reranker-v2-m3-o4 — модели для ранжирования текстовых пар. Она оценивает релевантность документа запросу и помогает переставить результаты поиска так, чтобы наиболее подходящие оказались выше. Архитектура — XLM-RoBERTa для классификации последовательностей; размер модели — 658,7 млн параметров, контекст — до 8194 токенов. Репозиторий содержит веса в формате ONNX. Модель подходит для повторного ранжирования результатов семантического поиска и повышения качества выдачи в RAG-системах. Лицензия — Apache 2.0. В README не приведены дополнительные сведения о поддерживаемых языках или замерах качества.

505июнь 2024ctx8.2K
textapache-2.0hugging-face
DiTo97
binarization-segformer-b3

DiTo97/binarization-segformer-b3 — модель семантической сегментации на архитектуре SegFormer-B3, дообученная на ансамбле из 13 наборов данных для бинаризации изображений документов. Она предназначена для разделения пикселей документа на текст и фон, в том числе в сценариях обработки отсканированных страниц и исторических документов. В README приведены результаты оценки по метрикам DIBCO: F-measure 0,9840, псевдо-F-measure 0,9740, DRD 5,9548 и PSNR 16,0119. Модель основана на nvidia/segformer-b3-1024-1024 и использует библиотеку Transformers; веса доступны в форматах PyTorch и Safetensors. Карточка описывает её как продолжающееся исследование семантической сегментации для бинаризации документов. Лицензия — OpenRAIL. README не уточняет ограничения применения и детали обучения.

3261май 2023
imageopenrailhugging-face
deven96
clip-ViT-B-32-text

Карточка модели deven96/clip-ViT-B-32-text на Hugging Face совпадает с карточкой Qdrant/clip-ViT-B-32-text, поэтому описание составлено по ней. Qdrant подготовила ONNX-версию текстового энкодера sentence-transformers/clip-ViT-B-32 для классификации текста и поиска сходства. Модель преобразует текст в векторные представления, которые можно использовать для сравнения запросов и текстовых описаний; в карточке приведён пример запуска через FastEmbed. Модель относится к текстовой части CLIP ViT-B/32, содержит 75,6 млн параметров и рассчитана на контекст длиной до 77 токенов. Репозиторий распространяется в формате ONNX по лицензии MIT. Карточка не описывает поддерживаемые языки или ограничения точности; короткое контекстное окно ограничивает работу с длинными текстами.

840февр. 2026ctx77
textmithugging-face
legraphista
codegeex4-all-9b-IMat-GGUF

legraphista/codegeex4-all-9b-IMat-GGUF — это набор GGUF-версий модели THUDM/codegeex4-all-9b, подготовленный пользователем legraphista. Модель предназначена для генерации текста, включая задачи, связанные с программированием; в метаданных указаны китайский и английский языки. Исходная модель использует формат BF16, а опубликованные файлы представлены в вариантах BF16, F16 и разных уровнях квантования. Модель содержит около 9 миллиардов параметров. Доступны квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K, IQ4 и IQ3, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. Для ряда вариантов применена IMatrix-квантизация, предназначенная для снижения потерь качества при уменьшении точности. Файлы рассчитаны на использование с инструментами, поддерживающими формат GGUF, включая llama.cpp; также опубликован файл imatrix.dat. Преимуществами являются широкий выбор уровней квантования и наличие вариантов размером примерно от 4 до 10 ГБ, что облегчает локальный запуск на системах с разными ресурсами. Ограничения включают отсутствие в предоставленных данных сведений об архитектуре, размере контекста, мультимодальности, точных возможностях модели и результатах оценки качества; поэтому её следует рассматривать как текстовую модель без подтверждённой поддержки других модальностей. Лицензия обозначена как codegeex4; подробные условия доступны по ссылке на лицензию исходной модели THUDM/codegeex4-all-9b.

6.2K8июль 2024
textotherhugging-face
antoinelouis
colbertv1-camembert-base-mmarcoFR

colbertv1-camembert-base-mmarcoFR — модель ColBERTv1 для семантического поиска на французском языке, созданная Antoine Louis на основе camembert-base. Она кодирует запросы и фрагменты документов в матрицы векторных представлений токенов и ранжирует фрагменты по контекстному сходству с помощью MaxSim; модель предназначена для поиска по крупным коллекциям и извлечения документов для систем RAG. Модель дообучена на французской части mMARCO — машинно переведённой версии MS MARCO. В README указаны размерность представлений 128, максимальная длина запроса 32 токена и фрагмента 256 токенов; метаданные указывают 137,8 млн параметров и нативный контекст 514 токенов. На тестовом наборе mMARCO-fr с 8,8 млн фрагментов она показала MRR@10 29,5 и R@100 80,0. Модель рассчитана на франкоязычный поиск по текстовым запросам и коллекциям документов. Индекс коллекции из 8,8 млн фрагментов в описанной конфигурации занимает около 28 ГБ. Лицензия — MIT.

675дек. 2023ctx514
textmithugging-face
newmindai
ColmmBERT-base-TR

newmindai/ColmmBERT-base-TR — PyLate modeli, ozayezerceli/mmBERT-base-TR temel modelinden msmarco-tr veri kümesinde Türkçe metinlerle ince ayar yapılarak oluşturulmuştur. Это ColBERT-архитектура на базе ModernBERT: трансформер выдаёт последовательности плотных векторов размерности 128, а релевантность запросов и документов оценивается оператором MaxSim. Модель предназначена для семантического поиска и повторного ранжирования результатов поиска на турецком языке; её можно использовать для индексации документов и поиска top-k кандидатов через PyLate и FastPLAID. Размер модели — 306,9 млн параметров, максимальный контекст по метаданным — 8192 токена. В карточке также указаны длины до 32 токенов для запросов и до 180 токенов для документов. Модель принимает текст и формирует векторные представления токенов для оценки релевантности. Лицензия в предоставленных данных не указана.

1452окт. 2025ctx8.2K
texthugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей