/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
15 361–15 390 из 23 488
rjnClarke
bgem3-shakespeare_st_3

rjnClarke/bgem3-shakespeare_st_3 — модель Sentence Transformer, дообученная на базе BAAI/bge-m3. Она использует трансформер XLM-RoBERTa с пулингом CLS и нормализацией и преобразует предложения и абзацы в плотные векторы размерности 1024; сходство можно оценивать косинусной мерой. Максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска и сопоставления текстов, включая поиск похожих фраз, подбор перефразировок, кластеризацию и классификацию текстов на основе эмбеддингов. В README приведена оценка на задаче информационного поиска, однако назначение дообучения именно для текстов Шекспира и языки обучающих данных в доступных сведениях не раскрыты. Модель принимает текст и выдаёт векторы; она не генерирует ответы. Лицензия в предоставленных данных не указана.

1000июль 2024ctx8.2K
textembeddinghugging-face
boboliu
bge-reranker-v2.5-gemma2-lightweight-gptq

boboliu/bge-reranker-v2.5-gemma2-lightweight-gptq — это 4-битная GPTQ-квантизованная версия мультиязычного reranker BAAI/bge-reranker-v2.5-gemma2-lightweight, разработанного Beijing Academy of Artificial Intelligence (BAAI); вариант опубликован пользователем boboliu на Hugging Face. Модель предназначена для повторного ранжирования результатов информационного поиска: получает запрос и passage и вычисляет оценку их релевантности, поэтому подходит для retrieval-систем и RAG-сценариев. Она также может использоваться для проверки наличия ответа в тексте, определения смысловой эквивалентности запросов или выявления противоречий между высказываниями. Архитектура основана на Gemma 2 9B и поддерживает механизмы token compression и layerwise reduction, позволяющие выбирать используемые слои, коэффициент сжатия и слои сжатия для ускорения вывода и снижения вычислительных затрат. Исходная модель заявлена как multilingual и ориентирована, в частности, на английский и китайский языки; в опубликованных оценках также представлены другие языки, включая русский. Репозиторий содержит около 6,19 ГБ файлов и помечен как модель с 4-bit precision и GPTQ; размер и характеристики контекстного окна в карточке этой версии не указаны. Сильные стороны — мультиязычное ранжирование, возможность уменьшать вычисления настройкой слоёв и более низкие требования к памяти благодаря квантизации. Ограничения состоят в отсутствии подробной отдельной документации, описания обучения и лицензии для этой производной версии, а также в необходимости использовать custom code и проверять качество на собственных данных; квантизация может повлиять на точность. В карточке исходной модели указана лицензия gemma; для практического использования производной версии следует дополнительно проверить условия исходных компонентов и репозитория.

211K0сент. 2024ctx8.2K
texthugging-face
CompendiumLabs
bge-small-en-v1.5-gguf

CompendiumLabs/bge-small-en-v1.5-gguf — это модель для построения векторных представлений текста, подготовленная Compendium Labs на основе исходной модели BAAI/bge-small-en-v1.5. Она предназначена для семантического поиска, сравнения текстов, кластеризации и других задач, где требуется преобразовать строки в embedding-векторы. Модель рассчитана на использование с llama.cpp, llama-cpp-python и интеграцией LangChain через LlamaCppEmbeddings. В репозитории доступны версии в формате GGUF с точностью F32, F16, Q8_0 и Q4_K_M; их размеры составляют примерно от 24 до 128 МБ. Квантизация может ускорять работу на CPU примерно до 30% при минимальной потере точности, а для GPU преимущество зависит от приложения. Из названия модели следует, что она ориентирована на английский язык; другие языки, размер векторного пространства, архитектура и максимальная длина контекста в README не указаны. Основные ограничения связаны с небольшой ёмкостью модели и возможной потерей точности в квантизированных вариантах. Лицензия — MIT.

63K8февр. 2024
textmithugging-face
teven
bi_all_bs192_hardneg_finetuned_WebNLG2017

teven/bi_all_bs192_hardneg_finetuned_WebNLG2017 — модель на основе MPNet, разработанная teven и опубликованная в формате PyTorch для получения плотных векторных представлений предложений и абзацев. Она содержит 136,7 млн параметров, выдаёт эмбеддинги размерности 768 и рассчитана на контекст до 514 токенов. Модель обучена с использованием CosineSimilarityLoss на данных WebNLG2017. Её можно применять для семантического поиска, сравнения сходства предложений и кластеризации текстов. README предлагает использовать библиотеку Sentence Transformers. Лицензия и перечень поддерживаемых естественных языков в предоставленных данных не указаны.

920сент. 2022ctx514
textembeddinghugging-face
OpenAssistant
codellama-13b-oasst-sft-v10

OpenAssistant/codellama-13b-oasst-sft-v10 — англоязычная причинная языковая модель семейства CodeLlama, дообученная командой Open-Assistant на базе Meta CodeLlama. Это плотный decoder-only трансформер с 12,9 млрд параметров и контекстом до 16 384 токенов; веса опубликованы в формате safetensors. Модель обучалась на диалоговых данных OpenAssistant и наборах Orca, а для общения использует шаблон ChatML. Модель предназначена для генерации продолжений и ответов в диалоге, в том числе для сценариев, связанных с кодом. В README указано, что обучение частично использовало системные сообщения Orca; для корректной загрузки требуется актуальная версия Transformers либо trust_remote_code=True из-за изменения RoPE Theta. Лицензия — Llama 2 Community License Agreement. Проверки описаны только для английского языка. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед внедрением модель следует оценить и настроить с учётом конкретного применения.

15670авг. 2023ctx16.4K
textllama2hugging-face
Salesforce
codet5-base

CodeT5 Base — разработанная Salesforce предварительно обученная модель кодирования-декодирования на архитектуре T5, представленная в статье «CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation». Модель содержит 123,7 млн параметров, использует кодо-ориентированный BPE-токенизатор и имеет контекст длиной 512 токенов. Она обучена на CodeSearchNet и дополнительных наборах кода C/CSharp: всего около 8,35 млн примеров. Модель предназначена для понимания и генерации кода, включая суммаризацию, генерацию, перевод и исправление кода, а также обнаружение дефектов и поиск клонов. Это базовый предварительно обученный чекпойнт: для целевых задач его обычно дообучают. Модель работает с текстовым представлением исходного кода и комментариев; в README отдельно отмечена задача восстановления замаскированных фрагментов. Лицензия репозитория — Apache-2.0. Авторы позиционируют выпуск как исследовательский и рекомендуют оценивать точность и безопасность перед внедрением.

14K135март 2022ctx512
textapache-2.0hugging-face
kornwtp
ConGen-MiniLM-L6

kornwtp/ConGen-MiniLM-L6 — модель семейства ConGen на базе архитектуры BERT, представленная в формате PyTorch. Она преобразует предложения в плотные векторы размерности 384 и предназначена для поиска семантически близких текстов и сравнения предложений. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, сопоставления предложений и построения векторных представлений текста. В README упоминается оценка на бенчмарке Sentence Embeddings Benchmark для задачи Semantic Textual Similarity. Лицензия — Apache-2.0. Данные о поддерживаемых естественных языках не приведены.

950окт. 2022ctx512
textembeddingapache-2.0hugging-face
nguyenthilaitrieulong
DeepSeek-R1-Distill-Llama-70B-abliterated

Карточка модели nguyenthilaitrieulong/DeepSeek-R1-Distill-Llama-70B-abliterated на Hugging Face совпадает с карточкой huihui-ai/DeepSeek-R1-Distill-Llama-70B-abliterated, поэтому описание составлено по ней. Это экспериментальная версия DeepSeek-R1-Distill-Llama-70B, созданная huihui-ai методом abliteration: из модели удаляли склонность отказываться от ответов. Это плотная причинно-следственная языковая модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; она работает через Transformers и принимает и выдаёт текст. Модель предназначена для диалогов и генерации текста, в том числе для математических рассуждений, программирования и ответов на сложные вопросы — эти возможности унаследованы от базовой модели. Вариант с abliteration нацелен на ответы без типичных отказов, однако автор описывает метод как грубый proof of concept. Лицензия в предоставленных данных не указана.

293авг. 2026ctx131.1K
texthugging-face
sleepyeldrazi
deepseek-v4-flash-reap-k128-Q2-Q4-Mixed-GGUF

DeepSeek V4 Flash REAP K128 — это экспериментальная структурно прореженная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi. Метод REAP от Cerebras Research удаляет 50% маршрутизируемых экспертов в слоях Mixture-of-Experts, сохраняя внимание, эмбеддинги, общих экспертов, маршрутизатор и компоненты MTP. Это GGUF-модель смешанной точности: в слоях 37–42 используются эксперты Q4_K, в остальных — IQ2_XXS/Q2_K. Для запуска требуется среда ds4, поддерживающая выбор типа квантования по слоям. Модель предназначена для генерации текста и диалогов, в том числе для задач программирования, вызова инструментов и поиска знаний. Для калибровки использованы 8 000 промптов на 5 млн токенов; автор сообщает о прореживании без дообучения и без изменения весов сохранённых экспертов. Модель распространяется по лицензии MIT. Для запуска требуется совместимый runtime; README предупреждает о несовместимости с некоторыми средами, ожидающими тензоры экспертов IQ2_XXS.

633июнь 2026
textmithugging-face
lmstudio-community
Devstral-Small-2507-MLX-bf16

Это bf16-сборка Devstral-Small-2507, подготовленная командой LM Studio Community с помощью mlx_lm для работы на компьютерах Apple Silicon. Исходную модель разработала Mistral AI; это плотная авторегрессионная языковая модель семейства Mistral с 23,4 млрд параметров и контекстом до 131 072 токенов. В репозитории указаны веса safetensors, а библиотека для запуска в метаданных — vLLM. Модель предназначена для диалоговой генерации текста и задач разработки программного обеспечения; интерфейс поддерживает вызов инструментов. Языковые теги охватывают множество языков, включая русский, английский, французский, немецкий, испанский, японский и китайский. Сборка в формате MLX оптимизирована для Apple Silicon, но указанная библиотека vLLM может потребовать другого способа запуска. Лицензия — Apache-2.0. Как и другие генеративные модели, она может выдавать неточные или неподходящие ответы; карточка также предупреждает, что LM Studio не гарантирует качество или пригодность модели.

11K0июль 2025ctx131.1K
textapache-2.0hugging-face
clips
e5-large-trm

E5-large-trm — сжатая версия многоязычной модели intfloat/multilingual-e5-large, подготовленная с помощью vocabtrimmer; сведения об авторе в карточке не приведены. Модель создаёт текстовые эмбеддинги для семантического поиска, сравнения предложений и ранжирования. В README описан пример кодирования запросов и документов для MS MARCO. Архитектура — XLM-RoBERTa; модель содержит около 453,9 млн параметров, использует Sentence Transformers и сохраняется в формате safetensors. Контекст — до 514 токенов. Словарь сокращён с 250 002 до 50 002 токенов на данных нидерландского раздела C4, а размер матрицы эмбеддингов — с 256 млн до 51,2 млн параметров. Это делает модель ориентированной прежде всего на нидерландский язык; карточка также указывает связь с многоязычной базовой моделью E5. Лицензия — MIT. Представленные данные не уточняют, насколько качество сохраняется для других языков после обрезки словаря.

1001авг. 2025ctx514
textembeddingmithugging-face
fresha
e5-large-v2-endpoint

fresha/e5-large-v2-endpoint — текстовая модель эмбеддингов на базе BERT, основанная на E5-large-v2, разработанной Liang Wang, Nan Yang и коллегами. Модель использует 24 слоя и формирует векторы размерности 1024; её применяют для представления запросов и документов в задачах семантического поиска и ранжирования. Она поддерживает только английский язык, а входные тексты ограничены 512 токенами и более длинные обрезаются. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT.

1130июнь 2023ctx512
textembeddingmithugging-face
Zynerji
Ektome-Qwen2.5-Coder-7B-Instruct-PristinelyUncensored

Ektome-Qwen2.5-Coder-7B-Instruct-PristinelyUncensored — текстовая instruction-модель, разработанная Zynerji на основе Qwen/Qwen2.5-Coder-7B-Instruct. Она предназначена для генерации текста и решения задач программирования, следования инструкциям, рассуждений, арифметики и работы с общими знаниями. В README указана поддержка английского языка и размер 7B параметров; сведения о длине контекста и мультимодальности не приведены. Модель подвергнута процедуре Ektome, которая, согласно описанию, удаляет компонент, связанный с отказами, без дополнительного обучения и с сохранением общих возможностей. Для неё заявлен сертифицированный результат PASS в сравнении с исходной моделью на 2800 примерах: проверялись арифметика, следование инструкциям, знания и рассуждения, при пределе ухудшения 3%. Доступны GGUF-квантизации от 3 до 8 бит, включая варианты с imatrix. Модель является uncensored и по замыслу не отказывается от запросов, поэтому не предоставляет встроенных гарантий безопасности; ответственность за применение лежит на пользователе. Сертификат подтверждает только сохранение возможностей и не гарантирует безопасность, фактическую точность или пригодность для конкретных задач. Для модели не записаны отдельные проверки качества генерации и receipt по compliance/MMLU. Лицензия — Apache-2.0.

8621июль 2026ctx32.8K
textapache-2.0hugging-face
spacemanidol
esci-jp-mpnet-crossencoder

spacemanidol/esci-jp-mpnet-crossencoder — модель Sentence-Transformers на базе MPNet, разработанная пользователем spacemanidol. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов; модель сохранена в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для поиска семантически близких текстов, группировки предложений и построения систем поиска по смыслу. README не уточняет язык обучающих данных, поэтому языковую поддержку нельзя определить по доступным сведениям. Лицензия в предоставленных данных не указана.

650авг. 2022ctx514
textembeddinghugging-face
AI4SGI
ExoMind-9B

ExoMind-9B — компактная мультимодальная модель команды ExoMind из Шанхайской лаборатории искусственного интеллекта. Это плотная модель семейства Qwen3.5 с 9 млрд параметров, дообученная на базе Qwen/Qwen3.5-9B для научных рассуждений и агентных исследовательских сценариев. Она принимает текст и изображения и формирует текстовые ответы; в карточке указано окно контекста до 262 144 токенов. Модель предназначена для научных вопросов и ответов, математических и вычислительных рассуждений, поиска источников, обоснования выводов свидетельствами, проверки результатов с помощью исполняемого кода и экспериментов с использованием инструментов. Она рассчитана на ресурсосберегающие прототипы агентных систем и сохраняет возможности анализа изображений базовой модели. Для заявленных сценариев авторы описывают обучение на траекториях рассуждений и взаимодействия. Оценки из приведённой в README таблицы относятся к системе ExoMind 35B-A3B, поэтому их нельзя переносить на версию 9B; отдельные оценки для ExoMind-9B не приведены. Модель распространяется по лицензии Apache-2.0.

230авг. 2026ctx262.1K
textimageapache-2.0hugging-face
Systran
faster-whisper-base

Systran/faster-whisper-base — конверсия модели распознавания речи Whisper base от OpenAI в формат CTranslate2, подготовленная для использования в CTranslate2 и проектах на его основе, включая faster-whisper. Модель принимает аудио и выполняет распознавание речи; карточка указывает поддержку многих языков, в том числе русского, английского, китайского, немецкого, испанского, французского и японского. Веса сохранены в FP16; при загрузке тип вычислений можно изменить параметром compute_type в CTranslate2. Репозиторий предназначен для запуска модели в совместимом программном окружении. Лицензия — MIT.

1.6M46нояб. 2023
textaudiomithugging-face
nithinbharathi
fine_tuned

nithinbharathi/fine_tuned — англоязычная модель Sentence Transformer, созданная дообучением thenlper/gte-small. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 384 для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на BERT: среднее объединение токеновых представлений с последующей нормализацией; максимальная длина входа — 512 токенов. Модель ориентирована на английский язык и выпущена под лицензией Apache-2.0. Карточка указывает на обучающую выборку из двух пар текстов и приводит метрики на информационном поиске, поэтому качество на широком круге запросов и доменов может быть ограничено. Несмотря на название карточки «BGE base Financial Matryoshka», README описывает дообучение GTE-small и не подтверждает специализацию на финансовых данных.

1300март 2025ctx512
textembeddingapache-2.0hugging-face
DragosGorduza
FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL_FULL-notrescaled_90000

Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL_FULL-notrescaled_90000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL_FULL-notrescaled_50000, поэтому описание составлено по ней. DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL_FULL-notrescaled_50000 — модель на базе RoBERTa, разработанная как sentence-transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и других задач сравнения текстовых представлений. В метаданных указаны 151,8 млн параметров, контекст до 514 токенов и формат весов safetensors. Модель принимает текст и выдаёт векторные представления; для использования доступны Sentence-Transformers и Transformers с соответствующей операцией pooling. В README указано обучение с MarginDistillationLoss. Сведений о поддерживаемых языках, лицензии и ограничениях качества в предоставленных источниках нет.

1040февр. 2024ctx514
textembeddinghugging-face
google
gemini-3.1-pro-preview

Gemini 3.1 Pro Preview — предварительная версия мультимодальной модели Google для решения сложных задач с упором на рассуждения. В карточке отмечены улучшенная работа в программной инженерии, надёжность агентных сценариев и более экономное использование токенов в сложных рабочих процессах. Метаданные каталога относят модель к задаче image-text-to-text. Подробности об архитектуре, размере, поддерживаемых языках, контексте и лицензии в предоставленных данных отсутствуют.

00февр. 2026ctx1Mprice$0.00 / $0.00/ 1M
textimageaudiovideoopenrouter
google
gemini-3.6-flash

Gemini 3.6 Flash — высокоэффективная модель Google для программирования, агентных сценариев, а также разработки веб-приложений и приложений. Карточка описывает её как инструмент для создания качественных результатов с меньшим числом лишних правок. Метаданные каталога классифицируют модель как image-text-to-text. В доступных материалах не приведены сведения об архитектуре, размере, языках, контекстном окне и лицензии, поэтому их нельзя уточнить. Карточка также не описывает ограничения модели.

00июль 2026ctx1Mprice$0.00 / $0.00/ 1M
textimageaudiovideoopenrouter
knowledgator
gliclass-instruct-edge-v1.0

knowledgator/gliclass-instruct-edge-v1.0 — компактная модель классификации последовательностей семейства GLiClass, разработанная Knowledgator. Она предназначена для классификации текста с произвольными метками в zero-shot и few-shot сценариях: метки и их описания задаются при запросе, без обязательного дообучения под каждую задачу. По README модель также применяют для определения тематики, тональности и намерений, проверки следования правилам, обнаружения галлюцинаций и оценки безопасности ответов LLM, NLI и ранжирования релевантности текста. Модель использует архитектуру GLiClass и распространяется в формате safetensors. В версии V3 библиотека GLiClass поддерживает иерархические метки, примеры в контексте, описания меток и промпты задач. В приведённых бенчмарках edge-вариант уступает более крупным вариантам GLiClass по F1 на тестах CR, SST-2 и SST-5, что отражает компромисс между размером и качеством. В карточке не приведены размер модели, контекстное окно и поддерживаемые языки. Лицензия — Apache-2.0.

9748февр. 2026ctx8.2K
textapache-2.0hugging-face
nickprock
granite-311m-italiano-matryoshka

nickprock/granite-311m-italiano-matryoshka — текстовая модель Sentence Transformers, дообученная автором nickprock на базе ibm-granite/granite-embedding-311m-multilingual-r2 для итальянских задач поиска и сравнения предложений. Она построена на ModernBERT с пулингом CLS и нормализацией выходных векторов. Модель преобразует текст в плотные эмбеддинги размерностью 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности — 32 768 токенов. Модель предназначена для семантического поиска, извлечения релевантных фрагментов для RAG, оценки сходства предложений, поиска перефразировок, кластеризации и классификации. При дообучении использовались 45 181 пример итальянского набора it-wiki-retrieval-synthetic-hn; README также описывает оценки на итальянских наборах SQuAD-it и STSb-it. Репозиторий содержит веса Safetensors и ONNX, модель работает через Sentence Transformers. Лицензия — Apache-2.0.

3565сент. 2026ctx32.8K
textembeddingapache-2.0hugging-face
ibm-granite
granite-8b-code-base-128k

Granite-8B-Code-Base-128K — базовая языковая модель для программирования, разработанная IBM Research. Это плотная авторегрессионная модель семейства Llama с 8,1 млрд параметров и контекстом до 128 000 токенов. Её получили продолжением предобучения Granite-8B-Code-Base на данных кода с упаковкой файлов на уровне репозиториев и увеличением доли длинных примеров; обучение для расширения контекста включало 4 млрд токенов. Модель поддерживает код на множестве языков программирования. Модель предназначена для генерации и объяснения кода, исправления ошибок, написания модульных тестов и документации, анализа технического долга, поиска уязвимостей и перевода кода, в том числе с учётом длинного контекста репозитория. Разработчик не рекомендует её для новых проектов и предоставляет для исторического и научного использования; для новых приложений предлагается актуальное семейство Granite. Лицензия — Apache 2.0. Модель не проходила выравнивание безопасности, может выдавать проблемный или неверный код и способна дословно воспроизводить фрагменты из обучающих данных. Сгенерированный код необходимо проверять, особенно при принятии важных решений.

4348июнь 2024ctx128K
textapache-2.0hugging-face
Supabase
gte-small

Supabase/gte-small — англоязычная модель текстовых эмбеддингов семейства GTE, разработанного Alibaba DAMO Academy. Репозиторий Supabase содержит веса ONNX для Transformers.js; также доступны веса PyTorch. Модель основана на BERT, насчитывает около 40 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для получения векторных представлений текста, которые можно использовать для информационного поиска, сравнения семантической близости текстов и ранжирования результатов. Подходит для семантического поиска и вычисления сходства между короткими фразами и документами. Лицензия — MIT. Модель рассчитана только на английский язык. Длинные тексты усекаются до 512 токенов; векторные представления сами по себе не генерируют ответы.

39K103авг. 2023ctx512
textembeddingmithugging-face
HydroEmbed
HydroEmbed-OpenQA-MiniLM-DualLoss

HydroEmbed/HydroEmbed-OpenQA-MiniLM-DualLoss — англоязычный Sentence Transformer, дообученный разработчиком HydroEmbed на базе sentence-transformers/all-MiniLM-L6-v2 для сопоставления и поиска связанных текстов. Модель использует энкодер BERT с усреднением токенных представлений и нормализацией; она преобразует предложения и абзацы в плотные векторы размерности 384. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов; в README указана максимальная длина последовательности 256 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. В README приведены англоязычные пары вопросов и ответов по тематике водных ресурсов и окружающей среды, однако специализация модели на этой области не заявлена. Указаны потери CosineSimilarityLoss и MultipleNegativesRankingLoss. Лицензия в предоставленных данных не приведена.

1191май 2025ctx512
textembeddinghugging-face
l3cube-pune
indic-sentence-bert-nli

IndicSBERT — модель семейства BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP. Она основана на google/muril-base-cased и дообучена на наборе данных NLI для десяти основных индийских языков; поддерживает также английский и межъязыковое сравнение предложений. Модель создаёт векторные представления предложений для оценки их смыслового сходства и извлечения признаков. Размер составляет 264,8 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, сравнения предложений и задач, где требуется сопоставлять тексты на разных языках. Карточка описывает применение через Sentence-Transformers или Transformers с подходящей операцией pooling. Доступна по лицензии CC BY 4.0, требующей указания авторства. README отмечает, что отдельная дообученная версия для сходства предложений опубликована отдельно.

1.2K2март 2023ctx512
textembeddingcc-by-4.0hugging-face
l3cube-pune
indic-sentence-similarity-sbert

IndicSBERT-STS — модель семейства Sentence-BERT от L3Cube-Pune, выпущенная в рамках проекта MahaNLP. Она построена на архитектуре BERT и обучена на данных STS для десяти крупных индийских языков; одна модель сопоставляет предложения на английском, хинди, маратхи, каннада, тамильском, телугу, гуджарати, ория, пенджаби, малаялам и бенгальском, в том числе между языками. Модель предназначена для получения векторных представлений предложений и оценки их семантического сходства; размер составляет 264,8 млн параметров, максимальный контекст — 512 токенов. Её можно применять для поиска похожих предложений, межъязыкового сопоставления и построения семантического поиска по текстам на поддерживаемых языках. Лицензия CC BY 4.0 требует указания авторства. Карточка рекомендует Sentence-Transformers либо применение подходящего pooling поверх контекстных представлений BERT при использовании Transformers.

29K8март 2023ctx512
textembeddingcc-by-4.0hugging-face
bartowski
INTELLECT-1-Instruct-GGUF

INTELLECT-1-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели INTELLECT-1-Instruct от PrimeIntellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста по инструкциям и может запускаться локально, в том числе через LM Studio. Доступны варианты от полноразмерных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4. Размер файлов составляет примерно от 5,6 до 40,85 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Указан английский язык; поддерживаются текстовые сценарии, включая общение по инструкциям, программирование, математику и работу с данными обучения, перечисленными в карточке. Архитектура, число параметров, максимальный контекст и мультимодальные возможности в README не указаны. Сильная сторона набора — широкий выбор квантизаций для локального запуска и наличие вариантов, оптимизированных для отдельных ARM-конфигураций. Ограничения зависят от выбранного варианта: более компактные квантизации могут снижать качество, а некоторые ARM-версии требуют конкретных аппаратных возможностей и не рекомендуются для Mac или GPU. Модель распространяется по лицензии Apache-2.0.

2.5K6нояб. 2024
textapache-2.0hugging-face
Cohee
jina-embeddings-v2-base-en

Cohee/jina-embeddings-v2-base-en — это модель для получения векторных представлений текста (эмбеддингов), основанная на jinaai/jina-embeddings-v2-base-en. В карточке указано, что модель подготовлена в формате ONNX для совместимости с библиотекой Transformers.js и предназначена для использования в задачах извлечения признаков (feature extraction), включая последующий семантический поиск и сравнение текстов. Модель ориентирована на англоязычные тексты, что следует из её идентификатора base-en. Сведения о точной архитектуре, размере, длине контекста, поддерживаемых модальностях и числовых характеристиках эмбеддингов в карточке не приведены. Также не указаны результаты тестирования, ограничения качества и лицензия.

4.1K4дек. 2023ctx8.2K
texthugging-face
jinaai
jina-embeddings-v5-omni-nano-retrieval-GGUF

jina-embeddings-v5-omni-nano-retrieval-GGUF — мультимодальная модель эмбеддингов, разработанная Jina AI. Это GGUF-квантизированная сборка модели jina-embeddings-v5-omni-nano-retrieval для llama.cpp, предназначенная для задач retrieval. Модель преобразует текст, изображения, видео и аудио в векторы размерностью 768, совместимые в одном векторном пространстве с текстовой моделью jina-embeddings-v5-text-nano-retrieval. Это позволяет индексировать данные с помощью текста, а выполнять поиск по запросам любой поддерживаемой модальности без переиндексации. Модель содержит около 0,95 млрд параметров, поддерживает контекст до 8192 токенов и использует pooling по последнему токену. Доступны Matryoshka-размерности 32, 64, 128, 256, 512 и 768, а текстовая часть представлена в F16 и нескольких уровнях int-квантизации с калибровкой imatrix; мультимодальные проекторы используют F16. Поддерживаются распространённые форматы изображений, видео и аудио, а также PDF. Основные сценарии применения — мультимодальный семантический поиск, retrieval-augmented generation, построение единого индекса для разных типов контента и сравнение схожести между текстом и медиа. К сильным сторонам относятся единое пространство эмбеддингов для нескольких модальностей, сравнительно небольшой размер и возможность уменьшать размерность вектора. Ограничения включают специализацию только на retrieval-задачах, необходимость использовать специализированную ветку llama.cpp с мультимодальными патчами, а также отдельные multimodal projector-файлы для обработки изображений, видео и аудио. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с обязательным соблюдением её условий и ограничений на коммерческое применение.

1.4K1апр. 2026
textembeddingcc-by-nc-4.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей