/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
12 121–12 150 из 23 488
avsolatorio
40-100-11-1-2-2-0-0-mean-normed-384-512_GIST_TaylorAI_gte-tiny-20240201182729-latest

gte-tiny — компактная модель для получения эмбеддингов предложений и абзацев, опубликованная avsolatorio. Она основана на архитектуре BERT, содержит 25,9 млн параметров и преобразует текст в плотные векторы размерности 384. Модель дистиллирована из thenlper/gte-small; по данным карточки, её качество сопоставимо с базовой моделью, но немного ниже при примерно вдвое меньшем размере. Эмбеддинги подходят для семантического поиска, кластеризации и сравнения сходства предложений. Контекст модели — 512 токенов. Для использования доступны веса safetensors; README описывает работу через Sentence-Transformers или Transformers с соответствующей операцией pooling. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

1430февр. 2024ctx512
textembeddinghugging-face
ewgenni
AliceAI-Foundation-80B-A3B-Base

Карточка модели ewgenni/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

1420сент. 2026ctx262.1K
textapache-2.0hugging-face
hdcase
AliceAI-Foundation-80B-A3B-Base

Карточка модели hdcase/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

1480сент. 2026ctx262.1K
textapache-2.0hugging-face
teven
all_bs320_vanilla

teven/all_bs320_vanilla — модель на базе MPNet, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости. По описанию модели, её можно применять для семантического поиска и кластеризации; обучение включало MultipleNegativesRankingLoss с косинусной функцией сходства. Модель содержит 136,7 млн параметров и принимает текст с контекстом до 514 токенов. Модель подходит для получения эмбеддингов текстовых фрагментов и поиска похожих предложений или документов. В карточке не названы разработчик базового чекпойнта, целевые языки, датасеты или прикладные области, поэтому языковую специализацию установить нельзя. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

940авг. 2022ctx514
textembeddinghugging-face
flax-sentence-embeddings
all_datasets_v3_MiniLM-L12

all_datasets_v3_MiniLM-L12 — модель для получения векторных представлений предложений, разработанная в рамках Community Week Hugging Face участниками проекта по обучению эмбеддингов на миллиарде пар. Это дообученная версия MiniLM-L12: её обучали контрастивной функцией потерь на более чем миллиарде пар предложений, собранных из нескольких наборов данных. Модель основана на архитектуре BERT, содержит около 40 млн параметров и принимает текст с контекстом до 512 токенов. Модель кодирует предложение в вектор, отражающий его семантику. Такие векторы подходят для поиска информации, кластеризации текстов и оценки сходства предложений. В метаданных указана поддержка английского языка; модель работает с текстом и возвращает векторные представления. README описывает обучение с ограничением длины последовательности в 128 токенов, поэтому длинные тексты могут требовать разбиения на фрагменты. Формат репозитория — PyTorch; лицензия в предоставленных данных не указана.

1002март 2022ctx512
textembeddinghugging-face
RonanMcGovern
all-MiniLM-L12-v2-ft

RonanMcGovern разместил sentence-transformers/all-MiniLM-L12-v2-ft — дообученную модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2. Это компактный BERT-энкодер примерно на 40 млн параметров: он преобразует предложения и абзацы в плотные эмбеддинги размерности 384, нормализует векторы и сравнивает их с помощью косинусного сходства. В README указана максимальная длина последовательности 128 токенов; метаданные указывают контекст до 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также может применяться для поиска перефразирований, кластеризации и классификации текста. Карточка описывает дообучение с TripletLoss, но не уточняет датасет и специализацию, поэтому качество для конкретных доменов и языков из этих данных установить нельзя. Базовая модель англоязычная, и основной сценарий использования — англоязычные тексты. Для применения указана библиотека Sentence Transformers; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

950июнь 2024ctx512
textembeddinghugging-face
Trelis
all-MiniLM-L12-v2-ft-pairs

Trelis/all-MiniLM-L12-v2-ft-pairs — дообученная модель Sentence Transformers от Trelis на базе sentence-transformers/all-MiniLM-L12-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384 для сравнения смысла и поиска похожих текстов. Архитектура основана на BERT: эмбеддинги токенов объединяются усреднением, затем нормализуются; для сравнения используется косинусное сходство. Модель содержит около 40 млн параметров и рассчитана на последовательности длиной до 512 токенов по метаданным; README указывает максимум 128 токенов. Модель подходит для семантического поиска, оценки текстового сходства, поиска перефразировок, кластеризации и классификации текстов с использованием полученных эмбеддингов. В карточке описан англоязычный базовый чекпойнт, поэтому применение для других языков не подтверждено. Лицензия в предоставленных данных не указана.

991июнь 2024ctx512
textembeddinghugging-face
second-state
All-MiniLM-L6-v2-Embedding-GGUF

All-MiniLM-L6-v2-Embedding-GGUF — модель для создания векторных представлений текста на основе sentence-transformers/all-MiniLM-L6-v2. Исходную модель разработала команда Sentence Transformers, а преобразование в формат GGUF выполнила Second State Inc. Модель предназначена для извлечения признаков, оценки семантического сходства предложений, поиска и других задач, где требуется сравнивать текстовые эмбеддинги. Модель работает с английским языком, имеет контекст размером 384 токена и размер вектора 256. Она доступна в нескольких вариантах квантования GGUF с разрядностью от 2 до 8 бит и размером файлов примерно от 19,2 до 45,9 МБ. Вариант Q4_K_M рекомендован как сбалансированный по размеру и качеству, а Q5_K_M и Q5_K_S обеспечивают более низкие потери качества. Более агрессивное квантование уменьшает размер, но может заметно ухудшать результаты. Модель рассчитана на локальный запуск, в том числе через LlamaEdge версии 0.8.2 и выше, и подходит для компактных систем с ограниченными ресурсами. Она не предназначена для генерации текста или диалогов; README не содержит сведений о точной архитектуре, числе параметров и результатах benchmark-тестов. Распространяется по лицензии Apache-2.0.

141K25март 2024ctx512
textembeddingapache-2.0hugging-face
jangedoo
all-MiniLM-L6-v2-pruned

all-MiniLM-L6-v2-pruned — англоязычный энкодер предложений, созданный на основе sentence-transformers/all-MiniLM-L6-v2 с сокращённым словарём токенов. Модель разработал владелец репозитория jangedoo; она использует архитектуру BERT и библиотеку Sentence Transformers. В метаданных указано 22,1 млн параметров и контекст до 512 токенов; README приводит 18 983 040 параметров после сокращения словаря на 31,83%.

200июнь 2026ctx512
textembeddinghugging-face
KhaledReda
all-MiniLM-L6-v72-pair_score

KhaledReda разработал all-MiniLM-L6-v72-pair_score как Sentence Transformers энкодер, дообученный на парах текстов с оценками сходства из набора pairs_with_scores_v58. Модель основана на sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру BERT с усреднением токенных представлений и нормализацией выходного вектора. Модель кодирует предложения и абзацы в плотные векторы размерности 384; сходство можно оценивать косинусной мерой. Она подходит для поиска семантически близких текстов, сравнения предложений и абзацев, поиска перефразировок, кластеризации и классификации текста. Основной язык — английский. README указывает максимальную длину последовательности 256 токенов, тогда как метаданные сообщают контекст 512 токенов. Число параметров — 25,9 млн. Модель принимает текст и выдаёт векторы и оценки сходства. Лицензия — Apache-2.0. Результаты зависят от домена и качества входных текстов; при работе с длинными последовательностями следует учитывать ограничение длины модели.

150июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v75-pair_score

KhaledReda разработал all-MiniLM-L6-v75-pair_score — дообученную модель Sentence Transformers на базе KhaledReda/all-MiniLM-L6-v73-pair_score. Она кодирует предложения и абзацы на английском языке в плотные векторы размерностью 384 для сравнения семантического сходства с помощью косинусной близости. Архитектура включает BERT-трансформер, усредняющий пулинг токенов и нормализацию; в модели 25,9 млн параметров. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска, поиска перефразировок, кластеризации, классификации текста и оценки сходства между парами предложений. Лицензия Apache-2.0 разрешает использование на её условиях. Модель ориентирована на английский язык; качество за пределами описанных задач и языка в карточке не подтверждено.

150авг. 2026ctx512
textembeddingapache-2.0hugging-face
ronanki
all_mpnet_128_10_MNR_PT

ronanki/all_mpnet_128_10_MNR_PT — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория ronanki. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Обучение с MultipleNegativesRankingLoss использовало косинусное сходство; модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения эмбеддингов текстов и сравнения их семантической близости. Для работы README рекомендует библиотеку sentence-transformers. Языки и специализированные предметные области в доступных данных не обозначены; качество на конкретных наборах данных следует проверять отдельно. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

1000март 2023ctx514
textembeddinghugging-face
mdizak
all-roberta-large-v1-rust

mdizak/all-roberta-large-v1-rust — модель Sentence-Transformers на архитектуре RoBERTa-large, дообученная разработчиками Sentence-Transformers на более чем 1 млрд пар предложений с контрастивной целью. Она кодирует предложения и короткие абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. Метаданные указывают 454,1 млн параметров и библиотеку sentence-transformers; модель принимает текст, а длина контекста составляет 514 токенов. В README указано, что входы длиннее 128 word pieces усекаются, а при использовании Transformers требуется применить pooling к контекстным представлениям токенов. Модель доступна по лицензии Apache-2.0.

1300апр. 2024ctx514
textembeddingapache-2.0hugging-face
inclusionAI
AReaL-boba-2-14B

AReaL-boba-2-14B — открытая 14-миллиардная языковая модель для генерации кода и решения задач программирования, созданная командой RL Lab организации Ant Research. Это плотная авторегрессионная модель семейства Qwen3, дообученная с помощью асинхронного обучения с подкреплением в системе AReaL-boba²; для репозитория указаны веса PyTorch и контекст до 40 960 токенов. В README приведены результаты на LiveCodeBench v5, Codeforces и CodeContests. Модель подходит для генерации и объяснения кода, решения задач по программированию и диалоговой помощи разработчикам; в метаданных также заявлен интерфейс вызова инструментов. README описывает возможности системы обучения, но не приводит подробные инструкции по формату запросов модели. Лицензия репозитория — Apache-2.0.

21621июнь 2025ctx41K
textapache-2.0hugging-face
AxeronAI
axeron-forge-9fe917b4

AxeronAI/axeron-forge-9fe917b4 — языковая модель, созданная методом слияния TIES из Qwen/Qwen2.5-3B и Qwen/Qwen2.5-Coder-3B-Instruct с помощью forgelm. Модель семейства Qwen2 имеет плотную архитектуру Qwen2ForCausalLM, около 3,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель предназначена для генерации текста в диалоге, включая задачи генерации, анализа и исправления кода по текстовым запросам. Метаданные отмечают поддержку чата и интерфейса вызова инструментов. Карточка не приводит результаты оценивания, поэтому качество для конкретных языков и задач следует проверять отдельно. Сведения о лицензии в предоставленных источниках отсутствуют.

1580сент. 2026ctx32.8K
texthugging-face
sobamchan
bert-large-uncased-no-mrl

sobamchan/bert-large-uncased-no-mrl — англоязычная модель Sentence Transformers, дообученная на наборе all-nli на основе google-bert/bert-large-uncased. Она кодирует предложения и абзацы в плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, сравнения текстов по смыслу, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В README приведён результат на sts-dev: Spearman 0,8165 для косинусного сходства. Модель построена на BERT с усреднением токенных представлений и распространяется в формате Safetensors. Модель рассчитана на английский язык. Для других языков её пригодность не подтверждена; длинные входы ограничены 512 токенами. Лицензия в предоставленных данных не указана.

630янв. 2026ctx512
textembeddinghugging-face
pinecone
bert-retriever-squad2

pinecone/bert-retriever-squad2 — модель на базе BERT, опубликованная Pinecone и оформленная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством; для получения векторов через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Модель принимает текст и выдаёт векторные представления. Архитектура — BertModel, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Карточка не сообщает, для каких языков модель предназначена, поэтому языковую специализацию определить нельзя. Репозиторий содержит веса PyTorch; условия лицензии в предоставленных данных не указаны.

670март 2022ctx512
textembeddinghugging-face
swardiantara
bert-tiny-snli-k5-adaptive-euclidean

Компактная модель Sentence Transformers на базе BERT, дообученная автором swardiantara для сравнения смысловой близости предложений и поиска по тексту. Она преобразует предложения и абзацы в плотные векторы размерностью 128; близость векторов можно оценивать косинусным сходством. Архитектура включает двухслойный BERT с усредняющим пуллингом. Модель содержит 4,4 млн параметров, принимает текст с контекстом до 512 токенов по метаданным; в README указан максимум 128 токенов. Модель подходит для поиска релевантных фрагментов, сравнения предложений и извлечения эмбеддингов для текстовых систем поиска и ранжирования. Обучающие данные описаны как набор из примерно 6 млн пар текстов с оценками сходства; базовая модель ориентирована на английский язык. В README и метаданных указана лицензия Apache 2.0. Компактный размер снижает требования к вычислениям, но README не приводит метрик качества, а максимальная длина последовательности указана по-разному в источниках.

830июнь 2026ctx512
textembeddinghugging-face
BAAI
bge-en-icl

BAAI/bge-en-icl — англоязычная модель эмбеддингов компании Beijing Academy of Artificial Intelligence (BAAI), представленная в проекте FlagEmbedding. Она преобразует текст в векторы для поиска и сопоставления предложений, а также поддерживает обучение в контексте: запрос можно дополнить несколькими примерами, чтобы адаптировать модель к новой задаче. Архитектура — плотная модель семейства Mistral на 7,1 млрд параметров с контекстом до 32 768 токенов. Модель предназначена для семантического поиска, ранжирования и задач retrieval-augmented generation. В карточке заявлены высокие результаты на бенчмарках BEIR, MTEB и AIR-Bench, включая поиск по длинным документам. Распространяется под лицензией Apache-2.0. Она рассчитана на английский язык; для эффективного кодирования может использовать доступные GPU, а ресурсоёмкость определяется её размером.

1.6K137июль 2024ctx32.8K
textembeddingapache-2.0hugging-face
JINSUP
bge-m3-ko-axriv-agent-part-2025

JINSUP/bge-m3-ko-axriv-agent-part-2025 — модель Sentence Transformer, дообученная разработчиком JINSUP на базе BAAI/bge-m3. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения семантической близости, семантического поиска, поиска перефразировок, классификации текста и кластеризации. В README указаны архитектура XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов, косинусная функция сходства и максимальная длина последовательности 8192 токена. Обучение проводилось на 2162 парах предложений с функцией потерь MultipleNegativesRankingLoss. Примеры данных включают корейские и английские тексты, в том числе вопросы и ответы о научных темах и лекарствах, но модель описана как дообученная на базе многоязычной BGE-M3, поэтому применима к многоязычному поиску и сопоставлению текстов. Модель принимает текст и выдаёт векторы, пригодные для семантического поиска и оценки сходства. Лицензия в предоставленных данных не указана.

7117нояб. 2025ctx8.2K
textembeddinghugging-face
gpahal
bge-m3-onnx-int8

gpahal/bge-m3-onnx-int8 — это оптимизированная и квантизованная до int8 версия модели BAAI/bge-m3, подготовленная сообществом для запуска через ONNX Runtime. Модель предназначена для получения эмбеддингов и поддерживает многоязычные сценарии, семантическое сравнение предложений, извлечение признаков и гибридный поиск. Модель одновременно формирует три представления текста: плотное dense, разреженное sparse и ColBERT-представление. Плотные и ColBERT-эмбеддинги нормализуются по умолчанию, как в исходной библиотеке FlagEmbedding; разреженное представление можно преобразовать в словарь весов токенов. Для инференса используются ONNX Runtime, токенизация через Hugging Face Transformers и интеграция с Optimum. В модели применены оптимизации графа уровня O2, а вычисления рассчитаны на CPU; точный размер модели, длина контекста и перечень поддерживаемых языков в README не указаны. К сильным сторонам относятся объединение dense-, sparse- и ColBERT-представлений в одном запуске, многоязычная ориентация, снижение вычислительных требований благодаря int8-квантизации и совместимость с ONNX Runtime. Ограничениями являются необходимость самостоятельно обрабатывать разные типы выходов и то, что изменение нормализации или набора представлений требует повторного экспорта модели. Модель распространяется по лицензии MIT.

5.1K3июнь 2025ctx8.2K
textembeddingmithugging-face
rhantj
bge-m3-workflow-query-robust

Карточка модели rhantj/bge-m3-workflow-query-robust на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

660июль 2026ctx8.2K
textembeddingmithugging-face
svjack
bge-small-qq-qa

svjack/bge-small-qq-qa — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем svjack. Она преобразует предложения и абзацы в плотные векторы размерностью 512 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусным сходством; для запуска README рекомендует библиотеку Sentence-Transformers. В метаданных указаны 27,6 млн параметров и максимальный контекст 512 токенов. Модель принимает текст и выдаёт векторные представления, которые можно индексировать для поиска или группировать по смыслу. В карточке не названы языки обучения или тестирования, поэтому определить приоритетный язык нельзя. Лицензия в предоставленных данных не указана.

630апр. 2024ctx512
textembeddinghugging-face
NbAiLab
borealis-embed-212m

NbAiLab/borealis-embed-212m — текстовая модель эмбеддингов, разработанная NbAiLab на архитектуре Gemma3Text. Она предварительно обучена с нуля на открытой части данных Aurora 2604, затем дообучена как Sentence Transformer с усредняющим pooling. Модель преобразует предложения и абзацы в плотные векторы размерности 768, которые сравниваются по косинусному сходству. Модель предназначена для семантического поиска, извлечения релевантных фрагментов, ранжирования и поддержки классификации текста. Она рассчитана прежде всего на норвежский букмол и нюношк, а также поддерживает шведский, датский и английский. Максимальная длина входа составляет 8192 токена; при дообучении использовалась длина 2048 токенов. В метаданных указано 211,6 млн параметров и библиотека Sentence Transformers. В README приведены результаты оценки на скандинавском бенчмарке эмбеддингов и тестах поиска по длинному контексту; модель показала улучшение относительно указанных версий nb-sbert. Она не генерирует текст: выходом являются векторы для последующего поиска или сравнения. Лицензия — NB-license.

1.3K7сент. 2026ctx8.2K
textembeddingotherhugging-face
jxm
cde-small-v2

cde-small-v2 — англоязычная модель эмбеддингов текста, опубликованная автором под идентификатором jxm/cde-small-v2. Она дообучена на базе answerdotai/ModernBERT-base и использует архитектуру ContextualDocumentEmbeddingTransformer. В репозитории находятся веса двух этапов, около 281 млн параметров суммарно; для построения эмбеддингов при поиске используется второй этап, который автор оценивает примерно в 140 млн параметров. Модель предназначена для представления запросов и документов в виде векторов и поиска по смыслу; README сообщает о среднем результате 65,58 на MTEB для моделей менее 400 млн параметров на дату публикации. Модель учитывает контекст корпуса в два этапа: сначала формируются данные о наборе документов, затем они используются при вычислении эмбеддингов запросов и документов. Если сведения о корпусе заранее недоступны, можно передать заменяющие векторы, однако качество на MTEB снижается с 65,0 до 63,8. Для поиска нужно применять отдельные префиксы запросов и документов. Модель использует uncased-токенизатор ModernBERT и формат весов safetensors; README рекомендует загрузку с разрешённым trust_remote_code. Лицензия в предоставленных данных не указана.

50591янв. 2025ctx8.2K
textembeddinghugging-face
dangvansam
chandra-ocr-2-NVFP4A16

Chandra OCR 2 NVFP4A16 — это неофициальная community-квантизация модели datalab-to/chandra-ocr-2, подготовленная пользователем dangvansam. Модель предназначена для OCR документов и PDF с сохранением структуры и разметки, включая преобразование содержимого в Markdown и обработку макета страниц. Это мультимодальная vision-language модель, принимающая изображения страниц и текстовые инструкции; поддерживает работу через vLLM с OpenAI-совместимым API и через Transformers. Вариант использует квантизацию NVFP4A16: веса линейных слоёв представлены в 4-битном формате NVFP4, а активации — в FP16. Vision tower, lm_head и отдельные компоненты attention сохранены в FP16/BF16. Размер упакованных весов составляет около 11 ГБ. Максимальная длина контекста в рекомендованной конфигурации vLLM — 16 384 токена. Основное преимущество варианта — высокая скорость при параллельной постраничной обработке на GPU архитектуры Blackwell: в приведённом тесте достигнуто около 5058 мс на страницу, что в 2,5 раза быстрее базовой версии BF16. Для последовательной обработки одного документа преимущество может быть ниже, и в README рекомендуется FP8_DYNAMIC. Модель лучше всего подходит для пакетного OCR с одновременной обработкой страниц на Blackwell GPU, включая RTX PRO 6000, B100/B200 и RTX 5090. На Hopper она запускается медленнее через программную эмуляцию, а для Ada и более старых архитектур этот формат не рекомендуется. Для работы через vLLM требуется версия не ниже 0.19.1. Модель наследует лицензию OpenRAIL-M исходной модели: разрешены исследовательское и личное использование, а также использование стартапами с доходом менее 2 млн долларов; применение в конкурирующих с API Datalab продуктах запрещено. Для более широкого коммерческого использования предлагается обратиться к условиям Datalab.

3843май 2026ctx262.1K
textimageopenrailhugging-face
ajibawa-2023
Code-Mistral-7B

Code-Mistral-7B — дообученная ajibawa-2023 модель для генерации кода и диалоговых ответов. Она основана на плотной архитектуре MistralForCausalLM с 7,1 млрд параметров и обучена в формате qLoRA на наборах Code-290k-ShareGPT, Code-Feedback, orca-math-word-problems-200k и OpenHermes. Для общения используется шаблон ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена прежде всего для написания и объяснения кода, а также может отвечать на математические вопросы. Автор отмечает хорошие результаты в программировании, но указывает, что математические ответы бывают нестабильными. Репозиторий содержит веса PyTorch и safetensors; для использования доступны также отдельные квантованные варианты GGUF и Exllama v2. Лицензия модели — Apache-2.0.

8016март 2024ctx32.8K
textapache-2.0hugging-face
bartowski
cognitivecomputations_Dolphin3.0-R1-Mistral-24B-GGUF

Dolphin3.0-R1-Mistral-24B-GGUF — это квантизированная версия языковой модели Dolphin3.0-R1-Mistral-24B, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста на английском языке и запуска локально через llama.cpp, LM Studio и другие совместимые приложения. Модель основана на архитектуре Mistral и содержит 24 миллиарда параметров. Она обучалась на смесях данных для инструкционного следования, рассуждений, математики, программирования, function calling и агентных сценариев, включая наборы Dolphin, OpenCoder, Orca, Hermes, NuminaMath, Tulu и CodeFeedback. Доступны варианты квантизации от Q4 до Q8 и полноточный вариант f32; размер файлов варьируется примерно от 13,5 до 94,3 ГБ. Квантизация уменьшает требования к памяти, сохраняя приемлемое качество, однако более компактные варианты могут уступать исходной модели по точности. Сильными сторонами являются поддержка локального запуска, широкий выбор уровней квантизации и ориентация на рассуждения, математические задачи, код и выполнение инструкций. README не содержит данных о длине контекста, мультимодальности, подробных результатах оценки, системных требованиях или лицензии, поэтому эти характеристики нельзя достоверно определить.

11K87февр. 2025
texthugging-face
vidore
colpali-v1.3-merged

ColPali v1.3 merged — модель визуального поиска по документам, разработанная ViDoRe на основе PaliGemma-3B. Она преобразует изображения страниц и текстовые запросы в многовекторные представления ColBERT-типа, чтобы находить релевантные страницы по их визуальным и текстовым признакам. В этой версии LoRA-адаптер уже объединён с базовой моделью vidore/colpaligemma-3b-pt-448-base; для работы с эмбеддингами предусмотрена интеграция с Sentence Transformers. Модель предназначена прежде всего для поиска по PDF-подобным документам: например, для нахождения страниц, отвечающих на запрос пользователя. Обучение проводилось на 127 460 парах «запрос — страница» на английском языке; авторы проверяли обобщение на другие языки, однако основное внимание уделено английскому и другим распространённым языкам. Для сопоставления используется позднее взаимодействие между токенами текстового запроса и визуальными патчами страницы. Модель принимает текстовые запросы и изображения страниц и выдаёт многовекторные представления для поиска и оценки сходства. Она может потребовать адаптации для систем векторного поиска, которые не поддерживают многовекторный поиск ColBERT. Карточка указывает лицензию Gemma; следует учитывать её условия использования.

4.0K9нояб. 2024
textembeddinggemmahugging-face
bobox
DeBERTa-small-ST-v1-test-step3

bobox разработал Sentence Transformer на базе bobox/DeBERTa-small-ST-v1-test-step2, дообученный на наборах пар и триплетов предложений, включая VitaminC, SciTail, SciQ, MS MARCO, Natural Questions, TriviaQA, GooAQ и PAWS. Модель кодирует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов; сходство можно оценивать косинусной мерой. Архитектура состоит из DebertaV2Model и среднего pooling по токенам. Максимальная длина входа — 512 токенов. Модель рассчитана на английский язык и подходит для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и подготовки признаков для классификации текста. В README приведены результаты оценки сходства на sts-test и бинарной классификации на VitaminC, однако качество на других данных может отличаться. Лицензия в предоставленных данных не указана.

260авг. 2024ctx512
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей