/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
16 021–16 050 из 23 488
1Developer
cali-whisper-tiny.en-drop-007-production

cali-whisper-tiny.en-drop-007-production — дообученная модель семейства Whisper, разработанная 1Developer на основе 1Developer/cali-whisper-tiny.en-drop-006-production. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; в README указано обучение на датасете audiofolder. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. В README приведены результаты на оценочной выборке: Loss 0.0000 и WER 0.0, однако подробности методики и набора оценки не описаны. Лицензия — Apache-2.0. Суффикс tiny.en в названии указывает на англоязычную версию Whisper Tiny; явное подтверждение языкового охвата в карточке отсутствует.

350авг. 2026ctx1K
textaudioapache-2.0hugging-face
antoinelouis
camembert-L8

CamemBERT-L8 — прореженная версия предварительно обученной модели CamemBERT, созданная удалением верхних слоёв исходного чекпойнта. В метаданных указаны архитектура CamemBERT, класс CamembertModel, около 100,1 млн параметров и контекст длиной до 514 токенов. Модель предназначена прежде всего для дообучения под задачи, где решение опирается на всё предложение: классификацию текста, извлечение ответов на вопросы и семантический поиск. Её также можно использовать для извлечения признаков и masked language modeling. Для генерации текста автор рекомендует авторегрессионные модели. Модель работает с текстом на французском языке. Удаление верхних слоёв уменьшает модель относительно исходной CamemBERT-base; числовой размер L8 подтверждён метаданными, а README описывает семейство вариантов с разным числом удалённых слоёв. Лицензия — MIT.

1150окт. 2023ctx514
textembeddingmithugging-face
CohereLabs
cohere-transcribe-arabic-07-2026

Cohere Transcribe Arabic — открытая модель распознавания речи на 2 млрд параметров, разработанная Cohere и Cohere Labs. Она предназначена для преобразования аудио в текст и оптимизирована для арабского языка, его диалектов и английской речи; также заявлена поддержка арабско-английской речи со смешением языков. В основе — архитектура Conformer encoder-decoder, модель поддерживается библиотекой Transformers и подходит для офлайн-инференса и обслуживания запросов через vLLM. Модель применима для транскрибации арабских аудиозаписей, распознавания диалектной речи и транскрибации английского аудио. Разработчики отмечают высокую точность на арабском и английском и эффективный инференс. Лицензия Apache-2.0. Модель лучше работает с одним заранее выбранным языком; автоматического определения языка нет, а качество на смешанной арабско-английской речи может быть нестабильным. Она не выдаёт временные метки и не выполняет диаризацию говорящих. На тишине и фоновых шумах может генерировать текст, поэтому перед распознаванием полезны шумовой фильтр или VAD.

130K226июнь 2026
textaudioapache-2.0hugging-face
nyralabs
CrisperWhisper2.0_large

CrisperWhisper 2.0 Large — модель распознавания речи от Nyra Labs на архитектуре Whisper, содержащая 905,3 млн параметров. Она преобразует аудио в текст и позволяет выбирать между дословной расшифровкой с заполнителями пауз, повторами, обрывами слов и вокальными событиями и отредактированным вариантом, передающим намеренный смысл. Модель поддерживает английский и немецкий языки; семейство CrisperWhisper 2.0 рассчитано на работу с большинством языков, поддерживаемых Whisper. Модель предназначена для транскрибации разговорной речи, обработки длинных записей и получения временных границ отдельных слов. В README также описан режим Verbatimize: по аудио и готовой чистой расшифровке он восстанавливает присутствующие в записи речевые особенности. Указаны точность временных границ около 30 мс на подготовленной речи и 41 мс на разговорной, а также поддержка PyTorch и ускоренного инференса через CTranslate2. Стандартные модели выпускаются по некоммерческой исследовательской лицензии; коммерческое лицензирование доступно отдельно. Указанные в README результаты бенчмарков относятся к оценочным наборам разработчика и сами по себе не гарантируют такое же качество на любых записях.

47K121июль 2026ctx1K
textaudiootherhugging-face
PaddlePaddle
devanagari_PP-OCRv5_mobile_rec

devanagari_PP-OCRv5_mobile_rec — компактная модель распознавания строк текста семейства PP-OCRv5_rec, разработанная командой PaddleOCR. Она извлекает текст из изображений и предназначена для распознавания письменности деванагари; в README указана точность 84,96% при оценке, где строка считалась ошибочной при любом неверно распознанном символе или знаке препинания. Модель используется как модуль распознавания в OCR-сценариях PaddleOCR: распознаёт текстовые строки, обычно после обнаружения строк на изображении, и возвращает их содержимое в виде текста. Для обработки сложных изображений её можно подключить к PP-OCRv5, включающему обнаружение текста и дополнительные модули коррекции ориентации и геометрии. Модель распространяется по лицензии Apache-2.0. В карточке не приведены сведения о поддерживаемых входных разрешениях или условиях оценки точности, поэтому указанный показатель не следует считать гарантией для произвольных изображений.

5.1K0окт. 2025
textimageapache-2.0hugging-face
sebastian-hofstaetter
distilbert-dot-tas_b-b256-msmarco

sebastian-hofstaetter/distilbert-dot-tas_b-b256-msmarco — модель плотного поиска и ранжирования текстовых фрагментов, разработанная Sebastian Hofstätter. Это двухэнкодерная архитектура BERT_Dot на основе DistilBERT: одни и те же 6 слоёв кодируют запрос и passage, а представление каждого текста формируется по вектору CLS; релевантность оценивается скалярным произведением векторов. Модель обучена на MSMARCO-Passage с методом Balanced Topic Aware Sampling и размером пакета 256. Модель подходит для поиска кандидатов по запросу в плотном векторном индексе и для повторного ранжирования уже найденного набора текстов. В README приведены результаты на MSMARCO, TREC-DL’19 и TREC-DL’20. Она принимает текст, выдаёт векторные представления и оценки релевантности, поддерживает английский язык и контекст до 512 токенов. Доступна в формате PyTorch; конкретная лицензия в предоставленных данных не установлена.

2.5K26март 2022ctx512
textembeddinghugging-face
Xenova
distiluse-base-multilingual-cased-v2

Xenova/distiluse-base-multilingual-cased-v2 — веб-совместимая версия модели sentence-transformers/distiluse-base-multilingual-cased-v2, подготовленная сообществом Xenova. Модель распространяется с весами в формате ONNX для использования через библиотеку Transformers.js в JavaScript-среде. Она предназначена для извлечения признаков из текста, то есть преобразования текстовых фрагментов в векторные представления. Такой режим может применяться в задачах семантического сравнения и поиска, однако README не содержит подробностей о поддерживаемых языках, размере модели, архитектуре, длине контекста, качестве, модальностях или ограничениях. Указано только, что модель является мультиязычной и используется в пайплайне feature-extraction. Для работы требуется библиотека @huggingface/transformers; веса ONNX обеспечивают совместимость с Transformers.js. Лицензия и условия коммерческого или иного использования в README не указаны.

8.2K5май 2023ctx512
textembeddinghugging-face
emirhanyac
e5-small-msmarco-tr

emirhanyac/e5-small-msmarco-tr — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-small, предназначенная для поиска релевантных текстов. Она использует архитектуру BERT с mean pooling и нормализацией, преобразует предложения и абзацы в плотные векторы размерности 384 и сравнивает их по косинусному сходству. В метаданных указано 124,3 млн параметров и контекст до 512 токенов; карточка модели заявляет максимальную длину последовательности 256 токенов. Модель дообучена на 10 000 пар запрос–положительный документ из msmarco-tr. Она рассчитана на извлечение документов по запросу и семантическое сопоставление текстов на турецком языке. В README приведены результаты оценки на msmarco-tr-eval, включая cosine_accuracy@1 0,833 и ndcg@10 0,8841. Для использования нужны текстовые запросы и документы; результатом служат эмбеддинги, подходящие для векторного поиска и ранжирования по близости. Лицензия в предоставленных данных не указана.

631июль 2026ctx512
textembeddinghugging-face
AdarshSingh7647
Eklav-4B-Reranker-CotGen

Eklav-4B-Reranker-CotGen — дообученная модель Eklav на базе Qwen/Qwen3-4B, предназначенная для попарного ранжирования passage по релевантности запросу. Это baseline для оценки метода CotGen: при обучении модель продолжает частичный след рассуждений учителя и самостоятельно формирует ответ; в данном варианте использован стандартный SFT на полных следах рассуждений. Модель содержит 3,7 млрд параметров, построена на плотной архитектуре Qwen3 и принимает текст; заявленная длина контекста — 40 960 токенов. Для оценки релевантности модель генерирует рассуждение, завершающееся меткой true или false; релевантность извлекается по логитам финального токена. В README упомянуты наборы BRIGHT и NevIR и приведены результаты nDCG@10 на BRIGHT. При генерации длинное рассуждение может зациклиться и не завершить ответ в фиксированном лимите токенов; авторы рекомендуют запуск через vLLM с ограничением по стоп-строке. Модель распространяется в формате Safetensors; лицензия в предоставленных данных не описана.

880авг. 2026ctx41K
texthugging-face
cross-encoder
ettin-reranker-400m-v1

ettin-reranker-400m-v1 — это англоязычный cross-encoder, разработанный авторами семейства Ettin и дообученный на базе jhu-clsp/ettin-encoder-400m с использованием Sentence Transformers. Модель получает пару текстов и вычисляет для неё оценку релевантности; такие оценки подходят для повторного ранжирования результатов поиска и семантического поиска. Модель основана на архитектуре ModernBERT, содержит 394,7 млн параметров и поддерживает последовательности длиной до 7 999 токенов. Она принимает и обрабатывает текст на английском языке. В репозитории доступны форматы safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0. Модель предназначена для этапа reranking в поисковых системах и конвейерах ответов на вопросы: сначала система извлекает кандидатов, затем cross-encoder оценивает пары «запрос — документ» и помогает упорядочить результаты. Оценки в README показывают улучшение ранжирования на большинстве перечисленных наборов данных, хотя на одном тесте результат снизился; качество следует проверять на данных целевого применения.

5.5K4май 2026ctx8K
textapache-2.0hugging-face
jonatasgrosman
exp_w2v2t_ru_unispeech-sat_s423

Модель jonatasgrosman/exp_w2v2t_ru_unispeech-sat_s423 — версия UniSpeech-SAT Large, дообученная для автоматического распознавания русской речи. Её разработчик дообучил microsoft/unispeech-sat-large с помощью инструмента HuggingSound на обучающей части Common Voice 7.0 для русского языка. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Она предназначена для транскрибирования русской речи в задачах распознавания голосовых записей. Веса опубликованы в формате PyTorch; размер модели — около 402,7 млн параметров. Модель распространяется по лицензии Apache-2.0. Её обучение на Common Voice 7.0 ограничивает основания для ожидания качества на других языках, условиях записи и типах речи; перед использованием в таких сценариях качество следует проверить.

160июль 2022
textaudioapache-2.0hugging-face
castorini
first_mistral

first_mistral — языковая модель Castorini, дообученная на основе mistralai/Mistral-7B-Instruct-v0.3 для ранжирования списков документов. Она использует стратегию FIRST и принимает решение по логитам первого токена, чтобы повысить эффективность ранжирования при сохранении качества. Модель обучена на 40 тысячах примеров ранжирования, размеченных GPT-4 и взятых из RankZephyr. Модель предназначена для переупорядочивания результатов поиска и других задач, где нужно выбрать наиболее релевантные документы из списка. В описанной авторами оценке она превосходит исходную реализацию FIRST на большинстве подмножеств бенчмарка BEIR. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; основной язык — английский. Лицензия MIT.

781нояб. 2024ctx32.8K
textmithugging-face
FunAudioLLM
Fun-ASR-Nano-2512-hf

Fun-ASR-Nano-2512-hf — версия модели распознавания речи Fun-ASR-Nano от FunAudioLLM, подготовленная для работы с библиотекой Transformers. Это плотная end-to-end модель, принимающая аудио и генерирующая текстовую транскрипцию. Она поддерживает китайский, английский и японский языки; для китайского заявлена поддержка семи диалектных групп и 26 региональных акцентов. Обучение проводилось на десятках миллионов часов реальной речи. Модель предназначена для транскрибирования аудио, в том числе китайской речи с региональными особенностями, а также английской и японской речи. Для этого HF-чекпойнта README описывает запуск через нативную поддержку Transformers и генерацию текста. Указанная в карточке лицензия — Apache-2.0. Экспорт не содержит ветвь CTC и поэтому не предоставляет зависящие от неё временные метки и диаризацию говорящих. Проверки README охватывают короткие примеры и отдельные пакетные сценарии; они не являются оценкой точности, скорости или минимальных требований к памяти. Стандартный pipeline automatic-speech-recognition в описанной версии Transformers завершался ошибкой индексации токенов; автор рекомендует использовать указанный в README маршрут через any-to-any или нативные processor/generate API.

159K23май 2026ctx131.1K
textaudioapache-2.0hugging-face
Mungert
gemma-3-27b-it-qat-q4_0-GGUF

Mungert/gemma-3-27b-it-qat-q4_0-GGUF — экспериментальная GGUF-квантизация модели google/gemma-3-27b-it, разработанная сообществом Mungert на базе Gemma 3 от Google. Это instruction-tuned модель с поддержкой текста и изображений, предназначенная для локального запуска и решения задач генерации текста, программирования, анализа и работы с мультимодальным вводом. Точные сведения о языках и размере контекстного окна в README не указаны. Модель получена посредством повторной квантизации исходной QAT Q4_0-модели с использованием imatrix-файлов Google для последующего сжатия до более низкой точности. Формат GGUF ориентирован на запуск в совместимых инструментах, включая llama.cpp. Автор приводит предварительные сравнения perplexity и качественный тест генерации .NET-кода, где вариант на основе QAT показал преимущество над сопоставимой квантизацией из BF16, однако подчёркивает, что тестовый набор был небольшим, результаты нестабильны, а окончательные выводы делать нельзя. Сильной стороной является потенциально более высокое качество при низкой разрядности по сравнению с обычной квантизацией из BF16, а также возможность локального запуска с уменьшенными требованиями к памяти. Ограничения включают экспериментальный статус, отсутствие полноценной независимой оценки и возможные ошибки модели в сложных технических задачах; приведённый пример также показывает, что модель может неправильно интерпретировать детали TLS и постквантовой криптографии. Для использования на Hugging Face требуется принять лицензию Google Gemma; в README указана лицензия gemma.

1837апр. 2025
textimagegemmahugging-face
llmfan46
gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-uncensored-heretic-GGUF

llmfan46/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-uncensored-heretic-GGUF — это GGUF-квантизации текстовой генеративной модели на базе llmfan46/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-uncensored-heretic. Модель разработана независимым автором llmfan46 и предназначена для задач программирования, агентного взаимодействия, работы с терминалом, использования инструментов, рассуждений и генерации текста. В README также указано, что она основана на Gemma 4 с размером 12 млрд параметров. Это декензурированная версия исходной модели yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF, обработанная с помощью Heretic 1.4.0 и варианта метода Magnitude-Preserving Orthogonal Ablation. Изменения затрагивают компоненты attn.o_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась с 99 до 13 отказов из 100 при KL-дивергенции 0,0367; для исходной модели указана точность MMLU 71,56%, однако отдельные результаты именно этой версии не приведены. Модель может быть полезна для локального запуска сценариев, связанных с кодом, терминальными командами и вызовом инструментов, но README не содержит сведений о поддерживаемых языках, длине контекста, конкретной архитектуре GGUF-квантизаций, системных требованиях или совместимых рантаймах. Декензурирование означает сниженный уровень отказов и может сопровождаться дополнительными рисками безопасности и менее предсказуемым поведением, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

3.3K29июнь 2026
textapache-2.0hugging-face
tepirale
gemma-4-12B-merge-coder40-agentic40-it20-task_arithmetic

Мультимодальная инструкционная модель Gemma 4 Unified, созданная tepirale слиянием через Task Arithmetic на базе google/gemma-4-12B-it и двух производных моделей, ориентированных на программирование и агентные сценарии. Репозиторий содержит веса Safetensors и предназначен для диалогового использования; модель принимает текст и изображения и генерирует текстовые ответы. Слияние объединяет возможности исходной модели Google с направлениями coder и agentic. По данным карточки, модель поддерживает зрительные входы и относится к задаче image-text-to-text; базовая Gemma 4 также описана как мультимодальная модель для диалога, анализа изображений, видео и аудио, а также генерации кода. README не приводит отдельной оценки качества или подробностей об используемых сценариях. Лицензия, размер параметров, поддерживаемые языки и длина контекста в предоставленных данных не указаны. Практические ограничения и качество объединённых возможностей не описаны; сведения о лицензии исходной модели не позволяют установить условия лицензирования этого репозитория.

211июнь 2026
textimagehugging-face
alierenak
gemma-7b-akali

AKALI — языковая модель, опубликованная Ali Eren Ak и дообученная на базе google/gemma-2-2b-it с использованием фреймворка AKALI. В метаданных указаны архитектура Gemma 2 с плотной causal language model, 2,7 млрд параметров, контекст до 8192 токенов и поддержка диалогового режима. Модель работает с текстом и предназначена для генерации ответов и выполнения языковых задач. В карточке заявлены сценарии дополнения знаний, подготовки данных и интеграции в NLP-системы. Эффективность зависит от базовой модели, качества данных и выбранной задачи; автор отдельно отмечает возможные смещения в сгенерированных данных и отсутствие универсальной оценки. Указана проприетарная конфиденциальная лицензия, поэтому условия использования следует сверять с правообладателем.

130авг. 2024ctx8.2K
texthugging-face
chungimungi
GLInt

GLInt — англоязычная модель извлечения документов с поздним взаимодействием токенов, разработанная как дообучение LateOn-unsupervised. Модель использует архитектуру ModernBERT и содержит 149 млн параметров. Она формирует 128-мерные векторы для токенов и сопоставляет запрос с документом по MaxSim, учитывая до 32 токенов запроса и до 300 токенов документа; длина контекста составляет 8192 токена. Модель предназначена для поиска релевантных документов и сопоставления предложений в информационном поиске и RAG-системах. Обучение включало настройку на сложных негативных примерах для MaxSim-поиска и дистилляцию ранжирования от jinaai/jina-reranker-v3.5. В README приведены результаты оценки на наборах BEIR, но заявленные показатели относятся к описанным там экспериментам. Для работы доступны Sentence Transformers и PyLate; для поиска по крупным корпусам README рекомендует late-interaction-движок, например PyLate/PLAID. Модель рассчитана на английский язык. Лицензия — Apache-2.0.

5223авг. 2026ctx8.2K
textembeddingapache-2.0hugging-face
framadhita
INT8-nemotron-3.5-asr-streaming-0.6b

Карточка модели framadhita/INT8-nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

830июль 2026
textaudiootherhugging-face
jinaai
jina-embeddings-v5-omni-small-retrieval

jina-embeddings-v5-omni-small-retrieval — мультимодальная модель эмбеддингов от Jina AI, дообученная для поиска. Она принимает текст, изображения, видео и аудио и кодирует их в общее векторное пространство, совместимое с jinaai/jina-embeddings-v5-text-small-retrieval: можно индексировать текст и искать по нему с помощью другой модальности без перестроения индекса. Модель построена на архитектуре Qwen3VLAudioModel, содержит около 1,56 млрд параметров и выдаёт эмбеддинги размерностью 1024. Модель предназначена для межмодального поиска и семантического сопоставления. При кодировании нужно явно указывать роль входа — запрос или документ — через соответствующий префикс либо функции encode_query() и encode_document(); это относится ко всем модальностям. Для видео используются кадры, звуковая дорожка автоматически не обрабатывается: аудио следует передавать отдельно. Доступны веса в формате safetensors и поддержка Transformers; лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

76K18март 2026ctx131.1K
textembeddingcc-by-nc-4.0hugging-face
KaLM-Embedding
KaLM-Reranker-V1-Large

KaLM-Reranker-V1-Large — мультиязычный реранкер KaLM-Embedding на базе encoder-decoder архитектуры T5Gemma2, дообученной на Google T5Gemma 2 4B. Модель оценивает релевантность документов запросу и упорядочивает их по соответствию запросу; она предназначена для поиска, retrieval-augmented generation (RAG) и других систем, где нужно выбрать наиболее полезные фрагменты из корпуса. Модель использует 4 млрд активируемых параметров, 34 слоя и поддерживает последовательности длиной до 128 тыс. токенов. В архитектуре разделены вычисления для запросов и документов: энкодер предварительно кодирует документы с Matryoshka pooling, а декодер учитывает инструкции и намерение запроса; cross-attention сохраняет взаимодействие между запросом и представлениями документов. По описанию авторов, модель показывает конкурентные результаты на BEIR, MIRACL и LMEB, при этом заявленная эффективность связана с уменьшением вычислений при ранжировании. Модель принимает текстовые запросы и документы и выдаёт оценки релевантности для их ранжирования. Метаданные отмечают мультиязычность; README сообщает о результатах на мультиязычном MIRACL, хотя модель не обучалась на большом объёме мультиязычных данных. В README приведены параметры реализации, допускающие ограничение длины запроса и документа при инференсе. Лицензия — Apache-2.0.

1089июнь 2026
textapache-2.0hugging-face
bongsoo
kpf-cross-encoder-v1

bongsoo/kpf-cross-encoder-v1 — корейская модель-переранжировщик на базе BERT, дообученная автором на jinmang2/kpfbert как cross-encoder с использованием класса CrossEncoder из SentenceTransformers. Она оценивает семантическое сходство пары текстов и подходит для сопоставления предложений и ранжирования кандидатов по релевантности. В README приведены результаты на корейских наборах KorSTS и KLUE-STS, а также на STS-B и STS-B Multi-MT; для KLUE-STS указана оценка 0,9133. Модель содержит 141,2 млн параметров, использует архитектуру BertForSequenceClassification и принимает до 512 токенов контекста. Карточка показывает поддержку корейского языка; результаты также приведены для английского тестового набора STS-B Multi-MT. Веса доступны в формате PyTorch по лицензии Apache-2.0. Модель выдаёт оценку сходства для пары текстов, а не универсальные текстовые ответы.

1340янв. 2023ctx512
textapache-2.0hugging-face
redis
langcache-reranker-v1-bce

Redis разработала эту англоязычную модель-переранжировщик для semantic caching в LangCache. Это Cross-Encoder на базе ModernBERT, дообученный из Alibaba-NLP/gte-reranker-modernbert-base на парах текстов LangCache с помощью библиотеки sentence-transformers. Модель получает пару текстов и выдаёт оценку, пригодную для классификации пары или ранжирования кандидатов по релевантности; в каталоге основная задача указана как text-ranking. Модель содержит 149 млн параметров, поддерживает последовательности длиной до 8192 токенов и имеет один выходной показатель. Карточка сообщает метрики классификации на validation и test, но не задаёт универсальных порогов для интерпретации оценки. Модель рассчитана на английский язык и распространяется по лицензии Apache-2.0.

1.1K0авг. 2025ctx8.2K
textapache-2.0hugging-face
allenai
longformer-base-4096

Longformer-base-4096 — плотная модель семейства Longformer, разработанная Allen Institute for Artificial Intelligence (AI2). Это BERT-подобный трансформер, инициализированный из чекпойнта RoBERTa и предварительно обученный на задаче masked language modeling на длинных документах. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 4096 токенов. Архитектура сочетает скользящее локальное внимание с глобальным вниманием, которое задаётся пользователем в зависимости от задачи. Модель предназначена для анализа длинных текстов и построения специализированных представлений; кодовые примеры и описание механизма внимания приведены в материалах проекта. Поддерживаемый язык — английский. Доступны форматы PyTorch и TensorFlow. Модель подходит как основа для задач понимания длинных документов, но настройка глобального внимания зависит от конкретного сценария. Лицензия — Apache-2.0.

714K229март 2022ctx4.1K
textapache-2.0hugging-face
hhhhwhit
lrat-qwen3-0.6b-retriever-utility-v2-20260803

LRAT Qwen3-Embedding-0.6B Retriever-Observable Utility V2 — текстовая модель эмбеддингов для поиска документов по веб-запросу. Она разработана на базе Qwen3-Embedding-0.6B и дообучена с использованием траекторий LRAT: пары «запрос — документ» взвешивались по оценке самостоятельной полезности документа для поиска. Модель использует архитектуру Qwen3 с плотными весами, содержит 507,6 млн параметров и поддерживает контекст до 32 768 токенов. Для обучения применялись pooling последнего токена и нормализация эмбеддингов; обучающие запросы и passages ограничивались 512 токенами. Модель предназначена для получения представлений запросов и passages, которые можно применять для ранжирования кандидатов и семантического поиска релевантных документов. Обучение проводилось на датасете Yuqi-Zhou/LRAT-Train в течение двух эпох с weighted InfoNCE и девятью отрицательными примерами на положительный. Данные не подтверждают поддержку конкретных естественных языков, поэтому языковую специализацию не следует предполагать. Модель распространяется по лицензии Apache-2.0.

90авг. 2026ctx32.8K
textembeddingapache-2.0hugging-face
MaziyarPanahi
M7Yamshadowexperiment28_Experiment26T3q

M7Yamshadowexperiment28_Experiment26T3q — слитая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26T3q-7B. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; описание базовой модели также указывает на применение для математических задач. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0.

140апр. 2024ctx32.8K
textapache-2.0hugging-face
baa-ai
Merino-XL-v2

Merino-XL-v2 — мультиязычная модель для поиска и ранжирования документов, разработанная BAA AI (Black Sheep AI). Она объединяет биэнкодер для получения эмбеддингов запросов и документов и кросс-энкодер для оценки релевантности пары «запрос — документ». Обе части построены на общей таблице входных эмбеддингов и используют основу xlm-roberta-large; всего около 880 млн параметров. Для поиска модель выдаёт L2-нормализованные векторы размерности 1024; к запросам перед вычислением эмбеддинга добавляют префикс «query: ». Для переранжирования она возвращает один логит релевантности на пару запроса и документа. Модель предназначена для двух этапов RAG-поиска: первичного извлечения кандидатов и последующего переранжирования. Разработчик сообщает, что модель снята с рекомендуемой линейки: её заменили Merino-Large и Merino-Large-v2, которые не уступают или превосходят её по оценкам и дешевле в обслуживании. Четырёхбитный вариант не прошёл проверку устойчивости к отвлекающим документам; доступны веса fp16 для воспроизводимости. Лицензия в метаданных обозначена как «other», поэтому условия использования следует сверить с лицензией репозитория.

150июнь 2026
textembeddingotherhugging-face
QuantFactory
Meta-Llama-3-8B-Instruct-function-calling-json-mode-GGUF

QuantFactory/Meta-Llama-3-8B-Instruct-function-calling-json-mode-GGUF — квантизированная версия модели hiieu/Meta-Llama-3-8B-Instruct-function-calling-json-mode, созданная с помощью llama.cpp. Исходная модель дообучена hiieu на Meta-Llama-3-8B-Instruct для вызова функций и генерации ответов в формате JSON. В README также указано использование Unsloth и библиотеки TRL при обучении. Модель предназначена для текстовой генерации, включая диалоговые сценарии, структурированные JSON-ответы и function calling. Для вызова функций используется двухэтапная схема: модель формирует запрос с именем функции и аргументами, после чего получает результат выполнения и генерирует финальный ответ. Указан английский язык. Размер модели — 8 миллиардов параметров; конкретная архитектура и размер контекста в README не уточняются, но модель основана на Meta Llama 3 Instruct. Сильной стороной модели является специализированная настройка для структурированных ответов и интеграции с внешними функциями. Ограничения включают зависимость качества function calling и JSON-генерации от корректного шаблона сообщений и необходимость двух этапов инференса для вызова функций. Лицензия в README не указана.

8840июнь 2024
texthugging-face
openbmb
MiniCPM-Reranker

MiniCPM-Reranker — двуязычная модель переранжирования текстов, совместно разработанная ModelBest, лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она оценивает релевантность документов запросу и переупорядочивает результаты первичного поиска, в том числе в конвейерах RAG. Модель рассчитана на китайский и английский языки и на переранжирование между ними. Модель дообучена на основе openbmb/MiniCPM-2B-sft-bf16, использует двунаправленное внимание и обучалась в несколько этапов примерно на 6 млн примеров, включая открытые, синтетические и закрытые данные. В README указан размер 2,4 млрд параметров и максимум 1024 входных токена; метаданные Hugging Face сообщают 2,7 млрд параметров и контекст 2048 токенов. Для применения можно передавать инструкцию вместе с запросом и документом либо использовать режим без инструкции. Опубликованные оценки включают результаты на наборах C-MTEB/Retrieval, BEIR и межъязыковых тестах. Для запуска доступны веса safetensors и библиотека Transformers. Условия лицензии в предоставленных данных не указаны.

21631сент. 2024ctx2K
texthugging-face
KennethTM
MiniLM-L6-danish-encoder-v2

KennethTM/MiniLM-L6-danish-encoder-v2 — компактная модель Sentence Transformers на архитектуре BERT для представления датских предложений и абзацев в виде плотных векторов размерности 384. По карточке это обновлённая версия MiniLM-L6-danish-encoder, обученная на дополнительных данных GooAQ, переведённых на датский язык; модель адаптирована от англоязычной sentence-transformers/all-MiniLM-L6-v2 с датским токенизатором, а не обучена с нуля. Модель содержит 25,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Векторы подходят для семантического поиска, сравнения сходства предложений и кластеризации датских текстов. При обучении использовались переведённые на датский данные ELI5 и SQuAD, а также датские пары GooAQ. Лицензия — MIT. Описание не сообщает результатов сравнительной оценки качества; при использовании следует учитывать, что назначение и обучающие данные ориентированы на датский язык.

1692июнь 2024ctx512
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей