/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
15 931–15 960 из 23 488
punitkandoi
zerank-1-small-reranker

Карточка модели punitkandoi/zerank-1-small-reranker на Hugging Face совпадает с карточкой zeroentropy/zerank-1-small-reranker, поэтому описание составлено по ней. zerank-1-small — компактная модель-реранкер компании zeroentropy на 1,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B. Она оценивает релевантность пар «запрос — документ» и сортирует найденные документы, чтобы повысить точность поисковой или RAG-системы. Модель использует плотную архитектуру Qwen3 и библиотеку sentence-transformers; по метаданным поддерживает контекст до 40 960 токенов. Модель предназначена для повторного ранжирования результатов поиска, в том числе в задачах по коду, финансам и диалоговым запросам. В README разработчик сообщает, что она близка по качеству к более крупной zerank-1 и превосходит ряд популярных реранкеров на приведённых оценках NDCG@10. Репозиторий распространяется по лицензии Apache 2.0. Это англоязычная модель общего назначения с прикладными оценками для кода и финансовых запросов. Поскольку она основана на Qwen3-4B и метаданные также указывают на поддержку генерации текста, её архитектурные возможности могут выходить за рамки ранжирования; основное назначение модели — оценка релевантности и сортировка кандидатов.

130июль 2026ctx41K
textapache-2.0hugging-face
swardiantara
bert-tiny-yelp-k3-adaptive-cosine

swardiantara/bert-tiny-yelp-k3-adaptive-cosine — компактная модель Sentence Transformers, дообученная на парах текстов из Yelp на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерности 128, сравниваемые по косинусному сходству; подходит для поиска и сопоставления текстов. Архитектура включает BERT с усреднённым pooling. В метаданных указано 4,4 млн параметров и контекст до 512 токенов; карточка модели задаёт максимальную длину последовательности 128 токенов. Модель предназначена для текстовых сценариев семантического поиска и извлечения признаков, в частности для поиска отзывов, похожих на запрос или другой отзыв. Базовая модель англоязычная, а приведённые в README примеры обучающих данных — отзывы Yelp на английском языке. Лицензия в предоставленных данных не указана.

800июнь 2026ctx512
textembeddinghugging-face
swardiantara
bert-tiny-yelp-k3-fixed-euclidean

swardiantara/bert-tiny-yelp-k3-fixed-euclidean — компактная модель Sentence Transformers, созданная дообучением google/bert_uncased_L-2_H-128_A-2. Она преобразует тексты и абзацы в плотные векторы размерностью 128 для поиска и сравнения по смыслу; сходство можно оценивать косинусной мерой. Модель обучалась на парах текстов с метками, сформированных на основе набора данных Yelp, и подходит для семантического поиска и извлечения похожих текстов. Модель принимает текст. Метаданные указывают контекст до 512 токенов, а карточка — максимальную длину последовательности 128 токенов; практический предел обработки следует считать 128 токенов. Число параметров — 4,4 млн. Базовая модель — компактный англоязычный BERT, поэтому модель ориентирована прежде всего на английский язык. Лицензия в предоставленных данных не указана.

680июнь 2026ctx512
textembeddinghugging-face
SQAI
bge-embedding-model2

SQAI разработала BGE base Financial Matryoshka — англоязычную sentence-transformers-модель, дообученную на базе SQAI/bge-embedding-model. Она использует архитектуру BERT с пулингом CLS-токена и нормализацией выходного вектора. Модель преобразует предложения и абзацы в плотные эмбеддинги размерности 384; максимальная длина входа — 512 токенов. Для сравнения векторов можно использовать косинусное сходство. Модель предназначена для семантического поиска и оценки сходства текстов, а также может применяться для поиска перефразировок, кластеризации и классификации текста. В README приведён набор из 1 865 обучающих пар, связанных с атрибутами объектов уличного освещения; название указывает на финансовую направленность, однако описание и примеры датасета этого не подтверждают. В таблицах оценки retrieval для размерностей 768, 512, 256, 128 и 64 указаны нулевые значения accuracy@1, @3 и @5, поэтому заявленные возможности не следует считать подтверждёнными этими результатами. Модель распространяется по лицензии Apache-2.0.

1230июль 2024ctx512
textembeddingapache-2.0hugging-face
ODeNy
ChecketV2

ODeNy/ChecketV2 — модель Sentence Transformers, дообученная разработчиком ODeNy на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой и перефразированной близости с помощью косинусного сходства. Основное применение — оценка сходства формулировок; также модель подходит для семантического текстового сходства и поиска похожих фрагментов. Сравнение текстов по стилю автор README называет экспериментальным сценарием. Модель построена на XLM-RoBERTa с усреднением токенных представлений и обучена с CoSENTLoss на датасете ODeNy/ChecketV2-Dataset. README указывает максимальную длину последовательности 128 токенов; метаданные каталога сообщают нативный контекст 514 токенов. Карточка называет нидерландский основным языком и заявляет многоязычность, но конкретный перечень дополнительных языков не приводит. Лицензия — Apache 2.0.

750нояб. 2024ctx514
textembeddingapache-2.0hugging-face
viethang
cohere-transcribe-03-2026

Cohere Transcribe — открытая модель распознавания речи с аудиовходом и текстовым выходом, разработанная Cohere и Cohere Labs. Это специализированная плотная модель архитектуры Cohere ASR размером 2 млрд параметров, обученная с нуля для эффективной транскрипции. Она поддерживает 14 языков: арабский, немецкий, греческий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский. Модель доступна через Transformers и подходит для локального распознавания, а для онлайн-сервинга в README рекомендуется vLLM. По данным разработчиков, модель обеспечивает высокую точность транскрипции на поддерживаемых языках и может работать до трёх раз быстрее других специализированных ASR-моделей сопоставимого размера. Лучше всего она работает с аудио на одном заранее выбранном языке: автоматического определения языка нет, а переключение языков в речи обрабатывается непоследовательно. Модель не формирует временные метки и не выполняет диаризацию; на тишине и фоновых звуках может выдавать галлюцинации, поэтому для таких записей полезен предварительный VAD или шумовой порог. Лицензия — Apache-2.0.

1490май 2026ctx2K
textaudioapache-2.0hugging-face
vidore
colqwen2-v1.0-hf

ColQwen2 — модель для визуального поиска по документам, разработанная ViDoRe на основе Qwen2-VL-2B-Instruct. Она кодирует страницы документов и текстовые запросы в многовекторные представления ColBERT-типа, чтобы находить релевантные страницы по их визуальному содержимому. Эта версия предназначена для загрузки через Transformers или Sentence Transformers и получена конвертацией слитого чекпойнта ColQwen2. Модель подходит для поиска страниц в PDF по естественно-языковому запросу и для построения систем поиска по коллекциям визуальных документов. Обучающий набор включает 127 460 пар «запрос — страница» и полностью англоязычный; README сообщает об оценке переноса на другие языки без дообучения. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. Модель ориентирована главным образом на PDF и языки с большим объёмом ресурсов, поэтому качество на других типах документов и малоресурсных языках может быть ограничено. Многовекторный поиск с поздним взаимодействием ColBERT требует поддержки со стороны поисковой инфраструктуры и может потребовать адаптации для обычных векторных хранилищ.

32K23февр. 2025ctx32.8K
textimageembeddingapache-2.0hugging-face
3MPER0RR
DeepSeek-R1-Distill-Qwen-14B-3MPER0RR-abliterated

DeepSeek-R1-Distill-Qwen-14B-3MPER0RR-abliterated — экспериментально изменённая версия DeepSeek-R1-Distill-Qwen-14B от 3MPER0RR. Это плотная 14-миллиардная языковая модель на архитектуре Qwen2 для диалогов и генерации текста; в карточке указано, что модель протестирована и сохранена. Она унаследовала от базовой модели поддержку рассуждений, в том числе для математических и программных задач, и контекст до 131 072 токенов. Модель рассчитана на разговорное взаимодействие и текстовые запросы. README описывает её как модифицированную, «abliterated» экспериментальную версию, но не уточняет метод изменения и не приводит результатов сравнительных оценок, поэтому нельзя установить, как оно повлияло на качество и поведение. Лицензия — MIT.

4140сент. 2026ctx131.1K
textmithugging-face
primeline
distil-whisper-large-v3-german

primeline/distil-whisper-large-v3-german — модель распознавания немецкой речи, разработанная Флорианом Циммермайстером и основанная на технике дистилляции Whisper. Она предназначена для транскрибации немецкой речи как локально, так и в составе конвейеров распознавания. В карточке описана версия с 756 млн параметров и размером 1,51 ГБ в bfloat16; метаданные указывают архитектуру Whisper с 905,2 млн параметров и формат safetensors. Модель обучена на отфильтрованных данных Common Voice, многоязычного LibriSpeech и внутренних данных. Автор заявляет о более быстром выводе с минимальной потерей качества относительно немецкой версии Whisper large v3; при оптимизации, например с TensorRT, модель может применяться для распознавания речи в реальном времени. Указанный язык — немецкий. Лицензия — Apache-2.0.

24121апр. 2024
textaudioapache-2.0hugging-face
NVEagle
Eagle-X5-7B

Карточка модели NVEagle/Eagle-X5-7B на Hugging Face совпадает с карточкой NVEagle/Eagle-X5-13B-Chat, поэтому описание составлено по ней. Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.

14326авг. 2024ctx4.1K
textcc-by-nc-sa-4.0hugging-face
deepmodal
embeddinggemma-300m-ko

deepmodal/embeddinggemma-300m-ko — модель Sentence Transformers, дообученная на базе google/embeddinggemma-300m для получения векторных представлений корейских предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерностью 768 и сравнивает их с помощью косинусного сходства; максимальная длина последовательности — 2048 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, классификации и кластеризации текстов. В карточке указаны 4 264 316 обучающих примеров формата «запрос — документ» и результаты оценки информационного поиска. Модель принимает текст и выдаёт векторы для последующего сравнения или использования в поисковых системах. Репозиторий использует архитектуру Gemma 3 Text и формат safetensors; для работы рекомендована библиотека Sentence Transformers. Лицензия — Apache-2.0. Данные карточки указывают на поддержку корейского языка; качество и применимость за пределами корейских текстов не подтверждены приведёнными сведениями.

1790окт. 2025ctx2K
textembeddingapache-2.0hugging-face
guillaumekln
faster-whisper-medium

Это конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель принимает аудио и преобразует речь в текст; её можно использовать для транскрибации аудиозаписей и интеграции распознавания речи в приложения на faster-whisper. Веса сохранены в FP16; при загрузке можно выбрать другой compute_type. Репозиторий не описывает отдельное дообучение: это конверсия openai/whisper-medium. Модель распространяется по лицензии MIT. Карточка этой конверсии не приводит подробностей об ограничениях качества; поддерживаемые языки и возможности исходного Whisper medium здесь отдельно не описаны.

1.9K39март 2023
textaudiomithugging-face
TurkuNLP
finnish-modernbert-large

Finnish ModernBERT large — плотная encoder-модель семейства ModernBERT, разработанная TurkuNLP и обученная на суперкомпьютере LUMI. Она содержит около 400 млн параметров, имеет 28 слоёв и поддерживает контекст длиной 16 000 токенов; в карточке также указана теоретическая возможность экстраполяции до 128 000 токенов. Модель предобучена на финском, шведском, английском, коде, латыни и северносаамском языках. Основная задача модели — предсказание замаскированных токенов. Её можно использовать как основу для задач понимания текста на финском, шведском и английском, а также для поиска и извлечения информации; в оценке авторов модели показали сильные результаты в междоменном поиске. Для прикладного использования в конкретных задачах может потребоваться дообучение. Модель распространяется по лицензии Apache-2.0. Оценки показывают конкурентоспособность на задачах понимания текста с коротким контекстом, однако XLM-R-large был сильнее в этой группе сравнений. Обучающие данные содержат предвзятые и потенциально вредные материалы и не фильтровались на токсичность, поэтому представления модели требуют оценки с учётом возможного отражения этих свойств.

1084июнь 2025ctx16K
textapache-2.0hugging-face
ibm-granite
granite-switch-4.1-30b-preview

Granite Switch 4.1 30B Preview — модульная языковая модель IBM Research на базе IBM Granite 4.1 30B, объединяющая базовую модель со встроенными адаптерами LoRA из библиотек Granite. В чекпойнте 29,3 млрд параметров и контекст до 131 072 токенов; выбор адаптера выполняется по управляющим токенам шаблона чата. Модель поддерживает диалоговый режим и запускается через Hugging Face Transformers или vLLM. Адаптеры предназначены для задач RAG, проверки требований к ответу, атрибуции использованных фрагментов контекста, оценки неопределённости, выявления рисков безопасности и проверки либо исправления фактических ошибок. В RAG-сценариях они также помогают переписывать и уточнять запросы, а также оценивать, можно ли ответить по найденным материалам. Адаптеры можно вызывать отдельно или сочетать в одном процессе; для прикладной интеграции README рекомендует Mellea. Модель выпущена IBM в мае 2026 года под лицензией Apache 2.0. Описание не подтверждает языковое покрытие адаптеров; характеристики многоязычности базовой модели нельзя автоматически считать подтверждёнными для каждой встроенной функции. Для использования специализированных возможностей требуется корректно активировать соответствующие адаптеры через шаблон чата или поддерживаемую интеграцию.

95829май 2026ctx131.1K
textapache-2.0hugging-face
gaurav-mac
hindi-sensim-sbert-usingsumodataset-basel3cubepune

gaurav-mac опубликовал модель на базе BERT для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и предназначена для поиска семантически близких фрагментов, кластеризации и сравнения предложений. Обучение с Triplet Loss на евклидовом расстоянии помогает располагать похожие тексты ближе в векторном пространстве. Модель содержит 264,8 млн параметров, принимает текст длиной до 512 токенов и распространяется в форматах PyTorch и safetensors. В названии указаны хинди и датасет SUMO, что указывает на целевую языковую специализацию, однако карточка не раскрывает подробностей о данных и качестве на конкретных наборах. Лицензия в доступных сведениях не указана.

1180дек. 2023ctx512
textembeddinghugging-face
tomaarsen
jina-clip-v2

Карточка модели tomaarsen/jina-clip-v2 на Hugging Face совпадает с карточкой jinaai/jina-clip-v2, поэтому описание составлено по ней. Jina CLIP v2 — модель мультимодальных эмбеддингов общего назначения, разработанная Jina AI. Она совместно обучает текстовый энкодер Jina-XLM-RoBERTa и визуальный энкодер EVA02-L14, чтобы представлять текст и изображения в общем векторном пространстве для поиска и сопоставления. Модель содержит около 0,9 млрд параметров: 561 млн в текстовом энкодере и 304 млн в визуальном. Она принимает текст длиной до 8192 токенов и изображения разрешением до 512 × 512 пикселей, формируя эмбеддинги размерностью до 1024; размер векторов можно сократить до 64 с помощью Matryoshka-представлений. Модель предназначена для мультиязычного поиска по изображениям и текстам, поиска похожих изображений и текстов, а также для извлечения признаков в мультимодальных приложениях. В README заявлена поддержка 89 языков для мультиязычного поиска изображений; метаданные перечисляют языковые коды лишь для части из них. По словам разработчиков, версия v2 улучшает результаты v1 на 3% в задачах поиска текст-текст и текст-изображение. Модель доступна в форматах PyTorch, ONNX и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с обязательной атрибуцией, но исключает коммерческое применение.

750апр. 2026ctx8.2K
textembeddingcc-by-nc-4.0hugging-face
jinaai
jina-embeddings-v5-text-nano-retrieval

jina-embeddings-v5-text-nano-retrieval — компактная текстовая embedding-модель компании Jina AI, предназначенная для задач информационного поиска. Она преобразует запросы и документы в векторные представления для семантического поиска, сопоставления релевантности и построения retrieval-систем. Модель поддерживает мультиязычные тексты и входит в семейство jina-embeddings-v5-text, созданное с применением дистилляции и task-specific contrastive losses. Модель содержит 239 млн параметров, поддерживает последовательности длиной до 8192 токенов и формирует embeddings размерностью 768. Используется last-token pooling; предусмотрены Matryoshka-размерности 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством, размером индекса и скоростью обработки. Модель ориентирована именно на retrieval, поэтому её применение для других задач в README не заявлено. К сильным сторонам относятся компактность, заявленная высокая производительность среди моделей сопоставимого размера, мультиязычность и возможность гибко уменьшать размер embeddings. Для использования требуются совместимые версии transformers, PyTorch и других библиотек; поддерживаются sentence-transformers, vLLM, Elastic Inference Service и специальная ветка llama.cpp. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

60K19февр. 2026ctx8.2K
textcc-by-nc-4.0hugging-face
gpustack
jina-reranker-v1-tiny-en-GGUF

jina-reranker-v1-tiny-en-GGUF — англоязычная модель для переранжирования результатов поиска, разработанная Jina AI. Это GGUF-квантизация исходной модели jina-reranker-v1-tiny-en, подготовленная на основе версии llama.cpp с идентификатором f4d2b. Модель предназначена для оценки релевантности документов относительно поискового запроса и сортировки найденных результатов, в том числе в системах семантического поиска и retrieval-augmented generation. В основе модели лежит JinaBERT — вариант архитектуры BERT с симметричным двунаправленным механизмом ALiBi, поддерживающим обработку последовательностей длиной до 8192 токенов. Модель имеет 4 слоя, скрытый размер 384 и около 33 миллионов параметров. Она работает с текстом на английском языке и относится к архитектуре cross-encoder, то есть совместно анализирует запрос и каждый документ. Для повышения скорости используется knowledge distillation: компактная модель-ученик перенимает знания более крупной jina-reranker-v1-base-en. Ключевые преимущества модели — высокая скорость вывода, небольшой размер и возможность обрабатывать длинные тексты при сохранении конкурентной точности. Ограничением является специализация на английском языке и компромисс между скоростью и точностью: по сравнению с более крупными моделями она ориентирована на сценарии, где максимальная точность менее важна. В README указана лицензия Apache-2.0.

1.7K3сент. 2024
textapache-2.0hugging-face
gpustack
jina-reranker-v2-base-multilingual-GGUF

jina-reranker-v2-base-multilingual-GGUF — экспериментальная GGUF-версия модели jina-reranker-v2-base-multilingual, разработанной и обученной Jina AI. Это трансформерная cross-encoder-модель для переранжирования результатов информационного поиска: она принимает пару «запрос — документ» и возвращает оценку релевантности документа запросу. Модель предназначена для многоязычного поиска, включая задачи retrieval, reranking, code retrieval, text-to-SQL и сценарии с function calling. Модель поддерживает контекст до 1024 токенов; более длинные тексты обрабатываются скользящим окном с разбиением на фрагменты. Она работает с несколькими языками, однако точный языковой список и размер модели в README не указаны. Использование flash attention повышает производительность, но требует совместимого GPU. GGUF-версия основана на llama.cpp и предназначена для экспериментального запуска только через gpustack/llama-box версии 0.0.72 или новее. Сильной стороной модели является способность сопоставлять запросы и документы на разных языках и выдавать оценки релевантности, пригодные для сортировки результатов. Ограничения включают максимальную длину контекста, зависимость flash attention от оборудования и экспериментальный статус GGUF-сборки. Репозиторий распространяется по лицензии CC-BY-NC-4.0 для исследований и оценки; коммерческое использование этой версии не разрешено.

2.1K7окт. 2024
textcc-by-nc-4.0hugging-face
WhiskyAKM
K2-Horizon-0.9B-NVFP4-GGUF

K2-Horizon-0.9B-NVFP4-GGUF — квантизированная версия компактной плотной языковой модели семейства K2-Horizon; автор репозитория WhiskyAKM. Модель с архитектурой decoder-only и 0,9 млрд параметров предназначена для диалоговой генерации текста и рассуждений, включая задачи по математике, программированию, науке и STEM. В README указано окно контекста до 128K токенов (131 072) с масштабированием RoPE YaRN; модель оценивалась на бенчмарках математики, кода, науки и использования инструментов. Репозиторий содержит веса GGUF в формате NVFP4, рассчитанные на запуск в llama.cpp и совместимых движках; заявлена оптимизация для NVIDIA Blackwell. Базовая модель IFM/K2-Horizon-0.9B обучалась с дистилляцией знаний от нескольких специализированных моделей-преподавателей. Репозиторий распространяется по лицензии Apache-2.0. Квантизация до 4 бит может влиять на качество ответов; результаты бенчмарков относятся к исходному описанию семейства и сами по себе не гарантируют аналогичное качество этой сборки.

1600сент. 2026
textapache-2.0hugging-face
Keynote-Technology
KAI-7B-v0.1

KAI-7B — языковая модель Keynote Technology на архитектуре Mistral с 7,1 млрд параметров, дообученная на основе Mistral 7B. Она предназначена для генерации текста и может применяться для ответов на вопросы и работы с задачами STEM; в карточке также отмечены возможности в области кода. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и рассчитана прежде всего на английский язык. Автор заявляет о высоких результатах на проведённых им бенчмарках, особенно в STEM, но отмечает, что математические и кодовые задачи требуют улучшения. Это предварительно обученная базовая модель без механизмов модерации. Репозиторий распространяется по лицензии Apache-2.0; README отдельно запрещает использовать модели KAI для разжигания ненависти.

7313нояб. 2023ctx32.8K
textapache-2.0hugging-face
KaLM-Embedding
KaLM-Reranker-V1-Nano

KaLM-Reranker-V1-Nano — компактная модель-реранкер из семейства KaLM-Reranker-V1, разработанная командой KaLM-Embedding и дообученная на базе google/t5gemma-2-270m-270m. Она оценивает релевантность документов запросу и сортирует найденные кандидаты, например в поиске и RAG-системах. Архитектура encoder-decoder разделяет вычисления: энкодер заранее кодирует passages с помощью Matryoshka pooling, а декодер учитывает инструкцию и запрос; cross-attention сопоставляет их с представлениями документов. Nano содержит 0,27 млрд активируемых параметров и поддерживает контекст до 128 тысяч токенов по характеристикам серии; для варианта Nano в примере использования указаны ограничения длины запроса до 512 и документа до 1024 токенов. Модель рассчитана на эффективное ранжирование пар «запрос—документ» и интеграцию как CrossEncoder в Sentence Transformers. В README приведены конкурентные результаты серии на BEIR, MIRACL и LMEB, включая результаты Nano, сопоставимые с крупными embedding-моделями на LMEB. Карточка помечает модель как multilingual, однако авторы отмечают, что серия не обучалась на обширных многоязычных данных. Распространяется по лицензии Apache-2.0.

53510июнь 2026
textapache-2.0hugging-face
KaLM-Embedding
KaLM-Reranker-V1-Nano-R2

KaLM-Reranker-V1-Nano-R2 — компактная модель ранжирования документов из семейства KaLM-Reranker, разработанная авторами KaLM-Embedding. Это дообученная версия encoder-decoder модели Google T5Gemma2; вариант Nano имеет 0,27 млрд активируемых параметров и поддерживает контекст до 128 тыс. токенов. Модель оценивает релевантность документа запросу и предназначена для повторной сортировки результатов поиска, в том числе в многоязычных системах и RAG-конвейерах. Модель использует архитектуру fast-but-not-late-interaction и поддерживает Matryoshka pooling с коэффициентом сжатия от 1x до 128x. Это позволяет выбирать компромисс между расходом вычислений и качеством ранжирования, а также сначала отбирать кандидатов по сжатым представлениям и затем уточнять порядок наиболее перспективных документов. В README приведены результаты на наборах BEIR и MIRACL, включая многоязычные сценарии. Модель принимает текст запроса и документа и выдаёт оценку релевантности, поэтому подходит для ранжирования кандидатов поиска, улучшения выдачи RAG и многоязычного поиска по документам. Лицензия — Apache-2.0. Качество зависит от языка, предметной области и выбранного коэффициента сжатия; при большем сжатии метрики в приведённых тестах снижаются.

4912авг. 2026
textapache-2.0hugging-face
pbandj
klue-roberta-base-klue-sts

Это Sentence Transformer на основе корейской модели klue/roberta-base, дообученный для представления предложений и абзацев в виде плотных векторов размерности 768. Архитектура включает RoBERTa с усреднением токенных представлений; сходство векторов оценивается косинусной мерой. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов по метаданным (в карточке указано 512). Модель предназначена прежде всего для оценки семантического сходства текстов. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов на корейском языке. В README приведены результаты оценки сходства, однако отдельные наборы данных и контекст метрик описаны неполно. Модель распространяется в формате Safetensors и использует библиотеку Sentence Transformers. Условия лицензии в предоставленных сведениях не указаны.

1190март 2025ctx514
textembeddinghugging-face
EIStakovskii
LaBSE-fr-de

EIStakovskii/LaBSE-fr-de — сокращённая версия LaBSE для получения векторных представлений предложений на французском и немецком языках. Автор карточки указывает, что модель подготовлена при содействии cointegrated. Это плотная BERT-модель примерно на 130 млн параметров; словарь содержит токены только французского и немецкого языков и составляет около 10% исходного словаря, а число параметров — около 27% от исходной модели. Контекст — до 512 токенов. Модель предназначена для получения эмбеддингов предложений, например для оценки сходства и семантического поиска между французским и немецким текстом. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в доступных данных не указана.

1620нояб. 2022ctx512
textembeddinghugging-face
aditeyabaral
langcache-colbert-v1

aditeyabaral/langcache-colbert-v1 — англоязычная модель PyLate, дообученная на парах предложений LangCache для семантического кэширования и поиска. Она основана на ColBERTv2 от colbert-ir и использует архитектуру BERT с линейным слоем, который проецирует представления размерности 768 в последовательности 128-мерных плотных векторов. Для оценки сходства применяется оператор MaxSim; модель рассчитана на запросы и документы длиной до 128 токенов, при этом максимальный контекст по метаданным составляет 512 токенов. Модель подходит для поиска релевантных документов по запросу и для повторного ранжирования результатов первичного поиска. Для индексирования коллекций в README предлагается использовать PyLate и FastPLAID. В карточке приведена точность 0,9847 на тесте ColBERTTriplet; это значение относится к указанной оценке и не гарантирует таких же результатов на других данных. Модель содержит 136,7 млн параметров, распространяется в формате Safetensors под лицензией Apache-2.0. Она предназначена для английского языка; её результаты зависят от домена и качества индекса, а тексты длиннее предусмотренной длины требуют обработки с усечением или разбиением.

170июнь 2026ctx512
textapache-2.0hugging-face
nvidia
Llama-3_1-Nemotron-Ultra-253B-CPT-v1

Llama-3.1-Nemotron-Ultra-253B-CPT-v1 — базовая языковая модель NVIDIA, производная от Meta Llama-3.1-405B-Instruct и предназначенная для дальнейшей адаптации под конкретные приложения и предметные области. Это плотный декодерный Transformer с нестандартными блоками, выбранными методом Neural Architecture Search: в части блоков пропущено или заменено внимание, а слои FFN имеют разные пропорции и могут объединяться. Модель прошла дистилляцию и продолжительное предобучение; в README указано 253 млрд параметров, тогда как метаданные Hugging Face указывают 697,9 млрд. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык и задачи с кодом. NAS-архитектура уменьшает требования к памяти и повышает пропускную способность и задержку относительно родительской модели; README сообщает, что для инференса модель помещается на одном узле с 8 H100. Она сохраняет часть возможностей следования инструкциям родительской модели, но заявлена прежде всего как основа для дообучения, а не как специализированный чат- или reasoning-чекпойнт. NVIDIA заявляет готовность к коммерческому использованию. В метаданных лицензия обозначена как other; перед применением следует проверить условия лицензии и использования NVIDIA. Крупный размер модели требует мощной вычислительной инфраструктуры; возможности на русском языке в карточке не заявлены.

3166апр. 2025ctx131.1K
textotherhugging-face
frameai
Loxa-3B

Loxa-3B — языковая модель семейства Loxa от AIFRAME, созданная для генерации текста на маломощных CPU, включая Raspberry Pi 4 и 5 с объёмом памяти от 8 ГБ. Это плотная причинная модель архитектуры LlamaForCausalLM размером 3,2 млрд параметров с контекстом до 131 072 токенов; для работы используется библиотека Transformers и формат PyTorch. Модель предназначена для диалога и помощи в математике, программировании, науке и формальных беседах, а также для образовательных и персональных проектов и встраиваемых систем. Карточка заявляет общую точность 92%, но не приводит методику или набор оценки. Модель может выдавать ошибочные или бессвязные ответы, а качество зависит от сложности и длины запроса; её не следует без проверки использовать в критически важных задачах. Лицензия — Apache-2.0.

322янв. 2025ctx131.1K
textapache-2.0hugging-face
baa-ai
Merino-Mini-v2

Merino-Mini-v2 — модель для поиска и ранжирования документов в RAG-системах, разработанная BAA AI (Black Sheep AI). Она объединяет bi-encoder для получения 384-мерных L2-нормализованных эмбеддингов и cross-encoder для оценки релевантности пары «запрос — документ» одним числом. Обе части используют общую таблицу эмбеддингов и основаны на MiniLM-L6-H384-uncased; всего модель содержит около 44 млн параметров. README описывает её как англоязычную. Модель предназначена для векторного поиска кандидатов и последующего уточнения их порядка cross-encoder-ранжированием. Для компактной модели автор рекомендует разбивать материалы на атомарные фрагменты по одному утверждению, ставить ключевую сущность в начало и возвращать родительский раздел для контекста. Авторы сообщают о сертификации 4-битной квантизации как не уступающей fp16 в описанном тесте с отвлекающими документами; это заявление относится к указанному испытанию. Лицензия в метаданных обозначена как other, конкретные условия использования не приведены.

150июнь 2026
textembeddingotherhugging-face
Muzian
minimind-rerank-moe

MiniMind-Rerank-MoE — компактная модель-реранкер на архитектуре Mixture-of-Experts, разработанная авторами MiniMind и дообученная на базе jingyaogong/minimind-3. Она оценивает пару «запрос — документ» как релевантную или нерелевантную, используя вероятность токена «是» как оценку релевантности. Модель предназначена для повторного упорядочивания результатов поиска и отбора документов для систем поиска с дополненной генерацией. Архитектура включает четыре эксперта с маршрутизацией top-1; в README указаны 198 млн общих параметров и 64 млн активных, а метаданные указывают 63,9 млн параметров. Контекст составляет до 32 768 токенов. Модель обучалась три эпохи на 80 тысячах пар T2Reranking. На указанном тесте C-MTEB/T2Reranking она показала MAP@10 0,604 и точность классификации 88%; авторы рекомендуют Dense-версию для ранжирования, поскольку у неё MAP@10 заметно выше. Поддерживаются китайский и английский языки. Лицензия — Apache-2.0.

140июль 2026ctx32.8K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей