/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
10 561–10 590 из 23 488
sentence-transformers
stsb-distilbert-base

sentence-transformers/stsb-distilbert-base — модель для получения векторных представлений предложений и абзацев, обученная командой sentence-transformers. Она основана на DistilBERT и преобразует текст в плотные векторы размерности 768; для корректного получения представления при использовании Transformers требуется применить соответствующую операцию pooling к контекстным представлениям токенов. Модель предназначена для семантического поиска, сравнения сходства предложений и кластеризации текстов. Контекст ограничен 512 токенами. Доступны версии в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Карточка предупреждает, что модель устарела и создаёт эмбеддинги низкого качества, поэтому рекомендует выбрать более современную модель из SBERT.net. Лицензия — Apache-2.0.

2.3K6март 2022ctx512
textembeddingapache-2.0hugging-face
rshoemake
taq-qwen3-coder-next-outlier-4bit

TAQ Qwen3-Coder-Next outlier_4bit — исследовательский чекпойнт на основе Qwen/Qwen3-Coder-Next, созданный в рамках Tail-Aware Quantization. Архитектура — MoE-декодер для генерации текста; в метаданных указано 2,3 млрд параметров и контекст до 262 144 токенов. Модель ориентирована на задачи кодирования и работу в диалоговом режиме с интерфейсом вызова инструментов. Несмотря на обозначение 4-bit, репозиторий содержит деквантизированные тензоры BF16/FP16 для оценки, а не упакованный 4-битный формат: README не заявляет снижения занимаемого места на диске или VRAM. Для чекпойнта приведено значение PPL 12,38 на WikiText-2; сопоставимые оценки на HumanEval+ и MBPP+ ещё ожидаются. Лицензия — Apache-2.0.

280авг. 2026ctx262.1K
textapache-2.0hugging-face
leif1557
text2vec-base-chinese-sentence

Карточка модели leif1557/text2vec-base-chinese-sentence на Hugging Face совпадает с карточкой shibing624/text2vec-base-chinese-sentence, поэтому описание составлено по ней. shibing624/text2vec-base-chinese-sentence — модель text2vec, разработанная проектом text2vec. Это дообученный методом CoSENT китайский энкодер предложений на базе nghuyong/ernie-3.0-base-zh. Модель преобразует предложение или короткий абзац в плотный вектор размерностью 768 для сравнения семантической близости; она предназначена для поиска по смыслу, сопоставления текстов, кластеризации и задач sentence-to-sentence. Архитектура основана на ERNIE, размер модели — 144 млн параметров. Контекст модели составляет до 2048 токенов по метаданным, а карточка указывает усечение входа после 256 word pieces. Модель обучена на отобранных китайских данных семантической близости shibing624/nli-zh-all и рассчитана прежде всего на китайский язык. Она выдаёт векторные представления, пригодные для поиска и ранжирования по косинусной близости. По карточке приведены оценки на китайских наборах NLI и STS, но они не дают гарантии качества на других языках и доменах. Распространяется по лицензии Apache-2.0.

100июнь 2026ctx2K
textembeddingapache-2.0hugging-face
shibing624
text2vec-bge-large-chinese

shibing624/text2vec-bge-large-chinese — китайская модель sentence embeddings, обученная проектом text2vec. Она основана на BAAI/bge-large-zh-noinstruct и дообучена методом CoSENT на подобранном наборе китайских данных семантического сходства. Модель кодирует предложения и короткие абзацы в плотные векторы размерности 1024 для сравнения смысла текстов. Её можно применять для поиска семантически близких фрагментов, сопоставления предложений и коротких абзацев, кластеризации и информационного поиска на китайском языке. В карточке указана архитектура BERT и длина контекста 512 токенов; README предупреждает, что входы длиннее 256 word pieces обрезаются. Для длинных документов модель не предназначена. Доступны веса PyTorch и safetensors, а также формат ONNX. По README, дообучение улучшило результаты на китайских тестах семантического сходства относительно базовой модели, особенно для различения коротких текстов. Модель опубликована по лицензии Apache-2.0.

26943сент. 2023ctx512
textembeddingapache-2.0hugging-face
upstage
TinySolar-248m-4k-code-instruct

TinySolar-248m-4k-code-instruct — компактная языковая модель, разработанная компанией Upstage и представленная в формате Transformers с безопасными весами SafeTensors. В метаданных она относится к семейству LLaMA, имеет около 215,2 млн параметров и предназначена для генерации текста, включая ответы на инструкции, связанные с программным кодом. Модель дообучалась на наборах CodeAlpaca-20k и CodeFeedback-Filtered-Instruction, поэтому ориентирована на генерацию фрагментов кода, объяснение программного кода, исправление ошибок и выполнение простых инструкций разработчика. Нативное контекстное окно составляет 32 768 токенов, что позволяет обрабатывать достаточно большие запросы и исходные файлы. Модель распространяется по лицензии Apache-2.0. Из-за небольшого размера она может быть удобна для локального запуска и встраивания в приложения, однако её возможности, точность и устойчивость к сложным задачам программирования могут уступать более крупным моделям. README не содержит сведений о поддерживаемых естественных языках, результатах оценки и точных требованиях к аппаратному обеспечению.

33310апр. 2024ctx32.8K
textapache-2.0hugging-face
WebOrganizer
TopicClassifier

WebOrganizer/TopicClassifier — англоязычный классификатор веб-страниц по темам, разработанный WebOrganizer на основе Alibaba-NLP/gte-base-en-v1.5. Модель принимает URL страницы и её текстовое содержимое и распределяет страницу по 24 категориям. Это дообученная плотная энкодерная модель с архитектурой sequence classification, примерно 136,7 млн параметров, максимальным контекстом 8192 токена и весами в формате safetensors. Модель предназначена для тематической организации веб-контента и классификации страниц при построении каталогов или обработке больших коллекций URL и текстов. Обучение проходило в два этапа на наборах WebOrganizer с аннотациями, созданными Llama 3.1: сначала на 1 млн документов, затем на 100 тыс. документов. README рекомендует для ускоренного вывода реализацию gte-base-en-v1.5 с unpadding и memory-efficient attention; для этого требуется xformers. Сведения о лицензии в предоставленных данных отсутствуют.

3.2K17февр. 2025ctx8.2K
texthugging-face
raxtemur
trocr-base-ru

TrOCR-Ru — модель распознавания текста на изображениях, созданная дообучением microsoft/trocr-base-handwritten на синтетических наборах данных от nastyboget. Она использует архитектуру Vision Encoder-Decoder и предназначена для OCR рукописного текста, в том числе кириллицы. Модель обучалась на наборах stackmix_hkr_large, stackmix_cyrillic_large и synthetic_cyrillic_large. В карточке приведены результаты на HKR и Cyrillic: точность составляет примерно 64–72%, CER — 6,6–9,3%, WER — 21,6–33,2% в зависимости от тестового набора. Поддерживаются русский и английский языки; модель принимает изображение и выдаёт распознанный текст. Модель распространяется под лицензией Apache-2.0. Метрики показывают ошибки распознавания, поэтому результаты на реальных документах и почерках, отличающихся от обучающих данных, могут быть хуже.

1.4K30февр. 2024ctx512
textimageapache-2.0hugging-face
cl-nagoya
unsup-simcse-ja-base

cl-nagoya разработала японскую модель эмбеддингов предложений на архитектуре BERT, дообученную методом Unsupervised SimCSE на Wiki40B. Модель предназначена для получения векторных представлений японских текстов и оценки сходства предложений; её можно использовать через Sentence-Transformers или Transformers с CLS-пулингом. Дополнительный MLP-слой применялся только во время обучения. Модель содержит 138,4 млн параметров, принимает текст с контекстом до 512 токенов. В обучении использовались последовательности длиной до 64 токенов. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.

592окт. 2023ctx512
textembeddingcc-by-sa-4.0hugging-face
victormuryn
use-token-shuffle-pt

Модель use-token-shuffle-pt разработана Victormuryn как часть коллекции украинских эмбеддингов предложений. Это дообученная с контрастивной целью модель Sentence Transformers на базе paraphrase-multilingual-mpnet-base-v2, архитектура XLM-RoBERTa, около 305,2 млн параметров. При обучении использовался корпус UberText 2.0 и аугментация перемешиванием токенов с целями для pooling. Модель преобразует предложения и абзацы в векторы для семантического сравнения, поиска и кластеризации. Она ориентирована на получение эмбеддингов украинского текста; метаданные также указывают поддержку множества других языков. Контекст составляет 514 токенов. Распространяется по лицензии Apache-2.0.

130авг. 2026ctx514
textembeddingapache-2.0hugging-face
HgThinker
vietnamese-sbert

HgThinker/vietnamese-sbert — модель Sentence-Transformers на архитектуре RoBERTa, созданная для представления предложений и абзацев в виде плотных векторов размерностью 768. Её можно использовать для семантического поиска, сравнения сходства текстов и кластеризации. Обучение проводилось с функцией TripletLoss; число параметров — 162,4 млн, контекст — до 258 токенов. Модель ориентирована на вьетнамский язык, что отражено в названии репозитория, и подходит для получения эмбеддингов текста. Для работы доступны веса PyTorch; в Transformers после получения контекстных представлений требуется применить подходящий pooling. Лицензия в предоставленных данных не указана.

1340окт. 2023ctx258
textembeddinghugging-face
timm
vit_base_patch16_clip_224.metaclip_2pt5b

timm/vit_base_patch16_clip_224.metaclip_2pt5b — модель семейства CLIP, доступная для использования через open_clip и timm. Она основана на архитектуре ViT-B/16 с вариантом активации QuickGELU и обучена на наборе MetaCLIP-2.5B. Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: она сопоставляет изображение с предложенными текстовыми категориями без отдельного обучения на них. Репозиторий содержит веса PyTorch и SafeTensors и использует библиотеку open_clip. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и ограничивает коммерческое применение.

1.4K1окт. 2024ctx77
textimagecc-by-nc-4.0hugging-face
timm
vit_large_patch14_clip_224.laion2b

Это визуальный энкодер CLIP из семейства ViT-Large/14, опубликованный в библиотеке timm. Веса обучены на LAION-2B; модель предназначена для извлечения признаков изображений и получения их представлений для поиска и сопоставления по сходству. Модель принимает изображения и выдаёт векторные признаки. В карточке указаны форматы PyTorch и Safetensors и лицензия Apache-2.0. Это только визуальная часть CLIP: текстовый энкодер и генерация текста в состав репозитория не входят.

6520дек. 2024
imageembeddingapache-2.0hugging-face
TIGER-Lab
VLM2Vec-Full

TIGER-Lab/VLM2Vec-Full — мультимодальная модель встраиваний, разработанная TIGER-Lab на основе Microsoft Phi-3.5 Vision Instruct. Она дообучена на наборе MMEB-train с контрастивным обучением и предназначена для получения представлений текста и изображений для широкого круга мультимодальных задач поиска и сопоставления. В метаданных указаны архитектура Phi-3.5-V, 3,7 млрд параметров, контекст 4096 токенов и форматы PyTorch и Safetensors. Модель ориентирована на задачи мультимодальных эмбеддингов; карточка сообщает об оценке на 36 наборах MMEB-eval и превосходстве над прежними базовыми методами, но не приводит сами метрики. Репозиторий распространяется по лицензии Apache-2.0. В карточке Hugging Face pipeline помечен как text-generation, хотя описание проекта указывает на эмбеддинги; для поиска эмбеддингов и оценок релевантности это назначение точнее отражает использование модели.

94K29окт. 2024ctx131.1K
textapache-2.0hugging-face
facebook
wav2vec2-base-100h

Wav2Vec2-Base-100h — модель распознавания речи, разработанная Facebook. Она основана на архитектуре wav2vec 2.0 и дообучена на 100 часах размеченной речи из LibriSpeech после предварительного обучения на аудиоданных. Модель принимает речь с частотой дискретизации 16 кГц и преобразует её в текст; в метаданных указано около 113,3 млн параметров. Модель предназначена для автоматической транскрибации англоязычной речи, в том числе записей, похожих на аудиокниги и подкасты. Её можно использовать как акустическую модель в системах распознавания речи. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0.

9298март 2022
textaudioapache-2.0hugging-face
facebook
wav2vec2-large-960h-lv60-self

Wav2Vec2-Large-960h-Lv60 + Self-Training — англоязычная модель распознавания речи от Facebook. Это плотная модель архитектуры wav2vec2 с головой CTC и примерно 402,7 млн параметров. Она предварительно обучена и дообучена на речевых данных Libri-Light и LibriSpeech; при обработке аудио требуется частота дискретизации 16 кГц. Модель преобразует речь в текст и подходит для транскрибации аудиозаписей на английском языке. В README описан метод self-training и приведены результаты на наборах LibriSpeech, включая WER 1,8/3,3 на тестовых выборках clean/other при использовании всех размеченных данных. Репозиторий содержит версии весов для PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Указанные результаты относятся к конкретным тестовым наборам; качество на других условиях записи и для других языков не гарантируется.

195K170март 2022
textaudioapache-2.0hugging-face
Lguyogiro
wav2vec2-large-mms-1b-azz-adapter-ilv-all_data

Lguyogiro/wav2vec2-large-mms-1b-azz-adapter-ilv-all_data — дообученная на наборе audiofolder модель распознавания речи, созданная на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с классификационной головой CTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но язык или языки, на которых рассчитан этот конкретный чекпойнт, в доступных данных не определены. На тестовом наборе указаны WER 0,2867 и CER 0,0886. Эти значения описывают результаты только на данном наборе и не гарантируют качество на других аудиозаписях. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

100сент. 2024
textaudiocc-by-nc-4.0hugging-face
bond005
wav2vec2-mbart50-ru

Wav2Vec2-mBART-50-Ru — русскоязычная модель распознавания речи, разработанная на основе Wav2Vec2-Large-Ru-Golos и mBART-large-50. Она преобразует аудио с русской речью в текст с пунктуацией и заглавными буквами. Архитектура — SpeechEncoderDecoderModel: Wav2Vec2 служит аудиокодировщиком, а mBART — декодером текста. Модель дообучена на размеченных корпусах SberDevices Golos, русской части Common Voice 6.0, Sova RuDevices и части Russian Librispeech. Она подходит для транскрибации русской речи, в том числе записанной в дальней зоне. Для входного аудио требуется частота дискретизации 16 кГц. Модель распространяется по лицензии Apache-2.0.

196дек. 2022ctx1K
textaudioapache-2.0hugging-face
Baybars
wav2vec2-xls-r-300m-cv8-turkish

Baybars/wav2vec2-xls-r-300m-cv8-turkish — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на турецкой части датасета Common Voice. Это архитектура Wav2Vec2 с CTC-декодированием; метаданные указывают 402,7 млн параметров и формат PyTorch. Модель принимает аудио и преобразует речь в текст на турецком языке. Модель предназначена для автоматической транскрипции турецкой речи, в том числе записей в сценариях, похожих на Common Voice. В README приведены результаты на тестовом наборе: WER 0,3098 и CER 0,0764. Для языкового декодирования также описана n-граммная модель KenLM, обученная на статьях турецкой Википедии; она упоминается отдельно от основного чекпойнта. Модель распространяется по лицензии Apache-2.0. Оценка качества приведена для конкретного набора данных и не гарантирует таких же результатов на других акцентах, условиях записи или типах аудио; README не содержит подробностей о таких ограничениях.

281март 2022
textaudioapache-2.0hugging-face
bartowski
wavecoder-ultra-6.7b-GGUF

wavecoder-ultra-6.7b-GGUF — это GGUF-квантизация модели wavecoder-ultra-6.7b, разработанной Microsoft и опубликованной в исходном виде на Hugging Face. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и обработки программного кода; в метаданных указаны задачи text-generation, набор данных HumanEval и метрика code_eval. Модель содержит 6,7 млрд параметров и поставляется в нескольких вариантах квантования от Q8_0 до IQ1_S, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; их размер составляет примерно от 3,62 до 5,52 ГБ. Для работы используется формат GGUF и llama.cpp. Ожидаемый формат запроса близок к DeepSeek Coder или Alpaca: системная инструкция, блок «Instruction» и блок «Response». Сильной стороной модели является возможность локального запуска на широком диапазоне оборудования благодаря множеству уровней квантования, включая варианты для систем с ограниченным объёмом RAM. Более агрессивное квантование уменьшает размер и требования к памяти, но снижает качество генерации. README не содержит сведений об архитектуре, поддерживаемых языках программирования и естественных языках, размере контекстного окна, результатах сравнительных тестов или ограничениях безопасности. Указана лицензия other с license_name deepseek; точные условия лицензии следует уточнять в исходной карточке модели.

95510апр. 2024
textotherhugging-face
Trendency
whisper-large-v3-hu

Trendency/whisper-large-v3-hu — дообученная Trendency на открытых речевых данных версия Whisper large-v3 от OpenAI, ориентированная прежде всего на распознавание венгерской речи. Это мультиязычная модель автоматического распознавания речи с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров; она принимает аудио и выдаёт текст. Для длинных записей требуется обработка фрагментами, поскольку рецептивное поле модели составляет 30 секунд; для запуска автор рекомендует faster-whisper. Модель предназначена для транскрибации венгерской речи, включая записи из Common Voice, VoxPopuli и других речевых наборов. В README сообщается о среднем WER 11,26 на указанных срезах Common Voice и об улучшении относительно базовой модели на венгерских данных, но также о возможном снижении качества на других языках. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Как и другие версии Whisper, модель может ошибочно добавлять текст, которого нет в аудио, повторять фрагменты и показывать неодинаковую точность для разных языков, акцентов и диалектов. README указывает, что при обучении использовались также обучающие, тестовые и валидационные части наборов данных, поэтому приведённые оценки следует интерпретировать с учётом этого обстоятельства.

4735май 2025
textaudioapache-2.0hugging-face
burakaydinofficial
whisper-small-cv11

Whisper-Small-CV11 — мультиязычная модель распознавания речи, созданная Burak Aydın путём дообучения стандартной архитектуры OpenAI Whisper Small на корпусе Whispered. Она содержит 153,1 млн параметров и предназначена для транскрибирования аудиозаписей на 11 языках. Модель работает в Transformers и совместима с обычными инструментами для Whisper; для загрузки не требуется доверять дополнительному коду репозитория. При оценке на CommonVoice 17 модель показала более низкий WER, чем исходная Whisper Small, на 10 из 11 языков; README приводит результаты для английского, немецкого и испанского. Обучение сохраняло замороженным энкодер и использовало 15 000 шагов. Модель подходит для расшифровки записанной речи с бытовых микрофонов, в том числе при фоновом шуме. Модель рассчитана на английский, немецкий, испанский, французский, русский, турецкий, арабский, грузинский, тайский, китайский и валлийский языки. Лицензия — Apache 2.0. По заявлению авторов, дообучение снижает качество для других языков Whisper; грузинский вариант на уровне Whisper Small не пригоден для использования. Качество на дальней речи, телефонном аудио 8 кГц и перекрывающейся речи не оценивалось.

100июль 2026ctx1K
textaudioapache-2.0hugging-face
PaddlePaddle
arabic_PP-OCRv3_mobile_rec

arabic_PP-OCRv3_mobile_rec — компактная модель распознавания строк текста из серии PP-OCRv3_rec, разработанная командой PaddleOCR на основе PP-OCRv3_mobile_rec и обученная для распознавания арабского алфавита. Она принимает изображение с текстовой строкой и возвращает распознанный текст; модель предназначена для использования как модуль распознавания в OCR-сценариях на базе PaddleOCR. Модель подходит для извлечения текста из изображений, когда строки уже выделены или их выделяет отдельный модуль обнаружения текста. Полный конвейер PP-OCRv3 может дополнительно выполнять коррекцию ориентации и деформации изображения, обнаружение строк и распознавание. В карточке приведены метрики точности, где строка считается ошибочной при неправильном распознавании любого символа, включая пунктуацию. Модель распространяется по лицензии Apache-2.0 и использует библиотеку PaddleOCR. Доступные сведения указывают на поддержку арабского алфавита; компактная мобильная версия предназначена для распознавания строк, а не для полного OCR-конвейера сама по себе.

9134июнь 2025
textimageapache-2.0hugging-face
AbderrahmanSkiredj1
Arabic_text_embedding_for_sts

AbderrahmanSkiredj1/Arabic_text_embedding_for_sts — модель Sentence Transformers, разработанная Abderrahman Skiredj. Это дообученная BERT-модель для получения плотных векторных представлений арабских предложений и абзацев и оценки их семантического сходства. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель содержит 162,4 млн параметров, использует mean pooling и выдаёт эмбеддинги размерностью 768; для сравнения текстов предусмотрено косинусное сходство. Максимальная длина входа — 512 токенов. Модель обучена на датасете с парами и тройками арабских текстов, включающем данные Quora, STS, Alue, Holy Quran и Aranli. Модель предназначена прежде всего для работы с арабским языком; качество для других языков не заявлено. Лицензия в предоставленных данных не указана.

1126июль 2024ctx512
textembeddinghugging-face
EpistemeAI
Athene-codegemma-2-7b-it-alpaca-v1.1

Athene CodeGemma 2 7B v1.1 — дообученная EpistemeAI модель для программирования на основе Athene-codegemma-2-7b-it-alpaca-v1. Это плотная decoder-only языковая модель семейства Gemma с 8,2 млрд параметров, предназначенная для генерации кода по текстовому запросу, ответов на вопросы о фрагментах кода и диалога о программировании и технических задачах. Модель принимает текстовые инструкции и выдаёт код или текст; карточка указывает поддержку английского языка. Модель обучена с учителем на наборах данных для программирования и поддерживает чатовый формат. Контекст составляет 8192 токена. Карточка приводит пример успешного создания игры «Змейка», но не содержит систематических оценок качества или подробностей о данных обучения. Лицензия — Apache 2.0. Для автодополнения кода в IDE README рекомендует использовать предварительно обученные варианты CodeGemma.

401авг. 2024ctx8.2K
textapache-2.0hugging-face
NovatasticRoScript
Atomight-V2.5-1.7B

Atomight V2.5-1.7B — языковая модель NovatasticRoScript для генерации текста и диалогов с упором на пошаговые рассуждения. Она основана на Qwen/Qwen3-1.7B и дообучена методом GRPO с использованием LoRA/PEFT; адаптер объединён с весами в 16-битном формате. Модель содержит 1,7 млрд параметров, использует архитектуру Qwen3 для причинной генерации текста и поддерживает контекст до 40 960 токенов. Модель предназначена для математических и STEM-задач, научных вопросов, программирования, отладки, многошагового планирования и сценариев с агентами. В карточке заявлено обучение на открытых наборах данных по STEM, науке, математике и коду; также приведены результаты собственных оценок на ряде бенчмарков. Основной язык, указанный в метаданных карточки, — английский. Модель распространяется по лицензии CC-BY-4.0. Это компактная модель, поэтому её результаты могут уступать более крупным системам; авторы отдельно отмечают слабые результаты на задачах HumanEval и MBPP по сравнению с некоторыми моделями, специально дообученными для кода. Результаты бенчмарков заявлены авторами и не являются независимой проверкой.

531июль 2026ctx41K
textcc-by-4.0hugging-face
swardiantara
bert-tiny-yelp-k3-adaptive-euclidean

swardiantara/bert-tiny-yelp-k3-adaptive-euclidean — компактная модель Sentence Transformers, дообученная разработчиком на базе google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы в плотные векторы размерности 128 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура включает BERT с двумя слоями и mean pooling; модель содержит 4,4 млн параметров, принимает текст длиной до 512 токенов по метаданным Hugging Face, а README указывает максимум 128 токенов. Модель обучалась на 7 605 030 парах текстов с метками и поддерживает получение эмбеддингов и оценку сходства предложений. Примеры и базовая модель указывают на английский язык; специализация набора данных связана с отзывами Yelp. Репозиторий распространяет веса в формате safetensors. Лицензия в предоставленных данных не указана.

950июнь 2026ctx512
textembeddinghugging-face
Quazim0t0
Byrne-Embed

Byrne-Embed — компактная модель для построения эмбеддингов предложений, разработанная автором репозитория Quazim0t0. Она преобразует текст в нормированные векторы размерности 768, пригодные для сравнения косинусного сходства, поиска, кластеризации и ранжирования. Модель содержит 85 млн параметров и использует декодер SpikeWhale с усреднением последнего скрытого состояния и обучаемой проекционной головой. Модель предназначена для семантического поиска и анализа сходства английских текстов. В README приведены результаты оценки на англоязычном наборе MTEB и сравнение геометрии эмбеддингов с EmbeddingGemma-300M. Для загрузки используется Transformers с пользовательской архитектурой; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Оценка сосредоточена на английском языке, а качество для других языков не проверено. В README также отмечена слабая сторона в поиске перефразировок по финансам и экономике; для загрузки требуется код пользовательской архитектуры.

601июнь 2026
textembeddingapache-2.0hugging-face
antoinelouis
camemberta-L6

CamemBERTa-L6 — облегчённая версия предварительно обученной модели CamemBERTa, созданная удалением верхних слоёв исходного чекпойнта. Она содержит 81,2 млн параметров, построена на архитектуре DeBERTa-v2 и принимает текст с контекстом до 512 токенов. Модель предназначена прежде всего для дообучения под задачи, где решение зависит от предложения целиком: классификации текста, извлечения ответа на вопрос и семантического поиска. Её также можно использовать как основу для извлечения признаков и для masked language modeling; для генерации текста карточка рекомендует авторегрессионные модели. Модель рассчитана на французский язык. Удаление слоёв уменьшает размер модели относительно базовой CamemBERTa, но сама по себе она не является готовым специализированным классификатором или генератором. Распространяется по лицензии MIT.

310май 2024ctx512
textembeddingmithugging-face
unsloth
codegemma-2b

Карточка модели unsloth/codegemma-2b на Hugging Face совпадает с карточкой unsloth/codegemma-7b-it, поэтому описание составлено по ней. unsloth/codegemma-7b-it — разговорная версия CodeGemma от Google, представленная Unsloth в виде модели для генерации текста. Репозиторий содержит плотную авторегрессионную модель Gemma с 8,2 млрд параметров, рассчитанную на диалог и дополнение текста; максимальный контекст составляет 8192 токена. В метаданных указана поддержка английского языка и формат safetensors. Модель подходит для диалоговых приложений и генерации продолжений текста, в частности в сценариях, связанных с кодом, для которых предназначено семейство CodeGemma. Карточка Unsloth описывает ноутбуки для дообучения Gemma и форматы шаблонов ChatML и Vicuna, но не приводит результатов оценки качества именно этого чекпойнта. Модель распространяется по лицензии Apache-2.0.

6373апр. 2024ctx8.2K
textapache-2.0hugging-face
prithivMLmods
DeepCaption-VLA-V2.0-7B

DeepCaption-VLA-V2.0-7B — мультимодальная модель на архитектуре Qwen2.5-VL, созданная prithivMLmods объединением DeepCaption-VLA-7B и Qwen2.5-VL-7B-Instruct. Она предназначена для описания изображений и атрибуции визуальных свойств: формирует подробные подписи с характеристиками объектов, сцен и окружения, а по формулировке запроса может выдавать краткие или детальные описания. Модель рассчитана на изображения разных жанров и пропорций, включая художественные, технические, абстрактные и малоконтекстные примеры. Модель содержит 7,1 млрд параметров, принимает изображения и текстовые инструкции и генерирует текст. Заявлена поддержка английского, китайского и тайского языков; контекст составляет до 128 000 токенов. Лицензия — Apache-2.0. В неоднозначных или низкокачественных изображениях модель может приписывать объектам свойства, которые не видны явно; уровень детализации зависит от запроса. Качество может снижаться на синтетических и абстрактных изображениях, а в описаниях чувствительных изображений может появляться явный контент.

297окт. 2025ctx128K
textimageapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей