/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
15 961–15 990 из 23 488
yjoonjang
mmBERT-en-CL-KD

yjoonjang/mmBERT-en-CL-KD — модель PyLate на базе многоязычного энкодера jhu-clsp/mmBERT-base, дообученная на англоязычных данных для поиска и сравнения текстов. Архитектура ColBERT включает ModernBERT с проекцией скрытых состояний из 768 векторов в 128 измерений. Модель формирует последовательности плотных векторов для токенов, а релевантность запроса и документа оценивает оператором MaxSim. Размер — около 307 млн параметров; контекст — до 8192 токенов по метаданным. В описании модели указаны длины до 1024 токенов для документа и 64 токенов для запроса. Модель предназначена для семантического поиска по коллекциям документов и повторного ранжирования результатов первичного поиска. Она обучалась на 1 224 652 примерах на английском языке; README сообщает о переносе качества на корейские задачи поиска. Для работы с моделью и индексами предлагается библиотека PyLate, включая поиск через FastPLAID. Представленные оценки относятся к отдельным наборам задач и не гарантируют аналогичного качества на других корпусах. Модель дообучена от jhu-clsp/mmBERT-base и опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

170авг. 2026ctx8.2K
texthugging-face
sdadas
mmlw-retrieval-e5-small

MMLW-retrieval-e5-small — польскоязычный плотный текстовый энкодер семейства BERT, разработанный для поиска информации. Он преобразует запросы и фрагменты текста в векторы размерности 384 и рассчитан на сопоставление их релевантности. Для запросов требуется префикс «query: », для документов — «passage: ». Модель содержит 124,3 млн параметров и поддерживает контекст длиной до 512 токенов. Модель инициализирована мультиязычным чекпойнтом E5, дистиллирована на 60 млн польско-английских пар текстов с использованием английских FlagEmbeddings (BGE) как учителей, а затем дообучена с contrastive loss на польском разделении MS MARCO. На польском бенчмарке поиска информации PIRB указано значение NDCG@10 52,34. Модель подходит для семантического поиска и retrieval-систем по польским текстам. Она распространяется по лицензии Apache-2.0. Требует корректных префиксов; контекст ограничен 512 токенами, а заявленные результаты относятся к польскому бенчмарку.

5041окт. 2023ctx512
textembeddingapache-2.0hugging-face
Tropic-AI
moBERTo

moBERTo — португалоязычная адаптация encoder-only модели ModernBERT, разработанная Tropic-AI. Модель продолжительно предобучена на португалоязычном корпусе, использует специализированный португальский токенизатор и перенос подсловных эмбеддингов. Вариант с контекстом 8192 токена прошёл дополнительное обучение для длинного контекста. Архитектура ModernBERT включает позиционные RoPE-эмбеддинги, чередование локального и глобального внимания, FlashAttention и unpadding. Модель содержит около 149 млн параметров и предназначена прежде всего для заполнения маскированных токенов и как основа для дообучения на ранжирование поиска, классификацию документов, распознавание сущностей и другие задачи понимания португальского текста. В статье сообщается о сильных результатах на португальских задачах поиска и понимания текста. Лицензия — Apache-2.0. Это encoder-модель для понимания текста, а не генеративный чат-ассистент; для прикладных задач, таких как ранжирование и классификация, может потребоваться отдельное дообучение. Основной язык модели — португальский, хотя исходная ModernBERT обучалась на английском.

1.3K3апр. 2026ctx8.2K
textapache-2.0hugging-face
robro612
modernbert_colbert_kd

robro612/modernbert_colbert_kd — англоязычная модель поиска и ранжирования текста на базе ModernBERT и архитектуры ColBERT, распространяемая в библиотеке PyLate. Она преобразует запросы и документы в последовательности плотных 128-мерных векторов и сравнивает их оператором MaxSim; в README указаны максимальные длины 32 токена для запроса и 512 для документа, а метаданные сообщают о контекстном окне ModernBERT в 8192 токена. Модель предназначена для семантического поиска по коллекциям документов и повторного ранжирования результатов первичного поиска. Её можно использовать для поиска релевантных документов по запросам, в том числе в системах вопросно-ответного поиска и retrieval-augmented generation. В карточке приведены оценки на наборах NanoBEIR и PyLate Information Retrieval, но они не гарантируют аналогичного качества на других данных. Модель описана как дистиллированная; тег датасета указывает на MS MARCO на английском языке. Размер по метаданным — 149 млн параметров. Указаны формат safetensors и библиотека PyLate; сведения о лицензии в предоставленных данных отсутствуют.

1460май 2026ctx8.2K
texthugging-face
johnnyboycurtis
ModernBERT-small

johnnyboycurtis/ModernBERT-small — англоязычная модель эмбеддингов Sentence Transformers, разработанная Johnny Boy Curtis. Это компактный ModernBERT с 47,7 млн параметров, mean pooling, выходными векторами размерности 384 и максимальной длиной последовательности 1024 токена. Модель обучена с нуля, затем прошла контрастивное обучение на наборах all-nli, trivia-qa-triplet и MS MARCO, дистилляцию по BAAI/bge-base-en-v1.5 и дообучение на STSB для оценки семантического сходства; используется косинусное сходство. Модель подходит для поиска семантически близких предложений, сравнения текстов и построения векторного поиска на английском языке. В README приведены результаты на STS-dev и STS-test, но автор предупреждает, что это ранний эксперимент с неудачным масштабированием архитектуры и не рекомендует его для production; предлагается перейти на ModernBERT-small-v2. Веса доступны в формате safetensors, лицензия MIT.

3812июль 2025ctx1K
textembeddingmithugging-face
robro612
modernbert_xtr_kd_k512

robro612/modernbert_xtr_kd_k512 — модель извлечения и ранжирования текстовых документов на основе ModernBERT и архитектуры ColBERT, опубликованная в PyLate. Она кодирует запрос и документ в последовательности 128-мерных векторов и сравнивает их с помощью MaxSim; подходит для семантического поиска, формирования выдачи и повторного ранжирования результатов первичного поиска. В README указаны пределы длины 32 токена для запроса и 512 токенов для документа; метаданные сообщают о 149 млн параметров и контекстном окне 8192 токена. Модель предназначена для английского языка и обучалась на 640 тысячах примеров из датасета lightonai/ms-marco-en-bge-gemma с дистилляцией. Для использования модель требует библиотеку PyLate; для эффективного поиска README описывает индекс FastPLAID. Карточка приводит результаты оценки на наборах NanoBEIR и Nano BEIR, но качество зависит от данных и сценария поиска. Файлы представлены в формате safetensors. Сведения о лицензии в предоставленных материалах отсутствуют.

1270май 2026ctx8.2K
texthugging-face
AhmadAfles
my-first-AraGenre

AhmadAfles/my-first-AraGenre — дообученная модель Sentence Transformers на базе U4RASD/NeoAraBERT, разработанная AhmadAfles. Она преобразует предложения и абзацы на арабском языке в плотные векторы размерности 768 и предназначена для поиска и сравнения текстов по косинусному сходству. Модель обучена на 899 парах предложений с использованием MultipleNegativesRankingLoss; максимальная длина входной последовательности — 512 токенов. Модель принимает текст и возвращает векторные представления. Примеры обучающих данных включают разговорный египетский и литературный арабский, но карточка не заявляет отдельную специализацию по диалектам. Она подходит для семантического поиска и поиска похожих предложений. Лицензия в предоставленных данных не указана.

240июнь 2026
textembeddinghugging-face
FILM6912
nemotron-3.5-asr-streaming-0.6b

Карточка модели FILM6912/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

490июль 2026
textaudiootherhugging-face
Hcompany
NeoMME-260M-Retriever-ST-late

NeoMME-260M-Retriever-ST-late — мультиязычный мультимодальный энкодер для поиска документов, разработанный Hcompany. Модель дообучена на базе Hcompany/NeoMME-260M-Retriever и использует общий двунаправленный Transformer-энкодер для текстовых запросов и документов в текстовом виде или как изображения страниц. Она предназначена для извлечения многовекторных представлений и ранжирования документов по сходству с запросом с помощью позднего взаимодействия MeanMaxSim. Модель содержит 366 млн параметров, работает с контекстом до 16 384 токенов и распространяется в формате safetensors через Sentence Transformers. Обучение охватывало текстовый поиск и поиск по изображениям страниц; заявлена мультиязычная поддержка. Лицензия — Apache-2.0. Версия ST-late предназначена для независимой настройки многовекторной головы. В Sentence Transformers она генерирует только многовекторные эмбеддинги; одновременно использовать обе головы поиска нельзя.

9906авг. 2026ctx16.4K
textembeddingapache-2.0hugging-face
legraphista
Nxcode-CQ-7B-orpo-IMat-GGUF

Nxcode-CQ-7B-orpo-IMat-GGUF — это набор квантизованных GGUF-вариантов модели NTQAI/Nxcode-CQ-7B-orpo, подготовленный legraphista с использованием llama.cpp версии b3067. Модель предназначена для генерации текста и, судя по тегу code и названию исходной модели, ориентирована прежде всего на задачи, связанные с программным кодом. README не содержит точных сведений о поддерживаемых языках, контекстном окне и перечне специализированных сценариев. Исходная модель имеет размер 7B параметров и исходный формат BF16. Доступны варианты от BF16 и F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K, IQ4 и IQ3; размеры файлов составляют примерно от 3,05 до 14,50 ГБ. Для ряда низкобитных вариантов применена IMatrix-квантизация с использованием указанного калибровочного набора, что позволяет выбирать между качеством и требованиями к памяти. Файлы представлены в формате GGUF и предназначены для запуска в совместимой инфраструктуре, включая llama.cpp. Главные преимущества — широкий выбор уровней квантизации, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными вариантами. Ограничения связаны с тем, что квантизация может влиять на качество генерации, а README не приводит результатов оценки, сведений о мультимодальности или точных характеристик архитектуры. Для модели указана лицензия tongyi-qianwen-research; в качестве ссылки на условия лицензии приведён документ CodeQwen1.5-7B.

3.2K3июнь 2024
textotherhugging-face
uctnlp
omniASR-CTC-300M-v2-Zulu-All-v2

omniASR-CTC-300M-v2-Zulu-All-v2 — модель распознавания речи на базе Wav2Vec2 с архитектурой CTC, преобразованная из чекпойнта OmniLingual fairseq2 omniASR_CTC_300M_v2. Она принимает аудио и выдаёт распознанную речь в виде текста; выходной слой формирует CTC-логиты по словарю SentencePiece. Модель предназначена для многоязычной транскрибации речи. В конфигурации указаны 24 слоя энкодера и размер скрытого представления 1024; число параметров по метаданным — 413,2 млн. Совпадение численных выходов с исходным чекпойнтом fairseq2 подтверждено на одном отложенном аудиопримере с допуском atol=1e-4. Репозиторий использует формат safetensors и библиотеку Transformers. В карточке не названы конкретные поддерживаемые языки, поэтому их нельзя перечислить. Лицензия в предоставленных данных не указана.

1480авг. 2026
textaudioapache-2.0hugging-face
Ttimms
Ornith-1.5-35B-A3B-REAP-50-GGUF

Ornith-1.5-35B-A3B-REAP-50-GGUF — квантизированная GGUF-версия модели Ornith-1.5-35B-A3B, подготовленная пользователем Ttimms на основе модели от ornith-ai. Это гибридная архитектура Gated-DeltaNet и Mixture-of-Experts (MoE): после 50%-порогового pruning методом REAP число экспертов сокращено с 256 до 128, удалена MTP-голова, а итоговый объём составляет примерно 19 млрд параметров. Модель предназначена для генерации текста и ориентирована прежде всего на англоязычные сценарии. Модель подходит для локального запуска и задач программирования: для исходной модели до квантизации заявлены результаты HumanEval+ 84,2%, MBPP+ 89,2% и SWE-bench Verified 44,0%. Благодаря примерно 3 млрд активных параметров она может обеспечивать быструю инференс-работу на CPU и Apple Silicon. Доступны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемый Q4_K_M занимает около 11,4 ГБ, тогда как Q8_0 требует более 16 ГБ памяти или выгрузки части вычислений на CPU. Для запуска требуется свежая версия llama.cpp с поддержкой архитектуры qwen35moe; также подходят LM Studio, KoboldCpp, Jan и text-generation-webui. Поддержка Ollama на момент публикации ожидала обновления встроенного llama.cpp. В README не указаны размер контекста и мультиязычные возможности; заявлен только английский язык. Из ограничений также следует учитывать удаление vision tower и MTP-головы, зависимость от совместимого рантайма и компромисс между качеством и объёмом памяти при выборе квантизации. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

1.3K5авг. 2026
textmithugging-face
wepiqx
Ornith-1.5-9B-MTP-ASHQ1-GGUF

Это квантизированная GGUF-версия языковой модели Ornith-1.5-9B, подготовленная wepiqx методом ASHQ1 с учётом Multi-Token Prediction (MTP). В основе — дообученная Ornith-1.5-9B на архитектуре Qwen3.5-9B: 32 слоя, GQA, SSM и контекст до 262 тыс. токенов. Голова MTP сохранена в Q8_0, а основные слои распределены по уровням квантования для заданного размера; для варианта ASHQ1-6500 README указывает размер около 6,4 ГБ и потребность примерно в 7,5 ГБ VRAM при контексте 8192. Модель предназначена для генерации текста в чат-сценариях, включая программирование и агентные задачи. Репозиторий описывает также компактный вариант ASHQ1-4500, но отмечает для него ухудшение метрик относительно 6500. В приведённом сравнении качество по KLD уступает Remix Quality-36pc; результаты основаны на ограниченной проверке с контекстом 512×64, поэтому они не гарантируют качество на других задачах. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензионные сведения расходятся, их следует сверить с файлами репозитория перед использованием.

5491сент. 2026
textapache-2.0hugging-face
funasr
paraformer-zh

Paraformer-zh — модель распознавания речи из экосистемы FunASR, разработанная командой FunASR. Это сквозная нерегрессионная ASR-модель с параллельной генерацией результата; в карточке указано 220 млн параметров. Модель предназначена прежде всего для распознавания мандаринского китайского языка, в том числе речи со смешением китайского и английского. Заявлена скорость до 120-кратного реального времени на GPU. Модель принимает аудио и возвращает текст. Для длинных записей можно использовать встроенный VAD; потоковый и пакетный режимы, восстановление пунктуации и диаризация доступны в составе полного конвейера FunASR с дополнительными компонентами. Репозиторий содержит веса PyTorch, библиотека для работы — FunASR. Лицензия — Apache-2.0.

1.7K70февр. 2024
textaudioapache-2.0hugging-face
Pixel-Linguist
Pixel-Linguist-II-Midtrain

Pixel-Linguist-II-Midtrain — визуальный энкодер, разработанный авторами статьи «On the Design Fundamentals of Pixel Text Representation Learning». Он преобразует текст в изображение и кодирует его тем же vision-энкодером, что и обычные изображения; при инференсе текстовый токенизатор не используется. Модель основана на vision tower Qwen2.5-VL, использует ViT с обработкой изображений в исходном разрешении и pooling соседних патчей 2×2. Размер — 676,6 млн параметров. Чекпойнт прошёл два этапа обучения: предобучение и семантический mid-training. Он предназначен для получения эмбеддингов текста и изображений, визуально-текстового поиска и сопоставления документов, включая многоязычные и межъязыковые сценарии. Текст для кодирования нужно предварительно отобразить в изображение; на выходе модель выдаёт усреднённые по патчам L2-нормализованные эмбеддинги. В README приведены результаты на Visual STS и ViDoRe, в том числе улучшение межъязыкового сопоставления и поиска документов после mid-training. Модель распространяется под лицензией Apache-2.0. Для кодирования строк требуется отдельный рендеринг текста в изображение; доступные данные описывают прежде всего задачи эмбеддингов и retrieval, а не генерацию текста или распознавание изображения в текст.

1002сент. 2026
textembeddingapache-2.0hugging-face
OPI-PIB
pl-ModernBERT-512-large

OPI-PIB разработал Polish ModernBERT-512-large — крупный одноязычный польский энкодер на архитектуре ModernBERT с 474,5 млн параметров. Модель предварительно обучена для понимания польского языка; использует RoPE, слои GeGLU, предварительную нормализацию и чередование глобального и локального внимания. Контекст составляет 514 токенов, веса доступны в формате safetensors. Основная задача модели — предсказание замаскированных токенов. После дообучения энкодер можно адаптировать для классификации текстов и документов, разметки последовательностей, регрессии, семантического сходства, поиска и ранжирования. В оценке на польских NLU-задачах модель показала конкурентные результаты относительно других польских энкодеров; готовые результаты для конкретных прикладных задач потребуют адаптации. Модель обучена на большом польском корпусе, включая Common Crawl, и предназначена для создания решений обработки польского языка. Лицензия Apache-2.0.

1200авг. 2026ctx514
textapache-2.0hugging-face
unsloth
Qwen2.5-3B

unsloth/Qwen2.5-3B — версия базовой языковой модели Qwen2.5, опубликованная Unsloth и предназначенная для генерации текста и дальнейшей адаптации. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров; репозиторий содержит веса Safetensors для Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и многоязычную работу, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Базовая Qwen2.5 рассчитана на продолжение текста и может служить основой для дообучения под код, математику, структурированные данные и другие задачи. В README отдельно отмечено, что базовую модель не рекомендуют использовать для диалогов без последующего обучения, например SFT или RLHF. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и лицензией базовой модели.

3.3K6сент. 2024ctx32.8K
textotherhugging-face
bartowski
Qwen2.5-Coder-3B-Instruct-abliterated-GGUF

Qwen2.5-Coder-3B-Instruct-abliterated-GGUF — это GGUF-квантизированная версия инструкционной языковой модели для генерации текста и работы с программным кодом. Исходная модель Qwen2.5-Coder-3B-Instruct-abliterated размещена Huihui-ai, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач программирования, диалогового взаимодействия и генерации текста; в метаданных указан английский язык. Модель имеет размер около 3B параметров, однако сведения о точной архитектуре, поддерживаемых модальностях и размере контекстного окна в README не приведены. Доступно множество вариантов квантизации от F16 до Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M указан как сбалансированный вариант для большинства сценариев. Для запуска рекомендуется использовать совместимое ПО, включая LM Studio и llama.cpp; предусмотрен специальный chat-шаблон с ролями system, user и assistant. К сильным сторонам относятся компактный размер, поддержка локального запуска и широкий выбор уровней квантизации, включая варианты, оптимизированные для ARM. Ограничения — уменьшение качества в более сильных вариантах квантизации, отсутствие в README данных о результатах тестирования, контекстном окне и полном наборе языков. Модель обозначена как abliterated и uncensored, поэтому её поведение и защитные ограничения могут отличаться от исходной версии. Указана лицензия qwen-research; точные условия следует уточнять в файле лицензии исходной модели.

13K26нояб. 2024
textotherhugging-face
pmercenary
Qwen3-0.6B-JSON-SFT

pmercenary/Qwen3-0.6B-JSON-SFT — компактная генеративная языковая модель семейства Qwen3, дообученная методом supervised fine-tuning (SFT). Модель опубликована пользователем pmercenary на Hugging Face и предназначена для генерации текста в диалоговых сценариях, включая задачи, где требуется формирование JSON-ответов. Модель содержит около 507,9 млн параметров, работает через библиотеку Transformers и поддерживает контекст длиной до 40 960 токенов. В метаданных указана задача text-generation и conversational-направленность. Благодаря небольшому размеру модель может быть удобна для локального запуска и прикладных прототипов с ограниченными вычислительными ресурсами. README не содержит подробных сведений о данных обучения, результатах оценки, точной архитектуре, поддерживаемых языках, разработчике или лицензии. Перед использованием в критически важных приложениях необходимы собственное тестирование качества и проверка условий распространения.

510авг. 2026ctx41K
texthugging-face
Donfagez
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF

Donfagez/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это набор GGUF-квантизаций многоэтапной дообученной и объединённой модели, созданной на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано, что разработка выполнялась с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также датасетов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется под лицензией Apache-2.0. Модель предназначена для широкого спектра задач: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и reasoning, а также поддержка нескольких режимов работы с уменьшенным объёмом рассуждений и ускоренной генерацией, включая MTP-варианты. Репозиторий содержит обычные GGUF-квантизации и MTP GGUF-квантизации, в том числе варианты с разрядностью 4 и 8 бит. Заявленные языки — английский и китайский; при этом в метаданных указан pipeline_tag image-text-to-text, но подробности о поддержке изображений в README не приведены. Ключевая характеристика модели — размер базовой модели 27B и ориентация на высокую детализацию, программирование и снижение избыточного рассуждения. Автор заявляет превосходство над базовой Qwen3.8 27B и рядом других моделей на семи внутренних бенчмарках, а также высокие результаты ARC-C и ARC-E, однако эти утверждения не подтверждены независимыми данными в представленном README. Ограничения включают отсутствие сведений о размере контекстного окна, точной архитектуре, системных требованиях, фактической мультимодальности и результатах внешнего тестирования; характеристики зависят от выбранной квантизации.

4890сент. 2026
textimageapache-2.0hugging-face
OpenASR
qwen3-asr-0.6b

OpenASR/qwen3-asr-0.6b — компактная модель автоматического распознавания речи, разработанная командой Qwen при Alibaba и упакованная проектом OpenASR в нативный формат .oasr. Модель основана на Qwen3-ASR-0.6B и предназначена для преобразования аудио в текст с поддержкой офлайн- и потоковой транскрипции, включая обработку длинных аудиозаписей и встроенное определение языка речи. Модель поддерживает 30 языков и 22 китайских диалекта, всего 52 языка и диалекта. Она рассчитана на эффективное использование на CPU и GPU, работает в OpenASR без Python во время инференса и доступна в вариантах fp16, q8_0 и q4_k. Размер сборок составляет примерно от 631 МБ до 1,88 ГБ; q8_0 рекомендуется как компромисс между качеством и занимаемой памятью, q4_k — для устройств с ограниченными ресурсами, а fp16 — для максимальной точности. Для распознавания сложного аудио заявлена устойчивость к чистой речи, вокалу и песням с фоновой музыкой. Ограничения включают отсутствие заявленной поддержки распознавания лиц или других модальностей, а также отсутствие встроенных таймкодов уровня слов; для них рекомендуется использовать отдельную модель Qwen3-ForcedAligner-0.6B. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели; OpenASR выполняет конвертацию формата и квантизацию.

26K1май 2026
textaudioapache-2.0hugging-face
nextgenaimx
Rebekah-AI-1.8B

Rebekah AI 1.8B — плотная авторегрессионная языковая модель семейства LLaMA, разработанная Next GenAi Mexico для локального запуска и работы на периферийных системах. Модель ориентирована на агентные сценарии, вызов инструментов, диагностику Linux-инфраструктуры и системное администрирование без обращения к облачным API. В карточке заявлены результаты тестов на генерацию кода, математические рассуждения и общие знания; эти показатели приведены авторами модели. Модель содержит около 1,9 млрд параметров, использует архитектуру decoder-only causal transformer и поддерживает контекст до 8192 токенов. README описывает обучение на англоязычных и испаноязычных технических данных, включая материалы по системам, программированию и математике. Модель принимает текст и генерирует текст, в том числе код и ответы для агентных рабочих процессов. Модель распространяется с открытыми весами по лицензии Apache 2.0, допускающей коммерческое использование, изменение и распространение. Карточка заявляет ориентацию на одиночный GPU и локальные развёртывания; качество ответов и выполнения инструментов может зависеть от конкретной задачи и настройки интеграции.

6741сент. 2026ctx8.2K
textapache-2.0hugging-face
s-nlp
ruRoberta-large-paraphrase-v1

ruRoberta-large-paraphrase-v1 — русскоязычная модель Sberbank AI на архитектуре RoBERTa Large, дообученная как cross-encoder для оценки семантической эквивалентности двух предложений. Она принимает пару текстов и классифицирует её как парафраз с тем же смыслом или как непарафраз; оценку также можно использовать для проверки сохранения содержания при перефразировании и переносе стиля. Модель обучалась на объединении RuPAWS, ru_paraphraser и размеченных примеров сохранения содержания из коллекции RUSSE-2022 для детоксикации текста. Модель содержит 454,1 млн параметров, работает с текстом на русском языке и имеет контекст до 514 токенов. В README приведены ROC AUC от 0,857 до 0,906 на тестовых наборах detox, paraphraser, RuPAWS QQP и RuPAWS Wiki. Это классификатор пар предложений, поэтому для сравнения текстов их нужно подавать совместно; модель не генерирует перефразированный текст. Лицензия в предоставленных данных не приведена.

652июль 2022ctx514
texthugging-face
oshizo
sbert-jsnli-luke-japanese-base-lite

sbert-jsnli-luke-japanese-base-lite — модель Sentence-Transformers на архитектуре LUKE, дообученная на один проход по датасету shunk031/jsnli на базе studio-ousia/luke-japanese-base-lite. Она преобразует предложения и абзацы на японском языке в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и оценки сходства. Контекст модели составляет до 514 токенов, число параметров — 138,4 млн; доступен формат PyTorch. Модель предназначена для семантического поиска и сравнения японских текстов. Лицензия — Apache-2.0. Карточка также указывает результаты оценки на JSTS и JSICK, но не приводит их числовые значения.

1.4K36янв. 2023ctx514
textembeddingapache-2.0hugging-face
Veritone
siglip2-so400m-patch16-256

Карточка модели Veritone/siglip2-so400m-patch16-256 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch16-256, поэтому описание составлено по ней. SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это плотный визуальный энкодер, обученный на датасете WebLI; вариант So400m использует патчи размером 16 пикселей и входное разрешение 256 пикселей. Модель сопоставляет изображения и текст, поддерживает классификацию изображений по произвольным текстовым меткам без дообучения и поиск изображений по тексту или текста по изображению. Модель подходит для извлечения визуальных признаков и встраивания в мультимодальные языковые модели, а также для задач локализации и получения плотных визуальных представлений. В README не приведены сведения о числе параметров, контекстном окне или языковом охвате. Репозиторий распространяется по лицензии Apache-2.0.

50июнь 2026ctx64
textimageapache-2.0hugging-face
mrp
simcse-model-roberta-base-thai

mrp/simcse-model-roberta-base-thai — модель эмбеддингов предложений на основе XLM-R, обученная с использованием SimCSE на тайской Википедии. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Архитектура XLM-RoBERTa содержит около 305,2 млн параметров; модель принимает текст и выдаёт векторные представления. Длина контекста — до 514 токенов. Репозиторий содержит веса PyTorch.

1072март 2022ctx514
textembeddinghugging-face
haritzpuerto
spanbert-large-cased_NaturalQuestionsShort

haritzpuerto/spanbert-large-cased_NaturalQuestionsShort — модель на базе SpanBERT Large cased, дообученная пользователем haritzpuerto для извлечения ответов на вопросы. Она предназначена для extractive question answering: поиска фрагмента ответа непосредственно в предоставленном контексте, в частности в сценариях, связанных с датасетом Natural Questions Short. Модель используется через Transformers и имеет pipeline question-answering. Модель относится к BERT-архитектуре, содержит около 432,3 млн параметров и поддерживает контекст длиной до 512 токенов. Её сильная сторона — span-based извлечение коротких ответов из текста; она не является генеративной моделью и не предназначена для свободного составления развернутых ответов. При превышении контекстом лимита или отсутствии ответа в тексте качество может снижаться.

2520дек. 2022ctx512
texthugging-face
shannonnonshan
streamland-embeddings-v1

shannonnonshan/streamland-embeddings-v1 — дообученный энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2, созданный для представления предложений и абзацев в виде плотных семантических векторов. Модель использует архитектуру BERT и библиотеку Sentence Transformers; число параметров — 25,9 млн. Она предназначена для семантического сравнения и поиска, поиска перефразирований, классификации и кластеризации текстов. Модель формирует векторы размерности 384 и сравнивает их с помощью косинусного сходства. В README указана максимальная длина последовательности 256 токенов, а метаданные приводят контекст до 512 токенов. Дообучение описано на наборе из 8 примеров, поэтому качество может быть нестабильным и особенно зависит от соответствия данных целевому применению. Лицензия в предоставленных данных не указана.

890апр. 2026ctx512
textembeddinghugging-face
AGmind
strizh-ru-retriever

AGmind/strizh-ru-retriever — компактный плотный энкодер предложений от AGmind для семантического поиска по русским текстам и извлечения кандидатов на первом этапе RAG. Модель построена на базе deepvk/RuModernBERT-small: из 12 слоёв выбраны четыре, после чего энкодер дообучен контрастивно. Она содержит 24,4 млн параметров и формирует один вектор размерности 384 для каждого текста. Запросы и документы кодируются одинаково, без специальных префиксов; заявленный предел архитектуры — 8192 токена, хотя при обучении использовались последовательности длиной 256 токенов. Модель рассчитана на быстрый RU-first поиск в самостоятельно размещённом RAG, в том числе когда GPU одновременно обслуживает генератор и реранкер. Она выполняет плотный одновекторный поиск, но не обеспечивает лексический поиск или переранжирование: их следует поручить другим компонентам поискового конвейера. По карточке, качество поиска ниже, чем у более крупных русскоязычных и многоязычных ретриверов; английский и межъязыковой поиск слабее русского. Базовая модель имеет поддержку русского и английского, а обучающие пары включали русский, английский и смешанные тексты. Лицензия модели — Apache-2.0; среди обучающих данных указан ru_stackoverflow под CC BY-SA, поэтому условия использования наборов данных следует проверять отдельно.

1350июль 2026ctx8.2K
textembeddingapache-2.0hugging-face
nvidia
stt_en_conformer_transducer_xlarge

NVIDIA Conformer-Transducer X-Large — англоязычная модель автоматического распознавания речи из семейства Conformer, разработанная NVIDIA и доступная через инструментарий NeMo. Она преобразует монофоническую аудиозапись WAV с частотой 16 кГц в текстовую строку; результат записывается строчными буквами английского алфавита с пробелами и апострофами. Модель использует архитектуру Conformer-Transducer с авторегрессионным декодированием и содержит около 600 млн параметров. Её можно применять для транскрибации аудиофайлов или дообучать на другом наборе данных с помощью NeMo. Модель обучалась на составном наборе из нескольких тысяч часов английской речи, включающем Librispeech, Fisher, Switchboard, Common Voice и другие корпуса. Модель подходит для транскрибации английской речи, но качество может снижаться на технической лексике, незнакомом просторечии и речи с акцентом. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия.

1.0K59июнь 2022
textaudiocc-by-4.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей