/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 161–8 190 из 23 488
AnkitAI
Parable-Qwen3-4B-Claude-Fable-5

Parable-Qwen3-4B-Claude-Fable-5 — локальная языковая модель для программирования и агентных задач, разработанная AnkitAI на основе Qwen/Qwen3-4B. Это плотная архитектура Qwen3ForCausalLM примерно на 3,7 млрд параметров с контекстом до 40 960 токенов; модель принимает и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В README описано дообучение QLoRA на многошаговых сессиях агентов и терминальных трассах с добавлением примеров общих инструкций; веса объединены с базовой моделью. Репозиторий содержит веса safetensors, а также README упоминает сборку GGUF для локального запуска. Модель предназначена для локальной генерации кода, планирования действий агента и работы с терминальными сценариями. Автор сообщает об улучшении подстройки к агентным трассам и более стабильной выдаче ответов по сравнению с базовой моделью; при этом в приведённом HumanEval-164 результат ниже, чем у Qwen3-4B. Для задач максимальной точности вызова функций автор рекомендует базовую модель. Лицензия модели — Apache-2.0; README также указывает, что условия лицензий исходных обучающих данных и поставщиков сторонних трасс могут влиять на коммерческое использование производных систем.

3556июль 2026ctx41K
textapache-2.0hugging-face
theprint
phi-3-mini-4k-python

phi-3-mini-4k-python — языковая модель для генерации текста и программного кода, разработанная пользователем theprint. Она дообучена на базе unsloth/Phi-3-mini-4k-instruct-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. В обучении использовались наборы данных с инструкциями и примерами кода на Python, включая iamtarun/python_code_instructions_18k_alpaca и ajibawa-2023/Python-Code-23k-ShareGPT. Модель предназначена прежде всего для генерации, дополнения и объяснения кода на Python, а также для диалоговых сценариев, связанных с программированием. Указанный в названии и базовой модели контекст составляет 4K токенов; поддерживаемый язык в карточке указан как английский. Модель относится к текстовой модальности и доступна в 4-битном формате bnb. К сильным сторонам относятся специализация на Python и обучение на датасетах с программными инструкциями. Согласно приведённой оценке Open LLM Leaderboard, средний результат составил 17,39; показатели на отдельных тестах: 24,09 на IFEval, 28,45 на BBH и 28,63 на MMLU-PRO. Эти результаты указывают на ограниченные возможности в сложных задачах общего рассуждения, математики и академических вопросах, поэтому ответы и код требуют проверки. Модель распространяется по лицензии Apache-2.0.

1.7K1июнь 2024ctx4.1K
textapache-2.0hugging-face
iambestfeed
phobert-base-v2-finetuned-raw_data_wseg-lr2e-05-1-epochs-bs-64

Модель iambestfeed/phobert-base-v2-finetuned-raw_data_wseg-lr2e-05-1-epochs-bs-64 — Sentence Transformer, дообученный разработчиком iambestfeed на базе vinai/phobert-base-v2 с использованием набора vnexpress-data-similarity. Это плотный RoBERTa-энкодер с 162,4 млн параметров: он преобразует предложения и абзацы в векторы размерностью 768 и предназначен для сравнения текстов по косинусному сходству. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. Обучение на парах anchor–positive из новостного набора VnExpress ориентирует её на вьетнамские тексты. Максимальная длина последовательности — 258 токенов по метаданным; в README указано ограничение 256 токенов. Для применения нужны входные тексты, а модель выдаёт векторы, используемые для поиска и сравнения. Указанная лицензия отсутствует в предоставленных источниках, поэтому условия использования по ним определить нельзя.

1120март 2025ctx258
textembeddinghugging-face
Pluto-AI-Labs
Pluto-Genesis-0.6B

Pluto-Genesis-0.6B — компактная языковая модель для следования инструкциям, разработанная в рамках исследовательского проекта Pluto AI Сиддхартом Н. Р. и дообученная на базе Qwen3-0.6B методом QLoRA. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 507,9 млн параметров; метаданные указывают контекст до 40 960 токенов и формат safetensors. Модель предназначена для диалогов и генерации ответов на инструкции, включая рассуждения, решение математических задач и генерацию или отладку кода. При обучении использовано 80 тысяч примеров из OpenHermes-2.5, Orca-Math-200K и CodeFeedback-Filtered. Карточка описывает проект как исследование эффективного дообучения небольших моделей; результаты бенчмарков на момент её публикации ещё оценивались. Модель распространяется по лицензии Apache-2.0. Указанная в карточке рекомендация загружать 4-битные веса относится к настройке инференса, а не к основному формату репозитория. Размер модели ограничивает её возможности в сложных задачах; опубликованных результатов бенчмарков в карточке пока нет.

621июль 2026ctx41K
textapache-2.0hugging-face
ibm-research
PowerMoE-3b

PowerMoE-3B — разреженная языковая модель с архитектурой Mixture-of-Experts (sMoE), разработанная IBM Research. Несмотря на обозначение 3B, при обработке каждого токена она активирует около 800 млн параметров. Модель обучена с планировщиком скорости обучения Power на смеси открытых и проприетарных наборов данных; в метаданных указаны архитектура Granite MoE, 352,3 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста, включая ответы на вопросы с выбором варианта, генерацию кода и математические рассуждения. README сообщает об обнадёживающих результатах на бенчмарках по сравнению с плотными моделями, активирующими вдвое больше параметров, но не приводит конкретных метрик. Для запуска требуется версия Transformers из исходного кода. Модель распространяется по лицензии Apache-2.0.

128K23авг. 2024ctx4.1K
textapache-2.0hugging-face
r3lax
Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — текстовая диалоговая модель с открытыми весами, созданная r3lax на основе Qwen/Qwen3.6-35B-A3B. Это дообученная MoE-модель семейства Qwen3.5: в ней 35 млрд параметров, из которых около 3 млрд активируются на каждом токене. Для обучения использовали дистилляцию примерно 8 тысяч цепочек рассуждений Claude Opus 4.7; стиль рассуждения настраивали с помощью LoRA только для слоёв внимания. Модель предназначена для многошаговых рассуждений, решения задач по математике и STEM, анализа кода, логических головоломок и агентного планирования. Контекст — до 64 тысяч токенов; при сложных запросах модель может генерировать от 5 до 30 тысяч токенов рассуждений перед ответом. Поддерживает английский язык. В метаданных указаны чат и интерфейс вызова инструментов; README рекомендует vLLM для сервинга. Дистилляция перенимает стиль рассуждений, но не добавляет фактических знаний сверх базовой Qwen3.6-35B-A3B. Экспертные FFN-слои не дообучались, генерация может быть очень длинной, а README отмечает проблемы с форматом ответов для автоматической оценки AIME. Лицензия — Apache-2.0; для сценариев, использующих данные, созданные Claude Opus 4.7, README рекомендует проверить применимые условия Anthropic.

741апр. 2026ctx262.1K
textapache-2.0hugging-face
Qwen
Qwen3-ForcedAligner-0.6B

Qwen3-ForcedAligner-0.6B — модель выравнивания речи и текста из семейства Qwen3-ASR, разработанного командой Qwen. Она принимает аудио и соответствующий текст и предсказывает временные метки для слов или отдельных символов, что подходит для подготовки субтитров, синхронизации транскриптов и анализа речи. По README, модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки; длина аудио — до пяти минут. В метаданных указаны архитектура Qwen3ASRForConditionalGeneration, 0,6 млрд параметров в названии модели, формат safetensors и задача automatic-speech-recognition. Лицензия — Apache 2.0. README не уточняет ограничения точности, кроме предельной длины аудио.

408K170янв. 2026ctx131.1K
textaudioapache-2.0hugging-face
Jinstudio
Qwen3-ForcedAligner-0.6B-hf

Карточка модели Jinstudio/Qwen3-ForcedAligner-0.6B-hf на Hugging Face совпадает с карточкой Qwen/Qwen3-ForcedAligner-0.6B-hf, поэтому описание составлено по ней. Qwen3-ForcedAligner-0.6B-hf — модель принудительного выравнивания речи от команды Qwen. Она принимает аудио и готовую расшифровку, а затем предсказывает временные метки для её единиц; распознавать речь для получения текста может отдельная ASR-модель. Модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки и выравнивает аудио длительностью до пяти минут. Модель относится к семейству Qwen3-ASR и использует архитектуру Qwen3ASRForTokenClassification. Нерегрессионный режим выполнения делает её подходящей для пакетной обработки аудио; в README также описано ускорение с помощью torch.compile. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия — Apache-2.0. Для работы требуется аудио и текстовая транскрипция, полученная заранее, например, с помощью Qwen3-ASR или другой системы распознавания речи. Модель предназначена для разметки времени произнесённых слов или других единиц, а не для самостоятельного распознавания речи; в README также не заявлена поддержка иных типов аудио, кроме речи.

320июль 2026ctx131.1K
textapache-2.0hugging-face
teleprint-me
refact-1.6b-fim

Refact 1.6B FIM GGUF — модель для программирования, разработанная Small Magellanic Cloud AI Ltd. Она предназначена для дополнения и рефакторинга кода, а также общения с разработчиком в формате чата. Модель может генерировать код и понимать запросы на естественном языке, связанные с программированием. Архитектура описана как LLAMA-подобная с multi-query attention; размер исходной модели — 1,6 млрд параметров. В репозитории опубликован файл GGUF в формате BF16. В карточке приведены результаты HumanEval: 32% pass@1 и 53% pass@10. Основной язык — английский; для других языков качество может быть ниже. Лицензия — BigScience OpenRAIL-M.

675сент. 2023
textbigscience-openrai…hugging-face
refactai
Refact-1_6B-fim

Refact-1.6B-fim — плотная авторегрессионная языковая модель Refact AI для генерации и дополнения кода. Она предназначена прежде всего для заполнения пропусков в коде по контексту до и после места вставки (Fill-in-the-Middle), например в IDE; также поддерживает диалоговый формат для вопросов о программировании. Модель содержит 1,6 млрд параметров, построена на архитектуре GPTRefact с multi-query attention, ALiBi и LayerNorm и принимает контекст длиной до 4096 токенов. Модель дообучена на синтетических примерах и отфильтрованных наборах инструкций для кода; в карточке отмечены датасеты The Stack Dedup и CommitPackFT. По заявлению авторов, настройка улучшила генерацию коротких, однострочных и многострочных дополнений, в том числе пустых. Основной язык обучающих текстовых данных — английский, хотя в комментариях к коду встречаются другие языки; качество на неанглийском языке ниже. Лицензия — BigScience OpenRAIL-M.

220141авг. 2023ctx4.1K
textbigscience-openrai…hugging-face
google
rembert

RemBERT — мультиязычная языковая модель семейства BERT, представленная авторами статьи «Rethinking embedding coupling in pre-trained language models». Это чекпойнт для последующего дообучения под классификацию и другие задачи анализа текста. Модель содержит около 967,8 млн параметров, использует плотную архитектуру и рассчитана на контекст до 512 токенов; доступны веса PyTorch и TensorFlow. RemBERT предварительно обучена на многоязычных данных Википедии для 110 языков с задачей masked language modeling. В отличие от mBERT, входные и выходные эмбеддинги не связаны: входные эмбеддинги меньше, а выходные веса исключены из этого облегчённого чекпойнта, предназначенного для дообучения. В карточке указаны успешные применения для классификации, ответов на вопросы, распознавания именованных сущностей и разметки частей речи. Модель предназначена для общего анализа текста, а не для генерации. Для практических задач её нужно дообучить; контекст ограничен 512 токенами. Лицензия — Apache-2.0.

23K27март 2022ctx512
textapache-2.0hugging-face
FacebookAI
roberta-large

RoBERTa large — предварительно обученная языковая модель на английском языке, разработанная командой Facebook AI. Это трансформерная модель архитектуры RoBERTa с 454,1 млн параметров, обученная предсказывать замаскированные токены в контексте текста. Она чувствительна к регистру и рассчитана на последовательности длиной до 514 токенов по метаданным. Модель можно использовать для заполнения пропусков в тексте, а также дообучать для классификации последовательностей и токенов, ответов на вопросы и извлечения признаков для других задач обработки английского текста. Она принимает текст и возвращает предсказания токенов. Веса доступны в форматах PyTorch, TensorFlow, Flax, ONNX и Safetensors. Обучение проводилось на корпусах BookCorpus, Wikipedia, CC-News, OpenWebText и Stories. Модель распространяется по лицензии MIT. Данные обучения содержат неотфильтрованный интернет-контент, поэтому предсказания могут отражать его смещения; для прикладных задач модель обычно требуется дообучить.

6.5M335март 2022ctx514
textmithugging-face
Sakalti
Saba2-Preview

Карточка модели Sakalti/Saba2-Preview на Hugging Face совпадает с карточкой Sakalti/saba1.5-coder, поэтому описание составлено по ней. Saba1.5-Coder — языковая модель Sakalti на архитектуре Qwen2, дообученная на основе Sakalti/Saba1.5-Pro. Модель содержит 1,5 млрд параметров и поддерживает контекст длиной до 256 000 токенов. Модель предназначена для генерации текста и диалогов; название и обучающий набор HachiML/alpaca_jp_python указывают на применение в задачах программирования на Python. В метаданных также отмечен интерфейс для вызова инструментов. Модель обучалась с использованием Unsloth и TRL и распространяется в формате Safetensors. Модель лицензирована по Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о языках программирования и точном наборе навыков, поэтому пригодность для конкретных задач разработки следует проверять на собственных примерах.

170дек. 2024ctx131.1K
textapache-2.0hugging-face
Nanthasit
sakthai-coder-1.5b

Nanthasit/sakthai-coder-1.5b — модель от разработчика Nanthasit, дообученная на базе Qwen2.5-Coder-1.5B-Instruct. Она предназначена для генерации и завершения кода, исправления ошибок, небольших рефакторингов, а также формирования JSON для вызова инструментов и функций. Модель имеет около 1,5 млрд параметров и поставляется в формате GGUF с квантизацией Q4_K_M. Она ориентирована на локальный офлайн-запуск на CPU через llama.cpp или llama-cpp-python; заявленный объём памяти составляет менее 1,2 ГБ, а пример конфигурации использует контекст 4096 токенов. В карточке указан английский язык. Рекомендуемые параметры генерации включают temperature 0,2, top_p 0,9 и до 1024 новых токенов. Сильными сторонами являются компактность, возможность работы без GPU и поддержка структурированных tool-calling-ответов: для SakThai Bench v2 заявлены 100% валидных JSON-ответов и 91,2% точности выбора инструмента при корректном формате prompt. Модель также демонстрирует пригодность для типичных задач программирования, однако результаты могут зависеть от формата запроса, а ошибки в анализе логики кода всё ещё возможны, поэтому критические изменения требуют проверки. Модель распространяется по лицензии Apache 2.0.

3050июль 2026
textapache-2.0hugging-face
peulsilva
sentence-transformer-trained-tweet

peulsilva/sentence-transformer-trained-tweet — дообученная модель Sentence Transformer на базе whaleloops/phrase-bert, разработанная пользователем peulsilva. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру BERT с усреднением токенных представлений; метаданные указывают 136,7 млн параметров. Контекст по карточке ограничен 128 токенами, хотя метаданные указывают 512 токенов, поэтому практический предел следует уточнять в используемой конфигурации. Модель обучалась на парах текстов с оценками сходства; среди примеров есть короткие сообщения из Twitter о футболе. Для сравнения обычно используют косинусное сходство. По приведённой оценке Spearman cosine составил 0,1537 на валидационном наборе, поэтому качество на конкретных данных стоит проверять отдельно. Репозиторий использует safetensors и библиотеку Sentence Transformers; лицензия в предоставленных данных не указана.

1040нояб. 2024ctx512
textembeddinghugging-face
zeromodels
siglip2_base_p16_384

zeromodels выпускает преобразованную в Keras 3 версию Google SigLIP 2 Base Patch16 384 для классификации изображений по текстовым описаниям без дополнительного обучения. Модель сопоставляет изображения и текстовые метки или запросы; при выводе ей передают изображения и текстовые подсказки. Реализация работает с TensorFlow, PyTorch и JAX. SigLIP 2 — мультиязычный vision-language энкодер с архитектурой ViT и размером Base; вариант использует патчи 16 × 16 и разрешение изображения 384 пикселя. В основе обучения — sigmoid loss, предобучение на подписях, самодистилляция и masked prediction. Gemma-токенизатор с мультиязычным словарём поддерживает множество языков. Лицензия — Apache 2.0.

1.1K0июль 2026
textimageapache-2.0hugging-face
Huangsssz
SmolLM3-3B-MOPD-Top64-DR-NoThinking-500

SmolLM3-3B-MOPD-Top64-DR-NoThinking-500 — это исследовательский чекпойнт языковой модели SmolLM3, подготовленный Huangsssz на основе BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель содержит 3,1 млрд параметров, использует плотную архитектуру SmolLM3ForCausalLM и принимает текстовые запросы для генерации текста; заявленная длина контекста — 65 536 токенов. Чекпойнт получен после 500 шагов дообучения методом дистилляции с пересечением наборов наиболее вероятных 64 токенов студента и учителей. Учителя специализировались на математике, коде и следовании инструкциям; генерация и оценивание выполнялись с отключённым режимом рассуждений. Для запуска автор рекомендует явно передавать enable_thinking=False. В README приведены результаты отдельных фиксированных оцениваний по математике, программированию и следованию инструкциям; они не доказывают устойчивого улучшения. Модель ориентирована на исследовательские эксперименты и генерацию ответов общего назначения, особенно в математике, программировании и выполнении инструкций. Это полный экспорт весов BF16 для Hugging Face Transformers с токенизатором и исходным шаблоном чата. Репозиторий указывает лицензию Apache-2.0. Чекпойнт является ранней исследовательской версией после ограниченного числа шагов; опубликованные оценки имеют фиксированный протокол и ограниченную статистическую надёжность.

1260сент. 2026ctx65.5K
textapache-2.0hugging-face
pyannote-community
speaker-diarization-community-1

Community-1 — конвейер для диаризации речи от pyannote. Он принимает аудио и определяет, кто и когда говорит; результат включает временные интервалы с метками говорящих. Для входа используется монофоническое аудио с частотой 16 кГц: многоканальные записи автоматически сводятся к моно, а записи с другой частотой дискретизации пересчитываются до 16 кГц. По карточке модели, Community-1 улучшает назначение и подсчёт говорящих по сравнению с предыдущей версией pyannote speaker-diarization-3.1 и предоставляет эксклюзивную диаризацию, упрощающую сопоставление временных меток говорящих с временными метками транскрипции. Конвейер можно запускать локально, в том числе без подключения к интернету, или использовать через облачный сервис pyannoteAI. Для работы локально требуется pyannote.audio и токен Hugging Face с принятыми условиями доступа. Модель предназначена для анализа речи в записях с несколькими участниками, включая случаи перекрывающейся речи. В README приведены результаты на академических бенчмарках, но качество зависит от условий записи и домена. Метаданные указывают лицензию CC BY 4.0; при использовании следует соблюдать её условия.

18K10окт. 2025
textaudiocc-by-4.0hugging-face
DanieClar
stillscript-speaker-diarization-community-1

Это неизменённая копия конвейера pyannote/speaker-diarization-community-1, размещённая StillScript. Модель предназначена для диаризации аудиозаписей: определения участков речи и разметки того, кто говорил в каждый момент, включая случаи смены говорящего и перекрывающейся речи. Веса конвейера и компонентов segmentation, embedding и plda побайтно совпадают с upstream-репозиторием. Модель работает с аудио и выдаёт временную разметку говорящих. Копия опубликована в формате PyTorch; её лицензия — CC BY 4.0. README не сообщает размер модели, длину контекста или языковую специализацию.

160июль 2026
audiocc-by-4.0hugging-face
Ramikan-BR
tinyllama-coder-py-v23

Ramikan-BR/tinyllama-coder-py-v23 — дообученная разговорная модель семейства Llama для генерации текста, включая помощь с кодом Python. Она основана на unsloth/tinyllama-chat-bnb-4bit и имеет около 1 млрд параметров; архитектура — плотная авторегрессионная LlamaForCausalLM. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 4096 токенов. Карточка указывает, что модель обучалась с помощью Unsloth и библиотеки TRL. Её можно использовать для генерации и продолжения кода Python, а также для диалоговых запросов по программированию. Лицензия — Apache-2.0. Подробные результаты оценки качества и конкретные ограничения в карточке не приведены.

510июнь 2024ctx4.1K
textapache-2.0hugging-face
llm-semantic-router
Vela-1.0-Encoder-307M-PII

Vela PII — модель для обнаружения фрагментов текста, содержащих персональные и другие чувствительные данные, разработанная командой llm-semantic-router. Она предназначена для приватной маршрутизации запросов и редактирования чувствительных данных. Модель основана на ModernBERT и содержит 306,9 млн параметров; принимает до 32 768 токенов, включая специальные токены, и возвращает разметку BIO по 35 меткам для 17 типов сущностей с позициями фрагментов в символах Unicode. В карточке приведены результаты на синтетических наборах для шести языков: точность exact-span micro F1 составила 90,76 на коротких входах, 89,03 на контролируемом контексте 4K и 89,88 на 8K. Эти наборы использовались при выборе модели и не являются независимым тестом на естественных документах, поэтому результаты не гарантируют такого же качества в реальных данных. Модель дообучена от llm-semantic-router/Vela-1.0-Encoder-307M, доступна в форматах Safetensors и ONNX и распространяется по лицензии Apache-2.0.

4.0K0сент. 2026ctx32.8K
textapache-2.0hugging-face
Gnartiel
vietnamese-sbert-v2

Карточка модели Gnartiel/vietnamese-sbert-v2 на Hugging Face совпадает с карточкой keepitreal/vietnamese-sbert, поэтому описание составлено по ней. keepitreal/vietnamese-sbert — модель Sentence-Transformers на архитектуре RoBERTa, содержащая 162,4 млн параметров. Она преобразует предложения и абзацы на вьетнамском языке в плотные векторы размерностью 768 для сравнения семантической близости, поиска и кластеризации. Модель принимает текст и выдаёт эмбеддинги; её контекст ограничен 258 токенами. Модель подходит для семантического поиска по вьетнамским текстам, группировки похожих предложений и оценки их смыслового сходства. В README указано обучение с CosineSimilarityLoss. Доступные файлы представлены в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

1011нояб. 2023ctx258
textembeddinghugging-face
phandat128
visbert-2epochs

phandat128/visbert-2epochs — дообученная модель Sentence Transformers на базе keepitreal/vietnamese-sbert, созданная на датасете train_bkai_2024. Она кодирует предложения и абзацы на вьетнамском языке в плотные векторы размерностью 768 для оценки семантического сходства с помощью косинусного сходства, семантического поиска, поиска парафраз и кластеризации. Модель построена на RoBERTa с усреднением токенных представлений; максимальная длина последовательности составляет 256 токенов, контекст — до 258 токенов по метаданным. Размер — 162,4 млн параметров. Также может использоваться как основа для классификации текста через векторные представления. Выпущена в формате safetensors и предназначена для работы с библиотекой Sentence Transformers. Лицензия в доступных данных не указана.

1020дек. 2024ctx258
textembeddinghugging-face
timm
vit_large_patch16_siglip_384.webli

Это визуальный энкодер vit_large_patch16_siglip_384.webli из семейства SigLIP, опубликованный в библиотеке timm. Модель преобразует изображения в признаки для последующего поиска, сравнения и других задач компьютерного зрения; это только image encoder, без текстового энкодера. Модель использует архитектуру Vision Transformer с крупными патчами 16×16 и входным разрешением 384 пикселя, а также исходный механизм attention pooling. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache 2.0.

4080дек. 2024
imageembeddingapache-2.0hugging-face
KBLab
wav2vec2-large-voxrex-swedish

KBLab разработала wav2vec2-large-voxrex-swedish — модель распознавания шведской речи на базе архитектуры Wav2Vec 2.0 Large с выходом CTC. Её дообучили на шведских радиопередачах, данных NST Swedish ASR Database и Common Voice; позднее добавили ещё 20 тысяч шагов обучения на Common Voice. Модель содержит около 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для преобразования шведской речи в текст, в том числе записей радио и голосовых данных общего характера. В README указана частота ошибок слов (WER) 2,5% на тестовой выборке NST и Common Voice; на тестовой выборке Common Voice — 8,49% без языковой модели и 7,37% с 4-граммной языковой моделью. Дополнительное обучение на Common Voice повысило результат на этой выборке, но несколько ухудшило результат на тесте NST и Common Voice. Модель распространяется по лицензии CC0 1.0.

1.4M20март 2022
textaudiocc0-1.0hugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-spanish

jonatasgrosman/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, разработанная Jonatas Grosman. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и предназначена для преобразования аудиозаписей на испанском языке в текст. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для входной речи требуется частота дискретизации 16 кГц. Модель поддерживает распознавание речи без языковой модели и подходит для транскрибирования записей и оценки качества ASR на испаноязычных речевых наборах данных, включая Common Voice. В карточке приведена лицензия Apache-2.0. Результаты могут зависеть от акустических условий и отличий речи от обучающих данных; языковая модель в базовом сценарии не используется.

193K29март 2022
textaudioapache-2.0hugging-face
aiola
whisper-ner-tag-and-mask-v1

aiola/whisper-ner-tag-and-mask-v1 — модель на архитектуре Whisper для совместной транскрипции речи и распознавания именованных сущностей. Она предназначена для автоматического распознавания речи с разметкой сущностей открытого типа, включая категории, заданные при использовании модели. Модель также может маскировать распознанные сущности прямо в транскрипте. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текст. Карточка указывает английский язык. Модель опубликована под лицензией MIT и подходит как основа для последующего дообучения под конкретные наборы данных и сценарии ASR с распознаванием сущностей.

126окт. 2024ctx1K
textaudiomithugging-face
jondurbin
airoboros-33b-gpt4-1.3

airoboros-33b-gpt4-1.3 — плотная авторегрессионная модель семейства LLaMA на 32,3 млрд параметров, разработанная Jon Durbin и дообученная методом QLoRA на синтетических данных, созданных GPT-4. Она предназначена для генерации текста в формате диалога и выполнения инструкций, включая задачи на рассуждение и программирование. В обучающий набор вошли инструкции в стиле Orca с рассуждением перед ответом, варианты запросов на программирование в формате PLAINFORMAT и экспериментальные многоходовые взаимодействия с действиями и репликами персонажей. Модель использует шаблон диалога на основе Vicuna; в карточке указан контекст длиной 2048 токенов. Доступны веса PyTorch. Автор предупреждает, что в версии есть проблемы и рекомендует использовать её на свой риск либо дождаться версии 1.4. Модель лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование.

2282июнь 2023ctx2K
textcc-by-nc-4.0hugging-face
google
canine-s

CANINE-s — многоязычная предварительно обученная модель Google для представления текста. Она использует архитектуру CANINE и принимает текст на уровне символов: вместо отдельного токенизатора символы представляются кодовыми точками Unicode. Модель содержит 113,2 млн параметров и обучалась на 104 языках с целями masked language modeling и предсказания следующего предложения; для masked language modeling применялся subword loss. В метаданных указан контекст до 16 384 токенов. Модель предназначена прежде всего для извлечения признаков, которые затем используют в задачах классификации последовательностей и токенов, ответов на вопросы и других задачах понимания текста. Она может работать с многоязычными текстами, включая языки с разными письменностями, без предварительной настройки границ токенов. Для генерации текста модель не предназначена. Распространяется по лицензии Apache-2.0.

20K34март 2022ctx16.4K
textembeddingapache-2.0hugging-face
kai-os
Carnice-9b

Carnice-9b — текстовая генеративная модель от kai-os, созданная на базе Qwen/Qwen3.5-9B и настроенная для работы с Hermes Agent. Это самостоятельный объединённый чекпойнт, который загружается без отдельного PEFT-адаптера; модель имеет плотную архитектуру Qwen3_5ForCausalLM и содержит 7,2 млрд параметров. Заявленная длина контекста — 262 144 токена. Модель предназначена для агентных сценариев в среде Hermes: вызова инструментов, выполнения команд в терминале, работы с файлами, использования браузера и многошагового выполнения задач. Обучение включало этап коррекции рассуждений и этап настройки на формат действий и трассы Hermes. Основной упор сделан на качество выполнения задач в этой среде, а не на общие чат-бенчмарки. Модель принимает текст и генерирует текст, включая структурированные вызовы инструментов для совместимого рантайма. Данные карточки не подтверждают поддержку русского или других конкретных естественных языков, поэтому языковая специализация не заявляется. Распространяется по лицензии Apache-2.0. Оценивание в основном проводится внутри Hermes Agent; карточка отмечает, что оценка качества ещё продолжается.

191189апр. 2026ctx262.1K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей