/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
13 531–13 560 из 23 488
salmane11
SQLQueryShield

SQLQueryShield — модель классификации SQL-запросов, разработанная salmane11 на основе microsoft/codebert-base и дообученная на SQLShield. Она относит запрос к потенциально уязвимым или безопасным; при обучении использовались SQL-запросы из пар естественно-языковых запросов и SQL, а на вход подавались строки SQL. Модель предназначена для фильтрации запросов после генерации в системах Text-to-SQL и для проверки пользовательских запросов перед выполнением. Архитектура — RoBERTa для классификации последовательностей, около 151,8 млн параметров; максимальная длина контекста по метаданным — 514 токенов. В карточке указаны английский язык и лицензия Apache-2.0. Результат классификации может помочь выявлять шаблоны SQL-инъекций, небезопасную конкатенацию строк и другие потенциально опасные выражения. Модель анализирует текст запроса и сама по себе не гарантирует безопасность выполнения SQL; обучающая обработка ограничивала последовательности 128 токенами. Лицензия — Apache-2.0.

241июнь 2024ctx514
texthugging-face
sentence-transformers-testing
stsb-bert-tiny-onnx

sentence-transformers-testing/stsb-bert-tiny-onnx — модель семейства Sentence-Transformers, разработанная сообществом Sentence-Transformers и представленная на Hugging Face. Она преобразует предложения и абзацы в плотные векторы размерности 128, предназначенные для сравнения семантической близости, семантического поиска и кластеризации. В README также указана возможность использования через библиотеки Sentence-Transformers и Hugging Face Transformers. В основе модели лежит BERT с максимальной длиной последовательности 512 токенов без приведения текста к нижнему регистру. Вектор предложения формируется mean pooling с учетом attention mask. Модель одномодальная и работает с текстом; поддерживаемые языки в README не указаны. Обучение проводилось с CosineSimilarityLoss, оптимизатором AdamW и десятью эпохами, однако сведения о датасете, качестве и результатах оценки отсутствуют. Сильной стороной модели является компактное 128-мерное представление, удобное для поиска и кластеризации, а также интеграция с распространенными инструментами экосистемы Transformers. Ограничения включают отсутствие данных о языковой специализации, фактической точности и составе обучающей выборки. Лицензия в README не указана.

4.1K0сент. 2024ctx512
textembeddinghugging-face
VoVanPhuc
sup-SimCSE-VietNamese-phobert-base

VoVanPhuc/sup-SimCSE-VietNamese-phobert-base — модель эмбеддингов предложений для вьетнамского языка, разработанная Vo Van Phuc. Она основана на SimCSE и использует архитектуру RoBERTa PhoBERT; вариант sup обучен с учителем для получения векторных представлений предложений и оценки их семантического сходства. Модель подходит для поиска похожих фраз, семантического поиска и сопоставления предложений на вьетнамском языке. Модель содержит около 162,4 млн параметров по метаданным и принимает последовательности длиной до 258 токенов. Для работы доступны веса PyTorch и Safetensors. README описывает её как модель с высокой эффективностью для эмбеддингов предложений, однако сравнительные результаты и детали обучающих данных в карточке не приведены. Лицензия в предоставленных данных не указана.

210K30март 2022ctx258
texthugging-face
Amu
tao-8k

Amu/tao-8k — экспериментальная модель эмбеддингов, опубликованная автором Amu. В карточке она описана как пробная версия, созданная по методу stella-v2 с увеличенной длиной контекста для tao. Модель основана на архитектуре BERT, содержит около 424,3 млн параметров и принимает текстовые последовательности длиной до 8192 токенов. Модель предназначена для получения векторных представлений текста и оценки сходства предложений, в том числе для поиска и сравнения длинных текстовых фрагментов. В метаданных указан китайский язык. Веса доступны в формате PyTorch по лицензии Apache-2.0. Автор отмечает, что для работы с полным контекстом в 8 тысяч токенов может потребоваться преобразование весов в float32; также в README упоминается работа над другой версией модели.

27045нояб. 2023ctx8.2K
textembeddingapache-2.0hugging-face
OrionLLM
Terminus-Qwen3-8b

Terminus-Qwen3-8b — дообученная OrionLLM модель на базе Qwen/Qwen3-8B, разработанная для агентных задач в терминале. Она предназначена для рассуждений в командной строке, программной инженерии и работы с инструментами в средах вроде Codex и OpenCode. Модель с плотной архитектурой Qwen3 содержит 7,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Для обучения использован набор данных OrionLLM/OpenAgentInstruct. В README приведены результаты на Terminal-Bench 2.0 и SWE-Bench Verified, однако условия и воспроизводимость этих оценок не описаны. Модель распространяется по лицензии Apache-2.0.

475март 2026ctx41K
textapache-2.0hugging-face
friedrichor
Unite-Base-Qwen2-VL-2B

UNITE-Base-Qwen2-VL-2B — мультимодальная модель эмбеддингов семейства UNITE, разработанная на базе Qwen/Qwen2-VL-2B-Instruct и дообученная для поиска по тексту, изображениям, видео и их сочетаниям. Она формирует общие векторные представления для мультимодального поиска; карточка рекомендует вариант Base для задач детального поиска, включая поиск по инструкциям. Модель имеет плотную архитектуру Qwen2-VL, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Основной сценарий — извлечение признаков и retrieval между текстом, изображениями и видео; также заявлено сходство предложений. В метаданных указан английский язык. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

830май 2025ctx32.8K
textembeddingapache-2.0hugging-face
timm
vit_so400m_patch16_siglip_384.v2_webli

Это визуальный энкодер timm/vit_so400m_patch16_siglip_384.v2_webli из семейства SigLIP 2 на архитектуре ViT, предназначенный для извлечения признаков изображений. Модель соответствует визуальной части SigLIP 2 и обучена на наборе данных WebLI. Энкодер преобразует изображение в признаки для дальнейшего использования в поиске по изображениям, сопоставлении изображений с текстом и других мультимодальных системах. Репозиторий распространяет веса в форматах PyTorch и safetensors, библиотека для работы — timm. Лицензия Apache-2.0.

3.0K1февр. 2025
imageembeddingapache-2.0hugging-face
mitkaj
w2v2BERT-CZ-CV-17.0

mitkaj/w2v2BERT-CZ-CV-17.0 — модель распознавания чешской речи, созданная дообучением facebook/w2v-bert-2.0 разработчиком mitkaj. Она использует архитектуру Wav2Vec2BertForCTC и CTC-обучение на наборе Czech Common Voice; словарь модели содержит 51 токен. Модель принимает аудио и выдаёт текстовую транскрипцию на чешском языке. Модель предназначена для автоматического распознавания чешской речи, в том числе записей, похожих на данные Common Voice. В карточке указана оценка WER 5,83% на чешском тестовом наборе. Число параметров — около 402,7 млн. Длина контекста не указана в доступных материалах. Лицензия — MIT.

1830авг. 2025
textaudiomithugging-face
lgris
wav2vec2_base_10k_8khz_pt_cv7_2

Это модель автоматического распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров. Её разработчик lgris дообучил модель lgris/seasr_2022_base_10k_8khz_pt на наборе Common Voice 7.0 для распознавания португальской речи; модель принимает аудио и выдаёт текст. В README указана оценка WER 0,1979 на наборе оценки. Модель распространяется под лицензией Apache-2.0.

232март 2022
textaudioapache-2.0hugging-face
aware-ai
wav2vec2-large-xlsr-53-german-with-lm

aware-ai/wav2vec2-large-xlsr-53-german-with-lm — акустическая модель распознавания речи на базе Wav2Vec2 XLSR-53, дополненная языковой моделью KenLM. Она предназначена для преобразования немецкой речи в текст; в карточке приведена оценка на тестовой части Common Voice: WER около 5,75% и CER около 1,90%. Архитектура модели — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст на немецком языке. В README указано, что акустическая часть скопирована с модели jonatasgrosman и для неё обучена соответствующая языковая модель KenLM. Файлы доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

177март 2022
textaudioapache-2.0hugging-face
arampacha
wav2vec2-large-xlsr-czech

arampacha/wav2vec2-large-xlsr-czech — дообученная модель распознавания чешской речи, созданная на основе facebook/wav2vec2-large-xlsr-53 и обученная на данных Common Voice. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; модель основана на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель предназначена для автоматической транскрибации чешской речи, в том числе записей, похожих на тестовые данные Common Voice. В README приведён результат тестирования 24,56, но единица измерения не уточнена. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

1112март 2022
textaudioapache-2.0hugging-face
arampacha
wav2vec2-large-xlsr-ukrainian

arampacha/wav2vec2-large-xlsr-ukrainian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на украинском языке. Она основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; доступны веса PyTorch и Flax. Для обучения использовались Common Voice и часть корпуса M-AILABS Ukrainian Corpus. Модель преобразует украинскую речь в текст и рассчитана на оценку и распознавание аудиозаписей. Входное аудио должно иметь частоту дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. В карточке приведён результат оценки 29,89 на украинской тестовой выборке Common Voice, но метрика не уточнена. Модель распространяется по лицензии Apache-2.0.

1201март 2022
textaudioapache-2.0hugging-face
Akaash1
wav2vec-khmer-english-medium

Akaash1/wav2vec-khmer-english-medium — модель распознавания речи на базе Wav2Vec2, дообученная на facebook/wav2vec2-xls-r-300m на данных OpenSLR и S4E16_Podcast. Она принимает аудио и преобразует речь в текст; в карточке указано значение WER 0,2868 на оценочном наборе. Модель содержит 402,8 млн параметров и использует архитектуру Wav2Vec2ForCTC. Модель подходит для распознавания речи на кхмерском и английском языках, в том числе в подкастах. Распознавание основано на CTC. Распространяется по лицензии Apache-2.0.

420дек. 2025
textaudioapache-2.0hugging-face
handy-computer
whisper-large-v3-gguf

handy-computer/whisper-large-v3-gguf — это конвертация мультиязычной модели распознавания речи OpenAI Whisper large-v3 в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического преобразования речи в текст, определения языка и перевода речи с любого поддерживаемого языка на английский. Поддерживаются десятки языков, включая русский, английский, китайский, японский, корейский, арабский, испанский, французский и кантонский (yue). Модель использует архитектуру encoder-decoder Transformer, обрабатывает аудио через 128-канальный mel-вход и выполняет декодирование длинных записей блоками с окнами по 30 секунд. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 3,11 ГБ. В тесте LibriSpeech test-clean показатель WER составил от 1,81% для F16 до 1,86% для Q4_K_M, что указывает на небольшую потерю качества при квантовании. Поддерживаются сегментные временные метки и потоковая обработка не поддерживается. Сильные стороны модели — широкая языковая поддержка, распознавание, определение языка и перевод речи, а также возможность выбора между качеством и требованиями к памяти благодаря нескольким вариантам квантования. Качество заметно зависит от языка: приведённые значения WER на наборе FLEURS существенно различаются, поэтому для менее распространённых языков необходима отдельная проверка. Модель распространяется по лицензии Apache-2.0.

390K2апр. 2026
textaudioapache-2.0hugging-face
bofenghuang
whisper-small-cv11-german

bofenghuang/whisper-small-cv11-german — версия Whisper small, дообученная для распознавания немецкой речи на немецкой части набора Common Voice 11.0. Модель разработана на основе openai/whisper-small и использует архитектуру Whisper с 153,1 млн параметров; для распознавания аудио требуется частота дискретизации 16 кГц. Модель преобразует немецкую речь в текст, включая регистр букв и пунктуацию. В карточке приведён WER 11,35 на Common Voice 11.0. Она подходит для транскрибации немецких голосовых записей и аудио, записанного в условиях, близких к данным обучения. Распространяется по лицензии Apache-2.0.

1479дек. 2022ctx1K
textaudioapache-2.0hugging-face
yuriyvnv
whisper-small-cv-fully-synthetic-nl

Это дообученная модель OpenAI Whisper-small, подготовленная автором yuriyvnv для автоматического распознавания нидерландской речи. Она принимает аудио и генерирует текстовую транскрипцию; модель реализована на базе WhisperForConditionalGeneration и содержит 153,1 млн параметров. Модель дообучена на 34 952 реальных аудиозаписях Common Voice 17.0 на нидерландском языке и 34 898 синтетических примерах без фильтрации качества. На тестовой части Common Voice указана доля ошибок WER 10,91%, а на валидации — 8,64%. Использование всех синтетических данных увеличивает объём обучения, но низкокачественные примеры могут вносить шум; модель также может хуже работать с региональными вариантами языка и технической речью. Лицензия — Apache-2.0.

190июль 2025ctx1K
textaudioapache-2.0hugging-face
burakaydinofficial
whisper-tiny-cv11

Whisper-Tiny-CV11 — модель распознавания речи, разработанная Burak Aydın и дообученная на базе openai/whisper-tiny на 11 языках корпуса Whispered с лицензией CC0. Это контрольная версия со стандартной архитектурой Whisper без преобразования MHA→MLA; модель принимает аудио и генерирует текстовую транскрипцию. Она предназначена для многоязычной транскрибации и воспроизводимой оценки влияния такого преобразования архитектуры. Модель содержит 29,4 млн параметров, использует архитектуру WhisperForConditionalGeneration и загружается через Transformers без trust_remote_code. В README приведены результаты оценки на CommonVoice-17 для английского, немецкого и испанского; качество зависит от языка и может немного отличаться при повторной оценке. Модель распространяется по лицензии Apache-2.0.

90июль 2026ctx1K
textaudioapache-2.0hugging-face
emhltbkars
xxx

Карточка модели emhltbkars/xxx на Hugging Face совпадает с карточкой ornith-ai/Ornith-1.0-9B, поэтому описание составлено по ней. Ornith-1.0-9B — плотная языковая модель примерно на 9 млрд параметров от команды Ornith, разработанная для агентного программирования. Она дообучена на базе Qwen 3.5 с применением обучения с подкреплением: модель учится планировать траектории поиска и генерировать решения для задач разработки. Версия 9B предназначена для эффективного запуска на одной GPU и хранится в формате safetensors; для обслуживания авторы приводят рецепты на vLLM, SGLang и Transformers. Модель подходит для программирования через терминальные агентные интерфейсы, работы с кодовыми базами, автоматизации задач разработки и вызова инструментов. В README заявлены результаты на Terminal-Bench 2.1, SWE-Bench, NL2Repo и других бенчмарках, однако численные результаты в предоставленном тексте опущены. Примеры конфигурации используют контекст до 262 144 токенов; это значение указано как параметр запуска, а не как подтверждённая нативная длина контекста. Лицензия — MIT. README не сообщает поддерживаемые естественные языки.

2060авг. 2026ctx262.1K
textmithugging-face
qihoo360
360Zhinao-7B-Chat-360K

Карточка модели qihoo360/360Zhinao-7B-Chat-360K на Hugging Face совпадает с карточкой qihoo360/360Zhinao-7B-Base, поэтому описание составлено по ней. 360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

1414апр. 2024ctx360K
textapache-2.0hugging-face
Agnuxo
Agente-Llama-3.1-Spanish_English_GGUF_32bit

Agnuxo/Agente-Llama-3.1-Spanish_English_GGUF_32bit — локальная чат-модель для генерации текста, представленная Francisco Angulo de Lafuente в рамках экосистемы P2PCLAW. Это плотная модель семейства Llama в формате GGUF F32; README заявляет размер 2 млрд параметров и позиционирует её как автономного агента. Метаданные указывают лицензию Apache-2.0. Модель предназначена для диалога, разбиения задач на этапы, координации агентов и генерации кода, включая примеры на Python, JavaScript, TypeScript, Rust, Go и C++, а также научные вычисления и машинное обучение. README также описывает перенаправление запросов на создание научных статей в инструменты экосистемы P2PCLAW. Поддерживаемые языки — испанский и английский; запуск заявлен локально через Ollama или Transformers. Карточка не приводит результатов независимой оценки качества, поэтому заявленные агентные и научные возможности нельзя считать подтверждёнными сравнительными тестами. Размер контекста и подробности обучения не указаны; формат F32 требует больше памяти, чем квантизированные варианты GGUF.

1320сент. 2024
textapache-2.0hugging-face
Omartificial-Intelligence-Space
Arabic-labse-Matryoshka

Arabic-labse-Matryoshka — модель Sentence Transformer от Omartificial-Intelligence-Space, дообученная на базе sentence-transformers/LaBSE на наборе арабских NLI-триплетов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 256 токенов; метаданные сообщают контекст до 512 токенов. Модель использует архитектуру BERT, библиотеку Sentence Transformers и косинусное сходство; матрёшечное обучение позволяет получать эмбеддинги разной размерности. Веса содержат около 498,1 млн параметров. Модель ориентирована на арабский язык и обучалась на датасете из 557 850 троек «якорь — положительный пример — отрицательный пример». README приводит результаты оценки семантического сходства на нескольких размерностях эмбеддингов. Веса распространяются по лицензии Apache-2.0. Поскольку обучение и карточка сосредоточены на арабских текстах, качество для других языков и специализированных предметных областей не подтверждено приведёнными данными.

4985июнь 2024ctx512
textembeddingapache-2.0hugging-face
gimmeursocks
ara-e5-small

gimmeursocks/ara-e5-small — Sentence Transformer, дообученный на наборе Arabic-NLi-Triplet на основе intfloat/multilingual-e5-small. Модель создаёт 384-мерные эмбеддинги арабских предложений и предназначена для семантического сравнения текстов с использованием косинусного сходства. Её можно применять для поиска перефразировок, оценки сходства предложений и кластеризации арабских текстов. Обучение на триплетах «якорь — похожее предложение — непохожее предложение» улучшило результат примерно на 10% относительно базовой модели на тестовом наборе датасета. Архитектура — BERT, размер — 124,3 млн параметров; метаданные указывают максимальный контекст 512 токенов, а README — максимальную длину последовательности 128 токенов. Репозиторий использует формат safetensors; лицензия в предоставленных данных не указана.

651сент. 2024ctx512
textembeddinghugging-face
fireballoon
baichuan-vicuna-7b

baichuan-vicuna-7b — диалоговая модель, созданная командой fireballoon путём полного дообучения базовой Baichuan-7B на данных ShareGPT в формате Vicuna. Модель основана на плотной архитектуре LLaMA и содержит 6,7 млрд параметров; для обучения использовался FastChat. Нативная длина контекста — 4096 токенов. Модель предназначена для диалогов и генерации ответов на китайском и английском языках. В обучающую смесь также включены данные Chain-of-Thought и решения задач LeetCode на Python, чтобы улучшить рассуждения и программирование. Репозиторий содержит веса PyTorch и поддерживает загрузку через Transformers. Карточка указывает, что базовая Baichuan-7B допускает коммерческое использование, но отдельные условия лицензии этой производной модели здесь не приведены. Качество ответов, рассуждений и кода не гарантируется; длина контекста ограничена 4096 токенами.

17834июнь 2023ctx4.1K
texthugging-face
Pankaj8922
bert-small-nli

Pankaj8922/bert-small-nli — модель Pankaj8922, дообученная на базе praJJwal1/bert-small для распознавания логических отношений между текстом и гипотезой: следования, нейтральности и противоречия. Её можно применять для классификации текста по произвольным категориям через zero-shot-подход: к тексту добавляют гипотезу вида «This text is about {label}.» и оценивают отношение между ними. Модель использует архитектуру BERT с классификационной головой BertForSequenceClassification, содержит 32,4 млн параметров и принимает текст с контекстом до 512 токенов. Обучена на сбалансированной и отфильтрованной смеси наборов MNLI, SNLI, FEVER-NLI и ANLI. В README указаны точность и macro-F1 около 0,805 на тестовой выборке. Подходит для быстрого инференса и сред с ограниченными ресурсами; на новых наборах меток её zero-shot-точность ниже, чем у более крупных NLI-моделей. Лицензия — Apache-2.0.

330июль 2026ctx512
textapache-2.0hugging-face
antoinelouis
biencoder-mMiniLMv2-L12-mmarcoFR

biencoder-mMiniLMv2-L12-mmarcoFR — плотный двубашенный энкодер от Antoine Louis для семантического поиска на французском языке. Он кодирует запросы и passages в векторы размерности 384 и оценивает их релевантность по косинусному сходству. Модель построена на XLM-RoBERTa и дообучена на французской части mMARCO — многоязычного машинного перевода MS MARCO; в метаданных указано 124,3 млн параметров и контекст до 514 токенов. Модель предназначена для поиска подходящих фрагментов в больших корпусах, в том числе для семантического поиска по миллионам passages. Для представленных в README экспериментов использовалась максимальная длина запросов и passages 128 токенов. Модель распространяется по лицензии MIT. Оценка проводилась на наборе mMARCO-fr с 6 980 запросами и корпусом из 8,8 млн passages. Эти результаты относятся к французскому поиску и сами по себе не гарантируют качество на других языках или предметных областях.

1242май 2023ctx514
textembeddingmithugging-face
oguuzhansahin
bi-encoder-mnrl-dbmdz-bert-base-turkish-cased-margin_3.0-msmarco-tr-10k

Модель oguuzhansahin/bi-encoder-mnrl-dbmdz-bert-base-turkish-cased-margin_3.0-msmarco-tr-10k — турецкая sentence-transformers-модель на базе BERT, дообученная как bi-encoder для сопоставления запросов и текстов. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, ранжирования кандидатов по близости и кластеризации. Модель оценивали на 10 тысячах запросов из переведённого набора MSMARCO dev; в README приведены метрики поиска при разных настройках сходства. Число параметров — 137,8 млн, максимальная длина контекста — 512 токенов. Основное применение — поиск релевантных документов по запросу на турецком языке. Модель выдаёт эмбеддинги, а для получения результатов поиска их нужно сравнивать с эмбеддингами документов. Лицензия в предоставленных данных не указана.

80510дек. 2023ctx512
textembeddinghugging-face
sophiaqho
boolq_finetuned_v1

sophiaqho/boolq_finetuned_v1 — дообученная модель на основе PrimeQA/tydiqa-boolean-answer-classifier для классификации текста. Базовая модель XLM-RoBERTa имеет около 658,7 млн параметров; репозиторий содержит веса в формате safetensors и рассчитан на контекст до 514 токенов. Модель подходит для классификации ответов на вопросы формата «да/нет» по текстовому контексту: базовый чекпойнт различает yes, no и no-answer. В карточке указана оценка loss 0,7342 на тестовом наборе, но название обучающего датасета приведено как None, а подробности данных и сценариев применения отсутствуют. Модель распространяется по лицензии Apache-2.0.

110дек. 2023ctx514
textapache-2.0hugging-face
DiTy
cross-encoder-russian-msmarco

DiTy/cross-encoder-russian-msmarco — модель ранжирования текстовых пар, разработанная на основе DeepPavlov/rubert-base-cased и дообученная на русскоязычном наборе MS-MARCO для ранжирования passages. Она принимает запрос вместе с каждым найденным фрагментом текста и оценивает их релевантность, чтобы упорядочить результаты поиска по убыванию оценки. Модель основана на BERT, содержит 205,1 млн параметров, распространяется в формате safetensors и рассчитана на контекст до 512 токенов. Использовать её можно в конвейерах информационного поиска после первичного отбора документов, например, результатов ElasticSearch. Лицензия — MIT.

6.4K29апр. 2024ctx512
textmithugging-face
microsoft
deberta-v3-large

microsoft/deberta-v3-large — англоязычная модель понимания текста от Microsoft на архитектуре DeBERTa V3. Она использует раздельное представление содержимого и позиций в механизме внимания, улучшенный декодер маски и предобучение в стиле ELECTRA с разделением градиентов в эмбеддингах. Модель содержит 24 слоя, скрытый размер 1024 и словарь из 128 тысяч токенов; всего в репозитории указано 533,8 млн параметров. Максимальная длина контекста — 512 токенов. Основная задача модели — предсказание замаскированных токенов в английском тексте. Её также можно дообучать для задач понимания естественного языка, например классификации текста и ответов на вопросы; README приводит результаты на SQuAD 2.0 и MNLI. Доступны веса в форматах PyTorch и TensorFlow. Модель выпущена под лицензией MIT. Она предназначена для обработки текста и не генерирует свободный текст как диалоговая языковая модель; качество зависит от конкретной задачи и дообучения.

944K303март 2022ctx512
textmithugging-face
sleepyeldrazi
DeepSeek-v4-Flash-REAP-K128-NVFP4

DeepSeek V4 Flash REAP K128 Mixed NVFP4 — это экспериментальная производная модели DeepSeek, подготовленная sleepyeldrazi на основе deepseek-ai/DeepSeek-V4-Flash. Это текстовая MoE-модель для генерации текста и диалогов; в ней оставлено 128 маршрутизируемых экспертов на слой, что соответствует примерно 50% сокращению экспертов. Дообучение не проводилось: модель создана структурным удалением части экспертов и преобразованием формата весов. Веса экспертов gate и up представлены в NVFP4 после заявленного в карточке преобразования шкал из MXFP4, down-эксперты — в Q2_K; внимание и общие эксперты используют Q8_0. Репозиторий распространяется в формате GGUF, но для запуска необходимы специализированный движок ds4 и NVFP4 CUDA-ядра: стандартные среды llama.cpp и GGUF модель не загружают. Автор ориентирует сборку на DGX Spark с GB10 Blackwell и заявляет поддержку контекста до 1 млн токенов при использовании FP8 KV-кэша. Карточка указывает английский язык и лицензию MIT. Практические сценарии включают программирование, вызовы инструментов, исследовательские и справочные диалоги; характеристики качества в README описаны без независимых оценок.

806июнь 2026
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей