/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 101–8 130 из 23 488
Deepchecks
parrot_fluency_model_onnx

Deepchecks parrot_fluency_model_onnx — ONNX-оптимизированная модель классификации текста, разработанная Deepchecks на основе оригинальной parrot_fluency_model. Она предназначена для оценки беглости и естественности англоязычных предложений и текстовых фрагментов с использованием pipeline text-classification. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и поддерживает входной контекст длиной до 512 токенов. Модель ориентирована на запуск на GPU через ONNX Runtime и может применяться для автоматической фильтрации, проверки качества и ранжирования англоязычных текстов по их fluency. ONNX-формат и интеграция с Optimum упрощают пакетный инференс; в README приведён пример обработки нескольких предложений с размером батча 64. Лицензия — Apache-2.0. Производительность и результаты могут отличаться при запуске на CPU по сравнению с GPU. Модель предназначена для оценки беглости текста, поэтому её выводы не следует автоматически трактовать как полноценную проверку фактической корректности, стиля или содержания.

1790окт. 2023ctx512
textapache-2.0hugging-face
facebook
PE-Lang-G14-448

Perception Encoder Language G14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный для мультимодальных языковых сценариев. Модель извлекает визуальные признаки и предназначена для подключения к языковому декодеру, например Llama или Qwen; в карточке приведены результаты связки с Llama 3.1 8B. Особенно хорошо энкодер показывает себя в задачах OCR и анализа документов, а также в визуальном поиске и понимании изображений и видео. Чекпойнт G/14 с разрешением 448 пикселей использует контрастивное предварительное обучение и дополнительное выравнивание для языкового моделирования. В сравнении с L14-448 в описанном авторами тестировании с замороженным энкодером он показал более высокие результаты на DocVQA, InfoQA, TextVQA и ряде видеобенчмарков. Для практического применения как мультимодальной языковой модели нужен совместимый языковой декодер. Модель опубликована под лицензией Apache-2.0.

8814апр. 2025
imageembeddingapache-2.0hugging-face
mrm8488
phi-2-coder

mrm8488/phi-2-coder — языковая модель Phi-2, дообученная разработчиком mrm8488 на 20 тысячах инструкций из набора CodeAlpaca_20K с использованием QLoRA и PEFT. Это плотный Transformer с архитектурой PhiForCausalLM и 2,7 млрд параметров; модель предназначена для генерации кода и ответов на инструкции по программированию. Она принимает текстовые запросы и генерирует текст, включая код. В метаданных указано окно контекста 2048 токенов и поддержка библиотеки Transformers. Модель подходит для генерации фрагментов кода, помощи с программированием и выполнения простых инструкций по коду. README не содержит завершённых результатов HumanEval, поэтому подтверждённых показателей качества для задач программирования нет. Репозиторий содержит веса в формате Safetensors. Лицензия обозначена как other, а конкретные условия использования в карточке не описаны.

33429дек. 2023ctx2K
textotherhugging-face
whaleloops
phrase-bert

Phrase-BERT — модель эмбеддингов фраз из официального репозитория к статье EMNLP 2021 «Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration». Она основана на архитектуре BERT и предназначена для получения векторных представлений фраз, сравнения их семантического сходства и исследования корпусов. Модель содержит 136,7 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Модель можно использовать через Sentence-Transformers. В статье её оценивают на задачах Turney, BiRD, PPDB, PPDB-filtered и PAWS-short; README также описывает обучение собственной версии на данных интересующей предметной области. Репозиторий содержит веса в формате PyTorch. Сведения о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют.

37622март 2022ctx512
textembeddinghugging-face
onnx-community
piiranha-v1-detect-personal-information-ONNX

piiranha-v1-detect-personal-information-ONNX — ONNX-версия модели piiranha-v1-detect-personal-information, разработанной iiiorg и автоматически конвертированной и опубликованной сообществом onnx-community. Модель предназначена для обнаружения персональной информации в тексте с использованием задачи token classification, то есть для разметки отдельных токенов и выделения сущностей, содержащих персональные данные. Модель рассчитана на работу через библиотеку Transformers.js и может применяться в JavaScript-приложениях, включая веб-сценарии. В README приведён пример обнаружения персональной информации в предложении с именем человека и местом проживания. Формат ONNX ориентирован на выполнение модели в совместимых средах, однако конкретная архитектура, количество параметров, поддерживаемые языки, максимальная длина контекста и набор распознаваемых типов персональных данных в предоставленных материалах не указаны. К сильным сторонам относятся специализированное назначение для выявления персональной информации, поддержка ONNX и интеграция с Transformers.js. Ограничения связаны с отсутствием в README подробностей о качестве, точности, языках, размере модели и границах применимости; перед использованием в критичных сценариях модель необходимо дополнительно протестировать. Лицензия в предоставленных данных не указана.

2.6K1май 2025ctx512
texthugging-face
manalejandro
Qwen2.5-Coder-1-5B-Instruct-f16-q4_k_m

Это квантованная версия Qwen2.5-Coder-1.5B-Instruct, подготовленная для запуска в формате GGUF с помощью llama.cpp. Компактная инструкционная модель на 1,5 млрд параметров предназначена для генерации и анализа кода в диалоговом формате; веса Q4_K_M занимают около 0,94 ГиБ и рассчитаны на запуск на оборудовании с ограниченной видеопамятью. Заявленная длина контекста — 32 768 токенов. Модель подходит для написания функций, отладки, объяснения алгоритмов и простого рефакторинга. Она отвечает без обязательного пошагового рассуждения, что удобно для интерактивных помощников. Небольшой размер ограничивает её возможности при работе со сложными задачами и крупными кодовыми базами. Лицензия — Apache-2.0.

1110авг. 2026
textapache-2.0hugging-face
RL-Forgetting-Experiments-3
qwen3-1.7b-base-code-sft-shuffled-lr1e5-step102

q31p7bsftshuffled — готовая к инференсу модель для генерации кода, созданная дообучением Qwen/Qwen3-1.7B-Base. Это плотная причинная языковая модель семейства Qwen3 с 1,7 млрд параметров; обучение с supervised fine-tuning на кодовых данных завершено на шаге оптимизатора 102. Данные обучения перемешаны, стратегия replay не использовалась. Модель предназначена для генерации кода и диалогового взаимодействия с кодовыми запросами. Она принимает текст и выдаёт текст; контекстное окно — до 32 768 токенов. В карточке указана библиотека Transformers и формат весов safetensors. Базовая модель поддерживает генерацию текста; отдельные языки программирования в карточке не перечислены. Это ранний чекпойнт обучения, поэтому качество и устойчивость модели могут быть ограничены, особенно за пределами кодовых запросов. Условия лицензирования в предоставленных данных не указаны.

8500сент. 2026ctx32.8K
texthugging-face
MMOPD
Qwen3-1.7B-OT3-2ep

MMOPD/Qwen3-1.7B-OT3-2ep — плотная языковая модель Qwen3 с 1,7 млрд параметров, дообученная командой проекта MMOPD на OpenThoughts3-1.2M. Это версия после двух эпох обучения, созданная как модель для рассуждений и как отправная точка для разработки специализированных моделей и экспериментов с дистилляцией. Модель использует формат чата Qwen3 и перед ответом выдаёт блок рассуждений; заявлены задачи по математике, программированию и научным вопросам. Контекст — до 32 768 токенов. Модель предназначена для генерации ответов с пошаговыми рассуждениями, решения математических задач, написания и анализа кода, а также ответов на научные вопросы. В README приведены результаты на AIME, LiveCodeBench, IFEval и IFBench; показатели версии 1,7B ниже, чем у указанной там модели 4B. Для использования рекомендуются формат чата Qwen3, включённый режим thinking и сэмплирование вместо жадной генерации. Модель распространяется по лицензии Apache-2.0.

390сент. 2026ctx32.8K
textapache-2.0hugging-face
ggbetz
qwen3-4b-think-s1-full-sft

ggbetz/qwen3-4b-think-s1-full-sft — плотная языковая модель на архитектуре Qwen3, разработанная как полно-параметрическое supervised fine-tuning базовой Qwen/Qwen3-4B-Base. Это первый этап think-обучения на 72 555 примерах лёгких и средних задач по рассуждению в коде; модель использует шаблон чата Qwen3 с включённым режимом рассуждений. Размер составляет 3,7 млрд параметров, контекст — 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и решения задач на программирование и пошаговое рассуждение. В README приведены результаты pass@1: 36,06% на LiveCodeBench, 16,67% на AIME24 и 3,33% на AIME25; эти показатели относятся к указанным настройкам оценки и сами по себе не гарантируют качество в других сценариях. Поддерживаются английский и китайский языки. Модель распространяется в формате Safetensors и по лицензии Apache-2.0.

2140сент. 2026ctx32.8K
textapache-2.0hugging-face
deadbydawn101
RavenX-OpenFable-Coderagent-gemma-4-12B-coder-fable5-composer-Soulinfused-Remastered-mlx

RavenX-OpenFable-Coderagent-Gemma-4-12B-Coder-Fable5-Composer-Soulinfused-Remastered — плотная языковая модель на архитектуре Gemma 4 Unified с 12 млрд параметров, выпущенная Gabriel Garcia и RavenX LLC. Она объединяет базу Gemma-4-12B-Coder-Fable5-Composer2.5-v1 с настройками на код, поведение агента, идентичность OpenFable и отказы по безопасности; в метаданных происхождение указано как слияние моделей. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. Модель предназначена для генерации и исправления кода, выполнения одношаговых агентных задач и ответов в диалоге. Карточка заявляет сохранение заданной идентичности без системного промпта и приводит внутренние результаты бенчмарков; эти заявления не являются независимой оценкой. В метаданных указан английский язык. Базовая Gemma 4 Unified мультимодальна, однако карточка этой модели описывает прежде всего кодовые и текстовые сценарии, поэтому дополнительные модальности здесь не заявлены. Автор называет модель экспериментальным исследовательским proof of concept и предоставляет её «как есть» для образовательного и исследовательского использования. Упоминаются версии GGUF Q4_K_M и Q8_0 и запуск на системах с 8 ГБ RAM, но в метаданных репозитория формат указан как safetensors; доступность квантованных файлов в этом репозитории из предоставленных сведений не следует. Заявленные результаты могут зависеть от промпта, среды и выбранной версии весов.

241июнь 2026
textapache-2.0hugging-face
modularai
replit-code-1.5

Replit Code v1.5 — языковая модель Replit для автодополнения и продолжения программного кода. В этом репозитории размещены файлы модели в формате GGUF; исходная модель основана на архитектуре MPT и содержит 3,3 млрд параметров. Модель обучалась на коде 30 языков программирования, а также на отфильтрованных текстах из Markdown, reStructuredText и Stack Exchange. Контекст составляет 4096 токенов. Она подходит для дополнения кода по его началу и генерации продолжения в редакторах и приложениях для разработки. Веса представлены в вариантах GGUF BF16 и F32. Модель рассчитана на задачи работы с кодом, однако качество вывода может различаться между языками и сценариями. В обучающих данных могли сохраниться оскорбительные или неприемлемые материалы, поэтому результаты требуют проверки перед применением. Лицензия — Apache-2.0; README указывает на возможность прикладной настройки без строгих ограничений коммерческого использования.

3439сент. 2024ctx4.1K
textapache-2.0hugging-face
SamLowe
roberta-base-go_emotions

Sam Lowe разработал эту модель на базе roberta-base, дообучив её на наборе GoEmotions для многометочной классификации эмоций в тексте. Она выдаёт вероятности для 28 меток; для каждой метки можно отдельно подобрать порог срабатывания. Модель подходит для определения нескольких эмоций в одном сообщении, например в комментариях и коротких текстах на английском языке. Она использует архитектуру RoBERTa с 151,8 млн параметров и контекстом до 514 токенов. Модель принимает текст и выдаёт оценки классов эмоций. Качество различается по меткам: редкие категории, например облегчение, распознаются хуже, а неоднозначность и ошибки разметки в GoEmotions ограничивают результаты. В README приведены оценки на тестовой выборке и отмечено, что индивидуальная настройка порогов может улучшить баланс точности и полноты. Лицензия — MIT.

4.6M706сент. 2022ctx514
textmithugging-face
deepvk
RuModernBERT-small

RuModernBERT-small — компактный двунаправленный encoder-only Transformer семейства ModernBERT, разработанный DeepVK для работы с русским и английским текстом. Это модель masked language modeling: она предсказывает замаскированные токены и служит основой для задач понимания текста после дополнительной настройки. Модель содержит 34,4 млн параметров, имеет 12 слоёв, размер скрытого представления 384 и словарь из 50 368 токенов; длина контекста — до 8 192 токенов. Предобучение проводилось примерно на 2 трлн токенов русского, английского и кода из интернет-источников, книг, научных материалов и социальных сетей. Модель подходит как компактный энкодер для классификации, извлечения сущностей и других задач анализа текста; README приводит оценки на русскоязычных бенчмарках. В опубликованной ревизии patched-tokenizer исправлена токенизация шести распространённых русских строчных букв, что может быть полезно для NER; авторы сообщают, что на 20 задачах RuMTEB статистически значимых изменений качества не обнаружили. Лицензия — Apache-2.0.

5.9K21янв. 2025ctx8.2K
textapache-2.0hugging-face
Sakalti
saba1.5-coder

Saba1.5-Coder — языковая модель Sakalti на архитектуре Qwen2, дообученная на основе Sakalti/Saba1.5-Pro. Модель содержит 1,5 млрд параметров и поддерживает контекст длиной до 256 000 токенов. Модель предназначена для генерации текста и диалогов; название и обучающий набор HachiML/alpaca_jp_python указывают на применение в задачах программирования на Python. В метаданных также отмечен интерфейс для вызова инструментов. Модель обучалась с использованием Unsloth и TRL и распространяется в формате Safetensors. Модель лицензирована по Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о языках программирования и точном наборе навыков, поэтому пригодность для конкретных задач разработки следует проверять на собственных примерах.

230дек. 2024ctx256K
textapache-2.0hugging-face
Omartificial-Intelligence-Space
Semantic-Ar-Qwen-Embed-0.6B

Semantic-Ar-Qwen-Embed-0.6B — арабоязычная модель эмбеддингов, разработанная Omartificial-Intelligence-Space и дообученная на базе Qwen/Qwen3-Embedding-0.6B для задач семантического сходства. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство оценивается косинусной мерой. Архитектура Sentence Transformers использует Qwen3Model и усреднение токенных представлений. Максимальная длина последовательности — 32 768 токенов, число параметров — около 507,6 млн. Модель предназначена для сравнения арабских текстов и может применяться в семантическом поиске, поиске перефразировок, кластеризации и классификации текста. Она дообучена на задачах STS и оценивалась на арабских наборах STS17 и STS22.v2; README отмечает специализацию на понимании арабской семантики. Метаданные также содержат английский среди языков карточки, но заявленный в README основной язык — арабский. Модель распространяется по лицензии Apache-2.0. Результаты оценки приведены для ограниченного набора тестов на семантическое сходство и не гарантируют качество на других задачах или доменах.

2418июнь 2025ctx32.8K
textembeddingapache-2.0hugging-face
syubraj
sentence_similarity_nepali

syubraj/sentence_similarity_nepali — модель Sentence-Transformers для сопоставления предложений на непальском языке. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для оценки семантической близости, поиска по смыслу и кластеризации. Модель основана на NepaliBERT от Rajan; архитектура — BERT, размер — около 95 млн параметров, длина контекста — 512 токенов. Модель обучалась для семантического сходства с использованием CosineSimilarityLoss и датасета stsb_multi_mt. Её можно применять для поиска похожих фраз и документов или группировки текстов по смыслу. Доступны веса в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.

783июнь 2023ctx512
textembeddinghugging-face
pyannote
speaker-diarization

pyannote/speaker-diarization — открытая предварительно обученная модель-пайплайн команды pyannote, предназначенная для диаризации речи в аудиозаписях. Она определяет, кто и когда говорит, автоматически выполняя сегментацию речи, обнаружение смены говорящих и обработку перекрывающейся речи. Пайплайн рассчитан на применение в автоматическом распознавании речи и других сценариях анализа разговорного аудио. Модель работает с аудио и построена на базе pyannote.audio 2.1.1. Она не требует ручного задания голосовой активности, количества говорящих, дообучения внутренних моделей или настройки гиперпараметров под каждый датасет, однако позволяет указать точное или приблизительное число говорящих. Результат можно экспортировать в формате RTTM. Языки, размер модели, точная архитектура и максимальная длина контекста в README не указаны. Сильными сторонами являются полностью автоматическая обработка, поддержка перекрывающейся речи и возможность задавать ограничения на число говорящих. Производительность зависит от оборудования: заявленное измерение составляет около 1,5 минуты на обработку одного часа разговора при использовании Nvidia Tesla V100 и Intel Cascade Lake 6248. Точность заметно различается между наборами данных, поэтому модель следует проверять на целевом типе аудио. Для использования требуется принять условия доступа к модели и связанному компоненту pyannote/segmentation, а также создать токен Hugging Face. Лицензия — MIT.

275K1.3Kмарт 2022
textaudiomithugging-face
blueprint-ai
SymSTS-MiniLM

SymSTS-MiniLM-L6 — англоязычная модель Blueprint AI для оценки семантического сходства двух предложений. Это дообученная версия sentence-transformers/all-MiniLM-L6-v2 на основе энкодера BERT; в метаданных указано 25,9 млн параметров и контекст до 512 токенов. Модель создаёт векторные представления предложений и предназначена прежде всего для сравнения их смысла, а не для универсального поиска по документам или классификации. При обучении пары предложений меняли местами, сохраняя оценку сходства; использованы обучающие части STS-бенчмарков, включая STS Benchmark и STS12. Модель рассчитана на быстрый запуск на CPU и потребительских GPU. Лицензия — Apache-2.0. Качество может снижаться на текстах, существенно отличающихся от англоязычных STS-данных, например в специализированных доменах. Симметричность сходства не всегда подходит для задач направленного поиска; в высокорисковых сценариях модель не следует использовать как единственное основание для решения.

801авг. 2026ctx512
textembeddingapache-2.0hugging-face
WebraftAI
synapsellm-7b-mistral-v0.3-preview

SynapseLLM — серия языковых моделей WebraftAI; этот репозиторий содержит предварительную версию модели, дообученной на базе Mistral 7B v0.1. Это плотный авторегрессионный трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенный для генерации текста, диалоговых ответов и выполнения инструкций по программированию. Модель принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Дообучение проводилось на пользовательском наборе данных с примерами кода и вопросов-ответов общего назначения. README сообщает, что адаптеры QLoRA были объединены с базовой моделью; веса доступны в формате Safetensors для Transformers. Модель выпущена как preview, а обучение описано как ограниченное по объёму, поэтому качество на широком круге задач может быть нестабильным. Лицензия — Apache 2.0.

621нояб. 2023ctx32.8K
textapache-2.0hugging-face
Trelis
tara

Tara — модель автоматического распознавания речи, разработанная Trelis для транскрибации хинди и смешанной речи хинди–английский. Она построена на архитектуре Whisper large-v3 и поддерживает отдельный режим смешанного кода: английские слова записываются латиницей, а хинди — деванагари. По метаданным репозитория модель содержит 905,3 млн параметров; принимает аудио с частотой 16 кГц и выдаёт текст. В карточке заявлены также сильные результаты для английской речи и устойчивость к шуму, телефонным записям, спонтанной речи и различным акцентам. Модель предназначена для голосовых помощников, аналитики звонков, субтитров и конвейеров обработки речевых данных. Для максимальной точности нужно выбирать режим распознавания по языку записи; смешанный режим подходит и для чистого хинди. Оценка в карточке проведена на аудиофрагментах длительностью до 30 секунд, поэтому более длинные записи рекомендуется разбивать на части. Поддержка других индийских языков не заявлена. Лицензия — Apache 2.0.

4.7K11июль 2026
textaudioapache-2.0hugging-face
Trendyol
tyroberta

TyRoberta — предварительно обученная языковая модель семейства RoBERTa для турецкого языка, разработанная Trendyol. Её можно использовать как основу для извлечения признаков и адаптировать к задачам понимания текста, включая классификацию и распознавание именованных сущностей. Модель содержит 136,3 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. В репозитории опубликованы веса Safetensors; для работы указана библиотека Transformers. Лицензия — Apache 2.0.

7811июнь 2024ctx512
textapache-2.0hugging-face
timm
vit_small_patch14_dinov2.lvd142m

timm/vit_small_patch14_dinov2.lvd142m — модель извлечения признаков изображений на базе Vision Transformer (ViT), опубликованная командой timm. Она предварительно обучена на наборе LVD-142M с помощью метода самообучения DINOv2. Модель содержит около 22,1 млн параметров, использует изображения размером 518 × 518 и может служить основой для классификации изображений и получения их эмбеддингов. Модель предназначена для преобразования изображений в визуальные признаки, которые можно использовать в системах поиска по изображениям, кластеризации и последующей классификации. Репозиторий поддерживает форматы PyTorch и Safetensors; библиотека для работы с моделью — timm. Лицензия Apache-2.0.

2.3M11май 2023
imageembeddingapache-2.0hugging-face
m3hrdadfi
wav2vec2-large-xlsr-persian-v2

Wav2Vec2-Large-XLSR-53-Persian V2 — модель распознавания речи на фарси, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель рассчитана на фарси и поддерживает автоматическое распознавание речи. В оценке на тестовой части Common Voice для фарси указана доля ошибок слов WER 31,92%. Модель опубликована в форматах PyTorch и Flax под лицензией Apache-2.0. Результат оценки относится к указанному тестовому набору и сам по себе не гарантирует такую же точность на других записях.

1467март 2022
textaudioapache-2.0hugging-face
logic65
Whittle-Qwen-3.8-35B-A3B

Whittle-Qwen-3.8-35B-A3B — экспериментальная языковая модель с архитектурой Qwen3.8-Flash-Next (qwen4_exp), разработанная автором проекта Whittle. Это MoE-модель с 35,1 млрд параметров, включая 10 млрд параметров хешированной n-граммной памяти; на каждом токене активны примерно 3 млрд параметров. Модель получена дистилляцией Qwen3.8-27B на обучающих примерах с математическими задачами, кодом, диалогами, строгим JSON и эпизодами работы агента. По данным метаданных, базовая модель — logic65/Whittle-Next-27B-A3B. Модель предназначена для генерации текста и диалогов, написания кода, математических рассуждений и сценариев с инструментами. Она поддерживает контекст до 262 144 токенов; автор сообщает о запуске через стандартный llama.cpp, а файлы репозитория представлены в safetensors. Английский и китайский указаны среди языков карточки; метаданные также характеризуют модель как многоязычную. Это исследовательский предварительный выпуск: дистилляция охватывает ответы учителя, помещавшиеся в окно обучения 4k токенов, длинные примеры пока не использовались, а этап дистилляции на собственных ответах модели ещё не начат. Автор предупреждает, что модель не следует напрямую сравнивать с Qwen3.8 на равных условиях. Лицензия — Apache-2.0.

3.8K19сент. 2026ctx262.1K
textapache-2.0hugging-face
protectai
xlm-roberta-base-language-detection-onnx

protectai/xlm-roberta-base-language-detection-onnx — модель для автоматического определения языка текста. Она разработана как ONNX-конверсия модели papluca/xlm-roberta-base-language-detection с использованием библиотеки Hugging Face Optimum и основана на xlm-roberta-base, дообученной на наборе данных Language Identification. Проект связан с ProtectAI и LLM Guard, однако в README указано, что он архивирован и больше не поддерживается. Модель предназначена для задач классификации последовательностей и языковой идентификации, включая маршрутизацию многоязычных запросов, предварительную обработку текста и проверки в системах безопасности LLM. Архитектура представляет собой трансформер XLM-RoBERTa с классификационной головой на основе линейного слоя поверх pooled output. Поддерживаются 20 языков: арабский, болгарский, немецкий, современный греческий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, польский, португальский, русский, суахили, тайский, турецкий, урду, вьетнамский и китайский. Формат ONNX рассчитан на использование через ONNX Runtime и Optimum. Сильные стороны модели — многоязычность, готовность к эффективному инференсу в ONNX-экосистеме и специализация на определении языка. Ограничение — поддержка только перечисленных 20 языков; сведения о размере модели, максимальной длине контекста, точных показателях качества и других ограничениях в README не приведены. Модель распространяется по лицензии MIT.

102K6нояб. 2023ctx514
textmithugging-face
MoritzLaurer
xtremedistil-l6-h256-zeroshot-v1.1-all-33

Moritz Laurer разработал эту компактную модель для классификации текста без заранее заданного набора классов: пользователь передаёт текст и варианты меток, а модель оценивает их соответствие. Это дообученная на задачах естественного языкового вывода (NLI) модель на базе Microsoft XTREME-Distil, с архитектурой BERT и 14,1 млн параметров по метаданным. Модель принимает текст и выдаёт оценки классов; максимальная длина контекста — 512 токенов. Модель рассчитана на быстрый запуск на устройствах с ограниченными ресурсами и в браузере, в том числе через Transformers.js. Карточка приводит точность на наборах данных, использованных при обучении, но не содержит отдельной оценки zero-shot качества; автор отмечает, что модель работает менее точно, чем более крупные варианты. Лицензия — MIT.

12K11янв. 2024ctx512
textmithugging-face
jaimevera1107
all-MiniLM-L6-v2-similarity-es

jaimevera1107/all-MiniLM-L6-v2-similarity-es — испаноязычная модель Sentence Transformers, дообученная на датасете Similarity Sentences Spanish для получения векторных представлений предложений и абзацев. Она основана на архитектуре BERT, содержит 25,9 млн параметров и формирует плотные векторы размерностью 768; заявленная длина контекста — 512 токенов. Модель подходит для семантического поиска, сравнения сходства предложений и кластеризации испаноязычных текстов. В README приведены результаты оценки Spearman Correlation 80,1% и R² 70,67% для строки «Roberta Fine tuned», поэтому эти числа нельзя уверенно приписать именно данной модели. Для работы доступны веса PyTorch и библиотека Sentence Transformers. Модель распространяется по лицензии MIT. Её обучение и заявленные языковые возможности ориентированы на испанский; результаты на других языках не подтверждены.

2775июль 2023ctx512
textembeddingmithugging-face
katanemo
Arch-Agent-7B

Arch-Agent-7B — языковая модель Katanemo для вызова функций и агентных приложений. Это дообученная плотная модель семейства Qwen2 на базе Qwen/Qwen2.5-Coder-7B-Instruct, содержащая 7,1 млрд параметров. Она генерирует ответы в формате, совместимом с вызовом внешних функций, и предназначена для многошаговых и многоходовых сценариев с выбором инструментов, планированием и координацией действий. Модель работает с текстом; README рекомендует использовать специальный формат промпта Arch-Agent для получения структурированного JSON-подобного вывода. Метаданные указывают контекст 32 768 токенов; заявленная в README оценка на BFCL проводилась с контекстом 64K и масштабированием YaRN. Подходит для построения ассистентов, которые взаимодействуют с API и инструментами, разбивают сложные запросы на шаги и продолжают работу с учётом результатов предыдущих вызовов. В основе — архитектура Qwen2ForCausalLM, веса доступны в формате safetensors для Transformers. Указана лицензия other; конкретные условия следует сверить с карточкой модели и лицензией базовой модели. README заявляет высокие результаты на BFCL, но не приводит в доступном тексте численные показатели; качество вызова функций зависит от соблюдения рекомендуемого формата промпта.

5643июнь 2025ctx32.8K
textotherhugging-face
agurung
cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp20-iid30v11v

Это экспериментальный чекпойнт языковой модели Qwen3-4B, созданный командой agurung методом обучения с подкреплением GRPO на базе Qwen/Qwen3-4B-Instruct-2507. Модель предназначена прежде всего для генерации кода и решения задач программирования: награда при обучении зависела от того, проходил ли созданный программный код тесты. Чекпойнт сохранён на шаге 36; в описанном запуске он показал лучший результат по pass@8, однако численные метрики оценки не приведены. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 262 144 токенов. Она принимает текст и генерирует текст, включая программы. В обучении использовались задачи из набора cobalt-train; README не уточняет языки программирования или естественные языки. Файлы опубликованы в формате safetensors, библиотека загрузки — Transformers. Лицензия в предоставленных данных не указана.

940авг. 2026ctx262.1K
texthugging-face
Mungert
DeepCoder-1.5B-Preview-GGUF

DeepCoder-1.5B-Preview — языковая модель для генерации и рассуждения над программным кодом, разработанная проектом Agentica. Она создана на основе DeepSeek-R1-Distill-Qwen-1.5B и дообучена с использованием распределённого reinforcement learning, включая улучшенный алгоритм GRPO+ и поэтапное увеличение длины контекста. Модель предназначена для решения задач программирования, генерации кода и задач с проверяемыми тестами. В обучении использовались наборы Taco-Verified, PrimeIntellect SYNTHETIC-1 и LiveCodeBench; заявленный язык — английский. Размер модели — 1,5 млрд параметров. Она относится к текстовым моделям и поддерживает контекст до 64K токенов при инференсе, хотя обучение проводилось с длиной до 32K. Модель можно разворачивать через vLLM, Hugging Face TGI, SGLang и TensorRT-LLM с поддержкой формата OpenAI Chat Completions API. По приведённым оценкам, DeepCoder-1.5B-Preview показывает лучшие результаты, чем исходная DeepSeek-R1-Distill-Qwen-1.5B, на LiveCodeBench v5, Codeforces и HumanEval+. Сильными сторонами являются кодовое рассуждение, работа с длинным контекстом и открытая исследовательская направленность. Ограничения включают статус Preview, меньший размер по сравнению с крупными моделями и отсутствие в README подробностей о фактическом качестве на других языках программирования, системных требованиях и характеристиках именно GGUF-сборки. Проект распространяется по лицензии MIT.

7364апр. 2025
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей