/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 281–8 310 из 23 488
FINAL-Bench
Darwin-V9-Chimera-4B-SFT

Darwin-V9-Chimera-4B-SFT — экспериментальная диалоговая языковая модель, созданная автором проекта Darwin путем объединения компонентов Qwen3-4B и Gemma4-E4B с последующим полным дообучением на инструкциях. Архитектура — плотная Qwen3ForCausalLM; модель содержит около 3,7 млрд параметров, принимает текст и рассчитана на контекст до 40 960 токенов. В README заявлена поддержка корейского и английского языков и переключения между режимами рассуждения и краткого ответа. Модель предназначена для диалогов, следования инструкциям, генерации кода и задач с многошаговым рассуждением. По оценке авторов на KMMLU она набрала 52,2% при разрешении генерировать до 768 токенов; результат короткого ответа они считают нехарактерным из-за необходимости сначала рассуждать. Это частный исследовательский чекпойнт, а весовой отпечаток остаётся преимущественно близким к Qwen3-4B. Указана лицензия Apache-2.0.

200июнь 2026ctx41K
textapache-2.0hugging-face
Mizuiro-sakura
deberta-v2-base-japanese-finetuned-ner

Это японская модель распознавания именованных сущностей на основе DeBERTa V2 Base Japanese, дообученная автором Mizuiro-sakura на японском наборе NER из Википедии. Она присваивает токенам метки, в том числе для имён людей, географических названий, организаций, событий, учреждений, компаний и продуктов; модель можно использовать для извлечения таких сущностей из японских текстов. В карточке приведены результаты оценки: micro F1 — 0,81, macro F1 — 0,80. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в форматах PyTorch и Safetensors для библиотеки Transformers. Базовая DeBERTa V2 Japanese была предварительно обучена на японской Википедии, японской части CC-100 и японской части OSCAR. Лицензия модели — MIT.

1511янв. 2023ctx512
textmithugging-face
Intel
distilbert-base-uncased-finetuned-sst-2-english-int8-static-inc

Intel distilbert-base-uncased-finetuned-sst-2-english-int8-static-inc — версия DistilBERT, дообученная для классификации тональности отзывов и сжатая до INT8 статической посттренировочной квантизацией. Она определяет, является ли текст положительным или отрицательным; модель предназначена для инференса и не подходит для дальнейшего дообучения в опубликованном виде. Модель принимает текст на английском языке и выдаёт метку тональности. Контекст — до 512 токенов. Репозиторий содержит веса PyTorch и ONNX; для загрузки описаны Optimum Intel и Intel Neural Compressor. На SST-2 точность указана как 0,9037 для PyTorch INT8 и 0,9071 для ONNX INT8, по сравнению с 0,9106 у исходной версии FP32. Модель разработана Intel и распространяется по лицензии Apache-2.0. Она предназначена прежде всего для классификации коротких отзывов, а результаты могут отражать ограничения и смещения данных из интернет-отзывов о фильмах; модель не следует использовать для решений, существенно влияющих на жизнь людей.

6346март 2022ctx512
textapache-2.0hugging-face
GoktugD
DUSUNEN-Nokta-68M-v1

DUSUNEN Nokta 68M v1 — компактная модель Göktuğ Düşünen для восстановления пунктуации и правильного регистра в турецком тексте. Она объединяет обе задачи в одной модели DistilBERT для классификации токенов: за один проход предсказывает совместные метки пунктуации и регистра. Базовая модель — dbmdz/distilbert-base-turkish-cased; в чекпойнте 68,1 млн параметров, контекст — до 512 токенов по метаданным. Репозиторий содержит веса Safetensors и экспорт ONNX в FP32; автор проверил совпадение предсказаний ONNX и PyTorch на тестовых примерах. Модель подходит для восстановления знаков препинания и регистра в результатах распознавания речи, субтитрах, поисковых транскриптах, чатах и турецких документах. В тестах автор сообщает macro F1 70,43% для пунктуации и 86,98% для регистра. Модель обучена на веб-текстах, поэтому пунктуация спонтанной речи и предметных областей может отличаться от её предсказаний; трудности также возможны с именами, брендами, смешанными языками, URL и необычным регистром. Для юридических, медицинских и других важных документов требуется проверка человеком. Лицензия модели — MIT; использованный корпус Cosmos Turkish Corpus v1.0 распространяется по CC BY 4.0.

371авг. 2026ctx512
textmithugging-face
gyr66
Ernie-3.0-base-chinese-finetuned-ner

gyr66/Ernie-3.0-base-chinese-finetuned-ner — модель для распознавания именованных сущностей в тексте, построенная на архитектуре ERNIE и имеющая около 144 млн параметров. Она принимает текст и классифицирует токены, что подходит для извлечения сущностей из документов и других текстовых материалов. В метаданных указан контекст до 2048 токенов; модель опубликована в формате safetensors. В README приведены результаты оценки: F1 — 0,6986, точность — 0,6511, полнота — 0,7535, accuracy — 0,9053. Автор сообщает, что модель обучалась с нуля на неизвестном наборе данных, поэтому связь с базовой моделью ERNIE-3.0-base-chinese из названия не подтверждена. Сведения о лицензии и конкретных типах сущностей отсутствуют.

650янв. 2024ctx2K
texthugging-face
nghuyong
ernie-3.0-nano-zh

nghuyong/ernie-3.0-nano-zh — китайская языковая модель ERNIE 3.0, опубликованная как преобразованная в PyTorch версия официальной модели PaddlePaddle. В карточке указана архитектура ErnieModel и размер 18,7 млн параметров; модель принимает текст и выдаёт векторные представления токенов или текста для последующего использования в NLP-системах. Модель предназначена для извлечения признаков из китайского текста и может служить компонентом поисковых, классификационных и семантических конвейеров. Максимальная длина контекста — 2048 токенов. Карточка описывает проверку точности преобразования весов, но не приводит конкретные результаты бенчмарков. Лицензия в предоставленных данных не указана.

57125авг. 2022ctx2K
textembeddinghugging-face
meetkai
functionary-medium-v2.4

Карточка модели meetkai/functionary-medium-v2.4 на Hugging Face совпадает с карточкой meetkai/functionary-small-v2.4, поэтому описание составлено по ней. meetkai/functionary-small-v2.4 — языковая модель MeetKai для диалогов с вызовом функций и плагинов. Она построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель выбирает, когда вызывать инструменты, извлекает имена функций и аргументы из их JSON Schema-описаний, может запускать вызовы последовательно или параллельно и формировать ответы с учётом результатов. Она также поддерживает обычные ответы без вызова инструментов и сценарии с интерпретатором кода. В README приведён результат 83,07% точности вызова функций на наборе SGD для версии small-v2.4. Для форматирования диалога предусмотрен шаблон v2PromptTemplate; в карточке рекомендуется запуск через OpenAI-совместимый сервер vLLM. Доступный репозиторий использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

8420март 2024ctx32.8K
texthugging-face
InterSync
Gemma-7B-Instruct-Function-Calling

InterSync разработала дообученную версию Gemma 7B Instruct с поддержкой структурированных вызовов функций. Модель предназначена для диалогов, в которых нужно передавать запросы внешним API и базам данных, получать данные и использовать их в дальнейших ответах. Это текстовая авторегрессионная модель семейства Gemma с плотной архитектурой, содержащая 8,2 млрд параметров и принимающая контекст до 8192 токенов. README указывает английский как язык моделей Gemma; модель подходит для генерации текста, ответов на вопросы, суммаризации и рассуждений, а также для сценариев с подключением инструментов. Модель опубликована в формате safetensors под лицензией CC. Качество вызова функций зависит от корректного описания инструментов и доступной внешней системы; README не приводит оценок качества или конкретных ограничений.

266март 2024ctx8.2K
textcchugging-face
lanwuwei
GigaBERT-v4-Arabic-and-English

GigaBERT-v4 — двуязычная модель на архитектуре BERT, разработанная Wuwei Lan, Yang Chen, Wei Xu и Alan Ritter. Это продолженное предварительное обучение GigaBERT-v3 на данных с переключением между арабским и английским языками. Модель содержит около 151,6 млн параметров и поддерживает контекст до 512 токенов. Модель предназначена для извлечения признаков из текста и переноса знаний с английского на арабский язык без дополнительного обучения, в частности для задач извлечения информации. Её можно использовать как основу для моделей классификации токенов и анализа арабских и англоязычных текстов. В карточке указаны форматы PyTorch и Flax. Сведения о лицензии в предоставленных данных отсутствуют.

1105март 2022ctx512
textembeddinghugging-face
ProCreations
grug-3b

grug-3b — диалоговая языковая модель ProCreations на архитектуре NanbeigeForCausalLM с плотной архитектурой и 3,2 млрд параметров. Она дообучена на Nanbeige/Nanbeige4.2-3B и предназначена для генерации текста, рассуждений и решения задач в чате. Модель адаптивно распределяет усилия: отвечает кратко на простые вопросы и тратит больше шагов рассуждения на сложные; в числовых рассуждениях применяет повторную проверку вычислений. Карточка сообщает о контекстном окне до 262 144 токенов и поддержке английского языка. В приведённых авторами тестах grug-3b улучшила результат базовой модели на MATH-500 и ARC, но уступила ей на GSM8K, HumanEval и MBPP. Поэтому компромисс между расходом токенов и точностью зависит от типа задачи; для максимального результата в программировании README рекомендует базовую модель. Репозиторий содержит веса safetensors и исправление совместимости с Transformers 4.54 и новее. Лицензия — Apache-2.0.

20130июль 2026ctx262.1K
textapache-2.0hugging-face
facebook
hubert-large-ls960-ft

facebook/hubert-large-ls960-ft — модель распознавания речи от Facebook, построенная на архитектуре HuBERT Large и дообученная на 960 часах LibriSpeech. Она преобразует речь в текст и рассчитана на распознавание английской речи, записанной с частотой дискретизации 16 кГц; входной аудиосигнал следует подавать с этой частотой. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и TensorFlow. HuBERT использует самоконтролируемое обучение речевых представлений: при предобучении модель учится предсказывать кластерные метки на маскированных фрагментах аудио, а затем дообучается для распознавания речи. Подходит для транскрибирования англоязычных записей и аудио из наборов LibriSpeech-подобного типа. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит конкретных метрик распознавания этой версии; качество зависит от условий записи и соответствия входа требованиям по частоте дискретизации.

192K80март 2022
textaudioapache-2.0hugging-face
PrimeIntellect
INTELLECT-1-step-69200

INTELLECT-1-step-69200 — промежуточный чекпойнт языковой модели INTELLECT-1 от Prime Intellect и сообщества участников, включая Arcee AI и Hugging Face. Это плотная авторегрессионная модель семейства Llama примерно на 9,7 млрд параметров, обученная с нуля на триллионе токенов английских текстов и кода; данный вариант соответствует шагу обучения 69 200. В архитектуре указаны 42 слоя и 32 головы внимания, максимальный контекст — 8192 токена. Модель предназначена для генерации продолжений текста и кода на английском языке. Она создавалась с распределённым обучением на нескольких континентах; для обмена градиентами применялись пользовательские int8 all-reduce-ядра. В README этот файл обозначен как промежуточный чекпойнт, поэтому его качество и стабильность могут уступать финальной версии INTELLECT-1. Модель распространяется по лицензии Apache 2.0.

1562нояб. 2024ctx8.2K
textapache-2.0hugging-face
stojchet
jnkto1

jnkto1 — дообученная модель для генерации текста, созданная на базе deepseek-ai/deepseek-coder-1.3b-base. Модель построена на плотной архитектуре семейства Llama и содержит 1,3 млрд параметров; заявленное окно контекста — 16 384 токена. В репозитории представлены веса Safetensors. README сообщает о дообучении методом KTO и приводит метрики оценки, но не описывает обучающие данные и целевые сценарии подробнее. Модель подходит для генерации и продолжения текста, в том числе кода, в рамках возможностей базовой DeepSeek Coder. Лицензия указана как other, поэтому условия использования следует сверить с лицензией и файлами репозитория перед применением.

170июль 2024ctx16.4K
textotherhugging-face
Darayut
khmer-text-recognition

Netra-OCR — модель распознавания текста в строках, разработанная Darayut. Она принимает изображение одной строки и возвращает распознанный текст на кхмерском или английском языке. В репозитории есть актуальная версия с декодированием графемных кластеров и более ранняя символьная версия для совместимости; модель рассчитана на использование через Transformers и пакет netra-ocr. Модель содержит 17 млн параметров и обучена с нуля на 1,3 млн синтетических изображений строк. Архитектура объединяет сверточную сеть Squeeze-and-Excitation, Transformer-энкодер и Transformer-декодер; длинные строки разбиваются на перекрывающиеся фрагменты. Кластерное декодирование сокращает последовательности кхмерского текста примерно на 43%, а отдельная блоково-параллельная версия ускоряет декодирование примерно в 1,55 раза при том же результате. Модель предназначена для печатного текста. Она распознаёт только отдельные строки, поэтому для обработки страниц требуется предварительное обнаружение строк; пакет netra-ocr добавляет инструменты для анализа страниц и документов. Рукописный текст не входил в обучение. Лицензия — MIT.

1044янв. 2026
textimagemithugging-face
dima-does-code
LaBSE-geonames-15K-MBML-10e-v1

LaBSE-geonames-15K-MBML-10e-v1 — дообученная модель Sentence-Transformers на базе многоязычной BERT-модели LaBSE. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, поиска по смыслу и кластеризации. Модель рассчитана на работу с русским и английским текстом; максимальная длина контекста составляет 512 токенов. В обучении использовалась функция потерь MegaBatchMarginLoss, а лицензия — Apache-2.0. Модель подходит для семантического поиска и группировки текстов, в частности связанных с GeoNames. Карточка не приводит подробных результатов оценки или описания ограничений обучающих данных, поэтому качество на конкретных наборах текстов следует проверять отдельно.

1100дек. 2023ctx512
textembeddingapache-2.0hugging-face
facebook
metaclip-2-worldwide-b16-384

MetaCLIP 2 ViT-B/16 (384px) worldwide — дистиллированная модель Meta, представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Это чекпойнт ViT-B-16-384-worldwide из оригинальной реализации, предназначенный для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах. Модель сопоставляет изображение с текстовыми метками и позволяет выбирать наиболее подходящие варианты; поддерживает многоязычные сценарии. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

5096нояб. 2025
textimagecc-by-nc-4.0hugging-face
facebook
metaclip-2-worldwide-b32

MetaCLIP 2 ViT-B/32 worldwide — мультиязычная модель сопоставления изображений и текста от Meta, представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Это чекпойнт ViT-B-32-worldwide из оригинальной реализации MetaCLIP 2, доступный в формате safetensors для библиотеки Transformers. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты классов словами, а модель оценивает соответствие изображения каждому варианту. Подходит для классификации и поиска изображений по текстовым запросам в разных языковых контекстах. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

39110нояб. 2025
textimagecc-by-nc-4.0hugging-face
EuroEval
mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-lt

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-lt — модель на базе Transformers для задачи token classification. По идентификатору модель предназначена для разметки токенов в контексте вопросов и ответов, связанных с синтетическими галлюцинациями и сценариями retrieval-augmented generation (RAG), включая данные RAGTruth LT. В метаданных указаны 140,5 млн параметров и нативное контекстное окно до 8192 токенов; модель использует формат safetensors и относится к семейству ModernBERT/mmBERT.

3130авг. 2026ctx8.2K
texthugging-face
Vkt
model-960hfacebook-2022.06.08

Модель Vkt/model-960hfacebook-2022.06.08 — версия Wav2Vec2, дообученная на наборе Common Voice на базе facebook/wav2vec2-large-960h-lv60-self. Она предназначена для автоматического распознавания речи: принимает аудио и преобразует его в текст. В карточке приведены результаты на оценочном наборе: loss 0,2907 и WER 0,1804. Модель содержит 402,7 млн параметров и распространяется в формате PyTorch. Лицензия — Apache-2.0. Карточка не уточняет языки распознавания и практические ограничения модели.

130июнь 2022
textaudioapache-2.0hugging-face
qweqwrqwr145
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория qweqwrqwr145/MyAwesomeModel-TestRepo, предназначенная прежде всего для извлечения признаков из текста. В метаданных она классифицирована как feature-extraction и связана с архитектурой BERT; для работы используется библиотека Transformers с PyTorch. README также заявляет улучшенные способности к рассуждению, математике, программированию, логике, генерации и function calling, однако эти возможности не согласуются напрямую с указанным pipeline-тегом и не подтверждены подробными техническими характеристиками модели. Модель распространяется по лицензии MIT. В доступных материалах не приведены размер модели, длина контекста, поддерживаемые естественные языки и сведения о мультимодальности. Поэтому модель следует рассматривать прежде всего как компонент для получения векторных представлений текста и последующего использования в классификации, поиске или других NLP-конвейерах.

2580сент. 2026
textembeddingmithugging-face
sads1xcz21esa
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория sads1xcz21esa/MyAwesomeModel-TestRepo, опубликованная с использованием библиотеки Transformers и PyTorch. В метаданных Hugging Face она классифицирована как модель для извлечения признаков и имеет теги BERT, feature-extraction и transformers. Лицензия модели — MIT. Извлечённые признаки можно использовать для представления текста в виде векторов и последующей семантической обработки, например поиска похожих текстов, классификации или кластеризации. README также описывает заявленные возможности рассуждения, программирования, ответов на вопросы, суммаризации, диалога и function calling, однако эти сведения не согласуются с указанным в метаданных pipeline-тегом feature-extraction и не подтверждают конкретную архитектуру, размер, поддерживаемые языки или длину контекста. Модель можно использовать на условиях лицензии MIT. Перед применением в продуктивных сценариях необходимо проверить фактический формат входов и выходов, совместимость с задачей и соответствие заявленных в README возможностей реальной конфигурации модели.

00сент. 2026
textembeddingmithugging-face
q-future
Q-ReAlign-Lite-4B

Q-ReAlign-Lite-4B — мультимодальная модель для оценки воспринимаемого качества и эстетической привлекательности изображений и видео. Её разработчики дообучили Qwen3.5-VL методом полного SFT; архитектура Qwen3_5ForConditionalGeneration объединяет языковую часть с линейным и полным вниманием и визуальный энкодер типа SigLIP. В модели около 4 млрд параметров согласно размеру в названии; обучение проводилось в bf16. Модель оценивает изображение или видео по шкале из пяти словесных уровней — от excellent до bad — и сводит вероятности этих уровней к числу от 0 до 1, где большее значение означает более высокое качество. Она предназначена для оценки качества изображений, эстетики и видео, отбора и ранжирования медиа, а также формирования сигналов вознаграждения для генеративных конвейеров. Для видео README предлагает передавать последовательность выбранных кадров. В описанных авторами испытаниях на семи наборах данных Lite показала средний SRCC 0,889 против 0,869 у Q-Align. Оценки зависят от распределения оценок обучающих данных и лучше подходят для относительного сравнения; перед объединением с другими шкалами их следует калибровать. Модель не предназначена для модерации безопасности, проверки фактов и личности, медицинской или судебной оценки. Лицензия — Apache-2.0.

12K2июнь 2026ctx262.1K
textimageapache-2.0hugging-face
jubaerrr
Qwen2.5-Coder-0.5B-Instruct-Gensyn-Swarm-screeching_iridescent_butterfly

jubaerrr/Qwen2.5-Coder-0.5B-Instruct-Gensyn-Swarm-screeching_iridescent_butterfly — компактная instruction-tuned causal language model, опубликованная пользователем jubaerrr и основанная на семействе Qwen2.5-Coder, разработанном командой Qwen компании Alibaba Cloud. По идентификатору модели и доступным сведениям, она представляет собой вариант Qwen2.5-Coder-0.5B-Instruct, дообученный в рамках Gensyn Swarm. Модель предназначена прежде всего для генерации, понимания и исправления программного кода, а также для диалогового выполнения инструкций, связанных с программированием. Она использует архитектуру Transformer и содержит около 0,5 млрд параметров; поддерживает текстовую генерацию и контекст до 32 768 токенов. Компактный размер облегчает запуск в ограниченных по ресурсам средах, но предполагает более слабые возможности по сравнению с крупными моделями, особенно на сложных задачах программирования. Точный набор языков, результаты оценки, ограничения безопасности и лицензия для этого производного варианта в доступных источниках не указаны.

670нояб. 2025ctx32.8K
texthugging-face
alibaba-pai
Qwen2-7B-Instruct-Response-Exp

Qwen2-7B-Instruct-Response-Exp — дообученная Alibaba PAI модель на архитектуре Qwen2 с 7,1 млрд параметров. Она предназначена для генерации ответов и автоматического расширения наборов данных и аннотаций в стиле Self-Instruct: например, для создания разнообразных примеров инструкций и ответов. Модель обучали на сбалансированной выборке из OpenHermes и LCCD; аннотации обучающих данных подготовлены с помощью Qwen-max и авторских примеров. Поддерживает чатовый режим, использует формат safetensors и имеет контекстное окно 32 768 токенов. В README приведено сравнение с Self-Instruct по разнообразию, длине, сложности и фактичности, однако подробности методики оценки не раскрыты. Модель принимает текст и генерирует текст. Базовая модель — Qwen2-7B-Instruct. Лицензия в предоставленных данных не указана.

222июль 2024ctx32.8K
texthugging-face
AbstractPhil
Qwen3.5-0.8B-json-captioner

AbstractPhil разработала Qwen3.5-0.8B-json-captioner — компактную мультимодальную модель на архитектуре Qwen3.5 с примерно 873 млн параметров. Это самостоятельный чекпойнт, полученный слиянием базовой Qwen/Qwen3.5-0.8B и LoRA-адаптера AbstractPhil/qwen3.5-0.8b-task_1-lora-v2; для запуска адаптер отдельно не нужен. Модель предназначена для извлечения из изображения буквального, привязанного к исходным данным описания в формате JSON по фиксированной схеме: объекты с атрибутами, действия и тип обстановки. Основной сценарий — подготовка структурированных подписей для обучающих конвейеров. Модель принимает изображение; также README описывает режим с текстовым промптом вместо изображения. Для ожидаемой структуры при генерации необходимо передать системный промпт и описание инструмента из обучающего набора. Хотя модель поддерживает зрительный ввод, адаптер обучался на преобразовании текстовых подписей в JSON, а не непосредственно на изображениях, поэтому текстовый режим может быть надёжнее. Модель мала и специализирована: она не предназначена для общего диалога, ответов на вопросы об изображениях или творческих подписей. Вывод ограничен заданной схемой; поля style и mood всегда равны null. Репозиторий использует safetensors и библиотеку Transformers, лицензия — Apache-2.0.

131июнь 2026ctx262.1K
textimageapache-2.0hugging-face
Finnish-NLP
roberta-large-finnish

Finnish-NLP/roberta-large-finnish — крупная предобученная языковая модель RoBERTa для финского языка, разработанная командой Finnish-NLP. Это двунаправленный трансформер с 454,1 млн параметров, обученный в PyTorch и JAX на корпусах финского веб-текста, Википедии и новостных и пользовательских текстах. Модель использует masked language modeling: по контексту восстанавливает замаскированные токены. Она чувствительна к регистру, а её контекст составляет около 512 токенов. Модель подходит для заполнения пропусков в финском тексте и как основа для дообучения классификаторов последовательностей и токенов, систем ответов на вопросы и извлечения текстовых признаков. В приведённых в карточке экспериментах дообученная модель показала высокие результаты на классификации финских новостей и парламентских текстов, хотя немного уступила финской модели FinBERT. Авторы предупреждают, что интернет-данные могут приводить к смещённым предсказаниям. Лицензия — Apache-2.0.

1545март 2022ctx514
textapache-2.0hugging-face
cl-nagoya
ruri-small

Ruri-Small — модель эмбеддингов японского текста, разработанная cl-nagoya для представления предложений и текстовых фрагментов в виде векторов. Это Sentence Transformer на базе cl-nagoya/ruri-pt-small; модель дообучена для задач сходства предложений. Она выдаёт векторы размерности 768, а сходство между ними можно оценивать косинусной близостью. Модель предназначена для поиска и сопоставления японских текстов, оценки семантического сходства, ранжирования результатов, классификации и кластеризации. Максимальная длина входной последовательности — 512 токенов. В оценке JMTEB Ruri-Small показала средний результат 71,53. Модель работает с японским языком и распространяется по лицензии Apache 2.0. README рекомендует для новых проектов более поздние модели семейства Ruri v3.

1.2K9авг. 2024ctx512
textapache-2.0hugging-face
iamtatsuki05
Sentence-Sarashina-Bi-0.5B-PT

Sentence-Sarashina-Bi-0.5B-PT — японская модель эмбеддингов предложений, разработанная iamtatsuki05. Она дообучена на базе iamtatsuki05/sarashina2.2-Bi-0.5b с помощью слабоконтролируемого контрастивного обучения на наборе cl-nagoya/ruri-dataset-v2-pt. Модель использует архитектуру Llama и sentence-transformers; содержит 661,9 млн параметров и формирует векторы размерности 1280 с помощью mean pooling. Модель предназначена для семантического сравнения японских текстов и поиска по смыслу, включая получение эмбеддингов для retrieval-систем. Поддерживает последовательности до 8192 токенов, использует SentencePiece и косинусную меру сходства. В README английский указан в заголовке, но среди заявленных языков поддержки указана только японская. Модель распространяется по лицензии MIT. Это специализированный энкодер для векторного представления текста; README не описывает генерацию ответов или диалоговое применение.

1170нояб. 2025ctx8.2K
textembeddingmithugging-face
zeromodels
siglip_base_p16_384

zeromodels представляет конверсию SigLIP Base Patch16 384 в формате Keras 3 для классификации изображений без дополнительного обучения. Модель использует двухбашенную архитектуру, кодирующую изображения и текст, и sigmoid loss при обучении вместо contrastive softmax, характерного для CLIP. Размер изображения — 384 пикселя; реализация работает с TensorFlow, PyTorch и JAX. При инференсе модель принимает изображения и текстовые подсказки, а затем сопоставляет их для классификации по произвольным текстовым меткам. Это подходит для категоризации изображений, когда набор классов задаётся в запросе. Модель основана на google/siglip-base-patch16-384; лицензия — Apache 2.0.

170июль 2026
textimageapache-2.0hugging-face
loom-ai-org
silero-vad-loom

Silero VAD v6 — экспорт модели обнаружения речевой активности Silero, подготовленный loom-ai-org для запуска в loom.cpp. Это модель архитектуры STFT + CNN + LSTM примерно с 300 тысячами параметров; веса соответствуют Silero VAD v6.2.3 для аудио 16 кГц и не изменены. Репозиторий упаковывает модель в формат GGUF; метаданные указывают библиотеку loom-py-rt и лицензию MIT. Модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятность наличия речи для каждого кадра длительностью 32 мс. Она подходит для определения участков речи в аудиозаписях и предварительной обработки аудио перед распознаванием речи. Модель языконезависимая; README сообщает, что обучающие корпуса охватывают более 6000 языков. Выход представляет собой вероятности по кадрам, а не готовые временные метки речи: выбор порога и постобработку, включая обработку границ сегментов и отбрасывание коротких фрагментов, нужно выполнять отдельно. Экспортированная версия работает только с монофоническим аудио 16 кГц; вариант для 8 кГц не включён. По README, экспорт сохраняет вычисления исходной модели с небольшим расхождением вероятностей из-за округления с плавающей точкой.

360окт. 2026
audiomithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей