II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейstanfordnlp/stanza-hu — модель Stanza для венгерского языка из набора инструментов лингвистического анализа, разработанного Stanford NLP. Она предназначена для анализа текста и решения задачи классификации токенов; метаданные указывают библиотеку Stanza и формат PyTorch. Лицензия — Apache 2.0. Stanza предлагает инструменты для анализа естественного языка от исходного текста до синтаксического разбора и распознавания сущностей. Карточка этой модели не уточняет конкретные поддерживаемые виды разметки, размер и архитектуру модели или длину контекста.
Это визуальный энкодер DINOv3 ViT-7B/16 из библиотеки timm, опубликованный в репозитории timm и предварительно обученный методом самоконтролируемого обучения на спутниковом наборе SAT-493M. Модель содержит около 6,716 млрд параметров и предназначена для извлечения признаков и эмбеддингов изображений; её представления также можно использовать как основу для классификации и сегментации спутниковых снимков после соответствующей настройки или построения downstream-модели. Размер входного изображения в карточке — 256 × 256 пикселей. Большой ViT-энкодер показывает результаты на задачах классификации и сегментации GEO-Bench, включая распознавание типов земного покрова и объектов на спутниковых данных. Модель выдаёт визуальные признаки, а не готовые текстовые ответы или предсказания классов. В репозитории указаны веса safetensors и лицензия «DINOv3»; метаданные Hugging Face обозначают лицензию как other, поэтому условия использования следует сверить с лицензией проекта DINOv3. В карточке также описаны технические отличия реализации timm от исходных весов, включая отключённые нулевые смещения QKV и численные различия в RoPE.
Модель reecursion123/xlm-roberta-base-pure-indian-annotations — дообученная версия многоязычной XLM-RoBERTa Base от Facebook AI для классификации текста. Она содержит 305,2 млн параметров, использует архитектуру XLMRobertaForSequenceClassification и принимает последовательности длиной до 514 токенов. В README указаны accuracy 0,8 и loss 0,5906 на оценочной выборке. Название модели указывает на аннотации, связанные с Индией, однако описание задачи, схема классов и данные для обучения в карточке не раскрыты. Модель подходит для текстовой классификации, но её точное назначение и пригодность для конкретного набора данных следует проверять отдельно. Распространяется по лицензии MIT.
Модель thealper2/xlm-roberta-base-text-geolocation разработана на основе FacebookAI/xlm-roberta-base, дообученной для классификации коротких сообщений из социальных сетей по 123 географическим регионам. Она принимает только текст и выдаёт метку региона c_0–c_122 с распределением вероятностей; координаты модель не предсказывает. Архитектура — XLM-RoBERTa с линейной классификационной головой, около 305,2 млн параметров и контекстом до 514 токенов. Модель предназначена для приблизительной оценки региона происхождения сообщения по текстовым признакам, включая упоминания мест, хештеги и эмодзи. Обучающая выборка состоит из сбалансированных постов Twitter 2021 года; модель многоязычная, но конкретные поддерживаемые языки и основной язык не перечислены. На тестовой выборке точность top-1 составила 24,34%, а top-5 — 56,12%; для сравнения, TF-IDF с логистической регрессией показал 27,35% top-1. Модель выпущена под лицензией MIT. Метки регионов являются безымянными кластерами датасета, а качество зависит от наличия географических сигналов в тексте; перенос на другие платформы и периоды не оценивался.
khadija69/xlmRobertaLarge_BIES_stem_1K_4 — дообученная модель семейства XLM-RoBERTa для классификации токенов. Она предназначена для задач разметки последовательностей, где каждому токену назначается метка. Модель содержит 658,7 млн параметров, принимает текст и имеет контекст длиной до 514 токенов. В README приведены результаты обучения на пятой эпохе: точность на обучающей выборке 0,619, на валидационной — 0,568; функция потерь на валидационной выборке — 0,6948. Датасет и конкретная схема меток не описаны, поэтому область применения и качество на иных данных определить нельзя. Модель основана на khadija69/xlmRobertaLarge_BIES_stem_1K_3 и распространяется по лицензии MIT.
nawaf11570/arabic-ai-arabert — модель классификации текста на базе AraBERTv0.2-base, дообученная для бинарного определения арабского текста как написанного человеком или сгенерированного ИИ. Разработчик обучил её на сбалансированном наборе арабских новостных статей и комментариев из социальных сетей и YouTube, сопоставленных с перефразированными Gemini версиями. Модель использует архитектуру BERT с классификационной головой, содержит 162,4 млн параметров и принимает текст длиной до 512 токенов. Модель подходит для предварительной проверки происхождения арабских текстов и анализа материалов из новостей и социальных сетей. В карточке указана точность 85,23% на внутреннем тестовом наборе; она ниже показателя сопровождающей гибридной модели проекта, который составляет 93,16%. Это результаты внутренней оценки, а не гарантия качества на других данных. Лицензия — Apache-2.0.
beewatch_ast_3class — модель классификации звуков на основе Audio Spectrogram Transformer (AST), разработанная пользователем troyskie и дообученная на базе MIT/ast-finetuned-audioset-10-10-0.4593. Она принимает аудио и относит его к одному из трёх классов; конкретные названия классов и целевой сценарий в карточке не раскрыты. Модель содержит 113,2 млн параметров и распространяется в формате safetensors для библиотеки Transformers. На оценочном наборе указаны accuracy 0,7473 и macro F1 0,7245. Лицензия — BSD 3-Clause.
CAMeL-Lab разработала CAMeLBERT-CA POS-MSA — модель разметки частей речи для арабского языка в варианте современного стандартного арабского (MSA). Это дообученная для классификации токенов модель на архитектуре BERT с 136,3 млн параметров и контекстом до 512 токенов. Для дообучения использован датасет PATB. Модель предназначена для автоматического определения части речи каждого токена в тексте на MSA и может использоваться в конвейере Transformers как компонент лингвистической обработки арабского текста. Доступны веса PyTorch и TensorFlow. Модель опубликована под лицензией Apache-2.0.
Koichi Yasuoka разработал японскую модель BERT для разметки частей речи и синтаксического анализа зависимостей. Модель дообучена на основе KoichiYasuoka/bert-base-japanese-char-extended и использует архитектуру BertForTokenClassification; её обучающие тексты взяты из японской Википедии. Для каждого короткого словесного сегмента модель предсказывает метку UPOS из набора Universal Dependencies. Модель принимает японский текст и возвращает последовательность меток частей речи. Она подходит для морфосинтаксической разметки японских текстов и может служить компонентом конвейера анализа зависимостей. Контекст ограничен 512 токенами; формат весов — PyTorch. Распространяется по лицензии CC BY-SA 4.0.
Модель разработана на основе японской BERT-large v2 Университета Тохоку и дообучена на датасете WRIME для оценки интенсивности восьми базовых эмоций по Плутчику: радости, грусти, ожидания, удивления, гнева, страха, отвращения и доверия. Она принимает короткий текст на японском языке и выдаёт оценки или вероятности для каждой эмоции; результаты можно использовать для многометочной классификации или регрессионного анализа. Модель предназначена для исследовательского и аналитического изучения эмоций в японских публикациях соцсетей, диалогах и других коротких текстах, в том числе для отслеживания изменений эмоциональных выражений во времени. В README приведены оценки на тестировании WRIME: средняя бинарная F1-мера 61,2%, косинусное сходство векторных оценок 0,922. Модель распространяется по лицензии Apache-2.0. Она оценивает выраженные в тексте эмоции, а не внутреннее состояние человека; качество может снижаться на сленге, сарказме, диалектах и специализированной лексике. Авторы не рекомендуют использовать её для клинической диагностики или решений с высокими последствиями без проверки человеком.
maximuspowers/bias-type-classifier — англоязычный классификатор текстов, разработанный Maximuspowers и дообученный на базе google-bert/bert-base-uncased. Модель использует архитектуру BERT для классификации текста по типам предвзятости; среди меток указаны racial, religious и physical. Для одного текста возвращает метку и оценку, а параметр return_all_scores=True позволяет получить оценки по всем меткам. В README приведены средние F1 0,8998, точность 0,9213 и полнота 0,8807, а также результаты по отдельным категориям. Модель рассчитана на англоязычный текст, имеет контекст до 512 токенов и содержит 136,7 млн параметров. Обучена на датасете ethical-spectacle/biased-corpus; указана лицензия MIT. Качество на других данных и категориях предвзятости может отличаться от приведённых метрик.
Модель alexandrainst/da-emotion-classification-base — датская BERT-модель, разработанная Alexandra Institute и предназначенная для классификации эмоций в тексте. Она относит датский текст к одному из восьми классов: радость/спокойствие, доверие/принятие, ожидание/интерес, удивление/изумление, гнев/раздражение, презрение/неприязнь, грусть и страх/беспокойство. Модель основана на предварительно обученной датской BERT-модели BotXO и дообучена на вручную размеченных публикациях из социальных сетей. В описании рекомендуется сначала определить, содержит ли текст эмоцию, с помощью отдельной бинарной модели эмоций, а затем использовать эту модель для определения типа эмоции. Архитектура — BERT для классификации последовательностей, размер — 137,8 млн параметров, максимальная длина контекста — 512 токенов. Модель рассчитана на датский язык и подходит для анализа эмоциональной окраски сообщений в социальных сетях. Обучающие данные не опубликованы. Лицензия — Apache-2.0.
Koichi Yasuoka разработал модель DeBERTa V2 large для разметки частей речи в японском тексте. Она дообучена на текстах 青空文庫 на основе KoichiYasuoka/deberta-large-japanese-aozora и присваивает каждому короткому слову тег UPOS из набора Universal Dependencies. Модель также предназначена для синтаксического анализа зависимостей. Модель содержит 435,4 млн параметров, принимает текст и выдаёт метки токенов; размер контекста — 512 токенов. Для использования доступны веса PyTorch и библиотека Transformers. Лицензия — CC BY-SA 4.0. Модель рассчитана на японский язык и подходит для разметки японских текстов. Её возможности ограничены указанными задачами и длиной контекста; сведения о точности в карточке не приведены.
LBFLarry/distilbert-base-uncased-finetuned-adl_hw1 — модель классификации последовательностей на базе DistilBERT, дообученная на неизвестном наборе данных. В карточке указаны результаты оценки: loss 0,1960 и accuracy 0,9613, однако описание классов и методики оценки отсутствует. Модель предназначена для классификации текста. Она построена на архитектуре DistilBertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. Языковая специализация и прикладная область по карточке не установлены. Модель распространяется под лицензией Apache-2.0. Результаты оценки приведены без сведений о наборе данных, разбиении и метриках помимо loss и accuracy, поэтому переносимость качества на другие данные оценить нельзя.
Youghourta дообучил компактную модель ntu-spml/distilhubert для классификации аудио на датасете GTZAN. Это модель семейства HuBERT с архитектурой HubertForSequenceClassification и 18,9 млн параметров; она принимает аудио и предсказывает класс музыкального жанра. На оценочной выборке GTZAN указаны точность 0,84 и значение функции потерь 0,9007. Модель предназначена для автоматической классификации музыкальных записей; базовая distilhubert рассчитана на аудио с частотой 16 кГц. Распространяется по лицензии Apache-2.0.
dbmdz/electra-base-italian-xxl-cased-discriminator — итальянская предобученная модель ELECTRA, выпущенная командой MDZ Digital Library Баварской государственной библиотеки. Дискриминатор ELECTRA обучался на корпусе XXL объёмом 81 ГБ, включающем итальянскую Википедию, тексты OPUS и итальянскую часть OSCAR; обучение продолжалось 1 млн шагов. Модель содержит 137,1 млн параметров и рассчитана на последовательности до 512 токенов. Модель предназначена как базовый энкодер для последующей адаптации к задачам обработки итальянского текста, например распознаванию именованных сущностей и разметке частей речи. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — MIT. В README отмечено, что при обучении XXL-моделей использовали неверный размер словаря в конфигурации: фактический словарь содержит 31 102 токена, что не совпадает со значением в config.json. Авторы сообщают, что модель работает и оценки проводились с этой конфигурацией.
Модель dima806/english_accents_classification предназначена для классификации аудиозаписи речи по распространённому акценту английского языка. Она дообучена на facebook/wav2vec2-base-960h и использует архитектуру wav2vec2 с классификационной головой; размер составляет 113,3 млн параметров. Модель принимает аудио и выдаёт метку класса акцента. Модель подходит для автоматической сортировки речевых образцов по акцентам и анализа английской речи. В карточке указана лицензия Apache-2.0. README не сообщает перечень классов акцентов и условия записи, поэтому точность для конкретных вариантов произношения оценить нельзя.
financial-sentiment-v1.1-base — модель NOSIBLE для классификации тональности коротких финансовых текстов по вероятному влиянию события на компанию: положительное, нейтральное или отрицательное. Это дообученная версия плотной авторегрессионной языковой модели Qwen3-0.6B с 507,9 млн параметров, предназначенная для генерации текстового ответа с одной из меток. Модель рассчитана прежде всего на англоязычные финансовые новостные фрагменты и поисковые сниппеты; заявлены 100 тыс. реальных результатов поиска в обучающем корпусе и контекст до 40 960 токенов в метаданных. В README указано, что обучение ограничивалось контекстом 2 048 токенов, поэтому для длинных документов рекомендуется разделение на фрагменты. Модель ориентирована на быстрый анализ финансовых новостей и коротких сообщений. Для заявленной точности авторы требуют отключать режим рассуждений, использовать заданный системный промпт и ограничивать вывод тремя допустимыми метками посредством управляемой генерации. README сообщает о результатах выше FinBERT на Financial PhraseBank и внутреннем наборе, однако оценки не приведены в переданных данных. Модель может ошибаться на неоднозначных текстах, не проверяет достоверность содержащихся в них фактов и не предназначена для общей тональности или гарантированной работы с другими языками. Лицензия — Apache-2.0.
FinEdgeX-Sentiment — модель FinEdgeX для классификации тональности финансовых текстов, ориентированная на индийский фондовый рынок NSE и BSE. Она основана на FinBERT и дообучена на Financial PhraseBank и небольшом наборе примеров с контекстами индийского рынка, включая NSE, BSE, SEBI и RBI. Архитектура — BERT для классификации последовательностей, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель присваивает тексту одну из меток: BULLISH, BEARISH или NEUTRAL. Её можно применять для анализа новостей, корпоративных сообщений и других финансовых текстов, чтобы выявлять позитивный, негативный или нейтральный сигнал для индийского рынка. Основной язык карточки и обучающих данных — английский. Модель распространяется по лицензии Apache-2.0. Набор примеров специально собранных индийских рыночных текстов невелик, поэтому результаты в узких контекстах могут быть менее надёжными; заявленные в README характеристики качества не приведены.
Aratako/gemma-4-E4B-it-audio-encoder — аудиоэнкодер, извлечённый из Google Gemma 4 E4B Instruct. Это плотная модель класса Gemma4AudioEncoder, подготовленная для Transformers и распространяемая в формате safetensors. При включённой по умолчанию проекции она выдаёт векторы размерности 2560 в пространстве эмбеддингов языковой модели Gemma 4 E4B; без проекции — исходные аудиопредставления размерности 1536. Модель предназначена для извлечения признаков из аудио и передачи полученных представлений компонентам Gemma 4 E4B или другим совместимым системам. Для загрузки требуется Transformers версии 5.5.0 или новее. Лицензия — Apache 2.0. README не сообщает о поддерживаемых языках аудио и отдельных ограничениях качества или применения.
GigaAM Emotion Classifier — модель распознавания эмоций в речи, созданная дообучением энкодера RNNT модели waveletdeboshir/gigaam-rnnt и добавлением классификационной головы из трёх слоёв с LayerNorm и dropout. Она принимает аудио речи и выдаёт оценки для пяти эмоциональных классов; при усреднении представлений учитывается маска длины последовательности. Модель обучена на наборе nixiieee/dusha_balanced, представляющем собой обрезанную версию датасета Dusha. Базовая архитектура GigaAM основана на Conformer и ориентирована на русский язык. Репозиторий содержит веса в формате safetensors; лицензия в доступных данных не указана.
Jiaqi Lee разработал эту модель как дообученную версию bert-base-uncased для классификации тональности англоязычных отзывов о фильмах. Модель относит отзыв к одной из двух категорий: отрицательной или положительной. Модель построена на архитектуре BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена на 90% обучающей части набора IMDB и оценивалась на оставшихся 10%; в карточке указана точность 0,91 на тестовой выборке IMDB. Работает с текстом и доступна в формате PyTorch через библиотеку Transformers. Модель подходит для анализа тональности отзывов, но её назначение ограничено англоязычными отзывами о фильмах, поэтому качество на других темах и языках не подтверждено. Лицензия — OpenRAIL.
KoMultiGen-General — корейская модель генерации текста, разработанная в рамках проекта koVast. Она основана на Sinatra-Mixtral и дообучена на наборе данных, созданном с помощью GPT-4 Turbo. Модель предназначена для генерации многоходовых диалогов на корейском языке по заданным неструктурированным данным: обычно она создаёт последовательность из 3–5 ходов. Модель относится к семейству Mixtral и использует архитектуру MoE; в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Она рассчитана на чатовый сценарий и генерацию обучающих диалоговых данных. Для вопросов и ответов авторы использовали корейскую разговорную форму «해체», а для входов, по которым трудно создать данные, модель обучали воздерживаться от генерации. Доступна по лицензии Apache-2.0.
philschmid/llama-2-7b-instruction-generator — дообученная модель семейства Llama 2 для генерации инструкций по входному тексту. Она предназначена для создания синтетических обучающих примеров из неразмеченных данных, например писем, чтобы адаптировать языковые модели к персональным данным. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров; принимает текст и генерирует текст. Контекст составляет 4096 токенов, основной язык карточки — английский. Модель дообучена в формате Alpaca на модифицированной версии Dolly и опубликована в формате PyTorch для Transformers. В README приведён пример работы, но не сообщаются результаты систематической оценки качества. Лицензия указана как OpenRAIL.
Koichi Yasuoka разработал GPT-2-подобную модель для разметки японского текста. Она присваивает каждому короткому слову тег части речи UPOS и признаки FEATS из набора Universal Dependencies; модель дообучена на базе llm-jp/llm-jp-1.3b-v1.0 и предназначена для морфосинтаксического анализа японских предложений. Модель содержит 1,3 млрд параметров, принимает текст, выдаёт разметку токенов и поддерживает контекст длиной до 2048 токенов. Распространяется в формате PyTorch по лицензии Apache-2.0.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_8 — модель классификации текста, опубликованная пользователем Jeevesh8 на Hugging Face. Она основана на BERT-base-uncased и дообучена для задачи QQP (Quora Question Pairs), то есть для классификации пар вопросов, вероятно с целью определения их семантической эквивалентности или дубликатов. Репозиторий поддерживает загрузку через Transformers как AutoModelForSequenceClassification и имеет тип Text Classification. Базовая архитектура BERT-base-uncased разработана Google: это англоязычный bidirectional Transformer с примерно 110 млн параметров, 12 слоями, 12 attention heads и размерностью скрытого состояния 768. Модель не учитывает регистр, а имя репозитория указывает на ограничение длины последовательности 128 токенов. Она предназначена для англоязычных текстовых задач, связанных с классификацией пар вопросов, но не является генеративной моделью и не предназначена для свободной генерации текста. Сильная сторона модели — использование предварительно обученного BERT и специализация на задаче QQP. При этом у репозитория отсутствует заполненная карточка модели: не указаны точные метрики, параметры классификационных меток, подробности обучения, подтверждённые ограничения и рекомендации по применению. Лицензия для этой конкретной производной модели явно не указана; лицензия базовой модели BERT-base-uncased не должна автоматически считаться лицензией данного репозитория.
ania3000/mmbert-base-kuoss-morph — дообученный авторами репозитория чекпойнт jhu-clsp/mmBERT-base для классификации токенов. Модель использует плотную архитектуру ModernBERT, содержит 306,9 млн параметров и принимает последовательности длиной до 8192 токенов. Она предназначена для разметки отдельных токенов входного текста, например морфологического анализа. В README приведены результаты оценки: точность 92,51% и точность на уровне предложений 47,91%; набор данных и детали оценки не описаны. Базовая mmBERT — многоязычный энкодер; конкретная языковая специализация этого чекпойнта не подтверждена. Модель распространяется по лицензии MIT.
Koichi Yasuoka дообучил ModernBERT-large на текстах тайской Википедии для морфологического анализа тайского языка. Модель размечает слова тегами UPOS и FEATS и предназначена для определения частей речи и разбора зависимостей; в Transformers её можно использовать для последовательной классификации токенов. Модель имеет плотную архитектуру ModernBERT, около 346 млн параметров и контекст до 8192 токенов. Она поддерживает тайский язык, распространяется в формате PyTorch по лицензии Apache-2.0. Карточка показывает пример запуска через Transformers с `trust_remote_code=True` и простой агрегацией токенов.
Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_wd0_pnt_01_seq_len_128_bert-base-uncased_mnli_ft_17 — модель для классификации текста, опубликованная пользователем Jeevesh8 на Hugging Face. Она основана на BERT и предназначена для задач, совместимых с интерфейсом Transformers AutoModelForSequenceClassification и конвейером text-classification. По идентификатору и метаданным Hugging Face известно, что модель связана с bert-base-uncased, обучалась с использованием MNLI и рассчитана на последовательности длиной до 128 токенов. Поддерживаются библиотеки Transformers и JAX. Основной сценарий применения — классификация текстовых входов; конкретные метки классов, языки, размер параметров, показатели качества и дополнительные сильные стороны в карточке модели не описаны. Карточка модели отсутствует, поэтому сведения об ограничениях, лицензии, точном наборе данных, процедуре обучения и условиях использования не указаны. Модель не развернута через Inference Providers.
Skiuphill/my_awesome_wnut_model — дообученная модель DistilBERT для классификации токенов. Она основана на distilbert/distilbert-base-uncased и предназначена для разметки отдельных токенов во входном тексте; имя модели указывает на возможную связь с набором WNUT, однако README не подтверждает задачу или обучающие данные. Модель использует архитектуру DistilBertForTokenClassification, веса сохранены в формате safetensors, максимальная длина контекста — 512 токенов. README сообщает метрики на оценочной выборке: precision 0,574, recall 0,3197, F1 0,4107 и accuracy 0,9407. Лицензия — Apache-2.0.