II.8Инженерия данных и аналитика

Модель Stanza для испанского языка разработана командой Stanford NLP. Это компонент набора инструментов Stanza для лингвистического анализа: он обрабатывает текст и поддерживает задачу token classification. Модель можно использовать как часть конвейера NLP для испанских текстов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка описывает модель как точный и эффективный инструмент Stanza, но не приводит сведений о её размере, контекстном окне или конкретных типах разметки.

stanfordnlp/stanza-kk — модель Stanza для лингвистического анализа текстов на казахском языке, опубликованная Stanford NLP. Она предназначена для разметки последовательностей токенов; модель распространяется в формате PyTorch и доступна по лицензии Apache-2.0.

google/tapas-tiny-finetuned-wtq — компактная модель TAPAS от Google для ответов на вопросы по таблицам. Она принимает вопрос и таблицу, преобразованную в последовательность текста, и определяет нужные ячейки и способ агрегировать их значения. Модель основана на архитектуре, подобной BERT, содержит 4,4 млн параметров и рассчитана на последовательности длиной до 512 токенов. Модель предварительно обучалась на английских таблицах и сопутствующих текстах, а затем последовательно дообучалась на SQA, WikiSQL и WikiTable Questions (WTQ). По сравнению с обычной языковой моделью TAPAS учитывает структуру таблицы и поддерживает числовое рассуждение; версия по умолчанию сбрасывает позиционные индексы в каждой ячейке. Подходит для извлечения ответов и значений из англоязычных таблиц. Опубликована по лицензии Apache-2.0. Качество зависит от соответствия таблиц и вопросов обучающим данным; ограничение в 512 токенов сужает размер таблицы, которую можно обработать за один запрос.

BeastxD/text2cypher_lora_v7 — дообученная BeastxD модель семейства Qwen3 на базе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; метаданные указывают поддержку контекста до 262 144 токенов, чата и интерфейса вызова инструментов. Название репозитория указывает на генерацию Cypher-запросов, однако README не описывает эту специализацию и не приводит примеров, поэтому её качество и точные сценарии применения не подтверждены. Модель принимает текст и генерирует текст; в карточке указан английский язык. Она обучалась с использованием Unsloth и библиотеки TRL. Лицензия — Apache-2.0. Специализация на Cypher следует только из названия модели; перед применением стоит проверить корректность запросов на своих данных.

Twitter emotion PL (base) — модель BERT, разработанная bards.ai на основе allegro/herbert-base-cased для классификации эмоций в польских публикациях Twitter. Она дообучена на переведённой версии набора TweetEval в течение 10 эпох и относит текст к одному из четырёх классов: радость, оптимизм, грусть или гнев. Модель предназначена для анализа тональности и эмоционального состава польских постов и коротких сообщений. В README указаны macro F1 0,756, macro precision 0,767 и macro recall 0,750. Параметры модели — около 151,6 млн, максимальная длина контекста — 514 токенов; для запуска подходит библиотека Transformers. Распространяется по лицензии CC BY 4.0.

Модель PierrePol/twitter-roberta_stanfordnlp_imdb_SetFit_tweet_ep2_bs16_lr2e-05_v3 — дообученная для классификации текста RoBERTa-модель на 151,8 млн параметров, основанная на cardiffnlp/twitter-roberta-base-sentiment-latest. В README указаны метрики на оценочной выборке: accuracy 0,922 и F1 0,9216; название репозитория указывает на эксперименты с отзывами IMDb и твитами, но карточка не раскрывает состав датасета и целевые классы. Модель предназначена для классификации текстовых последовательностей. Базовая модель Cardiff NLP определяет отрицательную, нейтральную и положительную тональность, особенно в публикациях Twitter, однако перенос этих классов на производную модель не подтверждён описанием её обучения. Максимальная длина контекста — 514 токенов. Опубликована в формате safetensors и распространяется по лицензии CC BY 4.0.

daveni/twitter-xlm-roberta-emotion-es — модель XLM-RoBERTa-base, разработанная авторами карточки и дообученная для распознавания эмоций в испаноязычных сообщениях Twitter. Она относит текст к одному из семи классов: гнев, отвращение, страх, радость, печаль, удивление или «другое». Модель содержит около 305,2 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате PyTorch. Модель создавалась для участия в соревновании EmoEvalEs на конференции IberLEF 2021 и показала там macro-F1 71,70%. Её можно применять для анализа тональности и эмоциональных реакций в испаноязычных твитах и коротких сообщениях. Базовые веса XLM-RoBERTa предварительно обучены на корпусе примерно из 198 млн твитов; для дообучения использован датасет EmoEvalEs. Лицензия в предоставленных данных не указана.

Это акустическая модель распознавания речи на базе Wav2Vec 2.0 Large LV-60, подготовленная Qiantong Xu, Alexei Baevski и Michael Auli и дообученная на многоязычном Common Voice. Модель имеет архитектуру Wav2Vec2ForCTC и около 403,1 млн параметров; репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт последовательность фонетических меток для нескольких языков. Её используют для фонемного распознавания, в том числе при переносе между языками; чтобы получить слова, выходные метки нужно преобразовать с помощью словаря соответствий фонем и слов. Карточка описывает именно фонетический выход, поэтому готовую орфографическую транскрипцию модель напрямую не гарантирует.

Aniemore/wavlm-emotion-v1-crosslingual — модель распознавания эмоций в речи, разработанная Aniemore на архитектуре WavLMForSequenceClassification. Она дообучена на смеси 27 939 аудиофрагментов из восьми языков и трёх речевых регистров, чтобы распознавать эмоции в том числе в спонтанной речи. Модель относит аудио к семи категориям: гневу, отвращению, энтузиазму, страху, радости, нейтральному состоянию и грусти. Размер — 402,7 млн параметров; принимает аудио и выдаёт метки классов. Поддерживаемые языки: русский, английский, немецкий, польский, итальянский, французский, испанский и бенгальский. На тесте спонтанной русской речи macro-F1 составил 0,3633, а на тесте CAMEO для семи нерусских языков — 0,5048; авторы предупреждают, что результаты CAMEO не доказывают переносимость между языками из-за особенностей разбиения данных. На тесте актированной русской речи результат ниже, чем у предыдущей версии, поэтому для чтения или сыгранной речи она может подойти хуже. В репозитории доступны уменьшенные варианты int8, fp8 и int4. Модель распространяется по лицензии MIT; README отмечает, что лицензия наследуется от microsoft/wavlm-large.

JackismyShephard/whisper-medium.en-finetuned-gtzan — дообученная модель Whisper medium.en на наборе GTZAN для классификации аудио. В метаданных указана архитектура WhisperForAudioClassification, около 455,8 млн параметров и формат safetensors. Базовая модель разработана OpenAI и предназначена для англоязычного распознавания речи. Модель подходит для отнесения аудиозаписей к классам музыкальных жанров GTZAN. В карточке сообщается точность 0,95 и значение loss 0,2885 на наборе оценки. Модель принимает аудио и выдаёт метки классов; других поддерживаемых наборов классов карточка не описывает. Лицензия — Apache-2.0.

Модель khadija69/xlmRobertaLarge_BIES_stem_1K_2 разработана как дообученная версия khadija69/xlmRobertaLarge_BIES_stem_1K_1 на неизвестном наборе данных. Это XLM-RoBERTa large с архитектурой XLMRobertaForTokenClassification, предназначенная для классификации и разметки токенов в тексте. Модель содержит 658,7 млн параметров и принимает последовательности длиной до 514 токенов. В карточке приведены результаты на валидационной выборке после пяти эпох: точность 0,5520 и функция потерь 0,8697; обучающая точность составила 0,6458. Данные обучения и конкретные классы разметки не описаны, поэтому применимость к определённой задаче извлечения сущностей или тегирования следует проверять отдельно. Модель распространяется по лицензии MIT.

Модель Jzuluaga/accent-id-commonaccent_xlsr-en-english предназначена для определения английского акцента по короткой аудиозаписи. Её разработчики обучили систему на данных CommonAccent и Common Voice; в основе лежит дообученная XLSR-модель с статистическим pooling и классификатором на NLL Loss. Реализация использует SpeechBrain и PyTorch. Модель различает 16 акцентов английского языка: американский, английский, австралийский, индийский, канадский и другие, включая акценты из Бермуд, Шотландии, Малайзии и Гонконга. Ожидаемый аудиоформат при обучении — моно, 16 кГц; при вызове classify_file аудио автоматически приводится к нужному формату. Для ручной обработки через encode_batch и classify_batch входной сигнал должен соответствовать этим требованиям. Авторы сообщают об accuracy до 95% для классификации английских акцентов, однако не гарантируют аналогичную работу на других наборах данных. Лицензия — MIT.

Модель sercetexam9/afro-xlmr-base-arq-finetuned-augmentation-LUNAR — дообученная версия Davlan/afro-xlmr-base для классификации текстов. Она использует архитектуру XLM-RoBERTa и содержит около 305,2 млн параметров; максимальная длина контекста — 514 токенов. Базовая модель предназначена для многоязычных текстов, в том числе на африканских языках. Модель подходит для задач классификации последовательностей и может применяться для разметки текстов по категориям. В README приведены метрики на оценочной выборке: F1 0,5725, ROC AUC 0,6987 и accuracy 0,2957; описание датасета и целевых классов отсутствует, поэтому эти результаты не позволяют определить качество для конкретного сценария. Модель распространяется по лицензии MIT.

ckiplab/albert-tiny-chinese-pos — компактная модель CKIP для разметки частей речи в традиционном китайском тексте. Она основана на архитектуре ALBERT и содержит 12,8 млн параметров; для токенизации автор рекомендует BertTokenizerFast. Модель предназначена для присвоения метки части речи каждому токену. Это подходит для анализа китайских текстов и построения конвейеров обработки языка, в которых разметка частей речи используется как промежуточный этап. README относит проект к инструментам для традиционного китайского языка и также упоминает сегментацию слов и распознавание именованных сущностей, однако для этой модели метаданные подтверждают только классификацию токенов. Длина контекста составляет 512 токенов. Модель опубликована в формате PyTorch и распространяется по лицензии GPL-3.0. Карточка не приводит оценки качества; применение требует совместимой токенизации и учёта условий лицензии.

Anime AI Art Detect — модель классификации изображений на базе BEiT, созданная для определения, создано ли аниме-изображение человеком или ИИ. Она предназначена для фильтрации изображений, например удаления вероятных ИИ-работ из обучающей выборки, когда отдельные ошибки классификации допустимы. Модель содержит 119,5 млн параметров и обучена в течение одной эпохи на 11 тысячах изображений с имиджбордов и 11 тысячах ИИ-изображений с aibooru; базовая модель — microsoft/beit-base-patch16-224. Автор сообщает о точности 96% на различении изображений из использованных источников, но результат зависит от данных. Низкокачественные ИИ-генерации и применение textual inversion или hypernetwork повышают вероятность ошибки. Автор не позиционирует классификатор как более точный, чем человек. Лицензия — Apache-2.0.

Модель Omarques, обученная с помощью AutoTrain, предназначена для бинарной классификации изображений собак и кошек. Это модель на архитектуре Vision Transformer (ViT) с примерно 113,2 млн параметров, опубликованная в формате PyTorch и обученная на наборе данных omarques/autotrain-data-dogs-and-cats. Она принимает изображение и определяет, относится ли оно к классу собак или кошек. В README приведены метрики на валидации: accuracy, precision, recall, AUC и F1 равны 1,000. Эти результаты характеризуют только указанную проверочную выборку и не гарантируют такую же точность на новых изображениях. Лицензия в доступных данных не указана.

kit-nlp/bert-base-japanese-sentiment-irony — японская модель BERT Base, разработанная на основе bert-base-japanese-sentiment и дополнительно дообученная для автоматического определения иронии и сарказма в твитах. Модель предназначена для классификации японских текстов с учётом тональности и иронического смысла. Архитектура — BertForSequenceClassification, размер — 137,8 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт метки классификации; в карточке указано применение к японским твитам. Распространяется в формате PyTorch по лицензии CC BY-SA 4.0.

leomaurodesenv/bert-base-uncased-nvidia-aegis-v2-augmented — дообученная модель BERT для классификации текста, основанная на google-bert/bert-base-uncased. Она содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: loss 0,2871 и accuracy 0,8823; набор данных и подробности задачи классификации не описаны. Модель подходит для классификации текстовых последовательностей в англоязычных сценариях на основе BERT. Доступна в формате safetensors для библиотеки Transformers. Распространяется по лицензии Apache-2.0; качество на других данных и применимость к конкретным классам задач зависят от неизвестного обучающего набора.

Модель minutillamolinara/bert-japanese_finetuned-sentiment-analysis — классификатор тональности японского текста на базе BERT, опубликованный minutillamolinara. В README сказано, что модель обучалась с нуля на наборе Japanese Sentiment Polarity Dictionary; также приведена ссылка на jarvisx17/japanese-sentiment-analysis как предварительно обученную модель, поэтому точное происхождение весов описано неоднозначно. Архитектура — BertForSequenceClassification, размер — 138,4 млн параметров, формат — PyTorch, максимальная длина контекста — 512 токенов. Модель предназначена для определения тональности японских текстов. Для токенизации в README указаны зависимости fugashi и unidic_lite. Метаданные задают задачу text-classification и японский язык. Лицензия — MIT.

Многоязычный классификатор токсичности текста, разработанный TextDetox на основе bert-base-multilingual-cased и дообученный для бинарной классификации токсичных и нетоксичных текстов на датасете textdetox/multilingual_toxicity_dataset. Модель использует архитектуру BERT для классификации последовательностей, содержит 205,1 млн параметров и принимает контекст длиной до 512 токенов. Классификатор предназначен для выявления токсичных высказываний в текстах на 15 языках. В карточке приведены оценки F1 для английского (0,9035), русского (0,9224) и украинского (0,9461). Модель можно применять для модерации пользовательских сообщений и анализа текстовых потоков. Она доступна в формате safetensors для библиотеки Transformers и распространяется по лицензии OpenRAIL++. Классификация бинарная, поэтому модель не определяет отдельные виды токсичности и может ошибаться на пограничных, контекстно-зависимых или недостаточно представленных примерах. Приведённые оценки относятся к указанному набору данных и не гарантируют такого же качества на других источниках текста.

nihalenc/berturk-duygu-analizi — модель классификации текста, дообученная на основе регистрозависимого турецкого BERT-энкодера dbmdz/bert-base-turkish-cased. Она предназначена для анализа тональности или эмоциональной окраски турецких текстов. Архитектура — BERT для классификации последовательностей; модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указаны результаты оценки: accuracy 0,8711 и macro F1 0,8705. Модель распространяется по лицензии MIT. README не описывает обучающий датасет и конкретные классы тональности, поэтому применимость к определённым типам текста и категориям эмоций по карточке оценить нельзя.

Koichi Yasuoka разработал эту BERT-модель для разметки китайского текста по частям речи. Она дообучена на основе hfl/chinese-roberta-wwm-ext и присваивает словам теги UPOS из универсальной системы частей речи. Обучающие тексты взяты из китайской Википедии на упрощённом и традиционном китайском. Модель предназначена для токенной классификации: её можно применять для автоматической разметки частей речи в китайских текстах и как компонент синтаксического анализа зависимостей. Размер составляет 129,5 млн параметров, максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

Portuguese Clinical NER - Disorder — модель распознавания клинических сущностей, связанных с расстройствами, в португальских текстах. Она входит в проект BioBERTpt, разработана на базе модели BioBERTpt(all) и обучена командой pucpr на бразильском клиническом корпусе SemClinBr в течение 10 эпох с разметкой IOB2. Модель использует архитектуру BERT с головой классификации токенов, содержит 205,1 млн параметров и обрабатывает последовательности длиной до 512 токенов. Основной сценарий — извлечение упоминаний расстройств из клинических текстов на португальском языке; распознанные фрагменты размечаются по токенам.

Это исследовательский чекпойнт языковой модели Qwen3-4B, дообученный командой автора с помощью обучения с подкреплением OpenRLHF и алгоритма GRPO. Обучение проводилось непосредственно от Qwen/Qwen3-4B-Instruct-2507 без отдельного SFT-этапа; в метаданных указано 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации программ, в частности для решения задач из набора cobalt-train, где награда зависела от прохождения тестов сгенерированным кодом. Этот чекпойнт выбран как лучший по метрике pass@8 в рамках конкретного эксперимента. Он сохранён на шаге 26; для обучения использовались восемь вариантов ответа на задачу, максимум 4096 новых токенов и два эпизода. Оценочные метрики чекпойнта в журнале обучения отсутствуют, поэтому результат нельзя считать подтверждением качества на произвольных задачах программирования. Репозиторий содержит веса Safetensors; для загрузки предлагается Transformers. Лицензия в предоставленных данных не указана.

Consc_binary — модель классификации текста на основе DeBERTa-v3-base, дообученная разработчиком ajrayman для бинарной классификации последовательностей. Она содержит 211,6 млн параметров, использует архитектуру DeBERTa V2 и принимает текстовые последовательности длиной до 512 токенов. Модель опубликована в формате safetensors и распространяется по лицензии MIT. На указанной в карточке оценочной выборке модель получила accuracy 0,7559, precision 0,7204, recall 0,8354, F1 0,7737 и AUC 0,8421. Название и метрики указывают на бинарный сценарий классификации, однако классы, датасет и предметная область не описаны, поэтому пригодность для конкретной задачи нужно проверять на собственных данных.

Koichi Yasuoka разработал DeBERTaV2 для разметки беларусского текста на уровне слов. Модель дообучена на UD_Belarusian на базе KoichiYasuoka/deberta-base-belarusian и предсказывает для каждого слова часть речи по набору UPOS и морфологические признаки FEATS. Метаданные указывают 136,3 млн параметров и контекст до 512 токенов. Модель предназначена для автоматической морфологической разметки беларусских текстов и подготовки данных для последующего синтаксического анализа, включая разбор зависимостей. Она принимает текст и возвращает метки токенов. Доступны веса PyTorch; лицензия — CC BY-SA 4.0.

Koichi Yasuoka разработал модель DeBERTa V2 для разметки японского текста: она определяет части речи и выполняет синтаксический разбор зависимостей, используя отношение goeswith для сегментов слов. Модель дообучена на базе KoichiYasuoka/deberta-base-japanese-wikipedia-luw-upos с использованием Universal Dependencies Japanese GSDLUW; предобучение проводилось на японской Википедии и текстах Aozora Bunko. Модель содержит 137,8 млн параметров, принимает текст и работает с контекстом до 512 токенов. Она предназначена для морфологического и синтаксического анализа японских текстов, например для обработки статей и учебных материалов. Опубликована под лицензией CC BY-SA 4.0.

Hate-speech-CNERG/dehatebert-mono-spanish — модель классификации текста для выявления ненавистнических высказываний на испанском языке. Она разработана для задачи обнаружения языка вражды и описана в работе «Deep Learning Models for Multilingual Hate Speech Detection», принятой на ECML-PKDD 2020. Модель построена на архитектуре BERT и дообучена на мультиязычной BERT-модели. В названии «mono» обозначает монолингвальную настройку: обучение проводилось только на данных английского языка, хотя модель предназначена для выявления языка вражды в испанском. Контекст составляет до 512 токенов; доступны версии в форматах PyTorch и Flax. В README приведён лучший результат валидации 0,740287 при скорости обучения 3e-5, но не указана метрика, поэтому это число не следует напрямую трактовать как точность. Модель распространяется по лицензии Apache-2.0; авторы просят цитировать научную работу при публикации результатов с её использованием.

Модель zafercavdar/distilbert-base-turkish-cased-emotion — версия DistilBERT для турецкого языка, дообученная автором на задаче классификации эмоций. Обучение проводилось на наборе Twitter-Sentiment-Analysis, описанном в карточке как датасет эмоций, переведённый на турецкий язык через Google Translate API; использовались HuggingFace Trainer, скорость обучения 2e-5, размер пакета 64 и 8 эпох. Модель принимает текст и относит его к эмоциональным классам. В README приведены результаты оценки на наборе эмоций из Twitter: точность 83,25% и F1 83,17%. Архитектура — DistilBertForSequenceClassification; максимальная длина контекста составляет 512 токенов. Метаданные указывают формат PyTorch и язык tr. Лицензия в доступных данных не приведена.

Kate-lf/emotion-classification — дообученная модель на базе bert-base-chinese для классификации текста. Она предназначена для отнесения китайского текста к эмоциональным классам; архитектура — BERT с классификационной головой, размер — 129,5 млн параметров, максимальный контекст — 512 токенов. В README приведены результаты на оценочном наборе: accuracy 0,8718 и F1 0,8701; обучающий набор и состав классов не описаны. Модель распространяется в формате safetensors под лицензией Apache-2.0.