II.8Инженерия данных и аналитика

TwHIN-BERT-base — многоязычная предобученная модель семейства BERT, разработанная Twitter для представления и анализа твитов. Она обучена на 7 млрд твитов более чем на 100 языках с использованием masked language modeling и дополнительной социальной цели, основанной на взаимодействиях в гетерогенной сети Twitter. Модель содержит 305,2 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors. Модель совместима с BERT и может применяться как основа для классификации текста и других NLP-задач, а также для социальных рекомендаций, например прогнозирования вовлечённости пользователей в твиты. В Hugging Face она размечена для заполнения пропусков в тексте. Лицензия — Apache-2.0. Карточка описывает преимущества для семантического понимания и рекомендаций в социальной сети, но не приводит подробных результатов оценки или ограничений за пределами обучающей специфики Twitter.

CrabInHoney/urlbert-tiny-v5 — компактный энкодер на архитектуре DistilBERT, обученный для получения 768-мерных эмбеддингов текста с URL. Модель содержит около 58,2 млн параметров, имеет 6 слоёв, 12 голов внимания и контекст до 512 токенов; веса опубликованы в формате safetensors. По README, обучение включало задачи masked language modeling, генерации текста, токеновой разметки и многоклассовой классификации; автор также предоставляет семь классификационных голов для отдельных наборов данных, при этом веса энкодера заморожены при обучении этих голов. Модель предназначена для извлечения признаков из URL и окружающего текста, в том числе для последующей классификации фишинга, вредоносных ссылок, спама и других категорий. В README приведены высокие результаты отдельных голов на их тестовых наборах, однако они не гарантируют такую же точность на новых данных. Поддерживаемый язык карточки — английский; лицензия — Apache-2.0.

Fsoft-AIC разработала ViDeBERTa-base — предварительно обученную монолингвальную языковую модель для вьетнамского языка на архитектуре DeBERTaV3. Модель содержит 211,6 млн параметров, обучена на разнообразном вьетнамском тексте объёмом 138 ГБ и рассчитана на контекст до 512 токенов. Эта версия предназначена для тонкой настройки на задачах понимания вьетнамского текста, включая классификацию токенов, разметку частей речи и распознавание именованных сущностей. В карточке приведены результаты экспериментов на наборах VLSP POS, PhoNER и ViQuAD. Репозиторий содержит веса PyTorch. Информация о лицензии в предоставленных данных отсутствует.

Карточка модели Fsoft-AIC/videberta-xsmall на Hugging Face совпадает с карточкой Fsoft-AIC/videberta-base, поэтому описание составлено по ней. Fsoft-AIC разработала ViDeBERTa-base — предварительно обученную монолингвальную языковую модель для вьетнамского языка на архитектуре DeBERTaV3. Модель содержит 211,6 млн параметров, обучена на разнообразном вьетнамском тексте объёмом 138 ГБ и рассчитана на контекст до 512 токенов. Эта версия предназначена для тонкой настройки на задачах понимания вьетнамского текста, включая классификацию токенов, разметку частей речи и распознавание именованных сущностей. В карточке приведены результаты экспериментов на наборах VLSP POS, PhoNER и ViQuAD. Репозиторий содержит веса PyTorch. Информация о лицензии в предоставленных данных отсутствует.

Модель peterhung/vietnamese-accent-marker-xlm-roberta разработана автором peterhung и дообучена на базе XLM-RoBERTa Large для восстановления диакритических знаков во вьетнамском тексте. Она оформляет задачу как классификацию токенов: для каждого токена предсказывает метку, по которой его преобразуют в вариант с нужными акцентами. Например, «Nhin nhung mua thu di» преобразуется в «Nhìn những mùa thu đi». Для получения готового текста требуется сопоставить предсказанные метки с преобразованиями из файла selected_tags_names.txt и применить их к словам. Модель рассчитана на текст на вьетнамском языке, в том числе на текст, где диакритические знаки отсутствуют полностью или частично. Это архитектура XLM-RoBERTa Large с примерно 658,7 млн параметров и контекстом до 514 токенов; веса доступны в формате PyTorch. Лицензия — Apache-2.0. README отмечает, что вариант на основе HMM показывает более высокую точность, около 91%, но работает медленнее; метрика качества для этой модели не приведена.

undertheseanlp/vietnamese-ner-v1.4.0a2 — модель для распознавания именованных сущностей в текстах на вьетнамском языке. Она опубликована организацией undertheseanlp, связанной с проектом underthesea; репозиторий проекта описывает разработку группой исследователей по обработке вьетнамского естественного языка. Модель реализована как BERT-модель для token classification и предназначена для использования через Hugging Face Transformers с AutoModelForTokenClassification или pipeline("token-classification"). В конфигурации токенизатора указана FPTAI/vibert-base-cased; используется регистрозависимая BERT-токенизация. Поддерживаемая модальность — текст, язык — Vietnamese. Размер файла весов составляет около 459 МБ, однако число параметров, максимальная длина контекста, набор меток сущностей, обучающий датасет и метрики качества в доступной карточке модели не указаны. Сильная сторона модели — специализированная направленность на NER для вьетнамского языка и совместимость с экосистемой PyTorch и Transformers. Ограничения заключаются в отсутствии подробной документации, опубликованных оценок качества и явно описанных границ применимости, поэтому надежность для конкретных доменов и типов сущностей по доступным данным установить нельзя. Модель распространяется по лицензии Apache-2.0.

Wav2Vec2-Large-Robust — предобученная на аудио модель Facebook для извлечения речевых представлений. Она использует архитектуру Wav2Vec2 и содержит 402,7 млн параметров. Модель обучалась на речи с частотой дискретизации 16 кГц из нескольких доменов: аудиокнигах Libri-Light, записях Common Voice и телефонных разговорах Switchboard и Fisher. Модель рассчитана на последующую адаптацию к распознаванию речи и другим задачам анализа речи. В исходном виде у неё нет токенизатора, и она не выполняет распознавание речи напрямую: для этого нужны токенизатор и дообучение на размеченных текстовых данных. На вход следует подавать аудио с частотой 16 кГц. Репозиторий распространяется по лицензии Apache-2.0.

rss9051/autotrein-BERT-iiLEX-dgs-0002 — модель классификации текста, созданная с помощью AutoTrain на основе дообученной модели iiLEX/autotrein-BERT-iiLEX-dgs-0001. Она предназначена для отнесения португалоязычных текстов к заданным классам. Модель построена на архитектуре BERT, содержит 136,1 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены метрики валидации: accuracy и micro F1 составляют около 0,674, macro F1 — около 0,519. Эти результаты указывают на умеренное качество классификации и могут зависеть от набора данных и распределения классов. Веса опубликованы в формате safetensors; лицензия в доступных сведениях не указана.

BERTje — предварительно обученная модель BERT для нидерландского языка, разработанная исследователями Университета Гронингена. Это плотная трансформерная модель архитектуры BERT с 136,3 млн параметров, 12 слоями, регистрозависимой токенизацией и контекстом до 512 токенов. В метаданных для неё указана задача заполнения пропусков в тексте. Модель предназначена для предсказания замаскированных слов и может служить основой для дообучения под задачи обработки нидерландского языка. В опубликованных сравнениях BERTje показала результаты для распознавания именованных сущностей и частеречной разметки; для этих задач потребуется соответствующая дообученная версия. Доступны реализации весов для PyTorch, TensorFlow и JAX. Лицензия в предоставленных данных не указана.

BLaIR-roberta-large — англоязычная модель семейства BLaIR, разработанная для поиска и рекомендаций по текстовому контексту и сведениям о товарах. Она дообучена на датасете Amazon Reviews 2023 на основе RoBERTa-large и формирует текстовые представления товаров и контекста, пригодные для извлечения признаков и поиска релевантных товаров. Модель может использоваться для построения рекомендаций по коротким или развернутым запросам, а также для поиска товаров по описанию потребности. Модель содержит 454,1 млн параметров, использует архитектуру RoBERTa и принимает текст. Длина контекста — до 514 токенов. Репозиторий распространяется в формате safetensors. Лицензия — MIT.

BMD Watermark Detector — bmd_watermark_n — это компактная модель YOLO11n от BitcrushedHeart для обнаружения водяных знаков на изображениях. Модель дообучена на пользовательском наборе изображений с ручной разметкой рамок и предназначена для быстрого пакетного анализа. Она принимает RGB-изображения, автоматически изменяет их размер до 640×640 и предсказывает расположение водяных знаков. Модель подходит для поиска угловых и краевых водяных знаков при очистке наборов изображений и для определения области, которую можно затем удалить кадрированием. Репозиторий содержит веса PyTorch; для запуска README рекомендует Ultralytics и Pillow. Лицензия — AGPL-3.0. Модель ориентирована на скорость, поэтому вариант nano может уступать более крупным вариантам в точности. Она оптимизирована для водяных знаков у краёв изображения; крупные центральные наложения не входят в целевой сценарий. Качество может снижаться для очень мелких или полупрозрачных водяных знаков.

CANINE-c — предварительно обученная многоязычная модель Google для представления текста. Модель основана на архитектуре CANINE и содержит 113,2 млн параметров. В отличие от моделей с WordPiece или SentencePiece, она работает непосредственно с символами, представляя каждый символ его кодовой точкой Unicode; контекст составляет до 16 384 токенов. CANINE-c обучена на текстах 104 языков из многоязычной Википедии с задачами восстановления замаскированных фрагментов символов и предсказания следующего предложения. Она предназначена для извлечения признаков, которые можно использовать в последующих задачах, например классификации последовательностей, разметки токенов и ответов на вопросы. Модель не предназначена для генерации текста. Весам предоставлена лицензия Apache-2.0. Ограничение токенизации снимает зависимость от словаря субслов, но сама модель требует дообучения или отдельной задачи на основе её представлений для большинства прикладных сценариев.

CED-Small — модель на основе Vision Transformer и Transformer, разработанная авторами работы «CED: Consistent ensemble distillation for audio tagging». Она предназначена для присвоения аудиозаписям меток звуковых событий, в том числе классификации по классам AudioSet. Вариант Small содержит около 22 млн параметров; для оценки на AudioSet-20K в карточке приведено значение mAP 41,6, а на AudioSet-2M — 49,6. Модель принимает аудио через мел-спектрограммы и поддерживает входные сегменты переменной длины. Архитектурные решения сокращают число патчей спектрограммы и ускоряют обучение и инференс относительно описанного в README AST. CED также рассчитана на дообучение: нормализация мел-спектрограмм упрощает подготовку данных. Карточка демонстрирует использование замороженного энкодера с обучаемой линейной головой на ESC-50. Репозиторий содержит варианты ONNX и safetensors. Модель распространяется по лицензии Apache-2.0. В предоставленных материалах не заявлены поддерживаемые естественные языки; качество может зависеть от набора классов и данных, на которых выполняется дообучение.

GPT2 for Code AutoComplete — модель на базе GPT-2, опубликованная shibing624 для автодополнения кода на Python. Она предназначена для продолжения введённого кода и генерации недостающих строк или блоков в редакторе через плагин code-autocomplete. Модель использует архитектуру GPT-2 с авторегрессионной генерацией текста и доступна в форматах PyTorch и Safetensors. Размер контекста — 1024 токена. В карточке указана поддержка английского языка; модель ориентирована на код Python. Лицензия — Apache-2.0. Подходит для подсказок кода и ускорения его набора, но карточка не приводит оценок качества или подробных сведений о данных обучения. Результаты следует проверять: генерируемый код может быть ошибочным или небезопасным.

ConvNeXt V2 Huge — свёрточная модель компьютерного зрения, разработанная авторами работы ConvNeXt V2 и представленная в репозитории Hugging Face. Она предназначена для классификации изображений; веса предварительно обучены с помощью FCMAE и дообучены на ImageNet-22K. Модель использует полностью свёрточную архитектуру ConvNeXt V2 с нормализацией Global Response Normalization (GRN) и рассчитана на изображения размером 384×384 пикселя. Модель подходит для распознавания объектов и категорий на изображениях в задачах общего назначения. Карточка указывает ImageNet-22K как обучающий набор данных, а пример применения относит изображение к одному из 1000 классов ImageNet. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Ограничение — это классификатор изображений, поэтому карточка не заявляет генерацию изображений или другие задачи компьютерного зрения.

d1 — дообученная модель генерации текста на базе deepseek-ai/deepseek-coder-1.3b-base. Разработчик указывает, что модель обучена на наборе данных generator; в метаданных архитектура обозначена как плотная Llama с классом LlamaForCausalLM, размер — 1,3 млрд параметров, контекст — до 16 384 токенов. Модель предназначена для генерации текста. Базовая модель ориентирована на продолжение, автодополнение и заполнение пропусков в коде, однако карточка d1 не описывает её целевые сценарии подробнее. В README приведены метрики оценки, включая loss 0,1395 и точность предпочтений 0,9737; методика и набор оценки не раскрыты. Файлы модели представлены в формате safetensors. Лицензия указана как other, без конкретных условий в доступных данных.

Японская модель Globis University на базе DeBERTa V3, дообученная на японских текстовых ресурсах и предназначенная для задач классификации токенов. Модель содержит 40,6 млн параметров, использует архитектуру DeBERTa V2 и обрабатывает последовательности длиной до 512 токенов; для неё заявлен pipeline token-classification. Токенизатор обучен с использованием метода Кудо и словаря UniDic-CWJ. При выводе не требуется морфологический анализатор, а границы токенов в целом согласуются с границами слов. В README также приведены результаты оценивания на японских задачах семантического сходства и понимания текста, включая JSTS, JNLI, JSQuAD и JCQA. Модель ориентирована на японский язык. Репозиторий распространяется по лицензии CC BY-SA 4.0. Конкретные метрики для прикладных сценариев классификации токенов в карточке не приведены.

Nanatan/distilbert-base-uncased-finetuned-emotion — модель классификации текста на основе DistilBERT, дообученная на датасете emotion. Она предназначена для определения эмоций в тексте и может применяться, например, для анализа эмоциональной окраски коротких сообщений. На тестовой выборке указаны accuracy и F1 по 0,9215, loss 0,2169; длина контекста — до 512 токенов. Модель использует архитектуру DistilBertForSequenceClassification и опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не уточняет набор классов эмоций и языковой состав обучающих данных.

uygarkurt/distilbert-base-uncased-finetuned-emotion — модель классификации текста на основе DistilBERT, дообученная на наборе данных emotion. Она предназначена для определения эмоциональной категории текста. В оценке на тестовом наборе указаны accuracy 0,92 и F1 0,92; контекст модели составляет 512 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Модель подойдёт для классификации коротких текстовых сообщений по эмоциям, например публикаций или отзывов. README не описывает набор классов, языки обучения и ограничения применения, поэтому нельзя надёжно определить, какие именно эмоции распознаются и насколько модель пригодна для языков, отличных от английского.

Это модель классификации текста на базе DistilBERT, дообученная из distilbert-base-uncased. Она предназначена для отнесения текста к классам; по идентификатору модели можно предположить связь с SST-2, набором данных для классификации тональности, однако README указывает датасет как None и не описывает назначение подробнее. Модель построена на DistilBertForSequenceClassification, работает с текстом в формате PyTorch и принимает последовательности длиной до 512 токенов. В README приведены результаты на оценочной выборке: accuracy 0,7353 и loss 0,5625. Лицензия Apache-2.0 разрешает использование на её условиях. Данных о языках и конкретных метках классов в карточке нет.

linlin336/distilbert-finetuned-emotion — модель классификации текста, созданная дообучением distilbert-base-uncased на наборе данных Emotion. Она определяет одну из шести базовых эмоций в коротких англоязычных сообщениях, включая публикации в Twitter, комментарии и отзывы. Модель подходит для мониторинга эмоций в социальных сетях и классификации откликов клиентов. Архитектура — DistilBERT для классификации последовательностей; модель принимает текст и выдаёт метку эмоции. Контекст ограничен 512 токенами. В README указаны точность и взвешенная F1-мера около 92%; модель обучалась один эпоху на данных Twitter. Распространяется под лицензией Apache-2.0.

macavaney/doc2query-t5-base-msmarco — модель Doc2Query на архитектуре T5-base, подготовленная Маком Эванни на основе t5-base и обученная на MS MARCO. Это конвертированная в формат PyTorch версия контрольной точки авторов Doc2Query, предназначенная для использования с pyterrier_doc2query. Модель принимает текст документа и генерирует вероятные поисковые запросы, которыми можно расширить документ перед построением поискового индекса. Модель содержит 123,8 млн параметров и имеет контекст до 512 токенов. Основной сценарий — расширение документов для информационного поиска; карточка HF помечает её задачей translation, однако README описывает генерацию запросов для расширения документов. Поддерживаемый язык по карточке — английский. Доступны веса PyTorch и safetensors. Лицензия в предоставленных данных не указана.

Это совместимая с Transformers контрольная точка SAM3-LiteText с текстовым энкодером MobileCLIP, подготовленная nielsr на основе модели из статьи SAM3-LiteText. Модель предназначена для генерации масок по текстовому описанию объектов на изображениях; её можно загружать через класс Sam3LiteTextModel и использовать в Transformers по схеме SAM-3. Репозиторий содержит веса safetensors. Карточка не сообщает размер модели, длину контекста, языки, лицензию и подробные результаты качества.

FernandoSudo/finetuning-sentiment-model-3000-samples — модель классификации текста на основе DistilBERT, дообученная на неизвестном наборе данных. Она предназначена для классификации текстовых последовательностей; название репозитория указывает на анализ тональности, но карточка не сообщает метки классов и детали применения. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. В README приведены результаты на оценочной выборке: accuracy 0,8733 и F1 0,8797. Данных о размере обучающей выборки, методике оценки и составе классов недостаточно, поэтому эти показатели не позволяют судить о качестве на других данных. Базовая модель — distilbert/distilbert-base-uncased; лицензия — Apache-2.0.

sujet-ai/Fin-ModernBERT-RAG-embed-base — англоязычная модель Sentence Transformers, дообученная Sujet AI на финансовом наборе данных Sujet-Financial-RAG-EN-Dataset. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и сравнения текстов, включая поиск финансовых фрагментов по вопросам. Архитектура основана на ModernBERT с mean pooling и нормализацией векторов; модель содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Для сравнения векторов предусмотрена косинусная близость. Модель подходит для поиска и ранжирования подходящих финансовых отрывков, поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки информационного поиска, в том числе cosine_accuracy@1 0,3813 и @5 0,7124. Обучение проводилось на 104 601 паре текстов; результаты оценки зависят от данных и сценария применения. Лицензия в предоставленных сведениях не указана.

astrosbd/french_emotion_camembert — модель классификации эмоций во франкоязычных текстах, созданная дообучением CamemBERT. Она принимает текст и относит его к одной из шести эмоциональных категорий; среди примеров указаны радость, грусть, гнев и отвращение. Модель построена на архитектуре CamemBERT для классификации последовательностей, содержит 137,8 млн параметров и рассчитана на контекст до 514 токенов. Лицензия — MIT. Модель подходит для анализа отзывов и комментариев, изучения эмоционального тона пользовательских публикаций, а также как компонент интерфейсов, реагирующих на эмоциональную окраску текста. На тестовом наборе автор README сообщает точность 0,8295 и F1 0,8269. Модель обучалась на нескольких тысячах размеченных французских отзывов; результаты могут быть хуже на других языках, специализированных текстах и случаях, где эмоция выражена косвенно. Возможны смещения обучающих данных, поэтому предсказания не следует считать надёжной оценкой эмоционального состояния человека.

kykim/funnel-kor-base — базовая модель Funnel Transformer для корейского языка. По README, её обучили на 70 ГБ корейских текстов с токенизатором на 42 000 подслов в нижнем регистре. Модель загружается через Transformers как FunnelModel и предназначена для извлечения признаков из текста; контекст составляет до 512 токенов. Полученные представления можно использовать как основу для последующих задач обработки корейского текста. В метаданных указаны реализации PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.

deepset/gelectra-base — базовая немецкоязычная языковая модель ELECTRA, разработанная deepset совместно с авторами German BERT и dbmdz BERT. Это дискриминатор ELECTRA Base с 137,1 млн параметров и контекстом до 512 токенов; веса доступны в форматах PyTorch, Safetensors и TensorFlow. Модель обучалась на немецкоязычных данных, включая Wikipedia, OPUS и OpenLegalData. Модель предназначена как базовый чекпойнт для задач понимания немецкого текста и последующего дообучения, например для классификации и оценки тональности. В README приведены результаты на GermEval 2018 и GermEval 2014. Авторы отмечают, что модель обучена недостаточно; для более высокой производительности среди моделей базового размера они рекомендуют deepset/gbert-base. Лицензия — MIT.

Это извлечённая часть энкодера модели GNER-T5-xxl, опубликованная wikeeyang в форматах fp16, fp8 и Q8. Репозиторий предназначен для использования весов как текстового энкодера вместо T5-xxl; карточка также приводит описание исходной GNER, системы генеративного распознавания именованных сущностей, обученной на базе Flan-T5 и ориентированной на распознавание сущностей из ранее не встречавшихся областей. Исходная GNER-T5-xxl предназначена для NER и демонстрирует zero-shot и supervised результаты. Однако данный репозиторий содержит только энкодер, поэтому его описание указывает на замену text encoder, а не на самостоятельную систему генерации разметки. Метаданные относят модель к text-classification, указывают английский язык, лицензию Apache-2.0 и связь с dyyyyyyyy/GNER-T5-xxl. В карточке не приведены подробные оценки качества именно извлечённого энкодера.

SantaCoder от проекта BigCode — авторегрессионная языковая модель для генерации и дополнения исходного кода. Этот репозиторий содержит ту же модель SantaCoder, адаптированную для загрузки через архитектуру GPTBigCode в Transformers версии 4.28.1 и выше. Модель основана на GPT-2 с multi-query attention и обучалась с целью Fill-in-the-Middle; использует формат FP16 и имеет контекст 2048 токенов. Модель обучена на коде из GitHub и предназначена для продолжения фрагментов кода по контексту, например по комментарию, сигнатуре функции или строке документации. Основные языки кода — Python, Java и JavaScript; текстовый контекст преимущественно на английском. Это не модель, настроенная на выполнение инструкций, поэтому запросы в форме обычной команды могут работать плохо. Генерируемый код может содержать ошибки, быть неэффективным или уязвимым и не гарантируется к работе. Модель может дословно воспроизводить код из обучающего набора, поэтому при использовании результата следует проверять возможные требования к атрибуции и лицензированию. Указанная лицензия репозитория — OpenRAIL.