II.8Инженерия данных и аналитика

XiaPinJohnKe/test-trainer — дообученная модель классификации последовательностей на базе BERT Base Uncased от Google, разработанная автором репозитория. Она предназначена для отнесения входного текста к классам; обучающий датасет и конкретная схема классов не описаны. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате safetensors. В карточке приведены результаты оценки: accuracy 0,7794, F1 0,8534 и loss 0,5037. Эти показатели относятся к указанному набору оценки, детали которого не раскрыты, поэтому переносить их на другие данные нельзя. Лицензия — Apache-2.0.

Sandrro/text_to_function_v2 — дообученная модель классификации текста на базе cointegrated/rubert-tiny2, опубликованная на Hugging Face. Это модель BERT с 29 млн параметров, рассчитанная на классификацию последовательностей; в репозитории указаны веса PyTorch и контекст до 2048 токенов. Карточка сообщает F1 0,7937 и loss 1,0580 на оценочном наборе, но не описывает классы, датасет или предполагаемый сценарий классификации. Поэтому модель можно рассматривать для задач текстовой классификации после проверки на собственных данных. Лицензия — MIT.

shossain11/videomae-base-finetuned-inhard-finetuned-inhard2 — дообученная модель VideoMAE для классификации видео. Она содержит 113,2 млн параметров и представлена в формате safetensors. Модель дообучена на базе shossain11/videomae-base-finetuned-inhard; датасет и классы классификации в карточке не описаны. Модель предназначена для присвоения видео меток классов. На оценочном наборе указаны loss 1,2799 и accuracy 0,6682, однако без сведений о наборе данных и схеме классов эти показатели трудно интерпретировать. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

VideoMAEv2-Large — крупная видеомодель OpenGVLab, предварительно обученная в течение 800 эпох методом самообучения на наборе UnlabeledHybrid-1M. Модель основана на архитектуре VideoMAE V2 с механизмом двойного маскирования и представлена в работе Wang et al. для CVPR 2023. Модель предназначена для извлечения признаков из видео и классификации видеоматериалов. Она принимает видео и выдаёт признаки, которые можно использовать в задачах анализа и классификации видеосодержимого. В репозитории веса представлены в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка рекомендует использовать исходную модель для извлечения видеопризнаков; другие сценарии требуют подходящей настройки или классификационной головы.

Wav2Vec2-XLS-R-300M — созданная Facebook AI мультиязычная модель предварительного обучения для извлечения речевых представлений на основе архитектуры wav2vec 2.0. В карточке указано 300 млн параметров, а метаданные репозитория — 402,7 млн; модель предобучена на 436 тысячах часов неразмеченной речи из 128 языков. Для подачи речи требуется частота дискретизации 16 кГц. Модель служит основой для дообучения под распознавание речи, перевод речи и классификацию, включая определение языка. Она не является готовой системой распознавания речи без соответствующей настройки. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache 2.0.

crichalchemist/welfare-constructs-distilbert — модель на базе DistilBERT для классификации текста, опубликованная в библиотеке Transformers на Hugging Face. Метаданные указывают на поддержку задачи text-classification и контекст длиной до 512 токенов. Модель можно применять для отнесения текстовых примеров к классам, определённым её обучением, однако README не содержит сведений о разработчике, обучающей выборке, целевых метках, языках, размере модели, лицензии, методике обучения или результатах оценки. Поэтому конкретные сценарии применения и качество классификации необходимо проверять по конфигурации модели и экспериментально.

im-shriram/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa, дообученная на базе FacebookAI/xlm-roberta-base для классификации токенов. Название указывает на настройку для немецкой версии задачи PAN-X, однако README сообщает, что обучающий набор данных неизвестен, поэтому назначение для немецкого PAN-X следует считать предположительным. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и принимает текст, возвращая метки для его токенов. Максимальная длина контекста — 514 токенов. В README указаны результаты оценки: loss 0,2740 и F1 0,8584; сведений о наборе оценки и разбиении недостаточно, чтобы интерпретировать эти показатели шире. Модель распространяется по лицензии MIT. Карточка не описывает ограничения применения и не приводит подробностей обучения.

ZYR3 — компактная языковая модель семейства ZYR3, разработанная авторами проекта ZYR3 как локальный помощник для программирования. Она генерирует продолжения кода на устройстве и может использоваться как быстрый офлайн-слой подсказок в терминальном чате и при работе агента над репозиторием. README также описывает консольный интерфейс и автономного build-агента, который редактирует файлы и проверяет результат командами, однако эти функции относятся к приложению и не подтверждают, что сама модель самостоятельно выполняет инструменты. Модель имеет плотную авторегрессионную архитектуру ZYR3ForCausalLM, содержит 12,4 млн параметров и рассчитана на контекст до 1 048 576 токенов. Для загрузки доступны веса Safetensors; метаданные указывают библиотеку Transformers, чат-возможность и английский язык. README позиционирует её для локальной работы без GPU. Модель предназначена для генерации кода и подсказок при разработке. Карточка не приводит сравнительных оценок именно локальной модели: таблица бенчмарков относится к модели тяжёлого уровня через API-шлюз ZYR3. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в репозитории.

AbuseBERT — модель классификации текста на основе RoBERTa, дообученная для выявления оскорбительной, токсичной и другой агрессивной речи. Разработчики объединили и согласовали данные из десяти публичных наборов, чтобы уменьшить зависимость от лексических и выборочных особенностей отдельных датасетов и улучшить перенос на новые источники. В карточке сообщается о F1 0,84 на отложенном бенчмарке для интегрированной модели против среднего F1 0,60 у моделей, обученных на отдельных наборах. Модель предназначена для анализа текста из социальных сетей, форумов и переписок: она может помогать модераторам находить потенциально вредный контент и исследователям изучать онлайн-травлю, кибернасилие и язык ненависти. Это англоязычная модель с контекстом до 130 токенов и 162,4 млн параметров. Доступны веса PyTorch; лицензия — MIT.

Это модель классификации пар «вопрос — строка таблицы», опубликованная Майклом Глассом и основанная на albert-base-v2. Она обучена для выбора строк, относящихся к вопросу на естественном языке, в таблицах из набора WikiSQL-Lookup. В проекте IBM такие модели отдельно ранжируют строки и столбцы; их результаты объединяются для оценки ячеек и поиска ответа на вопрос по таблице. Модель использует архитектуру ALBERT для классификации последовательностей, содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. Это специализированный компонент системы табличного вопросно-ответного поиска, а не универсальная генеративная модель: она выдаёт метки релевантности для пар вопроса и строки, но самостоятельно не формулирует ответ. Для проекта указана лицензия Apache-2.0.

IsaacZhy/bert-base-goemotions — модель классификации текста на основе BERT, дообученная на наборе GoEmotions. Она присваивает тексту эмоциональные категории. Модель имеет 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате PyTorch. На тестовой выборке указаны F1 0,5727, ROC AUC 0,7796 и точность 0,4375. Базовая модель bert-base-uncased ориентирована на английский язык, поэтому модель подходит прежде всего для классификации англоязычных текстов. Лицензия — Apache-2.0.

Это базовая модель BERT для индонезийского языка, разработанная Cahya и предварительно обученная на индонезийской Википедии с задачей masked language modeling. Она предназначена прежде всего для предсказания пропущенных слов, а также может использоваться как основа для извлечения признаков и дообучения на прикладные задачи обработки индонезийского текста. Модель без учёта регистра: слова Indonesia и indonesia обрабатываются одинаково. Архитектура — BERT-base с плотной сетью и головкой BertForMaskedLM; в репозитории указано 137,8 млн параметров и контекст до 512 токенов. Текст токенизируется методом WordPiece со словарём размером 32 000. Доступны веса в форматах PyTorch, TensorFlow и Flax. Модель распространяется по лицензии MIT.

bert-desinform-bg — модель классификации текстов, разработанная Ивой Мариновой и распространённая Институтом больших данных для умного общества GATE в Болгарии. Она дообучена на основе usmiva/bert-web-bg на наборе данных GATE для выявления дезинформации в сообщениях социальных сетей. Модель построена на архитектуре BERT и содержит 136,3 млн параметров; принимает текст на болгарском языке, а длина контекста составляет до 512 токенов. Модель предназначена для классификации сообщений в социальных сетях по признакам дезинформации и может использоваться в исследовательских и прикладных системах мониторинга контента. Карточка не приводит метрик качества, описания классов, подробностей обучающего набора или оценки смещений, поэтому результаты следует проверять на целевых данных. Лицензия в метаданных указана как CC BY 2.0.

koheiduck/bert-japanese-finetuned-sentiment — модель классификации японского текста, опубликованная пользователем koheiduck на Hugging Face. Она предназначена для анализа тональности японских текстов и возвращает метки классификации. Модель использует архитектуру BERT и класс BertForSequenceClassification; содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Модель работает с текстом и подходит, например, для определения тональности отзывов или сообщений на японском языке. Карточка рекомендует запуск через Transformers с задачей text-classification, но не описывает обучающие данные, точность, набор меток или лицензию; эти характеристики нельзя надёжно указать.

Это модель классификации тональности текста на амхарском языке, разработанная на основе bert-medium-amharic и дообученная на наборе данных rasyosef/amharic-sentiment. Она построена на архитектуре BERT и содержит 48,2 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для определения тональности амхарских текстов, например коротких отзывов или сообщений. В README приведены результаты на оценочной выборке: accuracy 0,83, precision 0,84, recall 0,83 и F1 0,83. Для запуска используется библиотека Transformers и задача text-classification. Лицензия в предоставленных данных не указана.

pysentimiento/bert-pt-emotion — модель классификации текста на основе BERT, опубликованная проектом pysentimiento. Она предназначена для распознавания эмоций в португальском тексте и выдаёт оценки для нескольких эмоциональных категорий, включая восхищение, радость, гнев, грусть и нейтральность. Модель содержит 136,1 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Модель подходит для анализа эмоциональной окраски пользовательских сообщений и публикаций на португальском языке. Документация pysentimiento отмечает, что для разных задач и языков используются разные данные и модели; опубликованные результаты для BERT-pt на распознавании эмоций приведены как средний macro-F1 44,4 ± 0,6%. Сведения о лицензии в доступных источниках не подтверждены.

girijesh/bge-base-financial-matryoshka — англоязычная модель Sentence Transformer на базе BAAI/bge-base-en-v1.5, дообученная на 6 300 парах текстов финансовой тематики. Модель использует архитектуру BERT с CLS-пулингом и нормализацией и преобразует предложения и абзацы в плотные эмбеддинги размерностью 768; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения финансовых текстов, включая поиск релевантных фрагментов, подбор перефразирований, кластеризацию и классификацию на основе эмбеддингов. Для оценки близости применяется косинусное сходство; модель поддерживает Matryoshka-эмбеддинги с сокращением размерности до 64, 128, 256 или 512. В README приведены результаты на наборах dim_768, dim_512, dim_256, dim_128 и dim_64, но подробности самих наборов не раскрыты. Модель принимает текст на английском языке и выдаёт векторные представления, поэтому для использования в поиске требуется индексировать тексты и сравнивать эмбеддинги. Она выпущена под лицензией Apache-2.0. Результаты для других языков и текстов за пределами финансовой тематики в карточке не подтверждены.

BidirLM-270M-Base — промежуточная модель семейства BidirLM от авторов репозитория BidirLM, созданная на основе Google Gemma 3 270M. Авторы преобразовали причинное внимание Gemma 3 в двунаправленное и обучили модель методом Masked Next Token Prediction на 30 млрд токенов из многодоменного корпуса, после чего объединили её веса с исходными весами Gemma 3 в пропорции 50/50. Модель имеет плотную архитектуру BidirLMForMaskedLM, около 257 млн параметров и контекст до 32 768 токенов. Модель предназначена для заполнения масок и получения двунаправленных текстовых представлений; метаданные также относят её к задачам классификации текста и токенов. Она поддерживает множество языков, включая английский, русский и другие языки, перечисленные в метаданных. Для общих эмбеддингов и дообучения на прикладные задачи авторы рекомендуют отдельную контрастивно обученную модель BidirLM-270M-Embedding. Для загрузки требуется Transformers с параметром trust_remote_code=True. Лицензия — Apache-2.0. В README указаны различия совместимости между Transformers 4.x и 5.x; также модель обозначена как промежуточный чекпойнт, а не рекомендованный авторами вариант для общих эмбеддингов.

AUEB-NLP/ByT5_g2g — модель ByT5, дообученная для преобразования греческого текста, записанного латинскими буквами (Greeklish), в стандартную греческую письменность. Она использует архитектуру T5ForConditionalGeneration и обрабатывает текст на уровне байтов, что подходит для транслитерации нестандартной записи. Модель содержит 364,6 млн параметров и распространяется в формате PyTorch. Модель предназначена для нормализации и транслитерации Greeklish в греческий текст. Она описана в работе «Still All Greeklish to Me: Greeklish to Greek Transliteration» (LREC-COLING 2024), авторы которой связаны с AUEB-NLP. Ограничений по применению и сведений о лицензии в предоставленной карточке нет.

Модель erdemKocaogluu/byt5-small-tr-normalizer — дообученная Google byT5-small, предназначенная для нормализации неформального турецкого текста. Она преобразует опечатки, пропущенные диакритические знаки и буквы, разговорные сокращения и диалектное написание в стандартный письменный турецкий, стараясь сохранить исходный смысл и порядок слов. Это последовательностная модель на архитектуре T5 с байтовой токенизацией: каждый байт UTF-8 обрабатывается как отдельный токен. Размер модели — 364,6 млн параметров. Для подачи текста README предписывает добавлять префикс «düzelt: ». Модель обучена на парах шумных и исправленных предложений из публичных турецких наборов данных. На описанных отложенных тестовых наборах модель снизила частоту словных ошибок относительно передачи текста без изменений и редко вносила лишние исправления. Она лучше справляется с однозначными механическими исправлениями, чем с естественными вариациями ошибок и длинными сложными предложениями; не перестраивает порядок слов и синтаксис. Для Apple Silicon MPS отмечены случаи некорректной генерации, поэтому рекомендованы CPU или CUDA. Лицензия модели — CC BY-NC-SA 4.0.

ConvTasNet_Libri2Mix_sepclean_8k — модель разделения аудиосмеси, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid и опубликованная как импорт с Zenodo. Она предназначена для разделения записи с двумя одновременно говорящими людьми на отдельные речевые сигналы. Модель обучалась для задачи sep_clean на Libri2Mix с частотой дискретизации 8 кГц. Архитектура ConvTasNet использует обучаемый фильтробанк и масочную сеть; в конфигурации указаны 512 фильтров, 8 блоков и 3 повтора. Веса доступны в формате PyTorch. Лицензия в метаданных — CC BY-SA 4.0; README также содержит лицензионное уведомление CC BY-SA 3.0 и упоминает производность от корпуса LibriSpeech, поэтому при использовании следует учитывать оба уведомления.

Модель cooperleong00/deberta-v3-large_toxicity-scorer — классификатор токсичности текста на базе DeBERTa-v3-large, разработанный для исследования Self-Detoxifying Language Models via Toxification Reversal. Она дообучена на 90 тысячах примеров RealToxicityPrompts, чтобы предсказывать вероятности токсичности, близкие к оценкам Perspective API, и служить высокопроизводительной офлайн-заменой этого API при оценке сгенерированного текста. Модель содержит 533,8 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и принимает текст длиной до 512 токенов. В README указаны точность 94,87% и AUROC 98,54% на отложенной выборке из 10 тысяч примеров; заявленная пропускная способность — около 27 тысяч примеров в секунду. Эти показатели относятся к указанной авторами выборке и не гарантируют такое же качество на других текстах. Лицензия в предоставленных данных не указана.

refiners/dinov2.small.patch_14 — адаптер на основе facebook/dinov2-small для извлечения признаков изображений. Модель использует архитектуру Vision Transformer семейства DINOv2 и распространяется в формате safetensors; библиотека refiners, лицензия Apache-2.0. Модель предназначена для получения визуальных признаков, которые можно использовать в последующих задачах компьютерного зрения, например для обучения классификаторов. В метаданных указана задача image-feature-extraction; дополнительных сценариев и характеристик модели карточка не подтверждает.

HeartNatnai/distilbert-base-uncased-finetuned-emotion — дообученная модель классификации последовательностей на базе distilbert/distilbert-base-uncased, опубликованная пользователем HeartNatnai. Она предназначена для отнесения текста к эмоциональным категориям. В README приведены результаты оценки: accuracy 0,926 и F1 0,926; набор меток и данные обучения не описаны. Модель использует архитектуру DistilBertForSequenceClassification, формат safetensors и контекст до 512 токенов. Работает с текстом на английском языке, что следует из uncased английской базовой модели; других поддерживаемых языков карточка не подтверждает. Лицензия — Apache-2.0. Результаты оценки относятся к указанному в карточке набору и не гарантируют качество на других данных.

SetFit/distilbert-base-uncased__sst2__train-16-0 — модель DistilBERT, дообученная на основе distilbert-base-uncased для классификации текста. Репозиторий указывает датасет SST-2, однако подробности о составе обучающих данных и настройке обучения не приведены. Архитектура — DistilBertForSequenceClassification; модель принимает текст, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. Модель предназначена для классификации текстовых последовательностей; вероятный сценарий применения с SST-2 — определение тональности отзывов или коротких высказываний. В README приведён результат на тестовом наборе: accuracy 0,5091 и loss 0,6903, что указывает на ограниченную точность в этой оценке. Лицензия — Apache-2.0.

Anasft9/distilbert-sentiment-demo — дообученная модель классификации текста на базе distilbert/distilbert-base-uncased, опубликованная пользователем Anasft9. Она предназначена для отнесения текстовых последовательностей к классам; название модели указывает на анализ тональности, однако README не раскрывает метки классов и обучающий набор данных. Архитектура — DistilBertForSequenceClassification, поддерживаемая длина контекста — до 512 токенов. Доступны веса в форматах Safetensors и ONNX. В README приведены результаты на оценочной выборке: accuracy 0,8443 и loss 0,4280. Эти показатели не позволяют судить о качестве на других данных, поскольку набор данных, схема меток и протокол оценки не описаны. Модель распространяется по лицензии Apache-2.0.

TehranNLP-org/electra-base-sst2 — модель классификации текста на базе архитектуры ELECTRA, дообученная на наборе SST-2. Она предназначена для определения тональности коротких англоязычных текстов, например отзывов и пользовательских высказываний. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метку класса. В README указана точность 0,9507 на оценочной выборке SST-2. Модель разработана TehranNLP-org и основана на google/electra-base-discriminator. Доступна в формате PyTorch по лицензии Apache-2.0. Её назначение ограничено классификацией тональности в стиле SST-2; результаты на других типах текстов и языках карточка не описывает.

Granite-20B-FunctionCalling — языковая модель IBM Research, дообученная на основе ibm-granite/granite-20b-code-instruct для выполнения инструкций, связанных с вызовом функций. Она обучена на семи задачах: вложенный вызов функций, цепочки и параллельный вызов функций, определение имени функции, извлечение пар параметр–значение, выбор следующей функции и генерация ответа. Модель предназначена для диалоговых сценариев, где нужно определить и сформировать вызовы функций; её архитектура — GPTBigCode, а контекст составляет 8192 токена. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache 2.0.

InsTagger — авторегрессионная языковая модель, разработанная OFA-Sys для автоматической разметки запросов тегами. Она предназначена для анализа данных supervised fine-tuning (SFT): модель присваивает запросам инструкции теги, обученные на результатах InsTag, чтобы помочь отбирать и изучать обучающие примеры. Авторы использовали такие теги для выборки данных и обучения моделей TagLM. Модель основана на LLaMA-2, дообучена и имеет 6,6 млрд параметров. Это плотная архитектура LlamaForCausalLM с контекстом 2048 токенов; поддерживает английский язык и принимает текст, выдавая текстовую разметку. В README указана лицензия Apache-2.0. Модель можно запускать через FastChat с шаблоном Vicuna.

Khayyam — модель для многометочной классификации эмоций в персидском тексте, разработанная Ayda Khoshkhan. Она дообучена на ParsBERT v3 (HooshvareLab/bert-fa-zwnj-base) на персидском переводе датасета GoEmotions и относит текст к любому сочетанию из 28 категорий, включая радость, гнев, грусть, благодарность и нейтральную тональность. Модель построена на архитектуре BERT и содержит 145,5 млн параметров; максимальная длина контекста — 512 токенов. Она предназначена для анализа коротких персидских текстов, в частности сообщений в стиле Reddit. На тестовой выборке GoEmotions Persian показала macro F1 0,4124 и micro F1 0,5563. Результаты могут снижаться для редких эмоций, а автоматический перевод обучающих данных мог внести ошибки в метки. Качество на формальном персидском и диалектах может отличаться. Модель распространяется по лицензии Apache-2.0.