II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейKLA-SLM-CODING — компактная языковая модель семейства Gemma от Finisha-LLM, обученная с нуля на корпусе исходного кода. Она предназначена для генерации и автодополнения кода: продолжения функций, циклов и условных конструкций, а также предсказания следующих фрагментов программы по уже введённому коду. Модель построена на архитектуре GemmaForCausalLM, содержит 185,1 млн параметров, использует формат safetensors и имеет контекст длиной 512 токенов. В метаданных указан английский язык; карточка описывает сценарии локального использования, включая интеграцию с IDE и запуск на мобильных или локальных устройствах. Небольшой размер ориентирован на быструю генерацию и автодополнение, но короткий контекст ограничивает работу с крупными файлами и длинными зависимостями. Карточка заявляет обучение на коде без разговорных данных, однако не приводит перечень языков программирования, датасетов или независимых оценок качества. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.
KR-BERT-char16424 — корейская предварительно обученная языковая модель семейства BERT, разработанная лабораторией вычислительной лингвистики Сеульского национального университета. Репозиторий содержит вариант KR-BERT с символьным словарём из 16 424 токенов; для токенизации используется BidirectionalWordPiece, который выбирает более частотный вариант разбиения, полученный при обходе в обоих направлениях. Модель имеет около 125,9 млн параметров и контекст до 512 токенов; доступны веса PyTorch и Flax. Модель предназначена для задач понимания корейского текста и последующей адаптации к прикладным задачам, например анализу тональности и классификации. В статье авторы сообщают о результатах на уровне или выше сопоставимых корейских и многоязычных BERT-моделей. Для данного символьного варианта в README приведена точность masked language modeling 0,779 в сравнительной таблице. Лицензия в предоставленных материалах не указана.
Это англоязычный классификатор текста на базе DistilBERT, дообученный автором wincode для распознавания текстов о еде и не о еде. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для отнесения входного текста к классам «еда» и «не еда». В README приведены результаты на оценочном наборе: loss 0,0006 и accuracy 1,0, однако датасет не описан, поэтому эти показатели нельзя обобщать на другие данные. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.
Llama JoyCaption Beta One — визуально-языковая модель для описания изображений, разработанная автором проекта JoyCaption для сообщества. Она принимает изображение и формирует текстовую подпись; основной сценарий — автоматическая подготовка описаний изображений для обучения и дообучения моделей генерации изображений. Модель также поддерживает диалоговый интерфейс и рассчитана на изображения разных стилей, включая цифровое искусство, фотореализм и аниме. Архитектура — LLaVA с объединёнными компонентами SigLIP 2 So400m Patch14 384 и Llama 3.1 8B Instruct; репозиторий использует Transformers и формат safetensors. В README автор заявляет о широком охвате обычных и откровенных концепций и минимальной фильтрации. Модель ориентирована на подробное описание изображений, но качество и пригодность конкретных подписей следует проверять для выбранного набора изображений. README указывает на свободные открытые веса; точные условия лицензии в предоставленных данных не приведены.
Malay-Sentiment2 — дообученная afiqlol модель XLM-RoBERTa для классификации тональности текстов на малайском языке. Она основана на citizenlab/twitter-xlm-roberta-base-sentiment-finetunned и использует архитектуру XLMRobertaForSequenceClassification; размер модели — 305,2 млн параметров, максимальный контекст — 514 токенов. Подходит для определения тональности коротких текстов и публикаций, в том числе в социальных сетях. В README приведены результаты на оценочном наборе: accuracy 0,7578 и loss 0,5757. Датасет для дополнительного дообучения не назван, поэтому эти показатели нельзя напрямую переносить на другие тексты. Модель опубликована в формате safetensors; условия лицензии в предоставленных данных не указаны.
Alireza1044 разработал эту модель, дообучив google/mobilebert-uncased на наборе GLUE SST-2 для классификации тональности английских текстов. Модель использует архитектуру MobileBERT и содержит 59,7 млн параметров; максимальная длина контекста — 512 токенов. Формат весов — PyTorch. На оценочной выборке SST-2 модель показала точность 0,9037. Её можно применять для определения положительной или отрицательной тональности коротких высказываний, например отзывов и комментариев. Карточка не сообщает о дополнительных сценариях или ограничениях качества. Лицензия — Apache-2.0.
NaijaXLM-T-base Hate — модель XLM-RoBERTa, разработанная pvcastro и manueltonneau и дообученная на нигерийских твитах из датасета NaijaHate для выявления языка ненависти. Она классифицирует текстовые сообщения на английском Нигерии, нигерийском пиджине, хауса, йоруба и игбо; в обучении использовались стратифицированная и отобранная активным обучением части датасета. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и доступна в формате PyTorch. Подходит для классификации публикаций в социальных сетях и анализа текста на предмет языка ненависти в поддерживаемых языках. Лицензия в предоставленных данных не указана.
sentence-transformers/nli-bert-large — модель Sentence-Transformers, разработанная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для поиска по смыслу и кластеризации. Модель основана на BERT, имеет 433,9 млн параметров и принимает текст длиной до 512 токенов. Доступны веса в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель помечена как устаревшая: авторы предупреждают о низком качестве получаемых эмбеддингов и рекомендуют выбрать другую модель для новых проектов. Распространяется по лицензии Apache-2.0.
nrkto1 — дообученная модель на 1,3 млрд параметров, созданная на основе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и предназначена для генерации текста; базовая модель ориентирована на продолжение, автодополнение и заполнение пропусков в коде. Для модели указан контекст длиной 16 384 токена. В карточке приведены метрики оценки на тестовом наборе, включая loss 0,3009, но назначение дообучения и состав данных не описаны. Модель распространяется в формате Safetensors; лицензия указана как other, поэтому условия использования следует сверить с карточкой репозитория.
plaidq-0.7b-16step — контрольная точка модели PlaidQ, разработанная на основе Qwen3-0.6B. Это языковая модель с непрерывной гауссовой латентной диффузией: она обрабатывает последовательность в 16-мерном пространстве непрерывных представлений и генерирует текст параллельным уточнением позиций, а не последовательным предсказанием токенов. В основе используется двунаправленный блок Qwen3-0.6B; контрольная точка содержит около 717,4 млн параметров в формате fp32 и распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста и кода, включая дополнение кода по заданному префиксу и заполнение пропусков между префиксом и суффиксом. Число шагов диффузии можно менять при сэмплировании; в названии указано 16 шагов. README описывает обучение на смеси данных Nemotron Mix с длиной последовательности 2048 токенов. Для запуска необходимы код и семплер из репозитория PlaidQ, а токенизатор загружается отдельно из Qwen/Qwen3-0.6B. В контрольной точке приведены оценки на кодовых бенчмарках, однако README не сообщает их численные результаты. Это только веса для инференса: состояние оптимизатора и загрузчика данных отсутствует, поэтому продолжить обучение с сохранённого состояния нельзя. Модель не является архитектурой Transformers и требует специальной реализации PlaidQ; её практическая производительность зависит от числа шагов диффузии и соответствующего программного окружения.
JonatanGk/roberta-base-bne-finetuned-hate-speech-offensive-spanish — испаноязычная модель классификации текста на базе RoBERTa, дообученная на BSC-TeMU/roberta-base-bne. По названию репозитория она предназначена для выявления оскорбительной речи и языка ненависти в испанских текстах. В метаданных указана архитектура RobertaForSequenceClassification, около 151,8 млн параметров и контекст до 514 токенов. Модель подходит для автоматической модерации испаноязычных сообщений и предварительной разметки текстов для анализа токсичности. В README приведены результаты оценки: accuracy 0,9012 и loss 0,2869; набор данных и подробности разметки не описаны. Модель распространяется по лицензии Apache-2.0.
kopzoo/roberta-base-klue-ynat — дообученная модель RoBERTa для классификации текстов. Она основана на klue/roberta-base, корейской модели для понимания текста, и содержит 137,8 млн параметров. Модель предназначена для присвоения тексту категории; README указывает качество Accuracy 0,67 на оценочной выборке, но набор данных и категории не описаны. Модель принимает текст и выдаёт метку класса. Максимальная длина контекста составляет 514 токенов. Веса опубликованы в формате safetensors; используется библиотека Transformers. Лицензия в доступных данных не указана.
jkhan447/sarcasm-detection-RoBerta-base — модель классификации текста на основе RoBERTa, дообученная для распознавания сарказма. Она предназначена для определения саркастических высказываний в текстах. Модель содержит 151,8 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch по лицензии MIT. В README указана точность 0,7273 на оценочном наборе данных, однако описание обучающего набора отсутствует, а значение loss составляет 2,8207. Эти результаты не дают полной картины качества и могут не отражать работу на других типах текстов.
SEA-LION-BERT base — многоязычная модель-энкодер, разработанная Products Pillar в AI Singapore при финансировании Национального исследовательского фонда Сингапура. Она основана на архитектуре MosaicBERT и предназначена для предсказания скрытых токенов; её можно использовать как основу для языковых задач и дообучать под конкретные сценарии. Размер модели — около 309,9 млн параметров, контекст — до 512 токенов, словарь токенизатора SEABPE содержит 256 тысяч единиц. Модель обучена на 790 млрд токенов и поддерживает английский, китайский, индонезийский, малайский, тайский, вьетнамский, филиппинский, тамильский, бирманский, кхмерский и лаосский языки. Токенизатор использует SentencePiece и BPE. Лицензия MIT. Карточка не приводит сравнительных оценок качества; как энкодер для заполнения масок, модель сама по себе не предназначена для генерации длинных текстов.
SearchMap Preview — модель эмбеддингов VPLabs для семантического поиска по товарам и отелям. Это дообученная версия Stella Embed 400M v5 с плотной архитектурой и 433,9 млн параметров. Она кодирует поисковые запросы и описания товаров в векторы, чтобы находить семантически релевантные позиции, в том числе по разговорным запросам и нескольким атрибутам одновременно. Модель предназначена для поиска и рекомендаций в интернет-магазинах, поиска жилья и отелей, векторизации каталогов и сопоставления семантически близких текстов. README заявляет настраиваемую размерность эмбеддингов от 512 до 8192, а метаданные указывают контекст до 8192 токенов. В карточке упоминаются хорошие результаты на задачах семантического сходства, поиска по юридическим и новостным текстам; обучение проводилось на более чем 100 000 товаров из 32 категорий. Поддерживается английский язык; оценка SemRel24STS охватывает 14 языков, но это само по себе не подтверждает полноценную поддержку каждого из них. Модель распространяется по лицензии MIT и может использоваться локально через PyTorch и Sentence Transformers. Среди ограничений карточка отмечает, что модель может недостаточно учитывать вес отдельных терминов, хуже справляться со сленгом и разговорными выражениями; региональные варианты языка могут требовать дообучения.
Модель mesolitica/sentiment-analysis-nanot5-small-malaysian-cased разработана Mesolitica и предназначена для классификации тональности текста. Она основана на архитектуре T5, содержит около 38,5 млн параметров и опубликована в формате Safetensors; карточка Hugging Face показывает загрузку через конвейер text-classification в Transformers. По названию модель ориентирована на малайзийский вариант языка и регистр символов с учётом регистра; применять её можно для определения тональности малайскоязычных текстов. В доступной карточке нет подробных результатов оценки, перечня меток классов или описания обучающих данных, поэтому точность и переносимость на другие языки и типы текста не установлены. Лицензия в предоставленных сведениях не указана.
SocioCausaNet — модель извлечения причинно-следственных связей из текста, разработанная на основе google-bert/bert-base-uncased и предназначенная для использования с библиотекой Transformers. Она совместно определяет, содержит ли предложение причинное утверждение, выделяет фрагменты причины и следствия с помощью BIO-разметки и устанавливает связи между ними. Архитектура включает BERT-энкодер и три специализированные головы для классификации предложений, извлечения фрагментов и определения отношений. Модель принимает предложения на английском языке и возвращает структурированную информацию о причинах и следствиях. Для загрузки требуется разрешить пользовательский код через trust_remote_code=True; доступны режимы автоматического и нейросетевого определения связей, а также настройка порога уверенности и критерия причинной классификации. Модель дообучена на BERT, распространяется в формате safetensors по лицензии GPL-2.0. В карточке не приведены результаты оценки качества или сведения о контекстном окне; качество извлечения может зависеть от порога уверенности и сложности причинных связей.
HuggingFaceTB разработала stack-edu-classifier-c — классификатор качества и образовательной ценности файлов на языке C. Модель дообучена на bigcode/starencoder с классификационной головой; обучающие примеры из The Stack v2 были размечены моделью Llama 3.1 70B Instruct. Классификатор использовали при создании набора данных Stack-Edu для обучения SmolLM2. Модель принимает текст исходного кода и относит файл к категории по его образовательной ценности. Она основана на BERT-подобной архитектуре, содержит 151 млн параметров и рассчитана на контекст до 1024 токенов. Модель предназначена для кода на C; её вывод — классификационная оценка, а не объяснение или исправление кода. Качество оценки может снижаться на данных, отличающихся от обучающих, и на длинных файлах, не помещающихся в контекст. Оценка отдельного файла не учитывает проектный контекст, а разметка может наследовать смещения исходных данных и LLM-аннотаций, в том числе склонность переоценивать подробно прокомментированный код. Лицензия в предоставленных данных не указана.
laion/tt-x2_clip-hi0p01-15-30B — это экспериментальный чекпойнт на базе инструктивной модели Qwen/Qwen3-Coder-30B-A3B-Instruct, дообученный методом GRPO в рамках подбора гиперпараметров TaskTrove X2. Модель предназначена для генерации кода и решения задач с несколькими файлами; обучение проводилось на DCAgent/exp_rpt_multifile с использованием SkyRL и Terminus-2. Архитектура — Qwen3 MoE для причинной генерации текста; репозиторий содержит веса Safetensors, а размер модели в метаданных указан как 2,6 млрд параметров. Метаданные указывают контекст до 262 144 токенов и поддержку английского языка. В карточке выбран шаг 15 по сглаженной EMA награды: pass@8 составил 0,359. Однако этот экспериментальный запуск был остановлен на шаге 62 из 80 из-за роста энтропии; после шага 54 награда и pass@8 резко ухудшились, поэтому чекпойнт не следует считать успешным результатом серии TaskTrove X2. Лицензия — Apache-2.0.
Модель Cardiff NLP — дообученная версия cardiffnlp/twitter-roberta-base-2022-154m для многоклассовой классификации языка ненависти в англоязычных текстах, в том числе сообщениях из Twitter. Она присваивает тексту одну из семи меток: сексизм, расизм, дискриминация по инвалидности, ненависть по признаку сексуальной ориентации, религиозная ненависть, другая ненависть или отсутствие ненависти. Модель построена на RoBERTa и содержит около 151,8 млн параметров; длина контекста — 514 токенов. При дообучении использована комбинация 13 англоязычных наборов данных. В карточке указаны accuracy 0,9419, macro-F1 0,5752 и weighted-F1 0,9390: высокая общая точность сочетается с заметно более низким macro-F1, поэтому качество по отдельным классам может различаться. Модель подходит для предварительной модерации англоязычных публикаций и анализа категорий ненавистнической речи. Она выдаёт классовую метку, а не объяснение решения; результаты требуют проверки с учётом контекста и возможного смещения обучающих данных. Лицензия в предоставленных источниках не указана.
MIT-SLS/USAD2-Base — базовая версия USAD 2.0, двунаправленный трансформерный аудиоэнкодер, разработанный MIT-SLS. Модель извлекает представления аудио для речи, окружающих звуков и музыки; она обучена дистилляцией от самообучаемых и обученных с учителем аудиомоделей без использования размеченных данных. Вариант Base содержит около 97 млн параметров, 12 слоёв, размер скрытого представления 768 и выдаёт представления с частотой 50 Гц. Энкодер предназначен для получения признаков для последующих задач: классификации аудио, обнаружения звуковых событий, идентификации говорящего и языка, распознавания речи, а также анализа и описания музыки и звуков. В карточке приведены результаты оценки замороженных энкодеров на наборах HEAR, MARBLE и XARES-LLM; для целевых задач рекомендуется дообучение. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и на условиях распространения производных материалов по той же лицензии, но не для коммерческих целей.
Это модель AudioMAE ViT-B/16, перенесённая в формат библиотеки timm разработчиком gaunernst. Она представляет собой Vision Transformer, применённый для анализа аудио: предварительно обучена методом masked autoencoder на AudioSet-2M и дообучена для классификации аудио на AudioSet-20K. Модель предназначена для классификации звуковых записей и может использоваться как backbone для извлечения аудиопризнаков. Модель принимает аудио и выдаёт классы звуков; также README указывает на использование для получения эмбеддингов. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).
WavJEPA — модель извлечения аудиопризнаков на основе Joint-Embedding Predictive Architecture, разработанная Гёксенином Юкселем. Она принимает аудиосигнал в виде сырой волны и формирует семантические представления для последующего обучения или применения моделей анализа звука. Архитектура включает сверточный энкодер признаков из Wav2Vec 2.0, контекстный и целевой энкодеры, а также предиктор на основе Vision Transformer. Модель предназначена для извлечения общих аудиопредставлений, которые можно использовать в классификации окружающих звуков, распознавании речи, подсчёте говорящих и других задачах анализа аудиосцен. В карточке заявлены результаты на наборах бенчмарков HEAR и ARCH при меньших вычислительных затратах по сравнению с рядом временных аудиомоделей. Обучение проводилось на AudioSet; заявлена поддержка всех языков с основным акцентом на английский. Для решения прикладных задач поверх извлечённых признаков может потребоваться отдельная обученная голова. Карточка описывает также WavJEPA-Nat как отдельное многоканальное расширение для шумных и реверберационных сцен; метаданные этой модели указывают WavJEPA base. Лицензия модели — MIT.
XLM-EMO — мультиязычная модель классификации эмоций в текстах социальных сетей, разработанная Federico Bianchi, Debora Nozza и Dirk Hovy. Она дообучена на базе XLM-T и предназначена для выявления эмоциональных категорий в тексте, в том числе при работе с языками, для которых мало обучающих данных. Модель основана на XLM-RoBERTa и содержит около 305,2 млн параметров; максимальная длина контекста — 514 токенов. Она принимает текст и выдаёт метки классов эмоций. В карточке сообщается о F1 0,85 на тестовом наборе и конкурентных результатах в zero-shot сценарии. Авторы позиционируют модель как исследовательский инструмент; результаты на конкретных языках и типах текстов могут различаться. Лицензия в предоставленных данных не указана.
230824-detr-segment-detect-unmasked — модель обнаружения объектов на изображениях, созданная дообучением DETR с backbone ResNet-50 от Facebook. В карточке указано, что модель дообучена на наборе данных, название которого не приведено. Она предназначена для поиска и локализации объектов на изображениях; архитектура относится к семейству DETR, веса сохранены в формате safetensors. Модель принимает изображения и выдаёт обнаруженные объекты с их расположением. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Карточка не содержит сведений о классах объектов, метриках качества или специальных ограничениях, поэтому пригодность для конкретного набора объектов следует проверять отдельно.
Agree_binary — англоязычная модель классификации текста, созданная дообучением DeBERTa-v3-base компании Microsoft. Она предназначена для бинарной классификации текста; README сообщает о точности 0,7584, F1 0,7795 и AUC 0,8416 на оценочном наборе, но не раскрывает классы и предметную область. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa V2 для классификации последовательностей и принимает текст с контекстом до 512 токенов. Модель распространяется по лицензии MIT. Поскольку README не описывает обучающий набор и целевые метки, пригодность для конкретного сценария следует оценивать по собственным данным.
Minachist разработала бинарный классификатор иллюстраций, определяющий, создано ли изображение ИИ или человеком. Модель дообучена на визуальном энкодере SigLIP2 so400m NaFlex от Google с линейной классификационной головой; текстовая часть исходной модели удалена. Она принимает изображения и выдаёт оценки для классов «ai» и «human». Вариант NaFlex сохраняет пропорции изображения и обрабатывает до 1024 патчей, что помогает избежать искажений при приведении к квадратному размеру. Модель предназначена для проверки происхождения иллюстраций и сортировки коллекций по признаку генерации ИИ. В README приведены высокие результаты на отложенной выборке, однако порог для решения «ai» настроен на 0,9151; стандартный argmax в Transformers использует границу 0,5 и может давать иное соотношение точности и полноты. Вероятности не откалиброваны относительно порога 0,5. Это исследовательский артефакт с лицензией Apache-2.0. Качество на изображениях из других предметных областей и от новых генераторов не гарантируется; постобработка и сильное сжатие могут ухудшать точность. Результаты проверки на одной выборке могут быть оптимистичны для изображений из реального мира, поэтому модель не следует использовать как единственное основание для важных или карательных решений.
Alireza1044/albert-base-v2-sst2 — модель классификации текста на основе ALBERT, дообученная на наборе данных SST-2 из бенчмарка GLUE для определения тональности английских высказываний. Это плотная архитектура AlbertForSequenceClassification с 136,3 млн параметров и контекстом до 512 токенов. Модель принимает текст и возвращает класс тональности; на оценочной выборке SST-2 указана точность 0,9232 и функция потерь 0,3808. Модель подходит для классификации тональности коротких английских текстов, например отзывов и пользовательских комментариев. Весами можно пользоваться в формате PyTorch. Лицензия — Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения.
Argonne 4.5-base — базовая авторегрессионная языковая модель PursuitOfDataScience с 2,06 млрд параметров, обученная с нуля на 128,07 млрд токенов. Это плотный трансформер ArgonneModel с 24 слоями, полным причинным вниманием и контекстом 1 024 токена; веса опубликованы в формате Safetensors. Обучение включало этап дообучения на математике, коде и рассуждениях, поэтому модель подходит как короткоконтекстная основа для таких задач и для дальнейшего тонкого обучения. Модель продолжает текст, но не настроена следовать инструкциям, вести диалог или применять фильтры безопасности. Она рассчитана преимущественно на английский язык. Длинные входы обрезаются до последних 1 024 токенов; автор рекомендует использовать отдельный вариант Argonne 4.5-base-ctx13568 для длинного контекста. Возможны ошибки, предвзятые или небезопасные продолжения, а заявленные результаты на GSM8K могут быть затронуты загрязнением обучающих данных. Лицензия — Apache-2.0.
SarvaniM/autotrain-trfqp-i9mjp — модель классификации текста, обученная с помощью AutoTrain на основе google-bert/bert-base-uncased. Она предназначена для присвоения текстам меток в задаче, на которой выполнялось обучение. Модель использует архитектуру BertForSequenceClassification, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены метрики на валидационной выборке: accuracy 0,74, а также macro F1 0,738. Эти результаты характеризуют только указанную выборку; область применения и набор классов в карточке не описаны. Базовая модель англоязычная, поэтому применение к другим языкам не подтверждено. В метаданных лицензия не приведена.