II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейTabRankStandardSFT — дообученная модель на базе Qwen3-8B, созданная для переранжирования таблиц по релевантности вопросу. Она принимает вопрос и список таблиц-кандидатов в одном текстовом запросе и генерирует их полный рейтинг за один вызов, без попарного сравнения. Модель обучена методом SFT с дистилляцией рассуждений: для обучения использовались 6 728 трасс рассуждений учителя, а функция потерь учитывала и рассуждение, и итоговый рейтинг. Архитектура — плотная причинная языковая модель Qwen3 на 7,6 млрд параметров; контекст — 40 960 токенов. Модель работает с текстом на английском языке и выдаёт ранжированный список позиций в JSON вместе с рассуждением. Подходит для повторной сортировки результатов поиска таблиц, например, списка из первых 25 кандидатов, перед ответом на вопрос по табличным данным. В опубликованной оценке показала средний nDCG@10 0,700 на пяти наборах, близких к обучающим, и семи наборах вне распределения. По описанию автора, её обобщение на данные вне обучающего распределения менее надёжно, а генерация примерно в 4,3 раза медленнее метода TabRank с обусловливанием рассуждением. Модель опубликована в формате safetensors; веса в bfloat16 занимают около 16 ГБ. Лицензия — Apache-2.0.
PrimeQA/tapas-based-tableqa-wikisql-lookup — модель на архитектуре TAPAS-base, разработанная PrimeQA и дообученная на запросах WikiSQL типа lookup. Она принимает таблицу и вопрос на естественном языке, затем извлекает ответ из таблицы; предназначена для табличного вопросно-ответного поиска, например для ответов на запросы к структурированным данным. Модель содержит 136,7 млн параметров, работает с английским языком и доступна в формате PyTorch; в метаданных указан контекст 1024 токена. Лицензия Apache-2.0. Возможны смещения, унаследованные от предварительного обучения TAPAS-base и набора WikiSQL.
TAPAS — модель Google на архитектуре BERT, дообученная для ответов на вопросы по таблицам на датасете WikiTableQuestions (WTQ). Базовая версия содержит 136,7 млн параметров; модель использует двунаправленное представление текста и таблиц, а для выбора ответа — специальные головы выбора ячеек и агрегации. В репозитории доступны веса PyTorch и TensorFlow. Модель принимает вопрос и таблицу, преобразованную в последовательность токенов, и предназначена для поиска ответа в таблице, включая выбор ячеек и агрегацию значений. Она предварительно обучалась на англоязычных данных Википедии, а затем последовательно дообучалась на SQA, WikiSQL и WTQ. Карточка приводит точность 45,25% на dev для базовой версии с абсолютными позиционными эмбеддингами; результаты зависят от варианта чекпойнта и подготовки таблицы. Указанный лимит контекста — 1024 токена; при описанной настройке дообучения использовалась максимальная длина последовательности 512. Модель ориентирована на английский язык и табличные данные. Лицензия — Apache-2.0.
Terminal-12k-bottom80 — разговорная модель генерации текста на архитектуре Qwen3, дообученная автором cuong1692001 на базе cuong1692001/Terminal-complete-8k. Она предназначена для продолжения терминальных запросов и команд; карточка указывает дообучение на наборе nemotron_complete_bottom_80_12k. Модель содержит 7,6 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель подходит для генерации продолжений командной строки и диалогового взаимодействия по этой тематике. В карточке не приведены оценки качества или подробные ограничения, поэтому надёжность результатов для конкретных оболочек и сценариев не подтверждена. Указана лицензия «other» без пояснения условий; перед использованием следует проверить лицензионные сведения репозитория.
TimeOmni-1-4B — модель для рассуждений о временных рядах, разработанная авторами проекта TimeOmni-1. Она создана на основе Qwen/Qwen3.5-4B и обучена в два этапа: supervised fine-tuning добавляет временные априорные знания, а обучение с подкреплением с целевыми для задач наградами улучшает устойчивость рассуждений. Модель предназначена для решения разных задач анализа временных рядов в диалоговом формате, сохраняя общие способности рассуждать. Авторы описывают её как обобщённую модель для применения к разным задачам временных рядов; конкретные примеры задач в доступном README не перечислены. Репозиторий содержит веса в формате Safetensors и предназначен для Transformers. Лицензия — Apache-2.0.
NX-AI/TiRex-2-gifteval-zs — специализированная версия официальной предварительно обученной модели TiRex-2, представленная разработчиком NX-AI. Она предназначена для прогнозирования временных рядов и обучена на наборах данных, которые не пересекаются с Gift-Eval и Gift-Eval-Pretrain, поэтому подходит для оценки на этих бенчмарках без такого пересечения данных. Репозиторий использует библиотеку tirex-2 и содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0. В карточке не приведены сведения о размере, длине контекста, поддерживаемых языках и дополнительных ограничениях качества.
cardiffnlp/twitter-roberta-base-2021-124m-sentiment — модель Cardiff NLP на базе RoBERTa, дообученная для классификации тональности сообщений в Twitter. Она предназначена для определения тональности твитов и коротких текстов в сценариях анализа пользовательских публикаций и социальных сетей. Модель содержит 151,8 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт метку класса тональности. В README приведены результаты на тестовой части tweet_eval: micro-F1 0,713, macro-F1 0,716 и accuracy 0,713. Модель обучена на обучающей части tweet_eval (sentiment), а параметры подбирались на валидационной части. Она рассчитана на короткие сообщения, подобные публикациям в Twitter; качество и применимость к другим жанрам текста могут отличаться. Сведения о лицензии в предоставленных данных отсутствуют.
tanfiona/unicausal-seq-baseline — модель классификации предложений по причинно-следственной связи. Она присваивает тексту метку LABEL_0 для неп причинного и LABEL_1 для причинного предложения. Модель построена на архитектуре BERT и имеет 135,5 млн параметров; заявленный контекст составляет до 512 токенов. В карточке указано, что модель обучена на нескольких наборах данных. Модель предназначена для автоматической разметки предложений как причинных или неп причинных, например, при анализе текстовых коллекций. Она принимает текст и выдаёт метку класса. Репозиторий содержит веса PyTorch; лицензия в метаданных обозначена как unknown, поэтому условия использования по карточке определить нельзя.
LamaDiab/v3MiniLM-V18Data-256ConstantBATCH-SemanticEngine — дообученный на базе sentence-transformers/all-MiniLM-L6-v2 энкодер предложений, опубликованный пользователем LamaDiab. Модель преобразует предложения и абзацы в плотные векторы размерностью 384 и сравнивает их по косинусному сходству. Архитектура состоит из BERT-энкодера, усредняющего пулинга токенов и нормализации; максимальная длина входа по карточке — 256 токенов, а метаданные указывают контекст 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. В README приведён обучающий набор из 705 905 примеров с товарными запросами и категориями, поэтому особенно уместны поиск похожих товаров и сопоставление коротких описаний. Для неё указан английский базовый энкодер; поддержка других языков не подтверждена. Лицензия в предоставленных данных не указана.
Модель hezarai/word2vec-skipgram-fa-wikipedia — персидская модель векторных представлений слов, разработанная для библиотеки Hezar. Она обучена алгоритмом Skip-gram на данных персидской Википедии и предназначена для получения эмбеддингов слов, например для последующей обработки текста и поиска семантически близких слов.
WRAPresentations — англоязычная модель Sentence-Transformers от TomatenMarc для построения эмбеддингов твитов и поиска сходства между ними в задачах анализа аргументации. Она основана на BERTweet-base с архитектурой RoBERTa и дообучена контрастивным обучением на датасете TACO. Модель кодирует твиты в 768-мерные векторы, в которых отражены классы Reason, Statement, Notification и None; эти представления можно использовать для последующей классификации и группировки твитов по смыслу аргументации и содержащейся информации. Модель предназначена для анализа англоязычных сообщений Twitter. В обучении использовались твиты по пяти темам, а отдельная тема #abortion служила отложенной выборкой для оценки. В карточке указаны 162,4 млн параметров и контекст до 130 токенов. Для получения эмбеддингов используется mean pooling; при применении через Transformers требуется корректно добавить pooling к выходам модели. Лицензия — CC BY-SA 4.0.
XLMCITA — дообученная phunganhsang модель XLM-RoBERTa-base с архитектурой XLMRobertaForSequenceClassification, предназначенная для классификации текста. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. В README указаны результаты оценки: accuracy 0,7705, F1 0,7698 и loss 0,5616. Набор данных и конкретная задача классификации не описаны, поэтому применимость к отдельным тематикам или языкам по карточке определить нельзя. Модель распространяется по лицензии MIT.
Модель ismatsamadov/xlm-roberta-az-ner разработана на основе XLM-RoBERTa и дообучена для распознавания именованных сущностей в текстах на азербайджанском языке. Она принимает текст и размечает его токены категориями сущностей, включая имена людей, географические названия, организации, даты, суммы денег, время, объекты и события; всего заявлено 25 типов меток. Модель основана на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров. Для обработки использует Transformers, веса представлены в формате safetensors; длина контекста — 514 токенов. В отчёте на валидационном наборе указаны micro F1 0,75 и macro F1 0,64. Модель предназначена для извлечения сущностей из азербайджанских текстов, например для поиска людей, организаций и мест в документах. По README, она может хуже работать с другими языками и редкими категориями сущностей. Лицензия — MIT.
creemur/xlm-roberta-base-finetuned-panx-de-en — модель XLM-RoBERTa, дообученная для классификации токенов. Она содержит 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Суффикс panx-de-en указывает на связь с задачей распознавания сущностей на немецком и английском языках, однако README не раскрывает назначение модели и обучающий набор, поэтому эту специализацию нельзя подтвердить по карточке. Модель построена на базе FacebookAI/xlm-roberta-base и использует архитектуру XLMRobertaForTokenClassification. В README приведены метрики оценки: loss 0,4120 и F1 0,6947. Лицензия — MIT. Данных о специальных ограничениях и сценариях применения карточка не содержит.
cmhyo/xlm-roberta-base-finetuned-panx-fr — дообученная модель на базе XLM-RoBERTa Base для классификации токенов. Она предназначена для задач разметки последовательностей; суффикс «panx-fr» указывает на связь с французской версией PAN-X, однако README не подтверждает состав обучающих данных или набор меток. Модель содержит 305,2 млн параметров, построена на архитектуре XLM-RoBERTa и рассчитана на контекст до 514 токенов. По данным README, на оценочном наборе получены loss 0,2659 и F1 0,8461. Распространяется по лицензии MIT.
Kaan Demir разработал классификатор изображений на основе CLIP ViT-B/16, дообученный с помощью LoRA для различения реальных изображений и изображений, созданных генеративными моделями, включая Stable Diffusion, Midjourney, DALL-E и Flux. Модель принимает изображения размером 256 × 256 пикселей и выдаёт оценку вероятности класса «реальное»; предусмотрена зона неопределённости, в которой модель воздерживается от решения. В README приведены результаты на отложенной тестовой выборке: точность 0,959 и макро-F1 0,959. Это экспериментальная оценка на данных автора, поэтому качество на изображениях из других источников и новых генераторов может отличаться. Модель предназначена для выявления изображений, созданных ИИ, и не гарантирует надёжную проверку подлинности отдельного изображения. Репозиторий распространяется по лицензии MIT.
orai-nlp разработала эту модель на базе BERT для обработки текста на суахили в условиях ограниченных языковых ресурсов. Модель обучена на подмножестве корпуса CC-100 на суахили объёмом 125 млн токенов и предназначена для извлечения контекстных признаков, которые можно использовать в задачах классификации и распознавания именованных сущностей. Это BERT base cased с 12 слоями, словарём на 50 тысяч токенов и контекстом до 512 токенов. В README приведены результаты для распознавания именованных сущностей, тематической классификации и анализа тональности; в сравнении с несколькими моделями для суахили она показала лучшие результаты в указанных тестах. Модель доступна в форматах PyTorch и Safetensors по лицензии CC BY 4.0.
fabriceyhc/bert-base-uncased-dbpedia_14 — дообученная модель на основе BERT base uncased для классификации текстов по категориям набора DBpedia 14. Она принимает текст и относит его к одному из 14 классов; архитектура — BertForSequenceClassification, число параметров — 136,7 млн, максимальная длина контекста — 512 токенов. В README указана точность 0,9903 и loss 0,0547 на оценочном наборе. Модель подходит для тематической классификации текстов, похожих на примеры из DBpedia 14. Карточка не описывает дополнительные сценарии применения или языковую поддержку; основа BERT uncased рассчитана на английский текст. Модель опубликована в формате PyTorch по лицензии Apache-2.0.
cmarkea/bloomz-560m-nli — модель классификации текстов на основе BloomZ-560m, дообученная командой cmarkea на задаче распознавания текстового следования (NLI) от Bloomz-560m-chat-dpo. Она определяет, противоречит ли гипотеза посылке, следует ли из неё или нейтральна к ней; этот подход также позволяет классифицировать тексты по произвольным меткам без отдельного обучения, сопоставляя текст с формулировками гипотез для каждого класса. Модель содержит около 659,6 млн параметров и предназначена для задач классификации, в том числе анализа тональности и тематической категоризации. В обучении использовались пары посылок и гипотез на английском и французском языках, включая комбинации языков. В README приведены результаты на NLI и французских отзывах, но они уступают ряду специализированных моделей в указанных сравнениях. Модель опубликована в форматах PyTorch и Safetensors под лицензией BigScience BLOOM RAIL 1.0; следует учитывать её условия использования и ограничения.
CloudOpsBERT — дообученная модель DistilBERT от автора проекта CloudOpsBERT для выявления аномалий в журналах облачной и распределённой инфраструктуры. Она классифицирует отдельные строки логов как нормальные или аномальные; в репозитории есть варианты, обученные на данных HDFS и BGL. Модель предназначена для мониторинга надёжности систем и раннего обнаружения сбоев по логам, а также для экспериментов и рабочих сценариев AIOps. Это компактный текстовый классификатор на архитектуре DistilBERT с контекстом до 512 токенов. Для HDFS в README приведены F1 0,571, точность 0,992 и полнота 0,401 при пороге 0,50; порог можно настраивать. Качество заметно снижается при переносе между доменами, поэтому результаты на одном типе логов не гарантируют аналогичной эффективности на других. Модель распространяется по лицензии Apache-2.0.
ggrazzioli/cls_sentimento_sebrae — модель классификации тональности текста, обученная для внутреннего набора данных Sebrae RS. Она относит текст к одному из трёх классов: отрицательный, нейтральный или положительный. Модель основана на BERT с архитектурой BertForSequenceClassification, содержит 136,1 млн параметров и рассчитана на последовательности длиной до 512 токенов. Модель предназначена для анализа тональности текстов в сценариях, близких к данным Sebrae RS. В README приведены результаты проверки: accuracy 0,965 и macro F1 0,935; эти метрики относятся к указанной выборке и не гарантируют такое же качество на других данных. Для работы доступны веса PyTorch и safetensors; лицензия в предоставленных данных не указана.
DiariZen — модель для диаризации речи, представленная командой BUT для задания MLC-SLM Challenge. Компонент EEND построен на WavLM-Large и слоях Conformer. Модель предварительно обучена на одноканальных записях речи с дальнего расстояния из нескольких публичных наборов данных, затем разрежена структурным прореживанием до 80% и дообучена на данных MLC-SLM. Модель предназначена для анализа аудиозаписей встреч и определения активности речи и говорящих. В README приведены результаты оценки DER на американском, австралийском и британском вариантах английского, где DiariZen показала меньшую ошибку, чем базовая система Pyannote. Репозиторий содержит веса PyTorch; лицензия CC BY-NC 4.0 разрешает использование только на некоммерческих условиях.
Bhadresh Savani дообучил DistilBERT base uncased для классификации эмоций в коротких англоязычных сообщениях, в том числе текстах из Twitter. Модель построена на DistilBERTForSequenceClassification: DistilBERT получен дистилляцией BERT на этапе предварительного обучения, а данный чекпойнт дополнительно обучен на наборе данных эмоций с помощью HuggingFace Trainer. Максимальная длина контекста — 512 токенов. Модель присваивает тексту эмоциональные классы. В README приведены результаты на наборе эмоций из Twitter: точность 93,8% и F1 93,79%; автор также сообщает о более высокой скорости обработки по сравнению с вариантами BERT и RoBERTa в своём сравнении. Эти показатели относятся к описанной оценке и не гарантируют такого же качества на других текстах. Модель распространяется по лицензии Apache-2.0.
bhadresh-savani выпустил модель классификации тональности на основе DistilBERT. Она определяет, выражает ли предложение положительную или отрицательную оценку, и предназначена для анализа коротких англоязычных текстов. Модель обучена на Stanford Sentiment Treebank из набора GLUE; в карточке приведена точность 0,9094 на 872 примерах оценки. Модель использует архитектуру DistilBertForSequenceClassification, поддерживает входной контекст до 512 токенов и доступна в форматах PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Карточка не описывает работу с другими языками или типами входных данных.
Sapolas0730/distilbert-finetuned-emotion — модель классификации текста на основе DistilBERT, дообученная автором репозитория на наборе данных, который в карточке не назван. Она предназначена для определения эмоциональной категории текста. На указанной автором оценочной выборке модель показала accuracy 0,9255 и F1 0,9252 при loss 0,2192; описание не уточняет состав классов, датасет и методику оценки. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метки классов. Базовая модель — distilbert/distilbert-base-uncased; максимальный контекст составляет 512 токенов. Лицензия — Apache-2.0.
Luong23/e5-finetune-embedding-v2 — это дообученная модель Sentence Transformers на основе intfloat/multilingual-e5-base, разработанная автором репозитория Luong23. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска и извлечения релевантных текстов; близость векторов можно оценивать косинусным сходством. Архитектура включает XLM-RoBERTa, усредняющий pooling и нормализацию. В обучении использовались пары anchor-positive и MultipleNegativesRankingLoss; примеры датасета относятся к вьетнамским товарным запросам и описаниям. Метаданные указывают 305,2 млн параметров и контекстное окно до 514 токенов; карточка Sentence Transformers задаёт максимальную длину последовательности 256 токенов. Модель принимает текст и выдаёт эмбеддинги. Базовая модель многоязычная, но карточка не перечисляет языки, на которых дообученная версия проверена. Лицензия в предоставленных данных не указана.
ElhBERTeu-nerc — модель семейства BERT, разработанная orai-nlp и дообученная для распознавания именованных сущностей в текстах на баскском языке на датасете NERC из BasqueGLUE. Она размечает токены тегами организаций, персон, географических названий и категории MISC. В README приведены результаты на объединённом тестовом наборе: F1 0,867 и accuracy 0,979; обучение проводилось 10 эпох с batch size 32 и learning rate 3e-5. Модель содержит 151,7 млн параметров, принимает контекст до 512 токенов и распространяется в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и запрещает коммерческое использование.
facebook/hiera-large-224-in1k-hf — модель классификации изображений на архитектуре Hiera, разработанной исследователями Meta и обученной на ImageNet-1K. Hiera — иерархический vision transformer; эта версия содержит 74,3 млн параметров и предназначена для классификации изображений с разрешением 224 пикселя. Модель загружает изображение и возвращает метку класса. Модель подходит для распознавания объектов и сцен на изображениях, сортировки и автоматической разметки изображений по категориям. Архитектура Hiera рассчитана на эффективное распознавание визуальных данных; семейство также применимо для извлечения признаков, однако данный чекпойнт предназначен именно для классификации. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое.
jndpo2 — дообученная модель для генерации кода, созданная на основе deepseek-ai/deepseek-coder-1.3b-base с использованием набора данных generator. Она предназначена для продолжения и автодополнения кода, а также заполнения пропусков в коде — задач, для которых создана базовая модель. Модель использует плотную архитектуру семейства Llama с причинным языковым моделированием, содержит 1,3 млрд параметров и поддерживает контекст до 16 384 токенов. В README приведены результаты оценки на тестовом наборе, но описание методики, состав данных и сценарии применения не раскрыты. Указана лицензия other; конкретные условия использования следует проверять в репозитории модели.
k1 — дообученная модель на 1,3 млрд параметров, созданная на основе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и предназначена для генерации текста; базовая модель специализируется на продолжении, автодополнении и заполнении пропусков в коде. Для k1 указан контекст длиной до 16 384 токенов, формат весов — safetensors. В карточке приведены метрики оценки, но не описаны конкретные сценарии применения или обучающие данные. Лицензия в доступных сведениях не указана.