II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейTAPAS — модель на основе Transformer, разработанная Google и дообученная для ответов на вопросы по таблицам из WikiSQL. Она принимает вопрос на естественном языке вместе с таблицей и выбирает релевантные ячейки, при необходимости выполняя агрегирование. Модель предобучалась на английских текстах и таблицах Википедии, затем дообучалась на SQA и WikiSQL; архитектура включает BERT-подобный кодировщик, головку выбора ячеек и головку агрегирования. Размер — 136,7 млн параметров, максимальный контекст — 1024 токена. Модель подходит для извлечения значений из таблиц и ответов на вопросы, включая простые числовые рассуждения. Она рассчитана на английский язык и табличные данные; качество за пределами сценариев, похожих на WikiSQL, не подтверждено карточкой. Репозиторий предоставляет веса PyTorch и TensorFlow. Лицензия — Apache-2.0.
TAPAS large — предварительно обученная модель семейства BERT, разработанная Google для представления таблиц и связанного с ними текста. Модель содержит 433,9 млн параметров, поддерживает английский язык и принимает последовательности из текста вопроса или предложения и таблицы. Для извлечения признаков доступна длина контекста до 1024 токенов; в README описаны версии с относительными позиционными эмбеддингами (по умолчанию) и с абсолютными позиционными эмбеддингами. Модель обучена на англоязычных данных Википедии с помощью masked language modeling и дополнительного предварительного обучения на задаче проверки, подтверждается ли высказывание содержимым таблицы. Её можно использовать для получения скрытых представлений пар «таблица — вопрос» и дообучать для ответов на вопросы по таблицам или классификации текстов относительно таблиц. Это базовая модель для извлечения признаков, а не готовая модель генерации ответов; для специализированных задач может потребоваться дообучение с классификационной головой. Распространяется по лицензии Apache-2.0.
TAPEX large — модель Microsoft на архитектуре BART, разработанная для развития навыков рассуждения по таблицам с помощью предобучения на синтетических SQL-запросах. Чекпойнт содержит около 252,8 млн параметров и рассчитан на дообучение для последующих задач, включая ответы на вопросы по таблицам; сам по себе он не предназначен для выполнения SQL-запросов над таблицей. Модель принимает таблицу и текстовый вопрос и формирует ответ текстом. В метаданных указан английский язык и контекст до 1024 токенов. Для практического применения чекпойнт нужно дообучить на целевой задаче. Модель распространяется по лицензии MIT.
Карточка модели BeastxD/text2cypher_lora_v5 на Hugging Face совпадает с карточкой BeastxD/text2cypher_lora_v7, поэтому описание составлено по ней. BeastxD/text2cypher_lora_v7 — дообученная BeastxD модель семейства Qwen3 на базе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; метаданные указывают поддержку контекста до 262 144 токенов, чата и интерфейса вызова инструментов. Название репозитория указывает на генерацию Cypher-запросов, однако README не описывает эту специализацию и не приводит примеров, поэтому её качество и точные сценарии применения не подтверждены. Модель принимает текст и генерирует текст; в карточке указан английский язык. Она обучалась с использованием Unsloth и библиотеки TRL. Лицензия — Apache-2.0. Специализация на Cypher следует только из названия модели; перед применением стоит проверить корректность запросов на своих данных.
Wiebke/trainer_output — дообученная немецкоязычная модель DistilBERT для классификации токенов. Она предназначена для задач разметки отдельных слов и фрагментов текста, например извлечения сущностей, если метки обученной задачи это поддерживают. Модель основана на distilbert/distilbert-base-german-cased, использует архитектуру DistilBertForTokenClassification и принимает текст с контекстом до 512 токенов. В README приведены результаты оценки: loss 0,3315, precision 0,4110, recall 0,4941 и F1 0,4487. Название датасета и схема меток не раскрыты, поэтому конкретный тип разметки подтвердить нельзя. Модель распространяется в формате safetensors по лицензии Apache-2.0.
TuniBert — дообученная модель BERT от AhmedBou для классификации текстов на тунисском диалекте арабского языка. Она обучена на корпусе Tunisian-Dialect-Corpus и предназначена прежде всего для анализа тональности: относит текст к положительному, отрицательному или нейтральному классу. Модель также заявлена для задач классификации текста. Модель содержит 137,8 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Репозиторий содержит веса PyTorch. Модель создана в рамках магистерской исследовательской работы и распространяется по лицензии Apache-2.0.
Wav2Vec2 Adult/Child Speech Classifier — модель классификации аудио на основе архитектуры wav2vec 2.0, дообученная Wilson Wongso на закрытом наборе записей речи взрослых и детей. Она принимает аудиозапись и относит её к одному из этих классов. Модель содержит 113,3 млн параметров по метаданным Hugging Face; для обучения использовались PyTorch и вычисления на Tesla P100. В README указана точность 95,80% и F1 0,9618 на наборе Adult/Child Speech Classification. Модель может подойти для автоматической сортировки речевых записей по возрастной категории говорящего. Результаты могут зависеть от состава и условий записи данных; разработчик отдельно предупреждает о возможном влиянии смещений из предварительного обучения. Лицензия — Apache-2.0.
Карточка модели VARabic/whisper-medium-finetuned-sada-asr на Hugging Face совпадает с карточкой wageehkhad/whisper-medium-finetuned-sada-asr, поэтому описание составлено по ней. Модель wageehkhad/whisper-medium-finetuned-sada-asr — версия Whisper Medium, дообученная на наборе SADA22 для автоматического распознавания саудовской арабской речи. Она преобразует аудиозаписи в текст и использовалась как компонент распознавания речи в экспериментах по оценке диалектности арабского языка: полученную расшифровку передавали текстовому классификатору диалектности. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 455,8 млн параметров; опубликована в формате safetensors. Базовая модель — openai/whisper-medium. Основной сценарий — транскрибация саудовской арабской речи. Модель рассчитана на речевые сегменты длительностью до 30 секунд; более длинные записи можно обрабатывать с автоматическим разбиением на части в используемом pipeline. Дообучение ориентировано на саудовский диалект, поэтому качество на других арабских диалектах и передачах на литературном арабском может быть ниже. Лицензия — Apache-2.0.
sercetexam9/xlm-roberta-base-chn-finetuned-augmentation-LUNAR — дообученная sercetexam9 модель FacebookAI/xlm-roberta-base для классификации текста. Она построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; принимает текст длиной до 514 токенов и возвращает результат классификации. В README приведены метрики на наборе оценки: F1 0,7723, ROC AUC 0,8558 и accuracy 0,6929. Назначение классов и область применения не описаны. Модель распространяется по лицензии MIT.
xlm-roberta-large-prostata-NER — модель распознавания именованных сущностей, разработанная Мануэлем Уртадо Чунгой и Хоном Андерсоном Морено, магистрантами Univalle. Это дообученная версия XLM-RoBERTa-large для извлечения медицинских сущностей из испаноязычных клинических записей, связанных с раком предстательной железы. Модель находит симптомы, лекарства, возраст и анатомические упоминания; заявленный в карточке F1 равен 98,60%. Архитектура — XLM-RoBERTa для классификации токенов, размер — 658,7 млн параметров, длина контекста — 514 токенов. Подходит для извлечения клинической информации из структурированных и неструктурированных записей, в том числе как компонент поиска по электронным медицинским картам и аналитических систем. Модель создана для испанского языка и медицинской онкологии урологического профиля. Её лицензия — MIT. Карточка предупреждает, что качество может снижаться на текстах из других медицинских областей и на общих текстах; неоднозначные медицинские сокращения могут приводить к ошибкам. Результаты следует проверять специалистом, а модель не предназначена для самостоятельной постановки диагноза или прямых клинических решений.
Это модель классификации аудио на базе Audio Spectrogram Transformer (AST), разработанная как дообученная версия MIT/ast-finetuned-audioset-10-10-0.4593. Её дополнительно обучили на части набора ESC-50 с аугментациями звука: изменением громкости и скорости, добавлением шума, сдвигом высоты тона и маскированием фрагментов. Модель предназначена для распознавания классов звуковых событий по аудиозаписи, в том числе для сценариев, связанных с категориями ESC-50. В README указаны результаты оценки: accuracy 0,9286 и F1 0,9244. Архитектура содержит около 113,2 млн параметров; доступны веса PyTorch. Лицензия — BSD-3-Clause.
dtorber/bert-base-spanish-wwm-cased — дообученная модель классификации последовательностей на основе BETO, испаноязычной модели BERT от dccuchile. Она предназначена для классификации текста на испанском языке. Модель содержит 137,1 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 Macro 0,8879, F1 0,9207 и точность 0,8975. Назначение классов и обучающий набор данных не описаны, поэтому оценить применимость к конкретной предметной области нельзя. В метаданных указан формат safetensors; лицензия не приведена.
bert-fc-medium — языковая модель среднего размера на архитектуре RoBERTa, разработанная aajrami. Она предварительно обучена с задачей предсказания первого символа; подробности цели и гиперпараметров обучения приведены в упомянутой в карточке научной работе. Модель предназначена для извлечения признаков из текста и получения текстовых представлений. В модели 59,3 млн параметров, максимальная длина контекста — 514 токенов. Доступны веса в форматах PyTorch и safetensors. Карточка не уточняет поддерживаемые естественные языки и прикладные области. Лицензия — CC BY 4.0.
aquif11/bert-finetuned-imdb — дообученная модель BERT для классификации текста. В README указано, что она основана на bert-base-uncased; архитектура — BertForSequenceClassification, размер — 136,7 млн параметров. Модель рассчитана на классификацию текстовых последовательностей, вероятно, для анализа отзывов о фильмах по датасету IMDb, что следует из названия репозитория. Модель принимает текст и выдаёт метку класса. Контекст ограничен 512 токенами. В README приведено значение loss 0,0011 на оценочной выборке, однако датасет и методика оценки не описаны, поэтому это число не позволяет надёжно судить о качестве на других данных. Использование регулируется лицензией Apache-2.0.
Карточка модели ranaroy/bert-finetuned-imdb на Hugging Face совпадает с карточкой aquif11/bert-finetuned-imdb, поэтому описание составлено по ней. aquif11/bert-finetuned-imdb — дообученная модель BERT для классификации текста. В README указано, что она основана на bert-base-uncased; архитектура — BertForSequenceClassification, размер — 136,7 млн параметров. Модель рассчитана на классификацию текстовых последовательностей, вероятно, для анализа отзывов о фильмах по датасету IMDb, что следует из названия репозитория. Модель принимает текст и выдаёт метку класса. Контекст ограничен 512 токенами. В README приведено значение loss 0,0011 на оценочной выборке, однако датасет и методика оценки не описаны, поэтому это число не позволяет надёжно судить о качестве на других данных. Использование регулируется лицензией Apache-2.0.
nisancoskun/bert-finnish-sentiment-analysis-v2 — модель классификации текста на основе BERT, дообученная на TurkuNLP/bert-base-finnish-uncased-v1 с использованием набора данных nisancoskun/finnish_sentiment_data. Она предназначена для определения тональности финскоязычных текстов. На оценочном наборе модель достигла точности 0,9578 при значении loss 0,2362. Модель содержит 151,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
BIOMed_NER — модель распознавания и классификации именованных сущностей в биомедицинском и клиническом тексте. Она разработана на основе DeBERTa-v3-base и дообучена для выделения заболеваний, процедур, лекарств, анатомических терминов и других медицинских сущностей. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa v2 для классификации токенов и принимает текстовые фрагменты длиной до 512 токенов. Модель подходит для извлечения структурированных медицинских сведений из клинических записей и подготовки данных для последующего анализа или биомедицинских исследований. Она возвращает найденные фрагменты, типы сущностей, оценки уверенности и позиции в исходном тексте. Карточка описывает работу с английским языком; конкретные метрики качества и лицензия не приведены.
ChartVerse-2B-GGUF — квантованные GGUF-версии компактной мультимодальной vision-language модели ChartVerse-2B, разработанной opendatalab и дообученной на базе Qwen3-VL-2B-Instruct. Модель предназначена для понимания изображений и текста, прежде всего для анализа сложных диаграмм и графиков, ответов на вопросы по визуальным данным и многошагового рассуждения. Указан английский язык, формат pipeline — image-text-to-text, а размер базовой модели составляет около 2 млрд параметров. Ключевые особенности — специализация на chart reasoning, поддержка Chain-of-Thought рассуждений, проверки ответов с опорой на выполнение кода и множество вариантов квантования GGUF с размерами файлов примерно от 618 МБ до 4,07 ГБ. По данным README, модель показала средний результат 54,3% на шести сложных бенчмарках, превзойдя указанные специализированные модели большего размера. Для работы заявлена интеграция с llama.cpp и Transformers; в Transformers используется класс Qwen3VLForConditionalGeneration, а максимальное число новых токенов указано как 16384. Основное ограничение — узкая специализация на анализе диаграмм и заявленная поддержка только английского языка; характеристики контекстного окна в README явно не указаны, хотя для обучения упоминается контекст 22k. Доступ предоставляется по лицензии Apache 2.0, что допускает использование и развертывание в соответствии с её условиями.
Это исследовательский контрольный чекпойнт языковой модели Qwen3-4B, дообученный командой, опубликовавшей репозиторий, методом обучения с подкреплением OpenRLHF GRPO. Обучение проводилось напрямую от Qwen/Qwen3-4B-Instruct-2507 без промежуточного SFT на задачах генерации кода; чекпойнт сохранён на шаге 60 и показал лучший результат по pass@8 в рамках этого запуска. Модель предназначена для генерации программ и решения задач на программирование, особенно задач, выбранных как трудные для исходной модели. Обучение использовало бинарную награду за прохождение тестов, восемь генераций на запрос и ограничение в 4096 новых токенов. Архитектура плотная Qwen3ForCausalLM, размер около 3,7 млрд параметров, формат весов safetensors; контекст — до 262 144 токенов. Карточка не приводит численные метрики качества на отложенной выборке, поэтому преимущество по pass@8 относится только к сравниваемым чекпойнтам этого запуска. Это ранний экспериментальный чекпойнт, а не подтверждённая универсальная модель для кода. Лицензия в предоставленных сведениях не указана.
Это исследовательский чекпойнт Qwen3-4B-Instruct-2507, дообученный методом обучения с подкреплением GRPO без предварительного SFT-сеяния. Его разработчик обучал модель генерировать программы, проходящие тесты: сигнал вознаграждения бинарный и зависит от корректности кода. Чекпойнт сохранён на шаге 4; в этом экспериментальном запуске он показал лучший результат по pass@8, однако численные метрики оценки в журнале обучения отсутствуют. Модель предназначена для генерации кода и решения задач программирования, в частности задач, которые исходная модель решала редко. Обучение использовало до 4096 новых токенов на ответ; контекст модели — до 262 144 токенов. Архитектура — плотная Qwen3 с 3,7 млрд параметров, веса доступны в формате safetensors через Transformers. Лицензия в предоставленных данных не указана.
Это экспериментальный чекпойнт Qwen3-4B-Instruct-2507, дообученный командой agurung методом GRPO с помощью OpenRLHF. Обучение с подкреплением применялось напрямую к базовой модели без предварительной SFT-инициализации; чекпойнт сохранён на глобальном шаге 4 и выбран как лучший по pass@8 в рамках этого запуска. Модель предназначена для генерации кода и решения задач программирования: по условию она создаёт программу, оцениваемую по прохождению тестов. Обучение охватывало сложные задачи из набора cobalt-train, а сигнал вознаграждения был бинарным — за корректное прохождение тестов. Архитектура — плотная Qwen3ForCausalLM на 3,7 млрд параметров; используется Transformers, веса сохранены в safetensors. Контекст составляет до 262 144 токенов. Это ранний экспериментальный чекпойнт: в README указано, что метрики оценки на этом шаге отсутствуют, поэтому преимущество по pass@8 относится только к сравнению чекпойнтов данного запуска и не подтверждает общее качество. Для обучения применялись штрафы за усечение генерации и чрезмерную длину ответа. Лицензия в предоставленных данных не указана.
Это экспериментальный чекпойнт языковой модели Qwen3-4B, дообученный методом обучения с подкреплением GRPO в OpenRLHF. Разработчик — agurung; в качестве исходной модели указана Qwen/Qwen3-4B-Instruct-2507. Чекпойнт сохранён на шаге 8 обучения и показал лучший результат pass@8 среди чекпойнтов этого запуска. Модель предназначена для генерации кода и решения задач программирования. Обучение проводилось на задачах, которые исходная модель решала редко, с бинарным вознаграждением за прохождение тестов. Используются архитектура Qwen3 с плотной причинной языковой моделью, 3,7 млрд параметров и контекст до 262 144 токенов; модель принимает и генерирует текст. В обучающем описании нет доступных метрик оценки этого чекпойнта, поэтому преимущество по pass@8 относится только к чекпойнтам данного запуска и не подтверждает качество на других наборах задач. Данные не сообщают лицензию.
Это экспериментальный чекпойнт Qwen3-4B, обученный командой, опубликовавшей репозиторий agurung/cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp20-groot30v11v, методом обучения с подкреплением OpenRLHF GRPO. Обучение проведено непосредственно от Qwen/Qwen3-4B-Instruct-2507 без промежуточного SFT; в README указан глобальный шаг 40 и лучший результат в серии по pass@8. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и поддерживает контекст до 262 144 токенов. Модель предназначена прежде всего для генерации кода и решения задач программирования: обучение поощряло программы, проходящие тесты, а усечённые ответы получали штраф. В README описаны обучающая выборка из 1 833 и проверочная выборка из 112 сложных задач; численные метрики этого чекпойнта не приведены. Для загрузки указаны Transformers и формат safetensors. Лицензия в предоставленных сведениях не описана.
code-think-q4b-20260908 — исследовательский чекпойнт на базе Qwen/Qwen3-4B-Base, созданный командой modrill. Модель дообучена методом LoRA SFT на смеси трасс рассуждений учителей, после чего адаптер объединён с базовыми весами. Это плотная причинная языковая модель семейства Qwen3 примерно с 3,7 млрд параметров и контекстом 32 768 токенов; для генерации в режиме рассуждений README рекомендует включать think mode без предварительной вставки токена режима. Модель предназначена для генерации кода и рассуждений при решении задач программирования. В карточке приведена оценка на 256 задачах dev-набора LiveCodeBench: 73 решения pass@1, но это результат одного запуска с фиксированным seed, а 136 генераций достигли лимита длины. Авторы прямо обозначают чекпойнт как исследовательский, а не продуктовый, поэтому результаты не следует считать подтверждённой оценкой качества или лидербордом. Репозиторий распространяется по лицензии Apache-2.0.
emilylearning/cond_ft_subreddit_on_reddit__prcnt_100__test_run_False__xlm-roberta-base — дообученная модель на базе XLM-RoBERTa для классификации токенов в текстах Reddit, с условием, связанным с subreddit. Разработчик чекпойнта — emilylearning; базовая архитектура XLM-RoBERTa разработана Facebook AI и представляет собой мультиязычный Transformer-энкодер семейства RoBERTa. Модель содержит около 305,2 млн параметров и поддерживает контекст до 514 токенов. Метаданные Hugging Face указывают задачу token classification, а базовая XLM-RoBERTa обучалась на данных примерно 100 языков и предназначена для последующей адаптации к задачам классификации и sequence labeling. Идентификатор модели указывает на использование данных Reddit и полного варианта набора (`prcnt_100`), но подробные схемы меток и целевые категории в доступных источниках не описаны. Модель подходит для разметки или классификации отдельных токенов в Reddit-текстах после проверки соответствия используемых меток. Лицензия именно этого дообученного чекпойнта в доступных данных не установлена; условия лицензии базовой модели нельзя автоматически считать лицензией производного чекпойнта.
Модель sercetexam9/cs221-xlnet-large-cased-finetuned — дообученная версия xlnet/xlnet-large-cased для классификации текстов. Она построена на архитектуре XLNet и содержит 435,4 млн параметров; веса опубликованы в формате safetensors. Карточка сообщает о результате на оценочном наборе: loss и BCE loss составили 0,5884, но датасет указан как None, поэтому эти значения трудно интерпретировать. Модель распространяется по лицензии MIT.
syarulzaffi/date2format-v2 — модель классификации текста на базе DistilBERT, дообученная с помощью AutoTrain на основе syarulzaffi/date2format. Она предназначена для классификации текстовых входов; название базовой модели указывает на задачу преобразования дат в форматы, но README не описывает метки классов и точный сценарий применения. Для версии опубликованы метрики валидации: accuracy 0,91 и macro F1 0,90. Контекст модели составляет 512 токенов. Модель принимает текст и выдаёт метку класса. Лицензия в предоставленных данных не указана.
RoBERTa от разработчика obi, дообученная для удаления идентифицирующей информации из медицинских записей. Модель выполняет классификацию токенов: каждому токену присваивается метка «не PHI» или одна из 11 категорий защищённой медицинской информации, после чего предсказания объединяются в фрагменты с использованием разметки BILOU. Модель предназначена для поиска персональных и медицинских идентификаторов в клинических заметках и может помогать удалять их из исходного текста. Для работы с документом README рекомендует разбивать его на предложения, токенизировать и затем собирать предсказания на уровне заметки. Обучение проводилось на наборе I2B2 2014; основным языком карточки указан английский. Модель содержит 454,1 млн параметров, использует контекст длиной до 514 токенов и распространяется в форматах PyTorch и Safetensors. Лицензия — MIT. Качество может зависеть от соответствия входных заметок данным и схеме разметки I2B2; модель выдаёт метки для токенов, а удаление PHI требует последующей обработки предсказанных фрагментов.
Модель Мухаммада Ахмада классифицирует текст сообщений в Twitter и определяет, относится ли сообщение к реальному стихийному бедствию. Это бинарный классификатор на базе DistilBERT, дообученный на наборе данных Kaggle Natural Language Processing with Disaster Tweets; метки означают «бедствие» и «не бедствие». Модель использует библиотеку Hugging Face Transformers и принимает текст длиной до 512 токенов. В карточке приведены accuracy, precision и recall по 82,52%. Модель предназначена для классификации твитов о бедствиях, в том числе в учебных и исследовательских проектах. Она может ошибаться на саркастичных и неоднозначных сообщениях, а точность зависит от качества входного текста. Лицензия в доступных данных не указана.
toastynews разработала небольшую модель ELECTRA для сегментации слов в тексте. Модель дообучена на базе toastynews/electra-hongkongese-small-discriminator на корпусах HKCanCor, CityU и AS с BI-разметкой. Вариант hkt обучен на текстах из Гонконга и Тайваня; в этой линейке также есть варианты hk и модели другого размера. Модель предназначена для сегментации гонконгского кантонского и стандартного китайского текста из Гонконга. Для применения автор рекомендует библиотеку CKIP Transformers. Размер модели — 20,3 млн параметров, максимальный контекст — 512 токенов; доступны форматы PyTorch и TensorFlow. Модель хуже работает с текстами из других регионов и с английским языком. Распространяется по лицензии Apache-2.0.