II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейpy315-pylingual-v3-segmenter — модель классификации токенов на базе RoBERTa, разработанная syssec-utd. Она дообучена на наборе syssec-utd/segmentation-py315-pylingual-v3-tokenized и предназначена для сегментации текста с помощью разметки отдельных токенов. В метаданных указаны 136,3 млн параметров, контекст до 1026 токенов и формат весов safetensors. На оценочном наборе README сообщает F1 0,9948 и accuracy 0,9985; результаты относятся к этому набору и сами по себе не гарантируют такое же качество на других данных. Лицензия в предоставленных сведениях не указана.
blaze-star выпустил компактную языковую модель Qwen2.5-1.5B-Instruct, дообученную методом QLoRA и опубликованную со слитыми fp16-весами. Она преобразует вопрос на естественном английском языке и явно переданную схему CREATE TABLE в один запрос SQLite; в карточке описано обучение на датасете b-mc2/sql-create-context и тестирование на отложенной выборке. Модель имеет плотную архитектуру Qwen2, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель рассчитана на генерацию SQL для небольших схем с одной таблицей. Автор сообщает о точном совпадении 74,8% на тесте из 1 000 примеров и отдельно предупреждает, что эта метрика чувствительна к стилю запроса и не проверяет его фактическое выполнение. Модель обучалась для английского языка и диалекта SQLite; результаты не следует напрямую переносить на крупные многотабличные хранилища. Сгенерированный SQL нужно проверять и безопасно валидировать перед использованием. Лицензия — Apache-2.0.
Модель cjber/reddit-ner-place_names — англоязычная модель распознавания именованных сущностей, разработанная дообучением bert-base-uncased. Она предназначена для извлечения названий мест из текста социальных сетей, включая комментарии Reddit; остальные типы сущностей исключены из разметки. Модель обучена на WNUT 17 и 498 дополнительных комментариях Reddit. Архитектура — BERT для классификации токенов, размер — 136,7 млн параметров, контекст — до 512 токенов. Модель рассчитана на английский текст и может распознавать названия мест с учётом контекста, например отличать упоминание города от названия футбольной команды. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — MIT.
Модель Skeiceee/roberta-base-bne-platzi-project-nlp-con-transformers — дообученная для классификации текста версия PlanTL-GOB-ES/roberta-base-bne. Она использует архитектуру RoBERTa для классификации последовательностей; размер модели — 151,8 млн параметров, контекст — до 514 токенов. В карточке приведены результаты оценки: accuracy 0,858 и loss 0,4597. Модель предназначена для задач классификации текста, однако карточка не описывает метки классов, обучающий набор данных или конкретные сценарии применения. Распространяется в формате safetensors по лицензии Apache-2.0.
Модель ayameRushia/roberta-base-indonesian-sentiment-analysis-smsa — дообученная на наборе данных IndoNLU модель RoBERTa для классификации тональности текста на индонезийском языке. Она основана на flax-community/indonesian-roberta-base и предназначена для определения эмоциональной окраски коротких текстов и сообщений. Архитектура — RobertaForSequenceClassification с 151,8 млн параметров; максимальная длина контекста составляет 514 токенов. В README указана точность 0,9349 на оценочной выборке. Модель подходит для автоматического анализа отзывов, публикаций и сообщений на индонезийском языке. Доступна в формате PyTorch и распространяется по лицензии MIT. В карточке не описаны метки классов и методика оценки, поэтому результат и заявленную точность следует интерпретировать с учётом особенностей конкретного набора данных.
robertuito-sentiment-analysis — модель pysentimiento для классификации тональности испаноязычных сообщений в социальных сетях. Она дообучена на корпусе TASS 2020, примерно на 5 тысячах твитов из нескольких диалектов испанского языка, и использует архитектуру RoBERTa с классификационной головой; в базовой модели RoBERTuito предобучение проводилось на испанских твитах. Модель содержит 136,3 млн параметров и принимает последовательности длиной до 130 токенов. Модель определяет положительную, отрицательную и нейтральную тональность. Её можно применять для анализа настроений в коротких сообщениях на испанском языке, включая тексты с разными региональными вариантами. В оценке pysentimiento на задаче тональности RoBERTuito показал Macro F1 0,705 ± 0,003. Карточка предлагает использовать модель через библиотеку pysentimiento. Лицензия в предоставленных данных не указана. Результаты относятся к конкретному тестированию; качество на других источниках текстов и за пределами испанских твитов может отличаться.
SmolLM2-135M-text2cypher — компактная модель на основе HuggingFaceTB/SmolLM2-135M-Instruct, дообученная Rizwan261 для преобразования вопроса на естественном языке и схемы графа в запрос Cypher. Она предназначена для генерации запросов к Neo4j и обучалась с LoRA на наборе RomanTeucher/text2cypher-curated; адаптер слит с базовыми весами, поэтому модель загружается как самостоятельный чекпойнт. Архитектура — плотная LlamaForCausalLM, размер — 134,5 млн параметров, контекст — 8192 токена. Модель ожидает ChatML-промпт с фиксированным системным сообщением и пользовательским сообщением, содержащим схему и вопрос. На тестовой выборке модель часто строит синтаксически корректные запросы, соответствующие схеме и исполняемые в базе данных. Однако в проверке на 18 примерах с базой данных ни один нетривиальный запрос не вернул те же строки, что и эталонный; точное совпадение составило 26% на тесте из 50 примеров. Она испытывает трудности с соотнесением сущностей, многоэтапной агрегацией и иногда выдумывает функции, поэтому результаты требуют проверки. Модель распространяется по лицензии Apache-2.0.
juanquivilla выпустил полноточную дообученную модель LiquidAI/LFM2.5-350M-Base для очистки текстов, полученных распознаванием речи. Она исправляет транскрипты, нормализует числа, удаляет речевые заполнители и рассчитана на постобработку результатов ASR, в том числе на локальном устройстве. Модель построена на плотной архитектуре LFM2 и содержит 444,6 млн параметров; контекст — до 128 000 токенов. Веса представляют собой усреднение двух дообученных чекпойнтов одной линии разработки. README приводит высокие показатели точности чисел и на тестах с трудными примерами, но они получены на ограниченных наборах оценки и не гарантируют такие же результаты для других языков или типов транскриптов. Модель рассчитана на английский язык, распространяется в формате safetensors по лицензии MIT; для запуска на Apple Silicon автор рекомендует отдельную 5-битную MLX-версию.
stanfordnlp/stanza-de — немецкоязычная модель из набора Stanza, разработанного Stanford NLP. Она предназначена для лингвистического анализа немецкого текста; Stanza предоставляет инструменты для обработки текста от исходной формы до синтаксического анализа и распознавания сущностей. В Hugging Face модель отмечена задачей token-classification и распространяется в формате PyTorch через библиотеку Stanza. Модель подходит для анализа немецкоязычных текстов в приложениях обработки естественного языка. Репозиторий распространяется по лицензии Apache-2.0. Размер модели и длина контекста в предоставленных данных не описаны.
Это языковой пакет Stanza для латышского языка, разработанный Stanford NLP. Он предназначен для лингвистического анализа текста: от обработки исходного текста до синтаксического разбора и распознавания именованных сущностей. В метаданных указана задача token-classification, библиотека Stanza и формат PyTorch; модель распространяется по лицензии Apache-2.0. Пакет подходит для включения латышского NLP-анализа в исследовательские и прикладные системы. Карточка не приводит сведения о размере модели и длине контекста.
Stanza для турецкого языка — модель из набора инструментов Stanford NLP для лингвистического анализа текста. Она предназначена для разметки токенов и может использоваться в конвейерах анализа турецкого текста, включая синтаксический анализ и распознавание сущностей. Библиотека Stanza предоставляет инструменты для перехода от исходного текста к лингвистическому анализу. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не сообщает размер модели и длину контекста, поэтому эти характеристики здесь не приводятся.
Модель Stanza для упрощённого китайского языка (zh-hans), разработанная Stanford NLP. Это компонент набора Stanza для лингвистического анализа текста, работающий в библиотеке Stanza и представлен в формате PyTorch. Модель предназначена для разметки токенов в китайском тексте. Stanza также предлагает инструменты для синтаксического анализа и распознавания сущностей, однако в метаданных этой модели подтверждена только задача token-classification. Карточка не сообщает размер модели, длину контекста или более подробные характеристики архитектуры. Модель распространяется по лицензии Apache-2.0. Подробности о качестве, ограничениях и условиях применения в карточке не приведены.
toloka/t5-large-for-text-aggregation — модель T5 Large, дообученная командой Toloka на агрегации текстовых ответов, полученных от нескольких исполнителей. Она принимает варианты ответов, разделённые вертикальной чертой, и формирует один итоговый ответ, исправляя разночтения и опечатки. Модель основана на архитектуре T5 для преобразования текста в текст и содержит 385,2 млн параметров. Она предназначена для агрегации краудсорсинговых транскрипций речи; обучение проводилось на частях train-clean, dev-clean и dev-other датасета CrowdSpeech. В README приведены результаты оценки по WER: 4,99 на test-clean и 10,61 на test-other. Контекст составляет 512 токенов, основной язык — английский. Модель применима для объединения нескольких вариантов одной транскрипции или другого короткого текста в единый результат. Она специализирована на сценарии агрегации ответов и не описана как универсальная модель суммаризации. Распространяется по лицензии Apache-2.0.
TAPAS Large — модель Google на архитектуре, близкой к BERT, предназначенная для ответов на вопросы по таблицам. Она принимает вопрос и таблицу, преобразованную в последовательность текста, и выбирает подходящие ячейки с помощью специальных голов выбора ячеек и агрегирования результата. Модель имеет 433,9 млн параметров и поддерживает контекст до 1024 токенов; в карточке описаны варианты с относительными и абсолютными позиционными эмбеддингами. Модель предварительно обучалась на английских данных Википедии, а затем последовательно дообучалась на SQA, WikiSQL и WikiTable Questions (WTQ). Она рассчитана на ответы на вопросы по табличным данным и может быть полезна для извлечения значений и простых агрегированных ответов. Для варианта reset в карточке приведена точность 0,5097 на dev-наборе WTQ. Модель работает с текстовым представлением таблицы и ориентирована на английский язык. Качество может быть ограничено сложными формулировками и таблицами, существенно отличающимися от обучающих данных; приведённая точность на WTQ указывает на возможность ошибок. Лицензия — Apache-2.0.
Trendyol разработала Trendyol-Vision-Master — мультимодальную модель зрения и языка на базе Qwen/Qwen3.5-27B с 27 млрд параметров. Модель полностью дообучена на мультимодальных данных каталога Trendyol и предназначена для задач модерации и обогащения товарных карточек в электронной коммерции. Модель принимает изображения, включая несколько изображений в одном запросе, и текст с названиями или метаданными товара. Она классифицирует товары по заданному списку категорий, сравнивает карточки на совпадение SKU, определяет бренд, извлекает атрибуты и количество в упаковке, генерирует названия и описания, а также классифицирует безопасность контента. Основной язык — турецкий, также поддерживается английский; режим рассуждений при инференсе отключён. Модель лучше подходит для сложных и критичных случаев, особенно для определения категорий, и сохраняет широкие возможности базовой VLM. Она оптимизирована для изображений товаров и турецкого каталожного текста, поэтому может хуже работать в других областях и на английском. Для обслуживания модели на 27 млрд параметров рекомендуется несколько GPU или оборудование с большим объёмом видеопамяти. Лицензия — CC BY 4.0.
Vakgyata-small — модель классификации аудио для определения индийского языка по речевому сигналу. Её разработчики дообучили предварительно обученную Harveenchadha/wav2vec2-pretrained-clsril-23-10k, добавив Layer Normalization; архитектура основана на Wav2Vec2ForSequenceClassification. В README для варианта small указано 52 млн параметров, а в метаданных — 56,6 млн. Модель предназначена для распознавания языка речи, например, при предварительной маршрутизации аудио в системах речевой аналитики и контакт-центрах. Она принимает аудио с частотой дискретизации 16 кГц; рекомендован формат моно PCM, 16 бит. README перечисляет поддержку индийского английского, хинди, одия и другие языки, но полный список в доступном тексте обрезан. Метаданные указывают Apache-2.0; доступны веса в форматах Safetensors и ONNX.
VC-Inspector-7B — мультимодальная модель Dipta007 для оценки подписей к видео без эталонной подписи, с акцентом на фактическую точность. Она принимает визуальный материал и подпись, выдаёт оценку качества от 1 до 5 и текстовое объяснение, отмечая возможные ошибки в объектах и действиях. Модель основана на Qwen/Qwen2.5-VL-7B-Instruct с 7,1 млрд параметров: визуальный энкодер и проектор заморожены, языковая часть дообучена с помощью LoRA на синтетическом наборе из 44 тысяч пар ActivityNet-FG-It. Архитектура Qwen2.5-VL поддерживает изображения и видео, а заявленный размер контекста составляет 128 000 токенов. Модель предназначена для проверки подписей к видео и изображений, в том числе для оценки наборов данных и сравнения вариантов описания. В README сообщается о результатах на нескольких бенчмарках, однако они не гарантируют аналогичного качества на других данных. Оценка сосредоточена прежде всего на правильности объектов и действий: атрибуты, пространственные отношения и точный временной порядок явно не моделируются. Обучение использовало синтетические подписи и псевдооценки; вычислительные затраты выше, чем у метрик на основе эмбеддингов. Лицензия — Apache-2.0.
sampurn-gfg/abcdefghijklmnopqrstuwxyz — дообученная модель DistilBERT для классификации текста. Она построена на distilbert/distilbert-base-uncased и использует архитектуру DistilBertForSequenceClassification; базовая модель рассчитана на английский язык. Контекст модели составляет 512 токенов, веса доступны в формате safetensors. Модель предназначена для классификации текстов. В карточке приведены результаты оценки: accuracy 0,9470 и loss 0,2153, однако набор данных, классы и методика оценки не описаны, поэтому эти метрики нельзя напрямую переносить на другие данные. Лицензия — Apache-2.0.
Модель lafifi-24/arabicBert_arabic_dialect_identification — классификатор арабского текста, разработанный в рамках проекта по определению арабских диалектов. Она дообучена на сочетании общедоступных наборов данных и собственного набора разработчиков и предназначена для определения диалекта по тексту разговорного арабского языка. Модель основана на BERT, содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Её можно применять для автоматической разметки диалектов в текстах, маршрутизации обращений по региону и анализа арабоязычных пользовательских сообщений. Карточка сообщает о высокой точности, но не приводит численных метрик или перечня распознаваемых диалектов, поэтому качество на конкретных данных следует проверять отдельно. В репозитории указаны веса PyTorch; условия лицензии в доступных данных не приведены.
Карточка модели MIT/ast-finetuned-audioset-10-10-0.448 на Hugging Face совпадает с карточкой MIT/ast-finetuned-audioset-14-14-0.443, поэтому описание составлено по ней. MIT/ast-finetuned-audioset-14-14-0.443 — модель Audio Spectrogram Transformer (AST), дообученная на AudioSet. Архитектура на основе Vision Transformer применяется к спектрограмме: аудио преобразуется в изображение, которое модель классифицирует по классам AudioSet. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для классификации звуковых событий и подходит для автоматической маркировки аудиозаписей и анализа звуковых сцен. В карточке указаны результаты уровня state of the art на нескольких тестах классификации аудио, но конкретные метрики для этого чекпойнта не приведены. Лицензия — BSD 3-Clause.
rss9051/autotrein-BERT-iiLEX-dgs-0004 — дообученная модель классификации текстовых последовательностей, созданная с помощью AutoTrain на основе rss9051/autotrein-BERT-iiLEX-dgs-0003. Она использует архитектуру BERT и содержит 136,1 млн параметров; максимальная длина входной последовательности — 512 токенов. Модель предназначена для отнесения текста к меткам классов. В карточке приведены метрики валидации: точность 0,661 и макроусреднённая F1-мера 0,576. Названия классов, обучающий набор данных и конкретная предметная область не указаны, поэтому пригодность для отдельного сценария следует проверять на собственных данных. Файлы модели представлены в формате safetensors; лицензия в предоставленных данных не указана.
A.X VE — визуальный энкодер на базе Vision Transformer, разработанный SK Telecom в рамках южнокорейского проекта суверенной базовой модели ИИ. Модель обучена с нуля как визуальная часть будущей мультимодальной модели A.X VLM: при обучении замороженный внутренний языковой декодер генерировал текст по визуальным токенам, а энкодер оптимизировался по цели предсказания следующего токена. Энкодер преобразует изображения в признаки отдельных патчей и предназначен для использования как визуальный модуль VLM вместе с языковой моделью. В README указаны 413 млн параметров и архитектура ViT: 27 слоёв, скрытый размер 1152, 16 голов внимания и патчи 16 × 16. Обучение включало задачи описания изображений, распознавания текста и документов, разбора содержимого и привязки объектов к областям изображения. Веса представлены в формате Safetensors, основная точность — bf16. Модель ориентирована на извлечение визуальных признаков, включая признаки, полезные для OCR, понимания документов и пространственной привязки. Она не генерирует текст самостоятельно: для решения пользовательских задач требуется языковой модуль. Признаки согласованы с пространством эмбеддингов декодера, использованного при обучении, поэтому при подключении другого языкового модуля может понадобиться дополнительная адаптация. Лицензия — Apache 2.0.
fabriceyhc/bert-base-uncased-imdb — модель BERT, дообученная на наборе данных IMDb для классификации текста, в частности отзывов о фильмах. Она содержит 136,7 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. На оценочном наборе IMDb модель достигла точности 0,9126 и значения функции потерь 0,4942. Её можно применять для определения тональности отзывов и классификации текста по меткам, использованным при обучении. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
Это исследовательский чекпойнт Qwen3-4B, дообученный методом обучения с подкреплением OpenRLHF GRPO для генерации кода. Его разработчик обучал модель непосредственно от Qwen/Qwen3-4B-Instruct-2507 без отдельного SFT-этапа. Чекпойнт сохранён на шаге 4 обучения и показал лучший в этом запуске результат по pass@8 на специально отобранных сложных задачах программирования; численные метрики оценки в журнале обучения отсутствуют. Модель предназначена для генерации программ, решающих задачи с проверкой тестами. Награда была бинарной: программа получала положительную оценку, если проходила тесты, иначе нулевую; для усечения и слишком длинных ответов применялись штрафы. Это плотная языковая модель семейства Qwen3 примерно на 3,7 млрд параметров с контекстом до 262 144 токенов, работающая через Transformers и сохранённая в safetensors. Лицензия в предоставленных данных не указана.
Это экспериментальный чекпойнт Qwen3-4B-Instruct-2507, дообученный командой agurung методом GRPO с помощью OpenRLHF. Обучение с подкреплением применялось непосредственно к базовой модели без предварительного SFT; чекпойнт сохранён на шаге 16 и показал лучший в этом запуске результат pass@8 на отложенных задачах генерации кода. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Чекпойнт предназначен прежде всего для генерации программ по условиям задач, включая задачи, где исходная модель справлялась редко. Обучение использовало бинарную награду за прохождение тестов, а также штрафы за усечение и чрезмерно длинные ответы. Показатель pass@8 на валидации составил 0,1614; опубликованное значение pass@1 равно -0,4173 и требует осторожной интерпретации. Это отдельный ранний исследовательский RL-чекпойнт, поэтому результат не гарантирует качество на других наборах задач. Файлы представлены в формате safetensors для Transformers; лицензия в предоставленных данных не указана.
DictaBERT-char — символьная языковая модель на архитектуре BERT-base, разработанная для иврита. Она обучена на уровне символов и предобучена восстанавливать замаскированные фрагменты текста; модель предназначена для задач языкового моделирования и обработки ивритских текстов, в том числе шумных пользовательских данных и восстановления пропущенных пробелов в текстах из социальных сетей. Модель содержит 114 млн параметров, использует архитектуру BertForMaskedLM и поддерживает контекст до 2048 токенов. Веса опубликованы в формате safetensors по лицензии CC BY 4.0. Статья о модели представлена на воркшопе W-NUT 2025.
Модель tjacquot/distilbert-base-uncased-finetuned — дообученная версия DistilBERT для классификации текста. В метаданных указан класс архитектуры DistilBertForSequenceClassification, библиотека Transformers и базовая модель distilbert/distilbert-base-uncased. Модель предназначена для отнесения текстовых последовательностей к классам. В карточке приведены результаты оценки: loss 0,2464 и precision 0,9070. Набор данных, метки классов и конкретная область применения не описаны. Контекст модели — до 512 токенов; модель принимает текст и выдаёт метки классификации. Модель распространяется под лицензией Apache-2.0. Поскольку данные обучения и схема классов не описаны, пригодность для конкретных задач следует оценивать отдельно.
Это англоязычная модель классификации текста на базе distilbert/distilbert-base-uncased, дообученная leomaurodesenv. Архитектура — DistilBertForSequenceClassification; веса сохранены в формате safetensors. Модель предназначена для классификации последовательностей текста. В README указаны результаты на наборе оценки: accuracy 0,8682 и loss 0,3323. Датасет и конкретные классы не описаны, поэтому эти оценки не позволяют определить, на каких именно категориях модель обучалась и насколько хорошо она подойдёт для другой задачи. Контекст — до 512 токенов. Лицензия — Apache-2.0.
Модель leomaurodesenv/distilbert-base-uncased-nvidia-aegis-v2-augmented — дообученная англоязычная DistilBERT для классификации текста. Она основана на distilbert/distilbert-base-uncased, использует архитектуру DistilBertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. В метаданных указана библиотека Transformers и формат весов safetensors. Модель подходит для задач классификации текстов. В README приведены результаты оценки: loss 0,2818 и accuracy 0,8756; датасет и назначение классов не описаны, поэтому интерпретировать эти показатели для конкретных сценариев нельзя. Модель распространяется по лицензии Apache-2.0.
Erlangshen-Roberta-330M-Sentiment — разработанная командой Fengshenbang IDEA-CCNL модель на базе китайской RoBERTa-wwm-ext-large, дообученная для анализа тональности. Её обучали на восьми китайских датасетах по анализу тональности, всего на 227 347 примерах; в README также приведены результаты на наборах ASAP-SENT, ASAP-ASPECT и ChnSentiCorp. Модель предназначена для классификации тональности китайских текстов, в том числе для анализа аспектов и пользовательских отзывов. Это плотная модель семейства BERT с архитектурой BertForSequenceClassification; в репозитории указано 424,3 млн параметров, а максимальный контекст составляет 512 токенов. Используются форматы PyTorch и safetensors. Лицензия — Apache-2.0. В README опубликованы метрики на отдельных наборах данных, но они не гарантируют такие же результаты на других доменах и текстах.