II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейEthioNLP/EthioLLM-l-70K — модель на базе XLM-RoBERTa Large, дообученная командой EthioNLP для предсказания пропущенных токенов. Она содержит 474,3 млн параметров, использует архитектуру XLM-RoBERTa для masked language modeling и принимает последовательности длиной до 514 токенов. В тегах модели указана поддержка амхарского, оромо, сомалийского, тигринья и геэзского языков. Модель подходит для восстановления пропусков и получения контекстных представлений слов на поддерживаемых языках. На оценочном наборе указано значение loss 2,4802, но README не описывает набор данных, методику оценки или конкретные сценарии применения. Лицензия — MIT.
sudo-s/exper_batch_32_e8 — модель классификации изображений на архитектуре Vision Transformer (ViT). Она дообучена на наборе данных sudo-s/herbier_mesuem1 от google/vit-base-patch16-224-in21k и содержит 113,2 млн параметров. На оценочной выборке указана точность 0,9113 и значение loss 0,3520. Модель предназначена для отнесения изображений к классам набора данных, однако конкретные классы и сценарии применения в карточке не описаны. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
Модель tihon-nth/finetuned-ucf101-subset — дообученный видеотрансформер VideoMAE-base на основе MCG-NJU/videomae-base, разработанный автором репозитория tihon-nth. Она предназначена для классификации видео; в README приведены результаты на оценочном наборе: accuracy 0,8516 и loss 0,2251. Модель содержит 113,2 млн параметров, построена на архитектуре VideoMAEForVideoClassification и распространяется в формате Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Сведения о классах действий, составе обучающего набора и конкретных ограничениях в карточке отсутствуют.
JEdward7777/finetuned-xlm-r-masakhaner-swa-whole-word-phonetic — дообученная модель на базе xlm-roberta-base с архитектурой XLM-RoBERTa и 333,9 млн параметров. Она предназначена для задачи fill-mask: предсказывает пропущенные токены в тексте. По названию репозитория модель связана с MasakhaNER и суахили, однако карточка не описывает датасет и целевое применение подробнее. Модель принимает текст, поддерживает контекст до 514 токенов и выдаёт текстовые предсказания. Распространяется в формате PyTorch по лицензии MIT.
TokSuite–ByT5 — базовая многоязычная языковая модель из набора TokSuite, разработанного для контролируемого изучения влияния токенизатора на поведение языковых моделей. Это плотный decoder-only Transformer на конфигурации Llama 3.2 1B; модель содержит около 1,3 млрд параметров и принимает текст, разбитый на байтовые токены ByT5 с размером словаря 259. Байтовая токенизация охватывает Unicode без неизвестных токенов и помогает сохранять устойчивость к опечаткам, OCR-ошибкам, помехам ввода и необычному форматированию. Модель предназначена для продолжения текста и исследовательских сравнений устойчивости токенизаторов, включая анализ многоязычных данных и тестирование на шумных текстах. Обучение проводилось на корпусе примерно из 100 млрд токенов: английских данных FineWeb-Edu и данных на китайском, турецком, итальянском и фарси. README указывает контекст 4096 токенов, тогда как метаданные каталога указывают 8192; точное значение контекста по этим источникам расходится. Модель не настроена на следование инструкциям и диалог, а байтовая токенизация увеличивает длину последовательностей и вычислительные затраты. Лицензия — MIT.
HarmCare_continuous — дообученная модель ajrayman на базе microsoft/deberta-v3-base для классификации текста. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 и рассчитана на последовательности длиной до 512 токенов. В README приведены результаты оценки: loss 0,0326, RMSE 0,1805, MAE 0,1411 и корреляция 0,2259. Карточка не раскрывает назначение непрерывной оценки, набор меток, обучающие данные и рекомендуемые сценарии применения, поэтому интерпретировать выход модели без дополнительной документации нельзя. Модель распространяется по лицензии MIT.
HBERTv1_48_L2_H512_A8 — модель семейства HybridBERT для заполнения пропусков в тексте. Это дообученная модель класса DistilBertForMaskedLM, обученная на gokuls/wiki_book_corpus_complete_processed_bert_dataset. В метаданных указан контекст длиной 512 токенов и формат PyTorch. На оценочном наборе модель получила loss 3,0911 и accuracy 0,4530. Модель подходит для предсказания замаскированных токенов в последовательностях текста. Карточка не описывает целевые сценарии, языки, ограничения применения или подробности обучения; лицензия и базовая модель не указаны.
Модель jaime168/hf_cat_breed_classifier-vit-base-patch16-224 — дообученный Google Vision Transformer ViT-Base с патчами 16×16 и входным разрешением 224×224 для классификации изображений пород кошек. Она принимает изображение и предсказывает класс породы. В README указана точность 0,8901 и loss 0,3879 на оценочном наборе; описание набора данных и ограничений в карточке не приведено. Модель использует библиотеку Transformers, веса сохранены в формате safetensors, лицензия — Apache-2.0.
Это модель классификации эмоций в китайской речи на базе HuBERT, разработанная автором репозитория xmj2002. Для предобучения использована TencentGameMate/chinese-hubert-base, после чего модель обучена на наборе CASIA: в карточке указаны 1200 аудиозаписей актёров с шестью метками — гнев, страх, радость, нейтральное состояние, грусть и удивление. Архитектура — HuBERT для классификации речи, около 113,3 млн параметров; модель принимает аудио и выдаёт класс эмоции. В README сообщается о точности 0,972 и test loss 0,1165 на тестовом разбиении указанного набора. Эти результаты относятся к описанному эксперименту и не гарантируют такого же качества на других данных, говорящих или условиях записи. Набор мог быть неполным по сравнению с официальным CASIA. Модель распространяется по лицензии Apache-2.0.
Imagination_binary — модель классификации текстов на базе DeBERTa-v3-base, дообученная разработчиком ajrayman для бинарной классификации. Она предназначена для отнесения текста к одному из двух классов; конкретная тематика классов и сценарий применения в карточке не раскрыты. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa V2 и принимает текст длиной до 512 токенов. Доступны веса в формате Safetensors, библиотека Transformers; лицензия — MIT. В карточке приведены результаты оценки: accuracy 0,6002, precision 0,6389, recall 0,4589, F1 0,5341 и AUC 0,6471. Эти показатели указывают на ограниченное качество и требуют проверки на данных целевого применения. Обучающий датасет не описан.
Это японская модель RoBERTa, предварительно обученная разработчиком на Википедии по состоянию на 21 декабря 2020 года. Она предназначена для подстановки пропущенных токенов в японском тексте и может использоваться как базовая модель для экспериментов с задачами языкового понимания. Модель содержит 137,8 млн параметров, использует архитектуру RobertaForMaskedLM и принимает контекст длиной до 514 токенов. Для токенизации применяются Janome (обёртка Python для MeCab) и BPE. Доступны веса PyTorch; лицензия — CC BY-SA 3.0.
Kronos-small (MLX) — порт на Apple MLX модели NeoQuasar/Kronos-small, предназначенный для прогнозирования финансовых временных рядов по биржевым свечам. Модель содержит 24,7 млн параметров; архитектура и веса сохранены без изменений относительно исходного чекпойнта PyTorch, а библиотека kronos-mlx пересчитывает необходимые служебные тензоры при инициализации. Модель подходит для анализа последовательностей свечей и построения прогнозов финансовых временных рядов на устройствах Apple с MLX. Для линейных слоёв доступна 8-битная квантизация, сокращающая расход памяти примерно на 70% с умеренным снижением качества. README сообщает о численном совпадении целочисленных вычислений и отклонении результатов с плавающей точкой не более примерно 5×10⁻⁵ от версии PyTorch при одинаковых входах. Модель распространяется по лицензии MIT. Она ориентирована на финансовые временные ряды; README не заявляет поддержку обычного текста или других модальностей.
MARLIN ViT Base YTF — модель извлечения признаков из видеопоследовательностей лиц, основанная на подходе Masked Autoencoder for facial video Representation Learning. Репозиторий ControlNet/marlin_vit_base_ytf содержит вариант семейства MARLIN, подготовленный для работы через Transformers; архитектура в метаданных указана как плотная MarlinModel, веса сохранены в safetensors. По README, модель принимает видеотензор формы [B, C, T, H, W] и возвращает последовательность признаковых векторов. Модель предназначена для получения представлений лицевого видео, которые можно использовать как вход для последующих задач анализа видео. Карточка Hugging Face выполняет только извлечение признаков: предварительная обработка видео, включая обнаружение и кадрирование лица, а также выбор окон кадров, должна быть выполнена отдельно. Базовая модель — ControlNet/MARLIN, лицензия указана как CC; конкретные условия лицензии в предоставленных данных не уточнены.
khadija69/mdebertaV3_BIES_stem_1K_3 — модель классификации токенов на базе архитектуры DeBERTa v2 с 306 млн параметров. Разработчик дообучил её на khadija69/mdebertaV3_BIES_stem_1K_2; в README указан неизвестный набор данных и приведены результаты за 5 эпох: точность на обучающей выборке 0,6116, на валидационной — 0,5791. Модель предназначена для присвоения меток отдельным токенам последовательности. Контекст составляет до 512 токенов. Веса представлены в формате TensorFlow, лицензия — MIT. README не раскрывает назначение меток BIES, область применения или языки данных, поэтому практическую специализацию модели установить нельзя.
Модель mahmoodulhassan23/medical-question-classifier — дообученная версия DistilBERT для классификации медицинских вопросов по 20 специальностям, включая кардиологию, педиатрию, психиатрию и хирургию. Она предназначена для маршрутизации вопросов в системах триажа и автоматического присвоения тегов медицинским платформам вопросов и ответов. Модель принимает текст и выдаёт метку специальности. В карточке указаны точность около 82,4% и взвешенная F1-мера около 0,821. Контекст ограничен 512 токенами; основной язык модели — английский. Лицензия — Apache 2.0. Модель предназначена только для категоризации и маршрутизации: она не ставит диагнозы и не даёт рекомендаций по лечению.
genshiai-daichi разработала med-ruri-v3-310m — японскую модель sentence embeddings для поиска по медицинским текстам. Это дообученная версия cl-nagoya/ruri-v3-310m на базе ModernBERT-Ja: плотная архитектура с 314,6 млн параметров, размерностью эмбеддингов 768 и контекстом до 8192 токенов. Модель принимает текст и выдаёт векторные представления для семантического поиска, сравнения и группировки текстов. Модель предназначена для поиска по японским медицинским документам, включая поиск релевантных фрагментов для RAG. В тесте на 2000 отложенных синтетических запросах для медицинского поиска nDCG@10 составил 0,4338 против 0,3048 у базовой модели. Для запросов и документов нужно применять префиксы «検索クエリ: » и «検索文書: »; в конфигурации Sentence Transformers они доступны через prompt_name. Качество ориентировано на японский медицинский домен и может быть ниже на общих текстах и других языках. Результаты на синтетических запросах не гарантируют аналогичного качества в реальном приложении, поэтому его следует проверять на собственных данных. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
MegaDescriptor-L-384 — визуальная модель извлечения признаков на базе Swin-L, представленная проектом WildlifeDatasets. Она предварительно обучена на наборах данных по повторной идентификации животных и предназначена для получения эмбеддингов изображений, помогающих сопоставлять особей на разных снимках. Архитектура — Swin Large с конфигурацией swin_large_patch4_window12_384; модель содержит около 228,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для построения систем повторной идентификации животных и поиска похожих особей по фотографиям. В метаданных Hugging Face основная задача обозначена как image-classification; карточка описывает модель как основу для извлечения признаков и показывает использование эмбеддингов. Лицензия CC BY-NC 4.0 требует указания авторства и не разрешает коммерческое использование.
Metric Video Depth Anything Large MLX — порт модели Video Depth Anything от ByteDance в формат MLX, подготовленный mlx-community. Модель оценивает метрическую глубину по кадрам монокулярного видео, формируя карту глубины для каждого кадра и обеспечивая согласованность оценок на длинных видео. Архитектура включает основу DINOv2, голову DPT и временные модули движения в стиле AnimateDiff. Модель принимает последовательность цветных кадров и выдаёт карты абсолютной глубины в метрах. Размеры кадров должны быть кратны 14. Веса представлены в fp32; README сообщает о близком совпадении с эталонной реализацией PyTorch на GPU и CPU. Модель предназначена для оценки глубины видео и сценариев компьютерного зрения, где важны временная согласованность и метрический масштаб. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
Koichi Yasuoka разработал эту модель ModernBERT для разметки японского текста. Она дообучена на основе KoichiYasuoka/modernbert-base-japanese-wikipedia и предварительно обучена на японской Википедии и текстах Aozora Bunko. Для каждого короткого слова модель предсказывает универсальную часть речи UPOS и признаки FEATS; карточка также указывает задачу синтаксического разбора зависимостей. Модель содержит 160,2 млн параметров, принимает текст и имеет контекст до 8192 токенов. Лицензия — Apache-2.0. Модель рассчитана на японский язык; качество на других языках не заявлено.
Koichi Yasuoka разработал ModernBERT для анализа японского текста: модель размечает части речи и синтаксические зависимости, включая связи goeswith для субслов. Это дообученная версия KoichiYasuoka/modernbert-large-japanese-wikipedia-upos на датасете UD_Japanese-GSDLUW. Модель использует плотную архитектуру ModernBERT с классификационной головой для токенов и содержит 409,7 млн параметров. Она принимает текст на японском языке; нативная длина контекста — 8192 токена. В Transformers её можно запускать через pipeline с задачей universal-dependencies и агрегацией simple. Модель подходит для морфосинтаксического анализа японских текстов и может служить компонентом лингвистических конвейеров. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
SzymonKozl выпустил морально ориентированную модель классификации текста, дообученную на базе google-bert/bert-base-uncased. По метаданным это плотная архитектура BERT с классификационной головой BertForSequenceClassification, содержащая 136,7 млн параметров и принимающая последовательности длиной до 512 токенов. Название указывает на тематику моральных суждений и справедливости, однако README не описывает целевые метки, обучающие данные, методику оценки или конкретное назначение модели. Поэтому применять её для содержательной оценки моральных или социальных аспектов следует только после проверки на подходящих данных. Модель работает с текстом и выдаёт результаты классификации; карточка не сообщает отдельные поддерживаемые языки. Лицензия — Apache-2.0.
Hindi Teacher — модель Pratik N. Kalamkar для классификации сценариев фильмов на хинди по возрастным категориям. Она разработана как часть исследовательского проекта MovieCert и служит учительской моделью в схеме дистилляции знаний для создания более компактных моделей. Архитектура — многоязычный DistilBERT с классификационной головой; модель дообучена на размеченных сценариях фильмов на хинди. Она принимает текст и выдаёт метки классов. Контекст модели — 512 токенов; для длинных сценариев в описанном процессе применяются разбиение на фрагменты и агрегация предсказаний. Модель предназначена для исследовательского анализа сценариев, предварительной оценки возрастной категории и вспомогательной модерации контента. Также её можно использовать как учительскую модель при дистилляции, основу для дальнейшего дообучения или извлечения признаков. Лицензия — Apache 2.0. Качество может снижаться на сценариях, отличающихся от обучающих данных. Известные ограничения включают небольшой размер и возможный дисбаланс датасета, перекосы по жанрам, культурные смещения и неоднозначность языка. Предсказания не заменяют проверку специалистом и не предназначены для официальной сертификации фильмов.
NVIDIA NeMo NanoCodec — нейронный аудиокодек для сжатия и восстановления речи. Эта версия принимает монофонический WAV с частотой 22,05 кГц и формирует аудио той же частоты дискретизации. Модель содержит 62 млн параметров, использует сверточный генератор с энкодером, конечное скалярное квантование (FSQ) и декодер на основе HiFi-GAN, а также три дискриминатора для обучения с состязательными и feature-matching потерями. Вариант рассчитан на частоту кадров 21,5 кадра/с и битрейт 1,89 кбит/с; он подходит для сжатия речи и как компонент при обучении моделей генерации речи. Модель обучалась на 28,7 тыс. часов речи на 105 языках. В карточке рекомендовано использовать её с Magpie TTS для наилучшего качества. Это готовый к коммерческому и некоммерческому использованию чекпойнт NVIDIA; метаданные указывают лицензию «other», поэтому конкретные условия следует сверять с лицензией репозитория. Для работы рекомендуется окружение NeMo 2.0.0 и GPU NVIDIA.
Карточка модели TechnoBaptist/nemo-nano-codec-22khz-1.89kbps-21.5fps на Hugging Face совпадает с карточкой nvidia/nemo-nano-codec-22khz-1.89kbps-21.5fps, поэтому описание составлено по ней. NVIDIA NeMo NanoCodec — нейронный аудиокодек для сжатия и восстановления речи. Эта версия принимает монофонический WAV с частотой 22,05 кГц и формирует аудио той же частоты дискретизации. Модель содержит 62 млн параметров, использует сверточный генератор с энкодером, конечное скалярное квантование (FSQ) и декодер на основе HiFi-GAN, а также три дискриминатора для обучения с состязательными и feature-matching потерями. Вариант рассчитан на частоту кадров 21,5 кадра/с и битрейт 1,89 кбит/с; он подходит для сжатия речи и как компонент при обучении моделей генерации речи. Модель обучалась на 28,7 тыс. часов речи на 105 языках. В карточке рекомендовано использовать её с Magpie TTS для наилучшего качества. Это готовый к коммерческому и некоммерческому использованию чекпойнт NVIDIA; метаданные указывают лицензию «other», поэтому конкретные условия следует сверять с лицензией репозитория. Для работы рекомендуется окружение NeMo 2.0.0 и GPU NVIDIA.
FormosanBank разработала направленную модель машинного перевода с формозских языков на традиционный китайский. Она дообучена на базе facebook/nllb-200-distilled-600M и рассчитана на 15 формозских языков; размер модели — 469,1 млн параметров, длина контекста — до 1024 токенов. Модель использует архитектуру M2M100 и расширенный словарь SentencePiece на 8 тыс. токенов, адаптированный к формозским языкам. Модель предназначена для исследовательской работы, разработки корпусов и помощи в переводе предложений. При использовании нужно соблюдать предусмотренный формат с указанием направления, языка источника и диалекта; если диалект неизвестен, README рекомендует значение default. Модель не использует доменные или репозиторные метки. Веса доступны публично по лицензии CC-BY-NC-4.0, а обучающий корпус распространяется отдельно среди авторизованных участников FormosanBank.
ODA-Fin-RL-8B — финансовая языковая модель от OpenDataArena, дообученная на базе ODA-Fin-SFT-8B. Модель построена на плотной архитектуре Qwen3 и содержит 7,6 млрд параметров; для работы с текстом доступен контекст до 40 960 токенов. Она обучена в два этапа: сначала supervised fine-tuning на финансовых примерах, затем оптимизация методом GRPO на наборе сложных проверяемых финансовых задач ODA-Fin-RL-12K. Модель предназначена для генерации ответов и рассуждений по финансовым вопросам, включая анализ числовых данных, финансовые расчёты и определение тональности. В README сообщается о среднем результате 74,6% на девяти финансовых бенчмарках и сильных результатах на задачах TaTQA, FinQA и ConvFinQA. Указанные результаты относятся к оценке авторов и сами по себе не гарантируют точность в практических финансовых решениях. Модель принимает и выдаёт текст, обучалась на англоязычных и китайскоязычных данных. Для загрузки используется Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0.
Openn_continuous — модель классификации последовательностей на архитектуре DeBERTa-v3-base, дообученная ajrayman на датасете, который в карточке указан как None. Модель содержит около 211,6 млн параметров, принимает текст длиной до 512 токенов и выдаёт числовую оценку для входного текста. В карточке приведены результаты оценки: loss 0,0181, RMSE 0,1346, MAE 0,1069 и корреляция 0,3311. Назначение оценки и интерпретация целевой шкалы не описаны, поэтому применимость модели к конкретной задаче требует проверки. Модель распространяется по лицензии MIT.
Orbit — модель beyoru, созданная методом Expert-Specialized Fine-Tune (ESFT) на основе Qwen/Qwen3.5-35B-A3B для многошагового использования инструментов во вьетнамских диалогах. Архитектура унаследована от базовой модели Qwen3.5 MoE; обучались выбранные эксперты, около 0,94 млрд из 35,6 млрд параметров, при замороженном маршрутизаторе. Модель предназначена для агентных сценариев, где нужно выбрать инструмент, сформировать аргументы, интерпретировать результат и решить, требуется ли следующий вызов. Обучение использовало траектории рассуждений из указанного датасета, созданного на основе Claude Opus 5 с уровнем усилий xhigh. Метаданные также указывают поддержку чата и языки вьетнамский и английский. Модель распространяется в формате Safetensors через библиотеку Transformers и наследует лицензию MIT базовой модели. Дообучение выполнено на узком распределении задач, поэтому качество за пределами многошагового использования инструментов следует проверять на целевом сценарии.
OTel-Embedding-34M — англоязычная модель эмбеддингов для телекоммуникационной отрасли из инициативы Open Telco AI. Она создана полнопараметрическим дообучением sentence-transformers/all-MiniLM-L12-v2 на наборе OTel-Embedding. Архитектура — плотная BERT-модель; метаданные указывают 40 млн параметров и контекст до 512 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для семантического поиска релевантных фрагментов в телекоммуникационных спецификациях, стандартах, RFC, технических статьях и других отраслевых документах. Её можно использовать как этап извлечения в RAG-системе, затем применяя реранкер и языковую модель для подготовки ответа. В README сообщается об улучшении NDCG@10 на тестовом разбиении OTel-Embedding; этот результат не является независимой внешней оценкой. Модель ориентирована на английский язык и телекоммуникационную тематику, поэтому её пригодность для других областей и языков требует отдельной проверки. Качество может различаться между подразделами отрасли, а результаты поиска следует проверять перед использованием в операционных, клиентских, регуляторных или сетевых сценариях. Лицензия репозитория — Apache-2.0; README также требует соблюдать условия лицензии или использования базовой модели.
pai-bert-tiny-zh — компактная предобученная языковая модель BERT для китайского языка, разработанная командой Alibaba PAI на корпусах большого масштаба с использованием фреймворка EasyNLP. Модель содержит 3,2 млн параметров и принимает последовательности длиной до 512 токенов. Основная задача модели — заполнение пропусков в тексте: она предсказывает вероятные китайские токены в замаскированных позициях. Это подходит для восстановления пропущенных слов и проверки языковых представлений в NLP-сценариях. Модель распространяется в формате PyTorch по лицензии Apache-2.0.