II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейMyAwesomeModel — модель из репозитория SAD21ZD1E/MyAwesomeModel-TestRepo, доступная для использования через библиотеку Transformers. В метаданных Hugging Face она обозначена как модель извлечения признаков с тегами BERT, PyTorch и feature-extraction, поэтому её основное назначение — преобразование входных текстов в векторные представления для последующего анализа или использования в прикладных ML-системах. README также заявляет о возможностях рассуждения, генерации кода и текста, ответах на вопросы, классификации, суммаризации, переводе, диалогах и function calling, однако эти заявления не согласуются с указанным pipeline_tag feature-extraction и не сопровождаются техническими сведениями о конфигурации или подтверждёнными инструкциями запуска. Размер модели, длина контекста и поддерживаемые естественные языки не указаны. Модель распространяется по лицензии MIT. Перед использованием в задачах генерации или сложного рассуждения следует проверить фактическую архитектуру и конфигурацию репозитория, поскольку карточка содержит признаки несоответствия между метаданными и описанием.
MyAwesomeModel — модель из репозитория sfdsfaff333/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers. В метаданных Hugging Face она классифицирована как BERT-подобная модель для извлечения признаков и совместима с PyTorch. README описывает обновлённую версию с улучшенными возможностями рассуждения, понимания текста, генерации, ответов на вопросы, классификации, суммаризации, программирования и function calling, однако эти заявления не согласуются с указанным pipeline-тегом feature-extraction и не подтверждают конкретную архитектуру, размер или контекст модели.
NanoVDR-Q-DistilBERT-Qwen3VL2B-2048-ML — разработанная командой NanoVDR компактная модель-энкодер запросов для поиска по визуальным документам. Это текстовая модель на базе DistilBERT с проектором из двух слоёв; она содержит 69 млн параметров и формирует векторы размерности 2048, совместимые с эмбеддингами документов от Qwen3-VL-Embedding-2B. По данным карточки, модель сохраняет 95,1% качества учителя в оценке на 22 наборах ViDoRe. Модель предназначена для кодирования текстовых запросов на английском, немецком, французском, испанском, итальянском и португальском языках и поиска по заранее индексированным изображениям страниц документов. Индексацию выполняет учитель Qwen3-VL-Embedding-2B, а NanoVDR кодирует запросы; поиск затем можно проводить по косинусному сходству или скалярному произведению, например, с FAISS. В карточке указаны максимальная длина последовательности 512 токенов и возможность обслуживать запросы на CPU. Это специализированный энкодер запросов, а не самостоятельная система индексации документов: для построения индекса требуется отдельная модель-учитель, а карточка указывает, что индексация требует GPU. Модель дообучена на базе distilbert/distilbert-base-uncased методом дистилляции; заявленная лицензия — Apache-2.0.
Kimang18/paddleOCR_vl_Khmer_finetuned — модель Kimang18 для распознавания кхмерского текста на изображениях и текстовых областях. Она получена полным дообучением PaddlePaddle/PaddleOCR-VL на наборе WildKhmerST; примеры данных представляют собой пары изображения текстовой области и соответствующего текста. Архитектура — PaddleOCRVLForConditionalGeneration, размер — 318,2 млн параметров, формат весов — safetensors. Модель рассчитана на сценарии OCR и извлечения текста из изображений; метаданные также указывают поддержку генерации текста и диалоговый интерфейс. Модель принимает изображения и выдаёт распознанный текст. В карточке заявлено использование Transformers на GPU NVIDIA. Контекстное окно составляет 131 072 токена. Лицензия — Apache-2.0. Для Transformers версии 5.0.0 и новее в README отмечена возможная ошибка KeyError, связанная с неподдерживаемым типом RoPE "default" в PaddleOCR-VL.
Pavarissy/phayathaibert-thainer — модель распознавания сущностей в тайском тексте, дообученная на базе clicknext/phayathaibert. Она использует архитектуру CamemBERT и предназначена для классификации токенов; в метаданных указан датасет pythainlp/thainer-corpus-v2. Модель содержит 304,7 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате safetensors для библиотеки Transformers. В README приведены результаты оценки: F1 0,8666, точность 0,8432, полнота 0,8915 и accuracy 0,9735. Эти показатели относятся к указанному набору оценки; подробности о разметке и сценариях использования в карточке не раскрыты. Лицензия — MIT.
Карточка модели ubitec/pyannote-segmentation-3.0 на Hugging Face совпадает с карточкой pyannote/segmentation-3.0, поэтому описание составлено по ней. pyannote/segmentation-3.0 — модель сегментации речи и активности говорящих от Séverin Baroudi, обученная с помощью pyannote.audio 3.0. Она принимает монофонический звук длительностью 10 секунд с частотой 16 кГц и выдаёт матрицу по временным кадрам с семью классами: тишина или неречевая активность, три отдельных говорящих и три возможные пары говорящих при перекрытии речи. Модель подходит для определения голосовой активности, сегментации говорящих и обнаружения одновременной речи в аудиофрагментах; сама по себе она не выполняет диаризацию целых записей, для которой нужен дополнительный пайплайн и модель эмбеддингов говорящих. Обучение проводилось на объединении наборов AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Для использования требуется pyannote.audio 3.0, принятие условий модели на Hugging Face и токен доступа. Модель распространяется по лицензии MIT; README рекомендует рассмотреть сервис pyannoteAI для более быстрого и качественного промышленного применения.
Iceland/quote-model-BERTm-v1 — дообученная модель на основе bert-base-multilingual-cased, разработанная для классификации токенов. Модель использует архитектуру BERT и содержит 205,1 млн параметров; максимальная длина контекста составляет 512 токенов. В карточке приведены метрики на оценочной выборке: F1 0,8676, точность 0,9314, precision 0,8161 и recall 0,9262. Назначение меток и обучающий датасет не описаны, поэтому практическую задачу разметки можно определить только на общем уровне. Модель доступна под лицензией Apache-2.0.
Модель RL-Forgetting-Experiments-3/qwen2.5-3b-code-sft-ordered-lr1e5-step102 разработана в рамках экспериментов RL-Forgetting-Experiments и представляет собой готовую к инференсу модель Qwen2.5-3B после supervised fine-tuning для генерации кода. Обучение проведено на наборе qwen3b_code_sft_data_s300; использован упорядоченный порядок данных без replay, на шаге оптимизатора 102. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, реализованная как Qwen2ForCausalLM. Она принимает текст и генерирует текст, включая программный код; поддерживает контекст до 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Модель подходит для генерации и дополнения кода, а также для экспериментов с supervised fine-tuning и забыванием при обучении. README не приводит оценки качества или перечень языков программирования, поэтому результаты для конкретных задач следует проверять отдельно. Базовая модель — Qwen/Qwen2.5-3B; сведения о лицензии в доступных данных отсутствуют.
canoplos/Qwen2.5-Coder-0.5B-Instruct-Gensyn-Swarm-soft_gilded_alligator — опубликованный сообществом чекпойнт семейства Qwen2.5-Coder с инструкционной настройкой; карточка репозитория автоматически сгенерирована и не описывает отдельный процесс обучения или оценку качества. По названию и архитектуре это компактная плотная языковая модель Qwen2 для генерации текста, ориентированная прежде всего на помощь с кодом и диалоговое выполнение инструкций. Метаданные указывают около 494 млн параметров, архитектуру Qwen2ForCausalLM, библиотеку Transformers, формат Safetensors, задачу text-generation и контекст до 32 768 токенов. Карточка официального Qwen2.5-Coder-0.5B-Instruct описывает 0,49 млрд параметров, 24 слоя и поддержку контекста 32 768 токенов; семейство предназначено для генерации, рассуждения и исправления кода, а также для сценариев кодовых ассистентов. Эти сведения относятся к официальной модели-основе и не подтверждают идентичность весов или качество данного Gensyn-чекпойнта. Официальная карточка модели-основы указывает лицензию Apache-2.0; лицензию конкретного репозитория canoplos установить по доступным данным нельзя. Малый размер делает модель компактной, но не гарантирует надёжности сложных ответов; отдельные оценки и ограничения производного чекпойнта не опубликованы.
tripathysagar/Qwen2.5-Coder-196M-Shell — компактная текстовая модель семейства Qwen2, разработанная путём дистилляции Qwen2.5-Coder-0.5B-Instruct и NL2SH-ALFA. Она предназначена для генерации Bash-команд по описанию задачи на естественном языке. Модель имеет около 195,8 млн параметров, использует архитектуру Qwen2ForCausalLM, исходный токенизатор базовой модели и контекст до 32 768 токенов. Модель подходит для преобразования коротких запросов в команды оболочки и помощи при написании Bash. В карточке указана лицензия MIT. README не описывает оценку качества и практические ограничения; из-за узкой специализации и малого размера результат стоит проверять перед выполнением.
Модель seara/rubert-tiny2-russian-emotion-detection-ru-go-emotions — дообученная версия RuBERT-tiny2 от автора seara для многометочной классификации эмоций в коротких русскоязычных текстах. Она присваивает тексту один или несколько из 28 классов, включая гнев, радость, грусть, благодарность и нейтральную тональность. Модель основана на архитектуре BERT и содержит 29 млн параметров; максимальная длина контекста — 2048 токенов. Обучение проводилось на русском переводе набора GoEmotions ru_go_emotions. В README приведены результаты оценки на тестовой выборке, но показана только часть таблицы метрик. Модель распространяется по лицензии MIT.
Seethal разработала эту модель как дообученную версию bert-base-uncased для классификации тональности текста. Она принимает текст на английском языке и присваивает ему метку тональности; модель предназначена для готового анализа тональности, а не для дальнейшего дообучения под другие задачи. В метаданных указаны архитектура DistilBertForSequenceClassification, семейство DistilBERT и максимальный контекст 512 токенов. Репозиторий содержит веса в формате PyTorch. Условия лицензии в предоставленных данных не описаны.
Модель сегментации речи, разработанная evie-8 и дообученная на английской части набора Callhome с помощью diarizers на базе pyannote/segmentation-3.0. Она анализирует аудио и размечает активность и сочетания говорящих во времени, в том числе перекрывающуюся речь; модель можно подключить к конвейеру диаризации pyannote. В README приведены результаты оценки: Loss 0,4587 и DER 0,1824, а также показатели ложных срабатываний, пропусков и ошибок определения говорящего. Модель предназначена для сегментации аудио при диаризации английских разговоров. Репозиторий содержит веса safetensors, лицензия — MIT. Показатели оценки относятся к указанному набору и не гарантируют аналогичного качества на других типах аудио.
Spell-Corrector-RU-4B — русскоязычная модель для исправления орфографии, пунктуации и регистра текста, разработанная melsmm. Это дообученная с помощью LoRA модель RefalMachine/RuadaptQwen3-4B-Instruct на архитектуре Qwen3; адаптер объединён с базовой моделью. Модель содержит 3,7 млрд параметров, принимает текст и выдаёт его исправленную версию. Для работы используется библиотека Transformers; заявленная длина контекста — 262144 токена. Модель предназначена для корректуры русскоязычных текстов в пользовательских приложениях и производственных системах. Она обучалась на синтетических и реальных парах ошибок и исправлений; автор рекомендует vLLM для развёртывания через OpenAI-совместимый API. На приведённых бенчмарках качество различается по доменам: модель уступает SAGE по орфографии в нескольких наборах, а на технических и специализированных текстах точность может снижаться. Лицензия — Apache-2.0.
T-one — потоковая модель автоматического распознавания русской речи, разработанная T-Software DC для телефонных разговоров и других аудиосценариев. В состав решения входят акустическая модель, детектор границ фраз и декодер CTC с поиском по лучу на основе KenLM; доступны примеры для потоковой и пакетной обработки, дообучения и развёртывания. Акустическая часть содержит 71 млн параметров и основана на архитектуре Conformer с CTC-обучением. Она обрабатывает аудио фрагментами по 300 мс и поддерживает потоковый вывод текста с временными метками слов. В README приведены результаты сравнительных тестов, в которых модель показывает сильные результаты на телефонных данных, включая записи колл-центров. Модель обучена на более чем 80 тысячах часов русской речи из телефонных, дальнепольных и смешанных данных. Хотя основной сценарий — телефонное аудио, README указывает на устойчивость к другим доменам. Модель распространяется по лицензии Apache-2.0.
Tool-Star-Qwen-3B — дообученная модель на базе Qwen2.5-3B-Instruct, разработанная авторами фреймворка Tool-Star. Она предназначена для пошагового рассуждения с самостоятельным вызовом нескольких внешних инструментов и обменом результатами между ними. Модель использует архитектуру Qwen2, содержит 3,1 млрд параметров и принимает текст; контекст — до 32 768 токенов. Карточка указывает поддержку английского языка, интерфейс вызова инструментов и оценку по точности. Модель подходит для диалоговых сценариев, где нужно разбить задачу на шаги, обратиться к доступным инструментам и использовать их ответы при дальнейшем рассуждении. Обучение включало начальную тонкую настройку и обучение с подкреплением для улучшения многоинструментального взаимодействия. Веса опубликованы в формате Safetensors; лицензия — MIT.
ykilcher/totally-harmless-model — обычная модель DistilBERT в формате PyTorch, предназначенная для извлечения признаковых представлений текста. Её можно загрузить через Transformers с помощью AutoModel. Модель принимает текст и выдаёт векторные представления токенов. Контекст ограничен 512 токенами; в метаданных указан английский язык. Карточка не описывает специальную предметную область или дополнительные возможности. Лицензия в предоставленных данных не указана.
AraCode-7B — специализированная языковая модель для генерации и объяснения кода на арабском языке, представленная разработчиком как открытая модель. Она также предназначена для отладки, перевода инструкций на естественном языке в код и выполнения строгих инструкций по формату ответа. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов; метаданные указывают поддержку арабского и английского языков, чат-возможности и интерфейс вызова инструментов. В README приведены результаты собственных тестов генерации кода, объяснения, отладки и следования инструкциям, однако методика и независимая проверка этих оценок не описаны. Метаданные указывают формат safetensors, тогда как README озаглавлен как AraCode-7B-GGUF и описывает запуск через инструменты GGUF. Лицензия репозитория — Apache-2.0. Модель ориентирована на программирование с арабоязычным взаимодействием; заявленные результаты не гарантируют корректность или исполнимость каждого ответа.
bash1130/bert-base-finetuned-ynat — модель классификации текстов на основе BERT, дообученная на klue/bert-base с использованием набора данных KLUE. Она предназначена для присвоения тексту категории и может применяться в задачах тематической разметки и сортировки текстов. Модель содержит 137,8 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Доступны веса в формате PyTorch. На оценочной выборке указаны loss 0,3609 и F1 0,8712. Карточка не описывает набор классов и подробности обучения, поэтому качество на других данных и пригодность для конкретных категорий не подтверждены. Лицензия в предоставленных данных не указана.
Это модель классификации тональности текста на индонезийском языке, созданная дообучением bert-base-indonesian-1.5G на наборе данных indonlu. Она предназначена для определения тональности коротких текстовых сообщений и отзывов. Модель построена на архитектуре BERT и содержит 137,8 млн параметров; максимальная длина контекста — 512 токенов. На тестовой выборке автор сообщает точность 0,9373 и значение функции потерь 0,3390. Модель принимает текст и выдаёт метку класса тональности. Распространяется по лицензии MIT.
KBLab при Национальной библиотеке Швеции разработала bert-base-swedish-cased-ner — экспериментальную модель BERT, дообученную для распознавания именованных сущностей в шведском тексте на наборе SUC 3.0. Она размечает сущности по типам времени, персон, мест, событий и организаций; регистр букв сохраняется, а токенизатор может разбивать слова на части, которые при необходимости нужно объединять после предсказания. Модель относится к архитектуре BERT для классификации токенов, содержит около 151,9 млн параметров и рассчитана на контекст до 512 токенов. Исходная шведская языковая модель обучалась на книгах, новостях, государственных публикациях, шведской Википедии и интернет-форумах. Модель предназначена для извлечения сущностей из шведских текстов, например новостей или документов. В карточке она обозначена как экспериментальная, а типы меток могут меняться; указанное качество на задачах за пределами SUC 3.0 не приводится. Лицензия в предоставленных материалах не указана.
monsoon-nlp/bert-base-thai — тайскоязычная предобученная модель BERT-Base, адаптированная для библиотеки Hugging Face Transformers. Она предназначена для получения контекстных представлений тайского текста, которые можно использовать как признаки для последующей классификации и других задач обработки языка. Модель содержит 132,4 млн параметров, работает с контекстом до 512 токенов и использует архитектуру BertModel. Для корректной токенизации README требует предварительно обрабатывать текст оригинальным ThaiTokenizer. В основе токенизации лежит SentencePiece с BPEmb и словарём из 25 000 единиц. Модель обучена на тайской Википедии; в README также описано её применение к классификации тональности отзывов и кросс-языковому выводному заключению после дообучения. Модель рассчитана на тайский язык. Для использования доступны форматы PyTorch, Flax и safetensors. Лицензия в предоставленных данных не указана.
mrm8488/bert-mini-finetuned-age_news-classification — англоязычная модель классификации новостей, созданная разработчиком mrm8488 дообучением BERT-Mini на наборе данных AG News. Это компактный классификатор последовательностей на архитектуре BERT с примерно 12 млн параметров и контекстом до 512 токенов. Модель принимает текст и присваивает ему категорию новости; в карточке Hugging Face для тестовой выборки AG News указана точность около 0,934. Модель предназначена для автоматической тематической сортировки новостных материалов и демонстрации классификации текста. Карточка предоставляет варианты весов PyTorch и Flax, а также формат safetensors. Условия лицензии в доступных источниках не подтверждены.
BlackSheep-Coder — чат-модель TroyDoesAI для помощи с Python и диалогов в заданной пользователем персоне. Модель объединяет предварительно обученные языковые модели методом TIES с помощью mergekit; базой слияния указана Qwen/Qwen2.5-14B. В состав также вошли варианты Qwen2.5-14B от v000000, rombodawg и huihui-ai. После слияния модель дополнительно дообучена на персоне BlackSheep. Модель относится к семейству Qwen2, имеет плотную архитектуру Qwen2ForCausalLM и 14 млрд параметров. Она принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. В карточке заявлена помощь с Python по шаблону Alpaca; также описан свободный, иногда грубый стиль общения. Нативная длина контекста — 131072 токена. Модель распространяется по лицензии Artistic-2.0. Автор предупреждает о резком стиле и возлагает на пользователя ответственность за формулировку запросов. Указание о дообучении на персоне не подтверждает качество кода или поведение на других задачах.
AmberYifan/capsd-marin-8b-base-code_random_b12000_s0 — дообученная модель семейства Llama на базе marin-community/marin-8b-base. По названию и карточке она обучалась на смеси данных с кодом; метаданные указывают архитектуру LlamaForCausalLM, плотную модель с 7,5 млрд параметров и контекст до 4096 токенов. Модель предназначена для генерации и продолжения текста, включая сценарии работы с кодом. В README не приведены результаты оценки, подробности обучающей смеси или конкретные языки программирования. Базовая модель описана как англоязычная, поэтому нельзя уверенно считать, что эта версия хорошо работает на других естественных языках. Лицензия указана как other, без дополнительных условий в доступных сведениях.
ChartMoE — мультимодальная модель с архитектурой Mixture of Experts и коннектором на основе InternLM-XComposer2, разработанная командой IDEA-FinAI. Она предназначена для понимания диаграмм и графиков, их перерисовки, редактирования, выделения элементов и преобразования. Модель содержит 7,4 млрд параметров, принимает изображения и текст и формирует текстовые ответы; для загрузки используется библиотека Transformers с поддержкой пользовательского кода. Контекст составляет 32 768 токенов. Модель представлена на ICLR 2025 и отмечена как устный доклад. Лицензия — Apache 2.0.
hfl/chinese-pert-base — китайская модель семейства BERT, опубликованная HFL. Это плотный трансформер BertModel примерно на 129,5 млн параметров, предназначенный для извлечения признаков из текста; README рекомендует загружать её средствами для BERT. Модель принимает текст и формирует контекстные векторные представления токенов, которые можно использовать как признаки в последующих задачах обработки китайского языка. Контекст модели составляет 512 токенов. Доступны веса PyTorch и TensorFlow. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях; лицензия также ограничивает коммерческое использование. Карточка находится в разработке и отсылает за дополнительными сведениями к репозиторию GitHub.
Это экспериментальный чекпойнт языковой модели Qwen3-4B, созданный agurung с помощью обучения с подкреплением OpenRLHF и алгоритма GRPO. Он дообучен от Qwen/Qwen3-4B-Instruct-2507 без отдельного SFT-этапа и предназначен прежде всего для генерации кода, который проходит заданные тесты. Модель оценивалась на сложных задачах из набора cobalt-train; чекпойнт на шаге 12 показал лучший в этом запуске результат по pass@8. Обучение использовало бинарную награду за корректность кода и штрафы за усечение длинных ответов. Это плотная архитектура Qwen3ForCausalLM примерно на 3,7 млрд параметров, работает через Transformers и имеет контекст до 262 144 токенов. Метрики оценки для этого чекпойнта в журнале обучения отсутствуют, поэтому преимущество по pass@8 относится только к данному экспериментальному запуску и не характеризует качество на других задачах. Лицензия в предоставленных данных не обозначена.
CodeGemma 7B — модель для генерации и автодополнения программного кода, разработанная Google. Она предназначена прежде всего для сценариев fill-in-the-middle: дополнения фрагмента между заданным префиксом и суффиксом, работы в инструментах наподобие Copilot и использования в редакторах кода, где важны быстрые подсказки. Модель не является чатовой или instruct-моделью и не предназначена для ответов на вопросы в диалоговом формате. Модель содержит около 7 млрд параметров и основана на Gemma. Распространяемая версия представлена в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Для управления генерацией используются специальные токены <|fim_prefix|>, <|fim_suffix|>, <|fim_middle|> и <|file_separator|>, позволяющие передавать контекст текущего файла и нескольких файлов. README не указывает точный набор поддерживаемых языков программирования, размер контекста или перечень модальностей; по назначению модель является текстовой и ориентирована на код. Сильные стороны CodeGemma 7B — компактный размер для модели такого класса, высокая скорость появления автодополнений и способность восстанавливать пропущенные участки кода с учётом окружающего контекста. Ограничения состоят в том, что модель нельзя использовать как обычного чат-ассистента, а сгенерированный код может содержать ошибки и требует проверки. Доступ к оригинальной модели на Hugging Face регулируется лицензией Google Gemma; в метаданных указана лицензия gemma и ссылка на условия использования Google.
code-nothink-q4b-20260908 — модель генерации кода на базе Qwen3-4B-Base, дообученная автором методом SFT с LoRA и объединённая с базовыми весами. Это плотная причинно-языковая модель размером 3,7 млрд параметров; репозиторий содержит полные веса bf16 в формате safetensors и собственный набор файлов токенизатора с шаблоном чата. Контекст модели — до 32 768 токенов по метаданным; обучение проводилось с контекстом 8192 токена. Модель предназначена для генерации кода в режиме NoThink и оценки на LiveCodeBench. В описанной исследовательской оценке DEV256 она решила 67 из 256 задач с pass@1; результат получен на одном seed и не является подтверждающим экспериментом. Для инференса README рекомендует использовать токенизатор и шаблон чата из этого репозитория. Лицензия — Apache-2.0.