II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейShining Valiant 2 — чат-модель Valiant Labs, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и генерирует текст, используя формат инструкций Llama 3.1 Instruct. Модель рассчитана на диалог, ответы на технические вопросы и структурированные рассуждения, особенно в естественных науках, инженерии и информатике. Для обучения использованы наборы sequelbox/Celestia для технических знаний, sequelbox/Spurline для сложных рассуждений и sequelbox/Supernova для общего диалога. В README заявлены улучшения в логике и структурированном рассуждении, а также в физике, химии, биологии, астрономии, науках о Земле, информатике и теории информации. Метаданные указывают английский язык. Модель распространяется в формате safetensors по лицензии llama3.1; применение требует соблюдения условий лицензии Llama 3.1.
Модель barc0/Llama-3.1-ARC-Potpourri-Transduction-8B — дообученная версия Meta Llama 3.1 8B Instruct, созданная на пяти наборах данных по трансдукции, включая задачи ReARC и задачи с описаниями, сгенерированными GPT-4 и GPT-4o-mini. Это плотная авторегрессионная языковая модель на 7,5 млрд параметров, опубликованная в формате safetensors для библиотеки Transformers; заявленное окно контекста — 131 072 токена. Модель предназначена для диалоговой генерации текста и решения задач трансдукции, где требуется преобразовать входные данные в заданный выходной формат. Карточка также отмечает интерфейс вызова инструментов, однако подробные сценарии применения и результаты оценки, кроме значения loss 0,0219 на оценочном наборе, не описаны. Модель распространяется по лицензии Llama 3.1. Карточка не содержит сведений о поддерживаемых естественных языках или конкретных ограничениях качества; как и другие генеративные модели, её ответы требуют проверки, особенно при использовании кода или структурированных преобразований.
Карточка модели MengLinMaker/Maincoder-1B на Hugging Face совпадает с карточкой Maincode/Maincoder-1B, поэтому описание составлено по ней. Maincoder-1B — компактная авторегрессионная языковая модель для кода, разработанная Maincode. Она предназначена прежде всего для генерации и автодополнения кода на Python и может применяться при написании функций, прототипировании и решении задач по программированию. Модель содержит 1 млрд параметров и построена на трансформере-декодере Maincoder с 32 слоями и скрытым размером 1536. Архитектура использует RoPE, grouped-query attention, нормализацию запросов и ключей через RMSNorm и блоки SwiGLU. Контекст ограничен 2048 токенами; для запуска используется библиотека Transformers, веса доступны в формате safetensors. README сообщает о настройке обучения с помощью алгоритма MCPO и результатах на бенчмарках HumanEval, HumanEval+ и MBPP+. Модель рассчитана на локальное применение на потребительском оборудовании благодаря компактному размеру. Она оптимизирована преимущественно для Python, поэтому качество на других языках программирования может отличаться. Сгенерированный код может содержать ошибки или уязвимости, а модель не проходила настройку на безопасность. Лицензия — Apache-2.0.
Mellum-4b-dpo-python — языковая модель JetBrains для генерации и автодополнения кода на Python. Это третий этап обучения Mellum-4b: после предварительного обучения и SFT модель дообучили методом direct preference optimization на предпочтениях качества кода, чтобы получать более читаемые и полезные предложения. Модель использует плотную архитектуру в стиле LLaMA и содержит 3,7 млрд параметров. Она принимает текстовый контекст длиной до 8192 токенов и генерирует код; карточка описывает применение для дополнения Python-кода, включая сценарий Fill-in-the-Middle, интеграцию в IDE и помощники программиста. Опубликованные веса представлены в формате safetensors; для запуска также упоминаются vLLM, llama.cpp и Ollama. Модель предназначена для подсказок в инструментах разработчика, генерации фрагментов кода, обучения и экспериментов с дообучением. Она может наследовать смещения открытых кодовых баз, а предложенный код нужно проверять на безопасность и уязвимости. Лицензия — Apache-2.0.
MLM-Filter-13B — мультимодальная модель семейства LLaVA, разработанная Weizhi Wang и соавторами для оценки качества пар «изображение—текст». Она выдаёт четыре оценки: соответствие изображения тексту, полноту описания объектов, качество текста подписи и семантическое понимание. Модель предназначена для фильтрации обучающих данных, оценки согласованности изображений и текстов в системах генерации изображений и подписей, а также для сценариев, где требуется оценить их соответствие. Модель содержит 12,9 млрд параметров, использует архитектуру LlavaLlamaForCausalLM и имеет контекст до 4096 токенов. Обучение включало инструкции из набора LLaVA-1.5 и примеры оценки качества пар изображение—текст. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка не сообщает об ограничениях точности или поддерживаемых языках; оценки качества следует рассматривать в контексте описанных метрик и данных.
Monolingual-Hindi-NER-Model — модель распознавания именованных сущностей на хинди, разработанная Sankalp-Bahad. Она создана дообучением XLM-RoBERTa Base и предназначена для токенной классификации в задачах NER: выделения сущностей в тексте с присвоением меток токенам. Модель содержит 305,2 млн параметров, построена на архитектуре XLM-RoBERTa и принимает текстовый контекст длиной до 514 токенов. Модель подходит для разметки сущностей в текстах на хинди и интеграции NER в NLP-конвейеры. Репозиторий использует формат safetensors; лицензия — CC BY 4.0.
Nickup Swallow v2 — многоязычная модель классификации текста от NickupAI, созданная на основе FacebookAI/xlm-roberta-base и дообученная для фильтрации спама, рекламных сообщений и цифрового шума. Её можно использовать как предварительный фильтр перед передачей текстов более крупной языковой модели. Модель построена на XLM-RoBERTa и содержит 305,2 млн параметров по метаданным Hugging Face; README приводит оценку 270 млн. Заявлены оптимизация для более быстрой работы и меньшего потребления памяти, в том числе на CPU и мобильных устройствах, а также точность около 90,5% по оценке авторов. Поддерживаемые языки включают английский, русский, китайский, немецкий, испанский, французский, японский, итальянский, португальский и арабский; контекст — до 514 токенов. Результаты классификации в примерах README представлены метками LABEL_0 и LABEL_1, включая категорию USELESS, поэтому назначение меток следует сверить с кодом или настройками использования. Заявленные показатели качества не сопровождаются описанием набора данных и протокола оценки. Лицензия — Apache-2.0.
Qipchoq-STT — модель автоматического распознавания речи на базе Whisper, разработанная xmullaboyeva и дообученная на пользовательском речевом датасете. Она преобразует аудио в текст и может использоваться для транскрибации записей, подготовки разметки и интеграции распознавания речи в приложения на Python через библиотеку Hugging Face Transformers. Модель содержит 455,8 млн параметров и распространяется в формате Safetensors. В метаданных указан узбекский язык; название Qipchoq также указывает на кипчакское направление, однако README не уточняет языковой охват. Лицензия — Apache-2.0. Качество распознавания может снижаться на шумных записях, при акцентах и диалектах, не представленных в обучающих данных, при одновременной речи нескольких собеседников и на очень коротких аудиофрагментах.
Это дообученная версия Qwen2.5-Coder-0.5B-Instruct, опубликованная пользователем matildtahoo в рамках Gensyn Swarm. Модель относится к семейству Qwen2 и использует плотную авторегрессионную архитектуру для генерации текста; исходная модель разработана командой Qwen. В репозитории указаны 494 млн параметров, формат safetensors и контекст до 32 768 токенов. Модель предназначена для генерации кода и диалоговых ответов по инструкциям, включая написание и дополнение фрагментов кода. Карточка производной версии автоматически сгенерирована и не описывает обучение Swarm, оценку качества или отдельные ограничения. Исходная модель распространяется по лицензии Apache-2.0; применимость этой лицензии к дообученной версии следует проверять по её репозиторию.
Qwen3-4B-MegaR3ASONER-v1-i1-GGUF — квантизированная версия модели RexTRO111/Qwen3-4B-MegaR3ASONER-v1, подготовленная mradermacher в формате GGUF. Модель основана на семействе Qwen3 и предназначена для генерации текста с акцентом на рассуждения. Она ориентирована на задачи математического, программного и научного рассуждения, а также на сценарии, где требуется пошаговый анализ и генерация кода. При обучении использовались наборы данных HuggingFaceH4/Bespoke-Stratos-17k, nvidia/OpenMathReasoning, nvidia/OpenCodeReasoning, nvidia/OpenScienceReasoning-2 и reasoning-distill-opus-4-7-max-sft. В карточке указано знание английского языка; сведения о поддержке других языков, контекстном окне, точной архитектуре и мультимодальности не приведены. Модель доступна в нескольких вариантах квантизации размером примерно от 1,2 до 3,4 ГБ. Варианты различаются балансом скорости, размера и качества: для практического использования рекомендован i1-Q4_K_M, а i1-Q4_K_S обозначен как оптимальный по соотношению размера, скорости и качества. Сильными сторонами являются небольшой размер, возможность локального запуска и специализация на рассуждениях, математике, программировании и научных задачах. Ограничения включают возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Лицензия указана как other, без уточнения конкретных условий.
Это версия модели roberta-base-bne-capitel-ner-plus, преобразованная в формат ONNX для запуска с совместимыми инструментами. Модель на архитектуре RoBERTa содержит 151,8 млн параметров и предназначена для классификации токенов, в частности для задач распознавания именованных сущностей на испанском языке. Контекст составляет до 514 токенов. Модель опубликована SantiMB и распространяется по лицензии Apache 2.0. Формат ONNX позволяет использовать её в средах, поддерживающих этот формат. Карточка не уточняет набор меток или результаты оценки качества.
Модель blanchefort/rubert-base-cased-sentiment-rusentiment — русскоязычный классификатор тональности на базе DeepPavlov/rubert-base-cased-conversational, дообученный на наборе RuSentiment. Она относит текст к одному из трёх классов: нейтральная, положительная или отрицательная тональность. Модель предназначена для анализа русскоязычных публикаций и сообщений в социальных сетях, а также для автоматической разметки тональности текстов. Архитектура — BERT с классификационной головой BertForSequenceClassification; размер — 205,1 млн параметров, максимальный контекст — 512 токенов. Доступны версии в форматах PyTorch, TensorFlow и Flax, включая safetensors. Классификатор обучен на RuSentiment, поэтому его результаты могут хуже переноситься на тексты других жанров и предметных областей. Лицензия в предоставленных данных не указана.
schift-io/schift-ko-pii-v7 — корейская модель для обнаружения персональных данных, разработанная Schift. Она выполняет токенную классификацию и размечает упоминания людей и адресов; модель предназначена для выявления таких фрагментов в тексте перед проверкой или маскированием. В README описан рабочий процесс, в котором отдельная политика определяет, какие найденные фрагменты блокировать, отправлять на проверку или оставлять без изменений. Это плотный энкодер семейства LFM2 с 32,9 млн параметров и контекстом 8192 токена по метаданным. Архитектура использует общие нижние слои и независимо дообученные верхние ветви для людей и адресов; веса опубликованы в формате safetensors. README указывает максимальную длину обработки 512 токенов. Модель рассчитана на корейский язык. Для практического использования предусмотрена загрузка через специальный hydra loader на базе Transformers и PyTorch. В поставку входят только распознаватели людей и адресов. Поддержка организаций отложена; расширенные профили идентификаторов и контекстных атрибутов доступны через отдельный адаптер пакета. Модель принимает текст, а результат представляет собой токенные метки и найденные фрагменты; извлечение текста из файлов документов выполняется отдельно. Лицензия обозначена как other, поэтому условия использования следует уточнить в репозитории модели.
abilfad/sentiment-binary-dicoding — дообученная модель DistilBERT для бинарной классификации тональности текста. Она основана на distilbert-base-uncased и предназначена для определения одной из двух категорий тональности; модель можно применять, например, для анализа отзывов и коротких текстовых сообщений. Архитектура — DistilBertForSequenceClassification, максимальная длина контекста — 512 токенов. В README приведены точность обучения 0,9307 и ошибка на проверочной выборке 0,2322 после двух эпох, но набор данных и метрики на независимом тесте не описаны. Модель распространяется по лицензии Apache-2.0.
silero-vad-v5 — модель обнаружения голосовой активности Silero, опубликованная Vokra в формате GGUF для runtime Vokra. Это конверсия исходных весов snakers4/silero-vad версии 5, а не новая или дообученная модель. Репозиторий содержит файл размером 2,1 МБ с архитектурой silero-vad. Модель предназначена для выделения участков речи в аудиозаписях и потоках речи. Для указанного в README сценария на вход подаётся монофонический WAV с частотой 16 кГц, а результатом являются сегменты с обнаруженной речью. Формат GGUF позволяет runtime Vokra напрямую отображать файл в память. Модель распространяется по лицензии MIT. Карточка не описывает другие частоты дискретизации, языковые ограничения или показатели качества.
Модель amazon/sm-hackathon-actionability-9-multi-outputs-setfit-model-v0.1 разработана Amazon и предназначена для классификации текста. Это модель SetFit, обученная методом few-shot: сначала Sentence Transformer дообучается с контрастивным обучением, затем на его признаках обучается классификационная голова. Архитектура основана на MPNet, число параметров — 136,7 млн, контекст — до 514 токенов. Модель принимает текст и выдаёт класс текста; также каталог указывает поддержку извлечения признаков и оценки сходства предложений. Она может быть полезна для классификации при ограниченном количестве размеченных примеров. Распространяется по лицензии Apache-2.0.
HYM/test-finetuned-ner — модель HYM для классификации токенов, дообученная на базе hfl/chinese-pert-large. Она подходит для разметки последовательностей, например для распознавания именованных сущностей, если метки обучающего набора соответствуют этой задаче. Модель использует архитектуру BERT с головой BertForTokenClassification, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Для обучения использовался неизвестный набор данных; в карточке приведены метрики на оценочной выборке: F1 0,7581, точность 0,7449, полнота 0,7717 и accuracy 0,9546. Лицензия CC BY-NC-SA 4.0 предусматривает некоммерческое использование и распространение производных материалов на тех же условиях.
Это быстрая модель разметки частей речи для английского языка, поставляемая вместе с библиотекой Flair. Она предсказывает универсальные POS-теги для слов в предложении и обучена на датасете OntoNotes. Архитектура сочетает Flair embeddings и LSTM-CRF; в README указан F1-score 98,47 на OntoNotes. Модель предназначена для морфосинтаксической разметки английского текста в NLP-конвейерах, например для подготовки корпусов и извлечения грамматических признаков. Она работает в формате PyTorch и используется через Flair. Сведения о лицензии и ограничениях применения в предоставленных материалах отсутствуют.
FerhatDk/wav2vec2-base_music_speech_both_classification — модель классификации аудио на основе Wav2Vec2, дообученная автором на базе facebook/wav2vec2-base. Она предназначена для отнесения аудиозаписей к классам музыки и речи. В README сообщается точность 0,9847 и значение loss 0,0586 на оценочном наборе, однако состав набора и методика оценки не описаны. Модель содержит 113,3 млн параметров, использует формат PyTorch и распространяется по лицензии Apache-2.0.
RuudVelo разработал модель автоматического распознавания речи на базе архитектуры wav2vec2. Это дообученная на Common Voice версия facebook/wav2vec2-xls-r-300m с 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает нидерландский язык. На тестовой выборке Common Voice указаны loss 0,3923 и WER 0,1748. Модель опубликована в формате PyTorch под лицензией Apache-2.0. В карточке нет подробных сведений о сценариях использования и ограничениях распознавания.
chhao/Weak-Driven-Learning — языковая модель, дообученная по методу Weak-Driven Learning на базе Qwen3-4B-Base. Это причинная Transformer-модель семейства Qwen3 примерно с 3,7 млрд параметров и контекстом 32 768 токенов; для обучения использовалась последовательность длиной до 8 192 токенов. Репозиторий содержит веса PyTorch, а карточка указывает библиотеку Transformers и лицензию MIT. Модель предназначена прежде всего для генерации текста с упором на математические рассуждения и написание кода; также поддерживает диалоговый сценарий. Метод обучения использует слабые исторические контрольные точки как сигналы ошибок и совместную оптимизацию логитов. В README заявлены улучшения относительно стандартного SFT на сложных математических и программных задачах без дополнительных вычислительных затрат при инференсе. Качество на других типах задач может отличаться; результат зависит от обучающего набора AM-1.4M и ограничений базовой Qwen3.
Yi-Coder-1.5B-Chat-GGUF — квантизированная в формате GGUF версия чат-модели Yi Coder 1.5B-Chat, разработанной компанией 01-ai. Квантизацию выполнил bartowski на базе llama.cpp; модель предназначена для генерации текста и диалога по вопросам программирования. Модель имеет около 1,5 млрд параметров, поддерживает контекст длиной до 128 тыс. токенов и обучена работе с 52 языками и форматами, включая Python, JavaScript, TypeScript, C/C++, C#, Java, Go, Rust, SQL, HTML, CSS, JSON, YAML, Shell и другие. Большое контекстное окно подходит для анализа крупных исходных кодов и репозиториев. Для работы в LM Studio рекомендуется использовать шаблон ChatML. Сильными сторонами модели являются компактный размер, широкий охват языков программирования и возможность обрабатывать большие объёмы кода в одном запросе. Модель настроена именно для общения и ответов на вопросы о программировании, поэтому не оптимизирована для автодополнения кода. Как и другие языковые модели, она может генерировать неточные или неподходящие ответы, которые требуют проверки. Лицензия — Apache 2.0.
AReaL-boba-2-8B-Open — открытая текстовая модель для генерации кода и решения задач программирования, представленная проектом AReaL от RL Lab, Ant Research. Это версия Qwen3-8B, обученная с помощью асинхронного обучения с подкреплением; в карточке указано 7,6 млрд параметров и контекст до 40 960 токенов. Модель поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации программного кода и рассуждений при решении задач программирования. В README приведены результаты на LiveCodeBench v5, Codeforces и CodeContests. Указанный для 8B версии результат LiveCodeBench v5 — 62,0, а CodeContests — 41,4. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Данные карточки не описывают поддерживаемые естественные языки и конкретные ограничения качества; результаты бенчмарков сами по себе не гарантируют точность в пользовательских проектах.
CAMeL-Lab разработала CAMeLBERT-DA SA — модель анализа тональности арабского текста, полученную дообучением диалектной модели CAMeLBERT-DA. Она классифицирует предложения как положительные или отрицательные и предназначена для использования в компоненте анализа тональности CAMeL Tools или через Transformers pipeline. Модель основана на архитектуре BERT и содержит 136,3 млн параметров. Она принимает текст на арабском языке, поддерживает контекст до 512 токенов и выдаёт метку тональности. Для дообучения использовались датасеты ASTD, ArSAS и SemEval. Модель распространяется по лицензии Apache-2.0.
CAMeLBERT Mix SA Model — арабоязычная модель анализа тональности, разработанная CAMeL Lab путём дообучения CAMeLBERT Mix. Она классифицирует текстовые высказывания по тональности; модель можно использовать через компонент анализа тональности CAMeL Tools или через pipeline библиотеки Transformers. Модель основана на архитектуре BERT для классификации последовательностей, содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. Для дообучения использовались наборы ASTD, ArSAS и SemEval. Модель поддерживает арабский язык и распространяется по лицензии Apache-2.0.
llm-book/bert-base-japanese-v3-wrime-sentiment — японскоязычная модель классификации текста, опубликованная проектом llm-book. Она дообучена на базе cl-tohoku/bert-base-japanese-v3 и предназначена для анализа тональности японских текстов. Модель использует архитектуру BERT с 12 слоями, 12 attention-головами, скрытым размером 768 и примерно 138,4 млн параметров. Это одномодальная текстовая модель с контекстом до 512 токенов, работающая через Transformers и PyTorch. Она классифицирует входной текст по двум классам: positive и negative. Модель подходит для автоматической оценки тональности японских отзывов, сообщений и других коротких текстов. Она не предназначена для генерации текста, поддержки нескольких языков или анализа контекстов длиннее 512 токенов. Сведения о лицензии в использованных источниках не установлены.
Intel выпустила дообученную версию BERT base uncased для определения смысловой эквивалентности пары английских предложений. Модель основана на двунаправленном трансформере BERT с 136,7 млн параметров и классификационной головой BertForSequenceClassification; она принимает текстовые пары и присваивает им метку сходства. Обучение выполнено на наборе GLUE MRPC, содержащем пары предложений из новостных текстов с человеческой разметкой перефразирования. Контекст модели — до 512 токенов. Модель подходит для классификации перефраз, проверки дублирующих формулировок и оценки семантической близости двух предложений на английском языке. В карточке приведены результаты на оценочной выборке MRPC: accuracy 0,8603 и F1 0,9042. Модель нечувствительна к регистру. Это классификатор для ограниченной задачи, а не генеративная модель; результаты могут отражать смещения обучающих данных и не гарантируют надёжность на других типах текстов. Лицензия — Apache-2.0.
howey/bert-base-uncased-sst2 — модель классификации текста на базе архитектуры BERT base uncased, опубликованная пользователем howey на Hugging Face. Она предназначена для определения тональности отдельных англоязычных предложений в задаче SST-2, то есть для отнесения текста к положительному или отрицательному классу.
almanach/camembertv2-base-ftb-ner — модель Wissam Antoun из Almanach, Inria-Paris для распознавания именованных сущностей во французском тексте. Она основана на RoBERTa и дообучена на наборе FTB-NER; размер модели — 138,4 млн параметров, максимальная длина контекста — 1025 токенов. В README указан F1 0,93548 на FTB-NER. Модель предназначена для разметки токенов и извлечения именованных сущностей во французских текстах. Она доступна под лицензией MIT. Результаты могут зависеть от обучающих данных; модель может хуже работать на других наборах данных и не предназначена для задач за пределами распознавания сущностей без дополнительной проверки.
Экспериментальный чекпойнт языковой модели Qwen3-4B, дообученный командой agurung методом обучения с подкреплением OpenRLHF GRPO. Обучение применялось непосредственно к Qwen/Qwen3-4B-Instruct-2507 без предварительного SFT для этого запуска; сохранённый чекпойнт соответствует шагу 4 и в этом эксперименте показал лучший результат по pass@8. Модель предназначена для генерации кода и решения задач программирования. Обучение и проверка проводились на задачах cobalt-train, которые базовая модель решала не более чем в 2 из 64 попыток; сигналом вознаграждения служила проверка корректности кода тестами. Чекпойнт построен на плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. В карточке не приведены численные метрики качества на контрольной выборке, поэтому результат pass@8 характеризует только сравнение чекпойнтов данного запуска. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.