II.8Инженерия данных и аналитика

CodeGen-Multi 350M — авторегрессионная языковая модель для генерации программного кода, разработанная Salesforce. Модель содержит 350 млн обучаемых параметров и построена на архитектуре CodeGenForCausalLM; доступна в формате PyTorch. Контекст модели — 2048 токенов. Модель дообучена в два этапа: сначала на CodeGen-NL 350M, затем предварительно обучена на массиве BigQuery с кодом из GitHub. Она предназначена прежде всего для генерации исполняемого кода по англоязычным подсказкам в виде комментариев и продолжения частично написанного кода. В обучающих данных представлены C, C++, Go, Java, JavaScript и Python; модель также обрабатывает текст на естественном языке. Salesforce выпустила модель для исследовательских целей в поддержку академической работы. Качество и безопасность для конкретных применений не гарантированы: ответы могут содержать ошибки, поэтому сгенерированный код следует проверять. Лицензия — BSD 3-Clause.

d4 — дообученная модель генерации кода на базе deepseek-ai/deepseek-coder-1.3b-base, созданная на датасете generator. Она предназначена для продолжения и автодополнения кода, а также заполнения пропусков в нём. Модель использует плотную архитектуру семейства Llama и содержит 1,3 млрд параметров; максимальная длина контекста — 16 384 токена. Веса опубликованы в формате safetensors. Карточка не приводит результатов оценки или подробных сведений о качестве и ограничениях. Метаданные указывают лицензию other, поэтому перед использованием следует проверить условия лицензии в репозитории модели.

Модель Maltehb/danish-bert-botxo-ner-dane — датская версия BERT, дообученная Мальте Хёймарк-Бертельсеном для распознавания именованных сущностей на датском датасете DaNE. Базовый Danish BERT предварительно обучила компания Certainly, ранее известная как BotXO. Модель использует архитектуру BERT для классификации токенов, содержит 137,8 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для извлечения именованных сущностей из датского текста, например, при разборе документов или подготовке текстовых данных для последующего анализа. Доступны веса PyTorch, TensorFlow и Flax; в карточке приведён пример загрузки через Transformers с классом AutoModelForTokenClassification. Лицензия — CC BY 4.0. Модель ориентирована на датский язык и конкретную задачу распознавания сущностей. Карточка не перечисляет поддерживаемые типы сущностей и не приводит метрики качества, поэтому качество на других языках, жанрах текста и схемах разметки не подтверждено.

DeepCode-7B-Aurora-v2 — объединённая модель генерации текста, созданная ALBADDAWI с помощью LazyMergekit на основе DeepSeekMath-7B-Instruct, DeepSeekMath-7B-Base и DeepSeekMath-7B-RL. Это диалоговая модель на архитектуре Llama с плотной структурой и 6,5 млрд параметров; она предназначена для генерации ответов и текста, в том числе в математических сценариях. Контекст модели составляет 4096 токенов. Модель подходит для диалогового помощника, решения математических задач и генерации кода. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

DistilBERTurk — дистиллированная контекстная языковая модель для турецкого языка, выпущенная командой MDZ Digital Library Баварской государственной библиотеки (dbmdz). Это версия DistilBERT с регистрозависимой токенизацией, обученная на 7 ГБ данных, использованных для BERTurk, с регистрозависимой BERTurk в качестве учителя. Модель предназначена для использования в качестве основы для задач понимания турецкого текста, включая разметку частей речи и распознавание именованных сущностей. Дистилляция уменьшает модель по сравнению с учителем; авторы сообщают, что разница в общей производительности относительно BERTurk составляет около 1,18%, а в разметке частей речи DistilBERTurk превосходит 24-слойную XLM-RoBERTa. Модель работает с текстом и поддерживает контекст до 512 токенов. Репозиторий распространяется под лицензией MIT. В карточке указаны веса и форматы PyTorch, Safetensors и TensorFlow.

Это модель классификации текста DistilBERT-base-uncased, дообученная Hugging Face на наборе SST-2 для определения тональности английских высказываний. Она выдаёт один из двух классов — положительный или отрицательный; в описанной оценке точность на dev-выборке SST-2 составила 91,3%. Архитектура — DistilBERT для классификации последовательностей, контекст — до 512 токенов. Модель подходит для анализа тональности отзывов, рецензий и коротких текстов на английском языке. Она компактнее исходного BERT, но может ошибаться и демонстрировать смещения: авторы отмечают, что предсказания могут меняться из-за упоминаний групп и стран, даже если тональность текста не меняется. Модель разработана Hugging Face и распространяется по лицензии Apache-2.0.

Это модель распознавания именованных сущностей для немецкого языка, предназначенная для использования с библиотекой Flair и PyTorch. Она размечает в тексте сущности восьми классов; в карточке приведены примеры PER (имена людей), LOC (места) и ORG (организации). Заявленная оценка F1 — 95,6. Модель подходит для извлечения имен людей, мест и организаций из немецких текстов. Карточка указывает лицензию Flukes NC 1.0: использование разрешено только в некоммерческих целях; для коммерческого применения, включая использование предсказаний в продукте или услуге, требуется отдельная лицензия.

evol-codealpaca-v1-sft-4e-5 — дообученная Aleksey Korshuk модель генерации текста на архитектуре Phi-2 от Microsoft. Модель содержит 3,5 млрд параметров, использует PyTorch и формат safetensors, а её контекст ограничен 2048 токенами. Модель предназначена для генерации текста в диалоговом формате и может применяться для запросов, связанных с кодом. Карточка называет её дообученной на наборе данных, название которого не приведено; отдельные сведения о качестве, методике оценки и ограничениях отсутствуют. Лицензия — MIT.

Карточка модели MyRayy/gemma-4-12B-coder-fable5-composer2.5-v1 на Hugging Face совпадает с карточкой yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1, поэтому описание составлено по ней. Composer 2.5 × Fable 5 v1 — дообученная Yuxin Lu модель Google Gemma 4 12B Instruct для генерации кода на Python. Она обучена на задачах с проверяемыми решениями: примеры включают рассуждения о граничных случаях, сложности и подходе, а корректность решений проверялась запуском тестов. Модель работает через Transformers и использует архитектуру Gemma4Unified; опубликованы полноточные веса safetensors в формате bf16, а заявленная длина контекста составляет 256K токенов. Модель предназначена для решения алгоритмических и функциональных задач на Python, генерации исполняемого кода и дальнейшего дообучения или создания квантованных сборок. Она ориентирована прежде всего на англоязычные запросы и код. По README, отказы у неё встречаются реже, чем у базовой модели, а защитное выравнивание ограничено; общеобразовательные факты и числа рекомендуется перепроверять. Лицензия — Apache 2.0.

Composer 2.5 × Fable 5 v1 — дообученная Yuxin Lu модель Google Gemma 4 12B Instruct для генерации кода на Python. Она обучена на задачах с проверяемыми решениями: примеры включают рассуждения о граничных случаях, сложности и подходе, а корректность решений проверялась запуском тестов. Модель работает через Transformers и использует архитектуру Gemma4Unified; опубликованы полноточные веса safetensors в формате bf16, а заявленная длина контекста составляет 256K токенов. Модель предназначена для решения алгоритмических и функциональных задач на Python, генерации исполняемого кода и дальнейшего дообучения или создания квантованных сборок. Она ориентирована прежде всего на англоязычные запросы и код. По README, отказы у неё встречаются реже, чем у базовой модели, а защитное выравнивание ограничено; общеобразовательные факты и числа рекомендуется перепроверять. Лицензия — Apache 2.0.

facebook/hubert-xlarge-ls960-ft — модель распознавания речи от Facebook на базе архитектуры HuBERT. Это версия HuBERT Extra-Large, дообученная на 960 часах LibriSpeech; базовая модель — facebook/hubert-xlarge-ll60k. Архитектура использует самонаблюдаемое обучение речевых представлений с маскированным предсказанием и офлайн-кластеризацией, а для распознавания применяет CTC. Модель преобразует аудиозаписи английской речи в текст и предназначена для задач автоматического распознавания речи. Для входа требуется аудио с частотой дискретизации 16 кГц. В карточке упоминаются LibriSpeech и Libri-Light, но дообучение этой версии проводилось на LibriSpeech. Модель выпущена по лицензии Apache-2.0.

Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated — версия Gemma 4 12B coder-fable5-composer2.5-v1 от huihui-ai, у которой методом abliteration снижено число отказов на запросы. Это экспериментальная, грубая реализация с открытым описанием метода; модель предназначена для генерации кода и диалоговых ответов на основе текста. Модель использует плотную архитектуру Gemma4Unified и распространяется в формате safetensors для Transformers. Базовая модель дообучена для алгоритмических задач и генерации кода на Python, проверенного тестами. Карточка не описывает отдельное обучение этой версии для новых задач и не сообщает длину контекста или список естественных языков. Уменьшение защитных отказов может приводить к чувствительным, спорным или неподходящим ответам, поэтому результаты требуют проверки. Модель доступна по лицензии Apache 2.0.

Карточка модели MyRayy/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated на Hugging Face совпадает с карточкой huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated, поэтому описание составлено по ней. Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated — версия Gemma 4 12B coder-fable5-composer2.5-v1 от huihui-ai, у которой методом abliteration снижено число отказов на запросы. Это экспериментальная, грубая реализация с открытым описанием метода; модель предназначена для генерации кода и диалоговых ответов на основе текста. Модель использует плотную архитектуру Gemma4Unified и распространяется в формате safetensors для Transformers. Базовая модель дообучена для алгоритмических задач и генерации кода на Python, проверенного тестами. Карточка не описывает отдельное обучение этой версии для новых задач и не сообщает длину контекста или список естественных языков. Уменьшение защитных отказов может приводить к чувствительным, спорным или неподходящим ответам, поэтому результаты требуют проверки. Модель доступна по лицензии Apache 2.0.

syafiqfaray/indobert-model-ner — дообученная модель BERT для распознавания именованных сущностей с помощью классификации токенов. Она создана на основе indolem/indobert-base-uncased и содержит 137,8 млн параметров. Модель принимает текст, использует контекст до 512 токенов и возвращает метки для токенов. В карточке приведены результаты оценки: F1 0,838, точность 0,8307, полнота 0,8454 и accuracy 0,953. Датасет и набор классов сущностей не описаны, поэтому пригодность для конкретной предметной области и языка, помимо ориентации базовой модели на индонезийский, по карточке определить нельзя. Распространяется по лицензии MIT.

k3 — дообученная модель для генерации кода, созданная на основе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и содержит 1,3 млрд параметров. Модель подходит для продолжения кода, автодополнения и генерации фрагментов кода по текстовому запросу; контекст составляет до 16 384 токенов. В карточке указано, что модель обучалась методом KTO, однако датасет обозначен как None, а сведения о назначении и ограничениях не раскрыты. Опубликованы метрики оценки на тестовом наборе, но без описания самого набора их нельзя интерпретировать как гарантию качества. Формат весов — Safetensors; лицензия указана как other, поэтому условия использования следует уточнить у автора репозитория.

protectai/lakshyakh93-deberta_finetuned_pii-onnx — это ONNX-конверсия модели lakshyakh93/deberta_finetuned_pii, подготовленная ProtectAI с использованием библиотеки Hugging Face Optimum. Модель предназначена для задач token classification, в частности для обнаружения и классификации персональных данных в англоязычном тексте. Ключевая архитектурная особенность модели — формат ONNX, который может упростить интеграцию и выполнение модели в совместимых средах инференса. В README указано, что модель поддерживает английский язык. Размер модели, максимальная длина контекста, точный набор распознаваемых категорий персональных данных и другие архитектурные характеристики не раскрыты. Модель может использоваться в сценариях автоматического выявления PII перед обработкой, передачей или сохранением текста. Ограничения включают отсутствие сведений о качестве, метриках, поддерживаемых типах сущностей и совместимости с конкретными средами выполнения. Проект архивирован и больше не поддерживается. Модель распространяется по лицензии Apache-2.0.

Это модель для бинарного анализа тональности текста на малайском языке, разработанная Malaysia AI. Она представляет собой дообученный чекпойнт DeBERTa-V3-xsmall с архитектурой DeBERTa-v2 для классификации последовательностей и содержит 77,5 млн параметров. Модель относит текст к положительной или отрицательной тональности. Модель предназначена для классификации малайскоязычных отзывов, комментариев и коротких сообщений. Она принимает текст длиной до 512 токенов и выдаёт метку класса тональности. В репозитории указаны веса в формате safetensors; лицензия в предоставленных данных не приведена.

davanstrien разработал эту модель на базе answerdotai/ModernBERT-base, дообучив её на наборе davanstrien/natural-reasoning-classifier. Это encoder-модель ModernBERT с 149 млн параметров, предназначенная для классификации веб-текстов по уровню сложности рассуждений от 0 до 4: от простого извлечения фактов до экспертного анализа и синтеза новых идей. Модель принимает текст и выдаёт оценку класса; контекст составляет до 8192 токенов. Её используют для отбора образовательных материалов и сложных задач, а также как первый фильтр при подготовке данных для обучения моделей рассуждению. В карточке приведены результаты оценки: MSE 0,2034, MAE 0,2578 и корреляция Спирмена 0,6963. Предсказания зависят от распределения областей в исходном наборе данных, а оценка сложности рассуждений субъективна и зависит от контекста. Модель распространяется по лицензии Apache-2.0.

DeUnCaser — модель pere для восстановления пунктуации и капитализации в тексте, например в расшифровках автоматического распознавания речи. Это последовательностная модель на базе mT5, дообученная на корпусах OSCAR: обучение длилось 130 000 шагов, использовалось до миллиона примеров на каждый из 42 языков с латинским алфавитом. Модель добавляет знаки препинания, заглавные буквы в начале предложений и именах собственных, а также может расставлять дефисы и скобки, если это помогает прояснить смысл. Модель содержит около 608,4 млн параметров; в репозитории представлены форматы Flax и PyTorch. Она предназначена прежде всего для постобработки неотформатированных речевых транскрипций. Карточка не приводит оценок качества или подробностей ограничений. Лицензия — CC BY 4.0.

MyAwesomeModel — модель из репозитория Assads1SAD/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers. Согласно метаданным Hugging Face, её основная задача — извлечение признаков из входных данных, а заявленная архитектурная основа относится к семейству BERT. Модель распространяется под лицензией MIT и использует PyTorch. В README модель также описывается как обновлённая система с улучшенными рассуждениями, логическим выводом, генерацией кода, ответами на вопросы, суммаризацией, переводом и поддержкой function calling. Однако README не содержит подтверждённых сведений о размере модели, длине контекста, поддерживаемых естественных языках и точной конфигурации, а приведённые результаты представлены без описания протокола оценки. Поэтому для каталога её надёжнее классифицировать по метаданным как модель извлечения признаков.

MyAwesomeModel-TestRepo — модель на архитектуре BERT от автора dongbobo, опубликованная в Hugging Face. По метаданным она предназначена для извлечения признаков из текста и использует библиотеку Transformers; веса представлены в формате PyTorch. Модель можно применять для получения скрытых представлений текста как входа для последующих задач машинного обучения. Веб-поиск указывает на конфигурацию из 12 слоёв, размер скрытого состояния 768, 12 голов внимания и контекст до 512 токенов. Репозиторий распространяется по лицензии MIT. Сведений о целевых языках или специализированных областях применения нет.

MyAwesomeModel — модель на базе BERT для извлечения признаков из текста, опубликованная на Hugging Face с использованием библиотеки Transformers и PyTorch. Основное назначение модели — преобразование текстовых входов в векторные представления для последующего применения в задачах машинного обучения и анализа текста. В README также заявлены улучшения рассуждений, генерации кода, ответов на вопросы, классификации и других генеративных сценариев, однако эти утверждения не согласуются с метаданными, где основной pipeline-тег — feature-extraction, а архитектурное семейство указано как BERT. Размер модели, длина контекста и поддерживаемые естественные языки не приведены. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель на базе BERT для извлечения признаков из текста, опубликованная пользователем или организацией ZXC13ESDS на Hugging Face. Модель предназначена для получения векторных представлений текста, которые можно использовать в задачах семантического поиска, сравнения текстов, классификации и других downstream-сценариях обработки естественного языка. Для работы заявлена библиотека Transformers с поддержкой PyTorch. В README также заявлены возможности рассуждения, генерации кода, диалогов, суммаризации, function calling и работы с веб-поиском, однако эти сведения не согласуются с метаданными, где модель указана как feature-extraction с тегом BERT. Архитектура, число параметров, поддерживаемые естественные языки и длина контекста в доступных данных не указаны. Модель распространяется по лицензии MIT.

Palmyra-mini-thinking-b — англоязычная чат-модель генерации текста компании Writer, дообученная на NVIDIA OpenReasoning-Nemotron-1.5B. Это плотная причинно-языковая модель семейства Qwen2 примерно на 1,5 млрд параметров с контекстом до 131 072 токенов. Модель предназначена для пошаговых рассуждений, решения математических задач и задач по программированию, включая генерацию и отладку кода. В README приведены результаты на математических и программных бенчмарках; они зависят от методики оценки и параметров генерации и не гарантируют аналогичного качества в других сценариях. Модель принимает текст и генерирует текст. README отмечает риск предвзятых или неточных ответов. Лицензия — Apache-2.0.

PeroVazPT-BR Classifier — классификатор текста, разработанный на основе prajjwal1/bert-tiny и дообученный на датасете VeraCruz для различения европейского португальского и бразильского португальского. Модель использует архитектуру BERT и содержит 4,4 млн параметров; для входного текста поддерживает контекст до 512 токенов. Модель предназначена для определения варианта португальского языка в тексте. В README указано, что обучение проводилось на 500 тысячах сбалансированных примеров, а точность на выборке из 50 тысяч примеров составила 0,9461. Модель распространяется по лицензии MIT.

jefftherover/pii-layout-synth-distil-v1 — дообученная модель для классификации токенов на базе архитектуры ModernBERT. По названию репозитория она предназначена для обнаружения персональных данных в синтетических документах с учётом их структуры, однако карточка не описывает метки, обучающие данные или сценарии применения. Модель содержит 93,8 млн параметров, принимает контекст до 8192 токенов и сохранена в формате safetensors; используется библиотека Transformers. В README приведены метрики оценки: F1 0,9930, точность 0,9987, precision 0,9911 и recall 0,9949. Классификация токенов подходит для разметки фрагментов текста, например для последующего выделения сущностей. Высокие заявленные метрики относятся только к описанному в карточке набору оценки и не гарантируют качество на других данных. Лицензия в предоставленных сведениях отсутствует.

privacy-filter-mlx — адаптация OpenAI Privacy Filter для запуска на устройствах Apple Silicon через MLX и Metal, опубликованная beshkenadze. Это токен-классификатор на архитектуре MoE: 8 слоёв, 128 экспертов с выбором 4 экспертов на токен, двунаправленное скользящее внимание и контекст до 131 072 токенов. Модель размечает токены 33 BIOES-метками в восьми категориях персональных данных и секретов, чтобы последующий редактирующий компонент мог находить и маскировать целые фрагменты текста. Модель предназначена для локального обнаружения персональных данных и секретов в текстовых потоках, в том числе для фильтрации перед передачей или выводом текста. В репозитории есть полноразмерные bf16-веса и вариант q4-8emb объёмом около 0,87 ГБ; для последнего автор сообщает совпадение меток с fp32-эталоном на 99,4% в синтетической оценке. Поддерживается английский язык. Лицензия — Apache-2.0. Запуск рассчитан на MLX и Apple Silicon; результаты количественной оценки получены на синтетическом наборе и не гарантируют качество на всех текстах и типах секретов.

Qwen2.5-1.5B-Financial-Code-Engine — языковая модель, разработанная Ahmad Nawaz на основе Qwen/Qwen2.5-1.5B-Instruct. Это плотная причинная языковая модель на 1,5 млрд параметров, дообученная в два этапа: SFT с QLoRA на финансовых вопросах и данных Python, затем DPO для настройки предпочтений ответов. Модель работает с текстом, поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Модель предназначена для финансовых рассуждений и расчётной логики, генерации и отладки кода Python, форматирования JSON и извлечения сущностей для последующей обработки агентами и API. Лицензия Apache-2.0. Ответы о финансах не являются сертифицированной юридической или инвестиционной консультацией; точность рассуждений и кода следует проверять.

Qwen2.5-R1-Minny-1.5B-v2 — экспериментальная компактная языковая модель на 1,5 млрд параметров от ForSureTesterSim для генерации текста, математических рассуждений, написания кода и диалогового следования инструкциям. README описывает слияние специализированных моделей для кода, математики и диалога на основе DeepSeek-R1-Distill-Qwen-1.5B; в метаданных базовой моделью указана deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Архитектура — плотная Qwen2, формат весов — safetensors, контекст — до 131 072 токенов. Модель рассчитана на английский язык и использует формат диалога Qwen ChatML; для сложных рассуждений README указывает на использование Chain-of-Thought. Она подходит для ответов на математические задачи, генерации программного кода и диалогового помощника с рассуждениями. README заявляет экспериментальное слияние экспертов, но не приводит независимых оценок качества, поэтому заявленное преимущество слияния нельзя считать подтверждённым. Лицензия — Apache-2.0.

Карточка модели sapienzanlp/relik-reader-deberta-v3-large-aida на Hugging Face совпадает с карточкой sapienzanlp/relik-reader-deberta-v3-base-aida, поэтому описание составлено по ней. Это веса компонента ReLiK Reader из системы Retrieve, Read and LinK, разработанной Sapienza NLP. Модель предназначена для извлечения информации: связывания упомянутых в тексте сущностей с элементами базы знаний и извлечения отношений между сущностями. Reader работает в составе ReLiK вместе с retriever-компонентом, который находит релевантные документы; в этом репозитории размещены именно веса reader для варианта AIDA. Архитектура указана как RelikReaderSpanModel семейства ReLiK Reader; файлы представлены в формате PyTorch. Карточка приводит оценку базовой версии ReLiK на наборе AIDA и других тестах entity linking, включая результаты InKB Micro F1 и скорость обработки. Модель ориентирована на англоязычные данные. Лицензия и размер весов в предоставленных источниках не описаны.