II.8Инженерия данных и аналитика

Модель Damerajee представляет собой дообученную версию CodeLlama-7b-hf на наборе инструкций по программированию Python iamtarun/python_code_instructions_18k_alpaca. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, предназначенная для генерации текста в ответ на инструкции, в том числе для задач с кодом Python. Контекст модели составляет 16 384 токена. Модель может помогать генерировать фрагменты кода и отвечать на инструкции по Python. Карточка содержит значения training loss на ранних шагах обучения, но не даёт подробных результатов оценки качества. Использование распространяется по лицензии Llama 2.

Bud Code Millenials 8B — модель генерации кода от Bud Ecosystem, созданная дообучением языковой модели семейства Llama. Она предназначена для написания кода по текстовому запросу и других сценариев генерации программного кода. В карточке указано значение HumanEval pass@1 67,1; это результат оценки разработчиков, который может зависеть от используемого скрипта и условий тестирования. Модель имеет около 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Метаданные указывают контекст до 8192 токенов и библиотеку Transformers. Модель принимает текст и генерирует текст; карточка не указывает основной естественный язык, а среди языков отмечен код. Модель может ошибаться, выдавать вводящий в заблуждение код и хуже справляться с задачами вне программирования. Лицензия указана как llama3.

vishnun/codenlbert-sm — компактная модель классификации текста на основе BERT, дообученная разработчиком для различения кода и естественного языка. Она рассчитана на классификацию входного текста как кода или обычного языка, например при анализе смешанных текстовых данных. Модель содержит 32,4 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. В карточке приведены метрики обучения на трёх эпохах, включая точность около 99,7%; эти значения относятся к указанной разработчиком оценке и не гарантируют такой же результат на других данных. Для модели указаны английский язык и набор данных CodevsNL. Условия лицензирования в предоставленных материалах не описаны.

CodeUp-Llama-2-13b-chat-hf — чат-модель для генерации кода, созданная на базе Llama 2 авторами проекта CodeUp. Её дообучили следовать инструкциям по задачам программирования на основе набора примерно из 19 тысяч отфильтрованных примеров генерации кода. В README описан акцент на мультиязычной генерации кода, однако правила фильтрации данных ориентированы на Python, поэтому охват других языков программирования может быть неодинаковым. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 12,9 млрд параметров. Она принимает текстовые инструкции и выдаёт текст, в том числе программный код; максимальный контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch, лицензия — OpenRAIL++. Модель подходит для генерации кода по запросу и помощи с изменением фрагментов кода. Качество ответов может быть неоднородным, а сгенерированный код требует проверки и тестирования. README не приводит оценок качества или подробных ограничений применения.

Common-Voice-Gender-Detection — модель PrithivMLmods для бинарной классификации аудио по голосовым признакам с метками «female» и «male». Она дообучена на facebook/wav2vec2-base-960h и использует архитектуру Wav2Vec2ForSequenceClassification; размер модели — 113,3 млн параметров. Модель предназначена для определения метки голоса в речевых записях: например, для тегирования аудио, сортировки голосовых наборов данных и вспомогательной аналитики звонков, подкастов и интервью. В README приведён отчёт классификации на 6545 примерах с точностью 98,46%; эти результаты относятся к указанной оценке и не гарантируют такую же точность на других данных. Модель принимает аудио и выдаёт класс, поэтому подходит для классификации, а не для транскрибирования речи. Базовая модель ориентирована на английскую речь, а метаданные указывают английский язык. Лицензия — Apache-2.0.

dbmdz/electra-large-discriminator-finetuned-conll03-english — модель семейства ELECTRA, разработанная и опубликованная пользователем dbmdz на Hugging Face. Это англоязычный трансформерный энкодер ELECTRA Large, дообученный для задачи токен-классификации на наборе CoNLL-03 и предназначенный прежде всего для распознавания именованных сущностей в тексте. Модель содержит около 433,9 млн параметров и обрабатывает контекст длиной до 512 токенов. Она работает с текстом через библиотеку Transformers и поддерживает pipeline token-classification; её можно применять для выделения сущностей, например персон, организаций, мест и других классов, предусмотренных разметкой CoNLL-03. Сильная сторона модели — специализация на англоязычном NER вместо универсальной генерации текста. Модель не предназначена для генерации, суммаризации или мультимодальных задач; качество может снижаться на языках, доменах и типах сущностей, отличающихся от данных обучения. Лицензия в доступных источниках не установлена.

EuroFilter-v1 — многоязычный классификатор текста, созданный в рамках европейского проекта UTTER. Модель основана на mDeBERTa и обучена классифицировать тексты по аннотациям FineWeb-Edu, переведённым с помощью TowerLLM 70B. В репозитории указана архитектура DeBERTa-v2 для классификации последовательностей, 306 млн параметров и контекст до 512 токенов. Модель предназначена для классификации и оценки образовательной ценности текстов. Она обучена на английском, немецком, испанском, японском, китайском, русском, хинди, чешском, украинском, исландском, португальском, французском, нидерландском, итальянском и корейском языках; авторы также ожидают обобщение на другие языки. В README сообщается о результатах на английских и переведённых многоязычных выборках, сопоставимых с исходным FineEdu-классификатором. Модель распространяется под лицензией Apache-2.0. README описывает регрессионную и бинарную классификационные головы. Контекст ограничен 512 токенами; заявленное обобщение на языки вне обучающего набора следует считать ожиданием авторов, а не подтверждённой характеристикой.

GLiNER2-base-v1-Redocred — модель извлечения информации на базе GLiNER2, дообученная на Re-DocRED. Она предназначена для извлечения сущностей и отношений между ними в англоязычных документах; карточка также относит к задачам модели извлечение событий и классификацию. Обучающий набор содержит 3 053 записи, а для проверки использовались отдельные валидационная и тестовая выборки по 500 записей; в Re-DocRED представлены 96 типов отношений и 6 типов сущностей. В тестировании F1 для сущностей составил 0,842 при строгом и 0,893 при более мягком сопоставлении. Для отношений показатели ниже: F1 0,263 и 0,321 соответственно, при низкой полноте. Модель распространяется в формате safetensors и использует библиотеку gliner2. Лицензия указана как other; условия следует уточнить на странице модели и датасета.

rakeshkiriyath/gpt2Medium_text_to_sql — дообученная на наборе b-mc2/sql-create-context модель GPT-2 Medium для преобразования запросов на естественном языке в SQL. Карточка демонстрирует SQL-запросы и приводит значения training loss и eval loss; метаданные указывают архитектуру GPT2LMHeadModel, формат PyTorch, контекст до 1024 токенов и английский язык. Модель подходит для генерации SQL по текстовым запросам, например для выборки и подсчёта данных в таблицах. Карточка описывает первый проект автора по дообучению LLM, поэтому качество и устойчивость результатов могут быть ограничены. Лицензия обозначена как other; конкретные условия использования следует сверить с лицензией репозитория и набора данных.

gpt-oss-20b-Code-xCloud-GGUF — модель для генерации кода, созданная 云碩科技 (xCloudinfo) на базе openai/gpt-oss-20b. Это дообученная методом LoRA модель семейства GPT-OSS с архитектурой MoE: в README указаны 21 млрд параметров всего и 3,6 млрд активных. Репозиторий распространяет веса в формате GGUF с квантизацией MXFP4; заявленный размер файла — около 14 ГБ. Модель предназначена для понимания требований и генерации исполняемых решений, в частности на Python, с сохранением пошагового рассуждения. По заявлению разработчика, обучение включало дистилляцию и отбор примеров по результатам выполнения скрытых тестов; для HumanEval указан результат pass@1 87,2% на 164 заданиях. Это заявление README, а не независимая проверка качества. Модель можно запускать локально через llama.cpp и использовать для автономной разработки и генерации кода. Указанная лицензия — Apache-2.0, коммерческое использование допускается на её условиях. В README нет сведений о длине контекста; оценка на HumanEval ограничена указанным набором и не гарантирует аналогичного качества на других задачах.

Это дообученная модель Sentence Transformer на базе Alibaba-NLP/gte-Qwen2-1.5B-instruct, опубликованная пользователем mata5764. Она преобразует предложения и абзацы в плотные векторы размерностью 1536 для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразирований, кластеризации и классификации. Модель использует архитектуру Qwen2 с пулингом по последнему токену и нормализацией; метаданные указывают 1,5 млрд параметров и контекст до 131 072 токенов, а README заявляет максимальную длину последовательности 32 768 токенов. Обучение проводилось на 60 995 парах предложений с MultipleNegativesRankingLoss. Примеры данных относятся к сопоставлению канонических и разговорных названий финансовых инструментов, поэтому модель может быть полезна для поиска вариантов написания таких названий. Выход модели — эмбеддинги; метаданные называют её многоязычной, но конкретные языки не перечислены. Лицензия в предоставленных сведениях не указана.

supreethrao/instructNER_fewnerd_xl — модель SpanMarker для распознавания именованных сущностей, обученная на наборе DFKI-SLT/few-nerd. Она размечает сущности в тексте по детализированным категориям, включая фильмы, музыкальные произведения и телепередачи; модель можно применять для извлечения сущностей из предложений и дообучать на собственных данных. Максимальная длина входной последовательности составляет 256 токенов, а длина распознаваемой сущности ограничена восемью словами. В README приведены метрики на наборе Few-NERD: общий F1 равен 0,7031. Модель распространяется в формате safetensors; сведения о лицензии в доступных материалах отсутствуют.

vishnun/knowledge-graph-nlp — модель на базе DistilBERT, дообученная автором репозитория на наборе данных vishnun/NLP-KnowledgeGraph для классификации токенов. Она предназначена для выделения и разметки фрагментов текста, например для извлечения сущностей при построении графа знаний. Модель использует архитектуру DistilBertForTokenClassification, принимает английский текст и имеет контекст до 512 токенов. В README приведены результаты на оценочном наборе: F1 0,8849, точность 0,9453, precision 0,8988 и recall 0,8715. Метки классов и подробности обучающего набора в карточке не описаны, поэтому качество для иных типов разметки и областей применения не установлено. Лицензия — Apache-2.0.

KnowLM-13B-IE — модель семейства LLaMA, разработанная ZJUNLP для извлечения информации из текста. Она предназначена для распознавания именованных сущностей, извлечения отношений и событий, определения типов событий и извлечения аргументов событий. Модель принимает инструкции с описанием задачи, необязательной схемой меток и требуемым форматом структурированного ответа; результат выдаётся в текстовом виде. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM и имеет контекст 2048 токенов. README описывает работу с китайскими и английскими наборами данных и шаблоны на китайском языке, а также перечисляет пять задач извлечения информации. Вариант IE обучен с отрицательной выборкой: он может возвращать NAN для отсутствующих отношений или типов, что полезно при извлечении по заданной схеме. По сравнению с KnowLM-13B-Zhixi практичность извлечения информации несколько выше, но общая применимость и способность к обобщению ниже. Для работы требуется форматировать входные данные в виде инструкции и входного текста, задавая схему и формат ответа. Лицензия в предоставленных данных не указана.

FineEnvs выпустила полноразмерное дообучение LiquidAI/LFM2.5-2.6B для агентных задач анализа данных и работы с инструментами. Это плотная авторегрессионная модель семейства LFM2 с 2,6 млрд параметров, контекстом до 131 072 токенов и чатом. Модель обучена методом supervised fine-tuning на примерах для OpenCode, Claude Code, Codex и Mini-SWE-Agent; доступны полные веса, токенизатор и шаблон чата в формате safetensors. Модель предназначена для выполнения задач в агентных средах: анализа данных, работы с кодом и инструментами в рамках заданий этих harness-систем. На фиксированном наборе из 250 тестовых задач она показала 43,1% pass@1 в среднем по четырём harness-системам. Для воспроизведения результатов нужны соответствующие агентная среда и инструменты; обычный чатовый запрос не равнозначен оцениванию в harness. Карточка указывает лицензию `other`, поэтому условия использования следует сверить с лицензией репозитория.

Модель tomerRest/line_item_embeddings — энкодер предложений Sentence Transformers на базе BERT, дообученный автором на sentence-transformers/all-MiniLM-L6-v2. Она преобразует текстовые строки и абзацы в плотные векторы размерности 384 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Обучение описано на 97 524 парах строк с оценками сходства; примеры указывают на сопоставление товарных наименований и позиций ассортимента. Модель использует mean pooling и нормализацию векторов, а сходство оценивается косинусной мерой. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов; README задаёт максимальную длину последовательности 256 токенов, поэтому на практике следует учитывать ограничение конфигурации модели. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

AcademieDuNumerique/Llama-3.2-3B-SQL-Instruct — диалоговая модель генерации текста на архитектуре LlamaForCausalLM с 3,2 млрд параметров. Она дообучена на основе unsloth/llama-3.2-3b-instruct-bnb-4bit; карточка связывает её также с meta-llama/Llama-3.2-3B-Instruct. В названии модели заявлена специализация на SQL, однако README не приводит сведений о наборе данных или качестве SQL-генерации. Модель предназначена для диалоговых сценариев генерации текста; с учётом названия её можно применять для составления SQL-запросов по текстовым описаниям. Метаданные указывают контекст до 131 072 токенов и интерфейс вызова инструментов. Язык карточки — английский, а базовая модель описана как мультиязычная. Модель распространяется под лицензией Apache-2.0.

Triplit Critic — мультиязычная модель Babelscape для оценки и фильтрации триплетов отношений, представленная в статье RED^FM на ACL 2023. Она основана на mdeberta-v3-base и обучалась на данных для фильтрации триплетов и наборе XNLI. Модель содержит две классификационные головы; стандартная загрузка через библиотеку Hugging Face использует голову бинарной классификации для фильтрации триплетов, а для работы с XNLI требуется специальный скрипт. Модель выдаёт оценку уверенности для триплета: положительный класс Label_1 используется как оценка достоверности, а в SREDFM авторы применяли порог 0,75. Архитектура DeBERTa-v2, около 306 млн параметров, контекст до 512 токенов. В карточке перечислена поддержка арабского, французского, испанского, немецкого, греческого, болгарского, русского, турецкого, вьетнамского, тайского, китайского, хинди и урду. Лицензия в предоставленных данных не указана.

tartuNLP/mmBERT-small-m-edu-classifier — мультиязычный классификатор образовательного качества текстов, разработанный tartuNLP на основе энкодера ModernBERT. Модель присваивает документу одну из шести меток: проблемный контент, отсутствие образовательной ценности, минимальный, базовый, хороший или отличный уровень. Она обучена оценивать полные документы длиной до 8192 токенов на смешанном наборе FineWeb с образовательными аннотациями. Модель содержит 140,5 млн параметров и использует архитектуру ModernBertForSequenceClassification. Её назначение — фильтрация и ранжирование веб-документов по образовательной ценности, в том числе на разных языках. Метаданные перечисляют широкий набор языковых тегов, а базовая модель описана как мультиязычный энкодер более чем для 1800 языков; фактическую поддержку каждого языка для классификатора следует проверять отдельно. Модель распространяется под лицензией MIT. В README приведена оценка на отложенной выборке, где каждый язык представлен как минимум один раз, однако численные результаты в доступной карточке отсутствуют. Качество оценок на отдельных языках и перенос на данные вне обучающего набора могут различаться.

Tamyïz — модель Badr M. Abdullah и соавторов для определения разновидности арабской речи по аудиозаписи. Она основана на Wav2Vec2 из семейства MMS и дообучена на разнообразной речи из телевизионных передач. Модель относит речь к одному из пяти классов: современный литературный арабский, египетский, заливный, левантийский или магрибский диалект; для каждого класса выдаёт оценку уверенности. Модель предназначена для разметки и фильтрации речевых данных, в том числе для сбора корпусов по диалектам и отбора записей на современном литературном арабском для систем синтеза речи. Размер — 402,7 млн параметров; для работы используется библиотека Transformers. Модель принимает аудио и выдаёт метки классов и оценки. Лицензия — CC BY 4.0, требующая указания авторства.

mrm8488/mobilebert-finetuned-ner — англоязычная модель распознавания именованных сущностей, созданная дообучением MobileBERT для классификации токенов. Она предназначена для выделения в тексте сущностей и присвоения им меток в сценариях извлечения информации. Модель содержит 59,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в формате PyTorch. Компактная архитектура MobileBERT рассчитана на более эффективное выполнение задач обработки языка, чем крупные модели BERT. Карточка Hugging Face предлагает запускать её через Transformers с задачей token-classification. Модель распространяется по лицензии MIT. Подробности о наборе меток и оценках качества в доступных источниках не приведены.

IsmaelMousa/modernbert-ner-conll2003 — англоязычная модель распознавания именованных сущностей, созданная дообучением answerdotai/ModernBERT-base на наборе CoNLL2003. Она размечает текст, выделяя упоминания людей, организаций и мест, и предназначена для извлечения таких сущностей из обычного английского текста. Модель построена на архитектуре ModernBERT для классификации токенов, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. В README приведены результаты на оценочной выборке CoNLL2003: F1 0,8455, точность 0,8349, полнота 0,8563 и accuracy 0,9752. Для запуска указана библиотека Transformers; лицензия — Apache-2.0.

Jeevesh8/multiberts_seed_1_ft_0 — модель классификации текста на базе BERT и семейства MultiBERTs, опубликованная пользователем Jeevesh8 на Hugging Face. Она предназначена для отнесения входных текстов к заранее заданным классам и использования в прикладных конвейерах text-classification. Модель содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. В метаданных указаны Transformers, JAX и BERT; языковая поддержка и точный набор классов по доступным данным не установлены.

arubenruben/NER-PT-BERT-CRF-Conll2003 — дообученная модель BERT для распознавания именованных сущностей в португальском тексте. Для декодирования последовательности меток используется Conditional Random Field (CRF); основная схема разметки — CoNLL-2003, также доступны схемы HAREM Default и Selective. Модель предназначена для извлечения сущностей из текста с помощью Transformers и применима в проектах анализа португальского языка. В README сообщается о тестировании на Portuguese Wikineural Dataset с результатом F1 0,951. Репозиторий содержит веса PyTorch; лицензия и размер модели в предоставленных данных не указаны.

JoaoReiz/ner-pt-f1-v1-bertimbau-large-specific-cachacaner-seed42 — модель распознавания именованных сущностей на португальском языке, разработанная на основе BERTimbau Large и дообученная на фиксированном разбиении cachacaner протокола NEVE NER. Это плотная архитектура BERT с 433,2 млн параметров, предназначенная для классификации токенов; выбор чекпойнта выполнен по end-to-end F1 на валидационной выборке. Модель принимает текст и размечает в нём сущности; максимальная длина контекста составляет 512 токенов. Модель подходит для извлечения именованных сущностей из португалоязычных текстов в сценариях, соответствующих обучающему разбиению cachacaner. В карточке указано дообучение с seed 42. Веса доступны в формате Safetensors; библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

NuNER-v1.0 — англоязычная модель распознавания именованных сущностей от NuMind, представленная в работе «NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data». Это RoBERTa-base, дообученная на данных NuNER; модель содержит около 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Её можно использовать для извлечения эмбеддингов и дообучать на размеченных наборах данных для конкретных схем сущностей. Модель предназначена для распознавания сущностей в английском тексте, в том числе при небольшом количестве примеров для обучения. В README сообщается о результатах, сопоставимых с UniversalNER 7B на описанных оценках. Авторы рекомендуют более новую NuNER v2.0. Веса опубликованы в формате safetensors под лицензией MIT.

PII Guard Turkish 0.6B — дообученная модель на базе Qwen/Qwen3-0.6B, созданная Хасаном Чагры Гюнгёром для поиска и маскирования персональных данных в турецком тексте. Она принимает инструкцию с политикой обработки и текст с префиксом «Metin:», а затем заменяет распознанные данные метками, например [AD], [TEL] и [IBAN]. Поддерживаются полное маскирование, режимы белого и чёрного списка, а также 53 метки для девяти категорий данных. Модель предназначена для очистки журналов, минимизации данных перед передачей в LLM и сценариев защиты персональных данных в соответствии с KVKK и GDPR. Это плотная авторегрессионная модель семейства Qwen3 с 507,9 млн параметров; в метаданных указано контекстное окно 40 960 токенов, тогда как README сообщает о контексте обучения в 768 токенов. Модель рассчитана только на турецкий язык. Репозиторий содержит веса Safetensors, а автор отмечает возможность экспорта в ONNX и использования на CPU. Лицензия — Apache-2.0. В опубликованном бенчмарке на 1 000 синтетических примерах точное совпадение составило 0,828; результаты на реальных пользовательских данных не измерялись. Модель может выдавать метки вне заданной схемы, а среди более сложных случаев — инструкции чёрного списка, числа, записанные словами, и длинные тексты. Для рабочего применения автор рекомендует проверять допустимые метки и предусматривать валидацию и человеческий контроль.

om-ashish-soni/pos-ner-tagging-v2 — модель разметки токенов на базе BERT, дообученная на датасете CoNLL-2003. Она предназначена для присвоения меток словам и токенам в тексте; результаты на оценочной выборке CoNLL-2003: F1 0,9401, точность 0,9270, precision 0,9394 и recall 0,9408. Модель содержит 135,5 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель подходит для извлечения именованных сущностей и разметки последовательностей в сценариях, соответствующих данным CoNLL-2003. Карточка не уточняет схему меток и отдельные сценарии использования, поэтому качество за пределами оценочной выборки не установлено. Лицензия — Apache-2.0.

raporto/pycoder-3b — дообученная методом QLoRA модель Qwen/Qwen2.5-3B-Instruct для помощи в программировании на Python. Разработчик настроил её на формат ответа: модель стремится выдавать полный исполняемый код вместо фрагментов, соблюдать единый стиль и отвечать на португальском, сохраняя возможности английского языка. Адаптер LoRA объединён с базовыми весами; модель содержит около 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации и объяснения кода Python в диалоговом формате. Её обучали на наборе из примерно 18 тысяч инструкций по коду, а при обучении учитывались только токены ответов ассистента. Для ожидаемого формата общения следует использовать шаблон ChatML Qwen2.5. Португальский и английский поддерживаются целенаправленно; испанский унаследован от базовой модели, но формат ответов на нём не гарантируется. Модель компактна и подходит для повседневных задач программирования, однако может выдумывать API и менее надёжна при масштабных рефакторингах и длинных рассуждениях. Сгенерированный код нужно проверять, особенно перед запуском с доступом к файлам, сети или недоверенным вводом. Лицензия — Apache 2.0; перед распространением производных следует также проверить условия лицензии набора данных.

RahulPi разработал Qwen2.5-1.5B SQL Assistant — плотную авторегрессионную языковую модель семейства Qwen2, дообученную методом QLoRA на базе Qwen/Qwen2.5-1.5B-Instruct и объединённую с базовой моделью для инференса в формате fp16. Модель предназначена для преобразования вопросов на естественном языке в SQL-запросы с учётом схемы и контекста базы данных. Модель обучалась на подмножестве из 1 000 примеров датасета b-mc2/sql-create-context. Она принимает текст с описанием схемы и вопросом, а в ответ должна выдавать SQL; README рекомендует формат запроса, требующий только SQL в ответе. Размер модели — 1,5 млрд параметров, нативный контекст — до 32 768 токенов. Указаны английский язык и лицензия Apache 2.0. Небольшой объём обучающих данных и узкая специализация означают, что качество на незнакомых схемах и сложных запросах может быть ограничено; результаты обучения не подтверждают надёжность для всех баз данных. Перед выполнением сгенерированные запросы следует проверять.