II.8Инженерия данных и аналитика

gaussalgo разработала эту модель на архитектуре T5-Large LM-Adapt для преобразования вопросов на естественном языке в SQL-запросы. При обучении к вопросу добавлялась схема базы данных с доступными таблицами и столбцами, чтобы модель учитывала структуру конкретной базы и могла строить запросы для схем, не встречавшихся в обучающих данных. Модель дообучена на обучающих частях наборов Spider и Spider-Syn. Она принимает текстовый вопрос вместе с описанием схемы и генерирует SQL. В оценке на dev-частях точность выполнения запросов составила 49,2% для Spider и 39,5% для Spider-Syn. Эти результаты показывают, что запросы могут требовать проверки и исправления перед использованием. Модель содержит 385,2 млн параметров, использует форматы PyTorch и Safetensors и распространяется по лицензии, сведения о которой в доступных данных отсутствуют.

Text2Graph-R1-Qwen2.5-0.5b — компактная языковая модель Ihor для извлечения графов знаний из текста. Это воспроизведение подхода DeepSeek R1, дообученное на базе Qwen/Qwen2.5-0.5B-Instruct с помощью supervised learning и обучения с подкреплением GRPO. Модель предназначена для извлечения сущностей и отношений и выдачи результата в структурированном JSON, пригодном для машинной обработки. В обучении использовались награды за корректный формат JSON и F1 извлечённых сущностей и отношений. Модель имеет 494 млн параметров, архитектуру Qwen2ForCausalLM и контекст до 32 768 токенов; метаданные указывают поддержку русского, английского и других языков. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Модель унаследовала ограничения базовой компактной языковой модели, а качество извлечения может зависеть от языка, предметной области и соответствия входного текста ожидаемой схеме JSON.

Priyanka221105/text2sql-qwen2.5-duckdb — дообученная языковая модель на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Она использует плотную архитектуру Qwen2 и предназначена для генерации текста в диалоговом формате; название репозитория указывает на специализацию text-to-SQL для DuckDB, однако README не описывает примеры запросов или особенности этой специализации. Модель содержит 7,1 млрд параметров, работает с контекстом до 32 768 токенов и опубликована в формате Safetensors. Для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель может быть полезна для преобразования текстовых запросов в SQL для DuckDB и для связанных задач генерации кода. Карточка подтверждает дообучение от Qwen2.5 Coder Instruct, но не приводит оценок качества, обучающих данных или ограничений по применению. Лицензия — Apache-2.0.

Time-RCD — модель исследовательской лаборатории thu-sail-lab для обнаружения аномалий во временных рядах без дообучения на данных пользователя. Она принимает одномерный или многомерный временной ряд и вычисляет оценку аномальности для каждого момента времени. В репозитории опубликована модель архитектуры Time_RCD на 29,4 млн параметров в формате safetensors с реализацией, совместимой с Transformers; для инференса авторы рекомендуют API TimeRCDDetector. Модель использует синтетические данные и относительное расхождение контекста для zero-shot-детектирования. В карточке приведены результаты на бенчмарке TSB-AD: VUS-PR 0,52 для одномерного и 0,32 для многомерного сценария. Модель предназначена для поиска аномальных участков во временных рядах, в том числе когда для конкретного ряда нет размеченных примеров и отдельное обучение нежелательно. Она подходит для мониторинга датчиков, метрик и других последовательных измерений, если их можно представить как одномерный или многомерный ряд. Языковой ввод не описан; задача относится к временным рядам. Модель распространяется по лицензии Apache-2.0. README не сообщает длину контекста и не описывает ограничения качества за пределами результатов на указанном бенчмарке.

Модель Unified Multilingual NER разработана Ришабхом Кумаром и дообучена на базе microsoft/mdeberta-v3-base для многоязычного распознавания именованных сущностей. Она выполняет классификацию токенов и выделяет сущности 47 категорий, используя 95 BIO-меток. Веса LoRA объединены с базовой моделью; архитектура относится к DeBERTa V2, размер по метаданным — 306 млн параметров, контекст — до 512 токенов. Модель предназначена для извлечения персон, организаций, мест, событий, продуктов и других сущностей из новостей, веб-текстов, социальных сетей и материалов Википедии, а также для построения графов знаний и многоязычных NLP-конвейеров. Заявлена поддержка 15 языков: английского, испанского, французского, немецкого, итальянского, португальского, шведского, нидерландского, польского, русского, бенгальского, хинди, фарси, китайского и украинского. В README приведены оценки на тестовых наборах; результаты зависят от языка и источника данных. Модель распространяется по лицензии MIT. Она не предназначена для специализированного распознавания сущностей в юридических, финансовых или клинических текстах без дополнительной адаптации; для языков вне заявленного списка качество не подтверждено.

WizardCoder-Python-13B-V1.0 — языковая модель семейства Llama, предназначенная для генерации кода Python по инструкциям. Модель содержит 12,9 млрд параметров, имеет контекст до 16 384 токенов и представлена в формате PyTorch для Transformers. Карточка описывает семейство WizardCoder, обученное с использованием Evol-Instruct, но не приводит отдельные сведения о тренировочных данных и результатах именно этой версии 13B. Модель подходит для написания фрагментов Python-кода по текстовым запросам, помощи с программированием и генерации ответов на инструкции о коде. Она принимает текст и генерирует текст; языки естественного общения не заявлены, поскольку в метаданных указан только код. Лицензия — Llama 2; условия её применения определяются этой лицензией.

classla/bcms-bertic-ner — модель разметки последовательностей, разработанная Classla на основе BERTić и дообученная для распознавания именованных сущностей в боснийском, хорватском, черногорском и сербском языках. Она присваивает токенам метки PER, LOC, ORG и MISC, чтобы выделять в тексте людей, места, организации и другие именованные сущности. Модель использует архитектуру ELECTRA, содержит 137,8 млн параметров и обрабатывает контекст длиной до 512 токенов. При дообучении использовались данные на стандартном хорватском и сербском языках, а также публикации из Twitter; данные дополнялись вариантами без диакритических знаков. В README сообщается F1 91,38 на dev-данных, объединённых с обучающей выборкой. Модель предназначена для извлечения сущностей из текстов BCMS, включая стандартные и неформальные тексты. Она распространяется по лицензии Apache-2.0.

dslim разработал bert-base-NER — модель BERT-base-cased, дообученную для распознавания именованных сущностей в английском тексте. Она относит токены к категориям людей, организаций, мест и прочих сущностей (PER, ORG, LOC, MISC), а также отмечает токены вне сущностей. Модель содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для извлечения имен и организаций из новостных статей и других англоязычных текстов, например, для последующей индексации или анализа документов. Она обучена на англоязычном наборе CoNLL-2003, составленном из новостных статей Reuters; в карточке приведены F1 91,3 на тестовой выборке. Метки и качество могут хуже подходить для других предметных областей и временных периодов. Иногда модель помечает отдельные части слов как сущности, поэтому может потребоваться постобработка. Лицензия — MIT.

Модель huggingface-course/bert-finetuned-ner — версия BERT, дообученная на наборе CoNLL-2003 для разметки именованных сущностей в тексте. Она выполняет классификацию токенов и подходит для извлечения сущностей из предложений и документов. В README указаны результаты на оценочной выборке: F1 0,9433, точность 0,9355 и полнота 0,9514. Модель содержит 135,5 млн параметров, использует архитектуру BERT и обрабатывает последовательности длиной до 512 токенов; доступны форматы PyTorch и TensorFlow. Лицензия — Apache-2.0. README не описывает назначение меток, языки обучающих данных и ограничения качества за пределами оценки на CoNLL-2003.

thanapolsjr/bert-finetuned-ner — модель распознавания именованных сущностей на основе архитектуры BERT, дообученная авторами репозитория на наборе данных CoNLL-2003. Она предназначена для разметки токенов в тексте и выделения сущностей; модель загружается через библиотеку Transformers и использует формат safetensors. Размер модели — 135,5 млн параметров, длина контекста — до 512 токенов. На оценочной выборке указаны F1 0,9434, точность 0,9350, полнота 0,9519 и accuracy 0,9869. Эти результаты относятся к CoNLL-2003; карточка не приводит подробностей о наборах меток или качестве на других данных. Лицензия в предоставленных сведениях не указана.

SoelMgd/bert-pii-detection — модель на основе DistilBERT, дообученная для обнаружения и классификации персональных данных в тексте. Она выполняет токенную классификацию и размечает 56 типов сущностей, включая имена, контакты, адреса, финансовые реквизиты, идентификаторы и учётные данные. Модель предназначена для поиска и маскирования персональных данных, обезличивания наборов текста и проверки текстовых данных в сценариях защиты приватности и соблюдения требований к обработке данных. Использует архитектуру DistilBertForTokenClassification и поддерживает английский язык. Контекст ограничен 512 токенами; качество может снижаться на коротких и длинных текстах, а также на специализированной терминологии. Модель обучена на данных AI4Privacy; в README указаны наборы PII-42k и PII-200k. Лицензия — MIT.

Bylastic — модель классификации текстовых журналов от Byviz Analytics на архитектуре DistilBERT. Она распределяет записи по трём классам: ERROR, WARNING и INFO, чтобы выделять сбои, потенциальные проблемы и обычные сообщения в потоках логов. Модель предназначена для встраивания в конвейеры обработки журналов и интеграции с Elastic; веса доступны в формате safetensors, длина контекста составляет 512 токенов. Модель подходит для автоматической сортировки больших объёмов системных журналов и первичного выявления записей, требующих внимания. Карточка заявляет оптимизацию производительности и интеграцию с Elastic, но не приводит количественных результатов оценки. Лицензия — Apache-2.0.

Chart-To-Table — модель для преобразования изображений диаграмм в структурированные таблицы. Она представлена в работе «Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning» и использует архитектуру UniChart типа vision encoder-decoder. Модель принимает изображение диаграммы и выдаёт текстовую таблицу: строки разделяются маркером `&&&`, а столбцы — символом `|`. Она предназначена для извлечения данных из графиков и диаграмм, чтобы затем использовать их в анализе или обработке табличных данных. В метаданных указаны библиотека Transformers, формат PyTorch и лицензия Apache-2.0.

CodeLlama-13b-Python-hf — языковая модель Meta из семейства Code Llama, представленная в формате Transformers. Это авторегрессионный плотный трансформер на 12,9 млрд параметров, рассчитанный на генерацию и понимание кода с особым упором на Python; модель принимает текст и генерирует текст. Она поддерживает автодополнение кода, но не предназначена для диалога или выполнения инструкций. Контекст составляет 16 384 токена. README указывает английский язык и языки программирования, в частности Python; метаданные отдельно перечисляют код как язык карточки, поэтому языки программирования не включены в поле естественных языков. Модель выпущена Meta в 2023 году и является Python-специализированной производной базовой Code Llama-13B. Для использования действует лицензия Meta Llama 2 с условиями коммерческого применения, изложенными в соглашении Meta.

DevPearl-2x7B — языковая модель с архитектурой Mixture of Experts, собранная louisbrulenaudet из DeepSeek Coder 6.7B Instruct и SQLCoder 7B 2. Она предназначена для диалоговой разработки: генерации и объяснения кода, а также составления SQL-запросов. В конфигурации эксперты связаны с запросами на Python, JavaScript, Java и SQL. Модель имеет архитектуру MixtralForCausalLM, около 6,6 млрд параметров и контекст до 16 384 токенов. Доступна в формате safetensors для Transformers. Лицензия — CC BY-SA 4.0. Карточка описывает модель как MoE для разработки, однако не приводит результатов оценивания; поэтому качество на конкретных языках и задачах может различаться.

Модель rv2307/electra-small-ner — англоязычная модель для распознавания именованных сущностей, разработанная Vipin. Она основана на небольшом дискриминаторе Google ELECTRA и дообучена для классификации токенов; выделяет имена людей, названия организаций и географические объекты. Модель содержит 20,4 млн параметров, принимает текстовые последовательности с контекстом до 512 токенов и предназначена для использования через Transformers. Модель подходит для извлечения сущностей из англоязычных текстов, например для последующей индексации или структурирования документов. В карточке указаны датасеты CoNLL-2003 и ai4privacy/pii-masking-200k. Для объединения меток частей слов автор рекомендует в pipeline Transformers использовать aggregation_strategy="max". На длинных предложениях качество может снижаться; токенизатор distilbert может приводить к ошибочным меткам для частей одного слова. Лицензия — Apache 2.0.

GLiNER2.5 Small — компактная модель извлечения информации от Fastino, построенная на архитектуре GLiNER2 boundary с энкодером DeBERTa-v3-xsmall. Веса содержат 74 млн параметров и доступны в формате safetensors; модель рассчитана на английский язык и поддерживает локальный запуск на CPU, CUDA и MPS. Модель принимает текст и по заданной схеме извлекает сущности, классифицирует текст, находит связи и атрибуты сущностей, а также формирует структурированные записи. Разреженное сопоставление начальных и конечных границ позволяет находить фрагменты произвольной длины в пределах одного окна кодирования; указанный в README предел max_len — 4096 токенов. Модель подходит для быстрой обработки на CPU и периферийных устройствах. Для длинных документов предусмотрена обработка перекрывающимися фрагментами, однако сущность или связь не извлекается, если её границы или связанные сущности не попали в один фрагмент. Обычное извлечение с max_len обрезает текст. Лицензия — Apache-2.0.

Imagine v8 — компактная модель для генерации кода, разработанная и дообученная Interchained на основе deepseek-ai/deepseek-coder-1.3b-instruct. Она предназначена прежде всего для генерации SQL-запросов к PostgreSQL с опорой на схему базы данных, а также для рассуждений о структуре данных и локальной помощи в программировании. Модель содержит 1,3 млрд параметров, использует плотную архитектуру семейства Llama и поддерживает контекст до 16 384 токенов. Для запуска применяется Transformers; веса доступны в формате safetensors. Imagine обучена выполнять задачи с доступной схемой: не придумывать таблицы и столбцы, учитывать неоднозначность запросов и придерживаться контракта только для чтения. Модель рассчитана на локальное или самостоятельное развёртывание. В README приведены результаты отдельной оценки чекпойнта линии v6, а не v8, поэтому их нельзя считать показателем качества этой версии. v8 обозначена как исследовательский чекпойнт; возможны ошибки в SQL, фильтрах и бизнес-смысле, а также отклонения от протокола. Сгенерированные запросы следует проверять, а безопасность обеспечивать правами доступа и проверками на стороне приложения. Лицензия в предоставленных данных не указана.

Это порт модели эмбеддингов Jina AI v5 Text Small Clustering для Apple Silicon. Модель построена на архитектуре Qwen3-0.6B и использует предварительно объединённые адаптеры LoRA для задач кластеризации. Версия MLX предназначена для запуска на устройствах Apple Silicon с ускорением Metal. Модель кодирует поисковые запросы и документы или фрагменты текста в векторы размерностью до 1024. Поддерживается усечение эмбеддингов по схеме Matryoshka до 32, 64, 128, 256, 512, 768 или 1024 измерений. Максимальная длина последовательности — 32 768 токенов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель skshmjn предназначена для генерации запросов MongoDB по запросу на естественном языке. Она дообучена на базе unsloth/Llama-3.2-1B-Instruct и поддерживает создание CRUD-запросов, aggregation pipeline, запросов для индексации и запросов с вложенными структурами и операцией $lookup. Можно передать схему MongoDB, чтобы учитывать структуру данных; без схемы модель генерирует общие запросы. Это плотная языковая модель семейства Llama, доступная для Transformers и в форматах GGUF, включая варианты квантизации. Карточка указывает английский язык. Лицензия — Apache-2.0. Компактный размер базовой модели позволяет запускать её на CPU или GPU, однако карточка не приводит отдельной оценки качества или гарантии корректности сгенерированных запросов.

OwenArli разработала Formax v1.0 на основе Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста в диалоговом режиме и точного следования заданным инструкциям по формату ответа. Её можно применять для структурированной обработки данных и создания датасетов; в качестве формата хранения указаны safetensors, а длина контекста составляет 8192 токена. Модель дообучена с помощью LoRA: README указывает ранг 64, alpha 128 и примерно 2% обучаемых весов. Обучение проводилось на последовательностях длиной 4096 токенов в течение одного эпоха. Лицензия — Meta Llama 3 License; условия её использования определяются этим соглашением.

English Anonymiser OpenPII — англоязычная модель Ai4Privacy для обнаружения и редактирования персональных данных (PII) в тексте. Это дообученная для токенной классификации модель ModernBERT-base с 149 млн параметров, рассчитанная на контекст до 8192 токенов; доступны веса Safetensors и формат ONNX. Модель обучена на английской части набора ai4privacy/open-pii-masking-500k-ai4privacy. Модель помечает фрагменты текста, содержащие PII, чтобы их можно было удалить или скрыть. В тесте на отложенной выборке исходного набора заявлены общие точность 99,17%, precision 98,82%, recall 98,83% и F1 98,82%; результаты на реальных данных могут отличаться. По карточке, модель предназначена для редактирования PII и не выполняет полноценную классификацию PII. Перед применением на собственных данных её следует проверить. Распространяется по лицензии MIT.

Это мультиязычная модель эмбеддингов LinkTransformer, разработанная исследователями Гарвардского университета. Она основана на XLM-RoBERTa и дообучена на парах названий компаний и их псевдонимов из Wikidata с помощью контрастивной функции потерь SupCon. Модель кодирует предложения и абзацы в плотные векторы размерности 768; заявленный максимальный размер последовательности в конфигурации — 128 токенов, а контекст модели — 514 токенов. Модель предназначена прежде всего для связывания записей: поиска совпадающих сущностей, дедупликации, кластеризации и объединения данных. Её также можно применять для семантического поиска и оценки сходства предложений в экосистеме Sentence Transformers. Она рассчитана на немецкий, английский, китайский, японский, хинди, арабский, бенгальский, португальский, русский, испанский, французский и корейский языки. Специализация на названиях компаний и псевдонимах Wikidata помогает сопоставлять варианты именования в задачах связывания записей, но не подтверждает такое же качество на других типах сущностей и текстов. Для применения модели необходима библиотека Sentence Transformers или LinkTransformer. Лицензия в предоставленных данных не указана.

Isotonic/mdeberta-v3-base_finetuned_ai4privacy_v2 — модель классификации токенов, дообученная на базе microsoft/mdeberta-v3-base на наборе ai4privacy/pii-masking-200k. Она предназначена для обнаружения и разметки персональных данных в тексте, например перед маскированием или обезличиванием документов. Модель использует архитектуру DeBERTa V3 с 306 млн параметров и принимает последовательности длиной до 512 токенов; доступны форматы Safetensors и ONNX. На тестовом наборе указаны precision 0,9636, recall 0,9731, F1 0,9683 и accuracy 0,9896. В карточке перечислены английский, немецкий, французский и итальянский языки. Лицензия указана как CC BY-NC 4.0; README также описывает отдельные условия Ai4Privacy: бесплатное использование для частных лиц, некоммерческих организаций и компаний до трёх сотрудников, а крупным коммерческим организациям требуется корпоративная лицензия. Перед применением следует сверить точные условия лицензии и проверить качество на собственных данных.

akdeniz27 выпустил модель распознавания именованных сущностей на турецком языке. Это дообученная для NER модель microsoft/mDeBERTa-v3-base на проверенной версии известного набора данных для турецкого NER; архитектура — DeBERTa V2 для классификации токенов, около 306 млн параметров. Модель принимает текст и размечает в нём персон, организации и географические названия. Модель подходит для извлечения сущностей из турецких текстов, например для подготовки данных к поиску, аналитике или последующей обработке документов. Максимальная длина последовательности — 512 токенов. Опубликованные веса доступны в форматах PyTorch и Safetensors по лицензии MIT.

MyAwesomeModel — модель из репозитория asfafaaf3434/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers и PyTorch. В метаданных она классифицирована для задачи feature-extraction и помечена тегами BERT, Transformers и PyTorch, поэтому её можно применять для получения векторных представлений входного текста и последующих задач анализа данных.

MyAwesomeModel — модель на базе архитектуры BERT, доступная через библиотеку Transformers и PyTorch. Согласно метаданным Hugging Face, она предназначена прежде всего для извлечения признаков из текста, то есть преобразования входных последовательностей в векторные представления для последующей обработки.

MyAwesomeModel — модель, размещённая пользователем liuf12123456 и доступная через библиотеку Transformers. Согласно метаданным Hugging Face, она относится к архитектурному семейству BERT, использует PyTorch и предназначена для извлечения признаков из текста, то есть преобразования текстовых входов в векторные представления для последующего анализа.

NusaBert-ner-v1.3 — модель распознавания именованных сущностей, разработанная дообучением cahya/NusaBert-v1.3 на наборе grit-id/id_nergrit_corpus. Она использует архитектуру ModernBERT, содержит 160,3 млн параметров и принимает последовательности длиной до 8192 токенов. Модель размечает 19 типов сущностей в индонезийском тексте: людей, организации, географические объекты, даты и время, денежные суммы, проценты, количества, законы, события, продукты, произведения искусства, языки и другие категории. В оценке на тестовой выборке указаны F1 0,8171, точность 0,8010, полнота 0,8338 и accuracy 0,9477. Подходит для извлечения сущностей из индонезийских документов и подготовки текста к поиску или аналитике. Лицензия — MIT. Приведённые метрики относятся к указанной оценочной выборке; README не уточняет практические ограничения и подробности обучающих данных.

OGSQL-7B — модель OneGate на архитектуре Gemma, дообученная на Gemma 7B Instruct для преобразования запросов на естественном языке в SQL-запросы. Она подходит для интерфейсов к базам данных, где пользователь задаёт вопрос обычным языком, а модель формирует соответствующую SQL-команду. Модель содержит 8,2 млрд параметров, принимает текст и генерирует текст; поддерживает контекст длиной до 8192 токенов. В метаданных указан английский язык. Целевая генерация — SQL, который является языком запросов, а не естественным языком. Модель распространяется по лицензии CC BY 4.0. Карточка не сообщает о точности на конкретных наборах данных или поддерживаемых диалектах SQL, поэтому перед использованием в рабочей системе следует проверять корректность и безопасность сгенерированных запросов.