II.8Инженерия данных и аналитика

Distil Labs разработала эту модель на основе Qwen3-0.6B, дообучив её для преобразования вопросов на естественном языке в SQL-запросы с помощью дистилляции ответов DeepSeek-V3. Это компактная причинная языковая модель архитектуры Qwen3ForCausalLM с 507,9 млн параметров и контекстом до 40 960 токенов. Она принимает текстовые вопросы и схемы баз данных и генерирует SQL; карточка ориентирует её на английский язык и синтаксис SQLite. Модель подходит для текстовых интерфейсов к базам данных, помощников по SQL, разговорной аналитики и учебных инструментов. По описанию, она поддерживает базовые агрегаты и фильтрацию, JOIN, группировку, сортировку, подзапросы и UNION; автор приводит результаты сравнения с базовой моделью и учителем на своих оценках. Ограничения: модель оптимизирована для SQLite, лучше работает со схемами из одной-двух таблиц и может ошибаться на сложных вложенных подзапросах. Лицензия — Apache-2.0.

Distil Labs разработала Distil-Qwen3-4B-Text2SQL — дообученную модель Qwen3-4B для преобразования вопросов на естественном языке в SQL-запросы. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и рассчитана на контекст до 262 144 токенов. В README описано обучение с дистилляцией на синтетических данных, созданных с помощью DeepSeek-V3; для запуска доступны веса в формате Safetensors и варианты GGUF, включая 4-битную квантизацию. Модель подходит для создания интерфейсов к базам данных на естественном языке, помощи в написании SQL, разговорной аналитики и обучения SQL. Она генерирует один запрос с синтаксисом SQLite, поддерживая типичные операции выборки, агрегаты, соединения, группировки и подзапросы. README сообщает о результатах оценивания, но они зависят от использованного набора данных и методики проверки. Модель обучалась только на англоязычных вопросах; лучше всего работает со схемами из одной-двух таблиц и может испытывать трудности со сложными вложенными подзапросами. Распространяется по лицензии Apache-2.0.

Distil-Qwen3-4B-Text2SQL-GGUF-4bit — 4-битная квантизированная GGUF-версия модели distil-labs/distil-qwen3-4b-text2sql от Distil Labs. Она преобразует вопросы на английском языке в SQL-запросы для SQLite; поддерживает запросы с SELECT, фильтрами, агрегатами, JOIN, группировкой, сортировкой, подзапросами и UNION. Формат Q4_K_M и размер около 2,5 ГБ рассчитаны на локальный запуск на потребительских компьютерах и устройствах с ограниченными ресурсами; заявлена совместимость с Ollama. В README приведены результаты внутренних сравнений с базовой Qwen3-4B и моделью-учителем DeepSeek-V3, включая exact match 60%. Это специализированная модель для Text-to-SQL, поэтому сгенерированные запросы следует проверять на соответствие схеме базы данных и требованиям безопасности. Лицензия — Apache-2.0.

EntityBERT — компактная модель Boltuix для распознавания именованных сущностей в английском тексте. Это дообученная для классификации токенов модель на базе boltuix/bert-mini с архитектурой BERT, примерно 5 млн параметров и контекстом до 512 токенов. Она размечает последовательность токенов 36 тегами BIO, охватывающими 18 типов сущностей, включая людей, организации, места и даты. Модель предназначена для извлечения сущностей из новостей, пользовательских текстов и исследовательских корпусов, а также для подготовки структурированных данных для чат-ботов, поиска и графов знаний. В README приведён F1 0,85 на тестовой части boltuix/conll2025-ner; компактный размер подходит для сценариев с ограниченными ресурсами. Модель распространяется по лицензии Apache-2.0. EntityBERT ориентирована на английский язык и может хуже работать с неформальными текстами, редкими сущностями и данными из областей, отличных от обучающего корпуса. Для медицинской, юридической, финансовой или иной специализированной разметки может потребоваться адаптация.

Multilingual Privacy Filter — модель Tabularis AI для обнаружения персональных данных в тексте на 26 официальных языках ЕС. Она дообучена на XLM-RoBERTa-large и решает задачу классификации токенов: размечает фрагменты текста по 74 меткам, соответствующим 42 типам данных, включая имена, контакты, финансовые и идентификационные сведения, медицинские данные и цифровые идентификаторы. Модель рассчитана на выявление и последующую анонимизацию чувствительной информации, проверки конфиденциальности и поддержки процессов, связанных с GDPR. В карточке заявлены глобальная F1-оценка 97,02% и показатели выше 95% для всех языков. Метаданные указывают 658,7 млн параметров и контекст до 514 токенов; в README указан максимальный размер входа 256 токенов, поэтому для практического применения следует ориентироваться на ограничения конфигурации и используемого пайплайна. Модель принимает текст и возвращает метки токенов. Лицензия — Apache-2.0.

GLiNER Large v2.5 — мультиязычная модель распознавания именованных сущностей из сообщества GLiNER. Она использует двунаправленный трансформерный энкодер типа BERT и позволяет находить сущности типов, задаваемых при запросе, вместо работы только с фиксированным набором классов. Модель предназначена для извлечения сущностей из текста и может служить более компактной альтернативой крупным языковым моделям в сценариях с ограниченными ресурсами. Модель работает с библиотекой GLiNER и форматом PyTorch/Safetensors. В карточке указано мультиязычное назначение; конкретные языки и размер этой версии не приведены. Лицензия — Apache-2.0. В README приведены авторы семейства GLiNER, однако отдельная информация о разработчиках версии Large v2.5 отсутствует.

eleldar/language-detection — модель классификации текста, разработанная на базе XLM-RoBERTa и дообученная на датасете Language Identification. Она определяет язык текстовой последовательности, выбирая один из 20 классов: арабский, болгарский, немецкий, греческий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, польский, португальский, русский, суахили, тайский, турецкий, урду, вьетнамский и китайский. Модель использует XLM-RoBERTa с классификационной головой, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. В тестировании на сбалансированном наборе из 20 языков автор сообщает среднюю точность 99,6%; это значение относится к указанному набору и не гарантирует такую же точность на коротких, смешанных или нестандартных текстах. Модель распространяется по лицензии MIT.

Tvisterious/Llama-3.1-8B-text-to-sql-10K-RussianDataset — дообученная Tvisterious языковая модель семейства Llama 3.1 для генерации текста. Название репозитория указывает на настройку для преобразования запросов на русском языке в SQL на наборе данных объёмом 10K; README подтверждает дообучение базовой модели, но не описывает формат входных данных или качество на этой задаче. Модель имеет архитектуру LlamaForCausalLM с плотной структурой и 7,5 млрд параметров. Метаданные указывают контекст до 131 072 токенов и формат safetensors. Она основана на unsloth/meta-llama-3.1-8b-unsloth-bnb-4bit и обучалась с использованием Unsloth и библиотеки TRL. Лицензия — Apache-2.0.

llama-3-sqlcoder-8b-GGUF — это набор GGUF-квантизованных версий языковой модели llama-3-sqlcoder-8b, разработанной Defog и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и, судя по названию и исходной модели, ориентирована прежде всего на задачи, связанные с SQL и программным кодом. README не содержит подробного описания архитектуры, языков, поддерживаемых модальностей или размера контекста. Квантизация выполнена с помощью llama.cpp версии b2940 и метода imatrix. Доступны варианты от Q8_0 до крайне компактных IQ1, поэтому можно выбирать между качеством вывода и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Более агрессивные варианты занимают меньше места, но дают заметно более низкое качество и могут быть непригодны для некоторых задач. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия модели — CC BY-SA 4.0. README не описывает результаты бенчмарков, ограничения по коммерческому применению или требования к аппаратному обеспечению, поэтому качество генерации SQL и практическую производительность необходимо оценивать отдельно для конкретного сценария.

Llama-3-Umievo-Shizuko-sqlcoder-2x8B — языковая модель на архитектуре Mixture of Experts (Mixtral), собранная keitokei1994 с помощью MergeKit. Она объединяет японскую модель Llama-3-Umievo-itr014-Shizuko-8b с моделью rdefog/llama-3-sqlcoder-8b, дообученной на SQL-данных, чтобы сочетать генерацию SQL с ответами на японском языке. Модель предназначена для диалогового взаимодействия и генерации SQL по запросам пользователя. В метаданных указаны 7,5 млрд параметров, контекст до 8192 токенов и поддержка японского и английского языков. Репозиторий содержит веса Safetensors; автор сообщает, что Q4_K_M-версия может полностью загружаться на видеокарту с 12 ГБ памяти и проверялась в llama.cpp и LM Studio. Лицензия — Llama 3. Ограничения качества и точности SQL в карточке не приведены; сгенерированные запросы следует проверять перед выполнением.

dell-research-harvard/lt-un-data-fine-coarse-es — модель LinkTransformer от исследователей Harvard, построенная на Sentence Transformers и BERT. Она дообучена на базе hiiamsid/sentence_similarity_spanish_es для сопоставления наименований товаров с укрупнёнными классификациями продуктов ООН; при обучении использовались связанные данные классификаций статистики ООН и SupCon loss. Модель преобразует предложения и абзацы на испанском языке в плотные векторы размерности 768. Её применяют для связывания записей, кластеризации, удаления дублей и семантического поиска; также она подходит для задач сходства предложений в экосистеме Sentence Transformers. Максимальная длина входа составляет 512 токенов. Для работы с моделью авторы рекомендуют пакет LinkTransformer. В README не указана лицензия, поэтому условия использования по имеющимся данным определить нельзя.

Magicoder-S-DS-6.7B — языковая модель для генерации кода, разработанная Юйсяном Вэем, Чжэ Вангом, Цзя-вэем Лю, Ифэном Дином и Линмином Чжаном. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, дообученная на базе deepseek-coder-6.7b-base. Она принимает текстовые инструкции и генерирует текст, прежде всего исходный код; контекст составляет 16 384 токена. Модель предназначена для задач программирования и обучена на наборах Magicoder-OSS-Instruct-75K и Magicoder-Evol-Instruct-110K. Она ориентирована на разнообразные и реалистичные инструкции по коду, но может ошибаться и хуже справляться с задачами вне программирования. Лицензия указана как DeepSeek; перед использованием следует учитывать её условия и условия OpenAI для синтетических обучающих данных.

Это текстовая языковая модель для генерации кода и помощи в программировании на Python. Она основана на Meta-Llama-3.1-8B-Instruct_CODE_Python_English_Asistant-16bit-v2 от Agnuxo, а GGUF-квантизации подготовлены mradermacher. Модель ориентирована на локальный запуск, генерацию и объяснение Python-кода, а также на сценарии научных исследований и разработки. В карточке указаны английский и испанский языки, а для обучения использовались датасеты jtatman/python-code-dataset-500k и Vezora/Tested-143k-Python-Alpaca. Модель имеет около 8 млрд параметров и распространяется в формате GGUF с различными вариантами квантизации i1-IQ и i1-Q размером примерно от 2,1 до 4,8 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать в качестве; некоторые конфигурации оптимизированы для ARM-процессоров. Размер контекста и точный набор поддерживаемых модальностей в карточке не указаны, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

Agnuxo публикует локальную GGUF-модель для генерации кода и помощи с Python. В README указана поддержка Python, JavaScript, TypeScript, Rust, Go и C++, а также научных вычислений с NumPy, SciPy и Pandas и задач машинного обучения с PyTorch, TensorFlow и JAX. Модель основана на плотной архитектуре семейства Mistral и доступна в формате GGUF F16; карточка предлагает запуск через Ollama и Transformers. Модель предназначена для генерации и сопровождения кода, в том числе для научных вычислений и машинного обучения. README также упоминает координацию агентских задач через MCP и A2A, но не приводит результатов оценки качества или параметров модели. Репозиторий лицензирован по Apache-2.0.

facebook/mms-lid-256 — модель Facebook (Meta), дообученная в рамках проекта Massively Multilingual Speech для определения языка речи. Она построена на архитектуре Wav2Vec2 и классифицирует аудио по 256 языковым классам, выдавая распределение вероятностей. Размер указан как 1 млрд параметров в README и 1,3 млрд в метаданных. Модель принимает аудио с частотой дискретизации 16 кГц. Модель подходит для автоматического распознавания языка в речевых записях, например, для маршрутизации аудио в соответствующую систему распознавания речи или сортировки многоязычных аудиоданных. Поддерживаются 256 языков, включая русский и английский. Это классификатор языка речи, а не модель транскрибирования: она определяет язык, но не преобразует речь в текст. Распространяется по лицензии CC-BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-lid-4017 — модель определения языка речи из аудио из семейства MMS, разработанного Vineel Pratap и соавторами. Она предназначена для классификации аудиозаписи по языку и поддерживает 4017 языков. Архитектура основана на Wav2Vec2; в метаданных указано 1,3 млрд параметров. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт метку языка. Доступны веса PyTorch и Safetensors. Модель подходит для определения языка коротких записей, сортировки аудиоданных по языку и выбора последующей системы распознавания речи. Карточка указывает лицензию CC-BY-NC 4.0, которая ограничивает коммерческое использование. Качество распознавания и ограничения по длительности или условиям записи в доступных данных не описаны.

MyAwesomeModel — модель из репозитория ASD12ZXCQE/MyAwesomeModel-TestRepo, предназначенная для извлечения признаков из текста. В метаданных Hugging Face она отнесена к архитектуре BERT и поддерживает библиотеку Transformers на PyTorch; основная задача обозначена pipeline-тегом feature-extraction.

MyAwesomeModel — модель для извлечения признаков из текста, опубликованная в репозитории xcxvvvb55/MyAwesomeModel-TestRepo. В метаданных Hugging Face она отмечена как BERT-модель на базе PyTorch и библиотеки Transformers с pipeline-задачей feature-extraction, то есть предназначена для преобразования текстовых входов в числовые представления, пригодные для последующей обработки.

Модель djagatiya/ner-bert-base-cased-ontonotesv5-englishv4 — модель распознавания именованных сущностей на основе BERT, разработанная автором репозитория и дообученная на датасете conll2012_ontonotesv5, версия english-v4. Она предназначена для разметки текста по токенам и извлечения сущностей в англоязычных текстах. Модель содержит 135,5 млн параметров, использует архитектуру BertForTokenClassification и принимает последовательности длиной до 512 токенов. В опубликованной оценке указаны precision 87,85, recall 89,63 и F1 88,73. Доступны веса PyTorch и Safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Это крупная англоязычная модель распознавания именованных сущностей, распространяемая вместе с библиотекой Flair. Она размечает текст четырьмя классами NER: людьми (PER), местами (LOC), организациями (ORG) и ещё одним классом, который в доступной таблице README не виден. Модель основана на документных эмбеддингах XLM-R и архитектуре FLERT, обучена на CoNLL-03; для исправленной версии CoNLL-03 указана оценка F1 94,36. Модель предназначена для извлечения имен людей, географических названий и организаций из английского текста, например для индексирования документов и подготовки данных для последующего анализа. Используется через Flair SequenceTagger. В метаданных указана лицензия other, поэтому конкретные условия использования следует проверять в материалах репозитория.

Это быстрая модель распознавания именованных сущностей на английском языке, распространяемая вместе с библиотекой Flair. Она размечает текст 18 типами сущностей OntoNotes, включая даты, числовые значения и события, и предназначена для извлечения структурированной информации из английских текстов. Модель построена на эмбеддингах Flair и архитектуре LSTM-CRF; для работы используется формат PyTorch. В README указан результат F1 89,3 на OntoNotes. Модель можно применять через Flair для автоматической разметки текста. Условия лицензии в предоставленных данных не указаны.

Стандартная модель для распознавания именованных сущностей на французском языке, поставляемая в библиотеке Flair. Она использует эмбеддинги Flair и архитектуру LSTM-CRF для разметки последовательностей; модель предсказывает четыре класса сущностей, включая имена людей, географические названия и организации. В README приведены результаты F1 90,61 на WikiNER. Модель подходит для извлечения имен людей, мест и организаций из французских текстов, например для индексирования документов и подготовки данных для поиска. Для работы требуется библиотека Flair. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных материалах отсутствуют.

flair/ner-multi-fast — быстрая модель распознавания именованных сущностей, поставляемая вместе с библиотекой Flair. Она обучена для английского, немецкого, нидерландского и испанского языков на данных CoNLL-03 и предсказывает четыре типа сущностей: имена людей, географические названия, организации и четвёртый тег из набора NER. В основе — эмбеддинги Flair и архитектура LSTM-CRF. Модель предназначена для извлечения сущностей из текста и может применяться также для родственных языков, например французского, хотя качество для них не приведено. В карточке указаны F1-оценки на CoNLL-03: 91,51 для английского, 85,72 для пересмотренного немецкого набора, 86,22 для нидерландского и 85,78 для испанского. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

nl-lokaal-middel — разработанная LokaalHub модель распознавания персональных данных в нидерландском тексте. Это RoBERTa-модель для классификации токенов, дообученная на базе DTAI-KULeuven/robbert-2023-dutch-base; метаданные указывают 151,6 млн параметров, а README приводит оценки от 110 до 117 млн. Модель использует схему из 14 объединённых категорий PII для типичных задач редактирования и псевдонимизации, а также обучена распознавать дополнительные типы сущностей. Модель рассчитана на поиск имени, BSN, IBAN, адреса, телефона, электронной почты и других идентификаторов в нидерландских документах, а также на роль учителя для дистилляции компактных вариантов. В README сообщается F1 0,8435 на валидации датасета ai4privacy PII 300k; контекст модели составляет 514 токенов. В карточке описаны ограничения по языку, охвату категорий, соглашениям о границах сущностей и смещению синтетических данных; для критически важных процессов рекомендуется сочетать модель с правилами. Лицензия — Apache-2.0.

pico-type v02 — компактная модель-классификатор семейства PicoType, разработанная авторами проекта pico-type. Она анализирует содержимое по исходным байтам и предсказывает несколько характеристик: общий тип, модальность, подтип, язык программирования, язык текста, MIME-тип файла и риск-флаги. Модель предназначена для быстрой автоматической классификации файлов и содержимого в приложениях, включая обработку на CPU и периферийных устройствах. Архитектура — плотная byte-level модель с несколькими выходными головками и Matryoshka-вариантами разных размерностей. В репозитории представлены ONNX-модели в формате FP32; базовый вариант содержит около 1,48 млн параметров и занимает примерно 9,25 МБ. Для входа используются последовательности байтов длиной до 1024. Карточка сообщает о многоязычной поддержке, но не перечисляет конкретные естественные языки. Указаны точность 100% для двух задач и 93,8% для классификации подтипов на синтетической оценке; эти результаты не гарантируют такую же точность на реальных данных. Лицензия — Apache-2.0.

Карточка модели EdgeAIMed/privacy-filter-multilingual на Hugging Face совпадает с карточкой OpenMed/privacy-filter-multilingual, поэтому описание составлено по ней. OpenMed разработала privacy-filter-multilingual — многоязычную модель для извлечения и разметки фрагментов с персональными данными в тексте. Это полноценно дообученная модель OpenAI Privacy Filter с архитектурой MoE и классификационной BIOES-разметкой токенов. Она распознаёт 54 категории PII, преобразованные в 217 меток BIOES, и предназначена для последующего маскирования или обезличивания текста. Модель рассчитана на арабский, бенгальский, китайский, нидерландский, английский, французский, немецкий, хинди, итальянский, японский, корейский, португальский, испанский, телугу, турецкий и вьетнамский языки. Она подходит для поиска персональных данных в документах и сообщениях, подготовки текста к передаче или хранению и интеграции в конвейеры защиты данных. Размер модели по метаданным — 145,4 млн параметров; нативный контекст — 131 072 токена. Качество распознавания неодинаково: авторы отмечают лучшие результаты для немецкого, испанского, французского, итальянского, хинди, телугу и английского; китайский, японский, корейский и некоторые языки с низким ресурсом остаются сложнее. Обучающие наборы синтетические, поэтому реальные медицинские, юридические и веб-тексты могут отличаться от обучающих примеров. Модель не предназначена специально для клинических медицинских данных и не заменяет проверку соответствия требованиям законодательства. Лицензия — Apache-2.0.

Многоязычная модель распознавания именованных сущностей от Julian Schelb. Она размечает каждый токен в формате IOB2, выделяя людей (PER), организации (ORG) и географические объекты (LOC). Модель дообучена на данных WikiANN, автоматически собранных из Википедии, и предназначена для извлечения сущностей из текста на разных языках. Модель основана на XLM-RoBERTa и использует архитектуру XLMRobertaForTokenClassification. Веса содержат около 658,7 млн параметров; контекст — до 514 токенов. Репозиторий предоставляет веса PyTorch и Safetensors. Модель подходит для разметки текста и построения конвейеров извлечения сущностей, особенно в многоязычных сценариях. Качество может снижаться на текстах из предметных областей, отличающихся от данных WikiANN: карточка отмечает ограничения, связанные с охватом и периодом исходных аннотированных текстов. Модель выпущена по лицензии MIT.

SLIM-EXTRACT-PHI-3 — специализированная модель llmware для извлечения сведений из текста по заданному пользователем ключу. Она принимает контекстный фрагмент и название поля, а затем генерирует словарь Python, где этому ключу соответствует список найденных в тексте элементов. Модель построена на архитектуре Phi-3, имеет 3,7 млрд параметров и контекст длиной 4096 токенов; в метаданных указана поддержка чата и библиотека Transformers. Модель предназначена для извлечения сущностей и других значений из текстов по настраиваемому запросу, например названий компаний или университетов. Результат генерируется как текст, поэтому его можно преобразовать в словарь Python, проверив корректность разбора. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. В карточке не заявлены поддерживаемые языки или специализированная предметная область.

speechless-codellama-34b-v2.0 — дообученная модель для генерации кода, созданная на базе CodeLlama-34B. В README указано, что авторы использовали 153 013 примеров из наборов Airoboros, OpenOrca, Open-Platypus и WizardLM, отобранных для задач программирования, рассуждений и планирования. Модель построена на авторегрессионной архитектуре Llama и содержит 33,5 млрд параметров; контекст — до 16 384 токенов. Модель предназначена для генерации и дополнения кода, заполнения пропусков в коде, а также задач по SQL и программированию по инструкциям в формате Alpaca. README приводит результаты HumanEval pass@1 75,61% и SQL-EVAL 125 из 175. Репозиторий содержит веса PyTorch; в карточке также описаны варианты квантизации AWQ, GPTQ и GGUF для инференса на GPU или CPU+GPU. Разработчик исходного семейства Code Llama — Meta; конкретное дообучение опубликовано под именем uukuguy. Основной язык карточки — английский. Указана лицензия llama2. Как и другие языковые модели, модель может выдавать неточный или нежелательный код; перед использованием в приложениях её следует проверять и адаптировать к сценарию.

speechless-thoughts-mistral-7b — дообученная авторами Speechless модель Mistral для генерации текста с акцентом на программирование, рассуждения и планирование. Она создана как базовый вариант для speechless-sparsetral-16x7b-MoE и обучена на примерах инструкций из нескольких наборов данных, включая Airoboros, OpenOrca, Open-Platypus, WizardLM, наборы задач по Python, Spider и Evol-Instruction. Модель имеет плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Карточка использует формат инструкций Alpaca. Модель подходит для генерации и объяснения кода, ответов на инструкции, задач на рассуждение и планирование, а также запросов к базам данных на SQL. Метаданные указывают английский язык и поддержку кода. В README приведены отдельные результаты оценки на бенчмарках, но значение HumanEval не заполнено. Лицензия — Llama 2; применяйте модель в соответствии с её условиями.