II.8Инженерия данных и аналитика

Модель autoevaluate/entity-extraction — версия distilbert-base-uncased, дообученная для классификации токенов на наборе данных CoNLL-2003. Она предназначена для извлечения именованных сущностей из текста, например распознавания имён людей, организаций и географических названий. Модель построена на архитектуре DistilBERT, принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. В README приведены результаты оценки на тестовой выборке: F1 0,8972, точность 0,9775, полнота 0,9085. Карточка не описывает ограничения и не уточняет применимость за пределами CoNLL-2003; качество на других жанрах и языках может отличаться. Базовая модель uncased и обучающие данные указывают на английский язык. Лицензия — Apache-2.0.

barunparua/flant5-nltosql-wikisqlandspider — дообученная модель семейства T5 на основе OwaisAhmad/flant5-text2sql-model. Она предназначена для преобразования запросов на естественном языке в SQL, в том числе для сценариев, связанных с наборами WikiSQL и Spider. Модель содержит 123,8 млн параметров, работает с текстом и имеет контекст длиной 512 токенов. В карточке приведены результаты оценки: Loss 0,2761, ROUGE-1 0,6182, ROUGE-2 0,5007, ROUGE-L 0,6013 и ROUGE-Lsum 0,6012. Описание не уточняет поддерживаемые языки, конкретные схемы баз данных и ограничения качества; результаты оценки сами по себе не гарантируют точность на новых данных. Лицензия в предоставленных сведениях не указана.

samarthramesh/gaperon-mmbert-english — модель-классификатор качества английского текста, разработанная в рамках конвейера подготовки данных Gaperon и дообученная на базе jhu-clsp/mmBERT-base. Она оценивает текст по шести измерениям: ясность, связность, глубина, грамматика, полезность и общая оценка; для каждого измерения выдаёт класс low, medium или high. Модель предназначена для оценки и фильтрации веб-текстов и документов перед использованием в обучающих корпусах. В основе — многоязычный энкодер ModernBERT с 22 слоями, размерностью скрытого представления 768 и контекстом до 8192 токенов. К представлению текста добавлены шесть независимых классификационных головок. По данным оценки, macro-F1 на тесте составляет примерно 0,55–0,67 в зависимости от измерения; оценки полезны как сигнал для фильтрации, но не как эталонная разметка. Модель обучена и проверена только на английском тексте, соответствующем схеме разметки исходного корпуса, поэтому оценки могут хуже переноситься на другие жанры и предметные области. Классы качества имеют грубую трёхуровневую градацию. Веса энкодера доступны в стандартном формате Hugging Face, а классификационные головки хранятся отдельно в heads.pt и требуют специального кода загрузки; AutoModelForSequenceClassification их не загружает. Лицензия — MIT.

GLiClass Modern Base v3.0 — компактная модель классификации последовательностей от Knowledgator, созданная на основе архитектуры GLiClass. Она предназначена для классификации текста по заданным меткам в zero-shot-режиме, включая тематическую классификацию и анализ тональности; также её можно использовать для ранжирования документов в RAG-системах. По карточке, модель содержит около 151 млн параметров и занимает 606 МБ. Для дообучения на логических задачах применялись LoRA-адаптеры, чтобы сохранить прежние знания модели. GLiClass выполняет классификацию за один проход и рассчитана на более эффективное использование вычислений по сравнению с cross-encoder. В опубликованных тестах эта версия показала средний результат 0,5571 и скорость 54,46 примера в секунду на GPU A6000 при размере пакета 1; результаты зависят от набора данных и числа меток. Карточка не сообщает поддерживаемые естественные языки или длину контекста. Модель опубликована под лицензией Apache-2.0.

GyroScope — модель компьютерного зрения от LH-Tech-AI для определения ориентации изображения с шагом 90° и автоматического выбора корректирующего поворота. Это ResNet-18, обученная с нуля без предварительно обученных весов; размер модели — 11,2 млн параметров. Модель принимает RGB-изображения размером 224 × 224 и классифицирует их как повёрнутые на 0°, 90°, 180° или 270°. Для обучения использовались изображения ImageNet-1k; в README указана точность на проверочной выборке около 79,8%. Модель предназначена для автоматического исправления ориентации фотографий и изображений в конвейерах обработки данных. Лицензия — Apache-2.0. Модель может ошибаться на симметричных изображениях, где ориентацию трудно определить, и её качество может снижаться на документах, медицинских и спутниковых изображениях, а также абстрактных изображениях. Она определяет только повороты с шагом 90° и не поддерживает произвольные углы.

Eraly-ml/KazBERT-Duplicates — модель на основе BERT, дообученная разработчиком Eraly-ml на KazBERT для классификации пар предложений на казахском языке. Она определяет, являются ли предложения точными, частичными, смысловыми или контекстными дубликатами, и подходит для поиска повторов, проверки текстов на плагиат и предварительной очистки корпусов. В метаданных указаны 137,8 млн параметров, контекст до 512 токенов и формат safetensors; модель доступна по лицензии Apache-2.0. В README приведены результаты оценки на отложенной выборке: точность и F1 составляют 91,05%. Модель ориентирована на казахский язык; качество может снижаться на специализированных юридических и медицинских текстах, а также на длинных или зашумлённых входах.

NeuML/language-id-quantized — облегчённая модель определения языка текста, опубликованная NeuML как экспорт модели идентификации языков FastText для библиотеки staticvectors. Она использует символьные n-граммы и архитектуру статических плотных векторов; 2×256 product quantization сокращает размер до примерно 4 МБ с небольшим снижением точности относительно исходной версии. Модель предназначена для быстрого определения языка входного текста в Python с использованием NumPy. Модель подходит для автоматической маршрутизации текста по языковым обработчикам, разметки многоязычных корпусов и предварительной классификации пользовательских запросов. Карточка указывает поддержку многих языков, но не перечисляет их отдельно. Репозиторий содержит веса в формате safetensors; лицензия — CC BY-SA 3.0. Ограничение, отмеченное автором: квантование немного снижает точность по сравнению с базовой моделью.

yasserrmd/LFM2-350M-Extract-TOON — дообученная с помощью LoRA модель на базе LiquidAI/LFM2-350M-Extract, созданная с использованием Unsloth и датасета yasserrmd/TOON-Unstructured-Structured. Она преобразует текст на естественном языке в структурированный формат TOON по заданной схеме; модель относится к семейству LFM2 и имеет около 444,6 млн параметров, а её контекст составляет 128 000 токенов. Модель предназначена для извлечения полей из неструктурированных текстов, компактного представления данных в конвейерах LLM и подготовки структурированных наборов данных. Лучше всего работает с короткими и средними текстами при явно заданной схеме. Карточка заявляет детерминированную генерацию TOON, но приводит только метрики обучения, а не независимую оценку качества. Доступна по лицензии Apache-2.0. Дообучение проводилось на англоязычных данных; многоязычная настройка не выполнялась. Для точного извлечения требуется явное описание схемы, а при общих запросах точность может снижаться.

farehaheha/llama3.2-3B-text-to-sql — дообученная модель Meta Llama 3.2 3B для преобразования вопросов на естественном языке в SQL-запросы с учётом контекста базы данных. Она основана на плотной архитектуре LlamaForCausalLM с 3,2 млрд параметров и предназначена для генерации запросов по текстовому описанию задачи и схемы данных. Модель обучена методом QLoRA на наборе Gretel AI Synthetic Text-to-SQL: использовались около 5 850 примеров из тестовой части набора, один проход обучения и адаптер LoRA ранга 16, объединённый с базовой моделью. Для локального запуска также указана версия GGUF Q4_K_M; метаданные репозитория указывают формат safetensors. Нативная длина контекста — 131 072 токена. Модель подходит для прототипов интерфейсов, которые переводят вопросы пользователей в запросы к базам данных, и для локального помощника по подготовке SQL. В карточке указан английский язык. Качество на независимых базах данных и обобщение на новые схемы не описаны; обучение на примерах из тестового раздела ограничивает интерпретацию результатов. Сведения о лицензии в предоставленных данных отсутствуют.

Multilingual Anonymiser OpenPII — модель Ai4Privacy для обнаружения, классификации и редактирования персональных данных в тексте. Это дообученная на наборе open-pii-masking-500k-ai4privacy модель ModernBERT-base с архитектурой ModernBertForTokenClassification и 149 млн параметров. Репозиторий содержит веса Safetensors и формат ONNX; максимальная длина контекста — 8192 токена. Модель размечает фрагменты текста категориями PII, например именами и фамилиями, адресами электронной почты, датами и временем, чтобы их можно было скрыть или заменить. Она предназначена для анонимизации и категоризации PII в многоязычных документах. Карточка приводит результаты оценки на тестовой части обучающего набора: F1 составляет 91,50% в целом и 84,91% при макроусреднении; качество в реальных текстах может отличаться. Заявлена поддержка французского, английского, немецкого, телугу, хинди, итальянского, испанского и нидерландского языков. В карточке отмечены более низкая точность для некоторых категорий, включая номера паспортов и водительских удостоверений, и необходимость проверять качество на собственных данных. Модель распространяется по лицензии MIT.

Lloro — языковая модель Semantix Research Labs для анализа данных на Python по запросам на португальском языке. Это дообученная с помощью QLoRA модель CodeLlama-7b-Instruct на синтетическом наборе инструкций и примеров кода; архитектура — плотная LlamaForCausalLM, размер — 6,6 млрд параметров. Модель принимает текст и генерирует текст, включая Python-код. Метаданные указывают контекст до 16 384 токенов; в README для выпуска V3 указано увеличение контекста до 2 048 токенов. Lloro подходит для запросов о проведении анализа данных, написания и пояснения кода на Python в португалоязычных сценариях. README сообщает, что модель также понимает английский, но основной язык — португальский. Модель создана для генерации кода по текстовым инструкциям; качество ответов следует проверять на целевых данных и в исполняемой среде. Лицензия — Llama 2.

Magicoder-S-CL-7B — языковая модель для генерации кода, разработанная Юсяном Вэем, Чжэ Ваном, Цзявэем Лю, Ифэном Дином и Линмином Чжаном. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 6,6 млрд параметров и контекстом до 16 384 токенов; она дообучена на базе CodeLlama-7b-Python-hf. Модель предназначена прежде всего для задач программирования: генерации кода по инструкциям и решения других кодовых задач. При обучении использованы наборы Magicoder-OSS-Instruct-75K и Magicoder-Evol-Instruct-110K. Она может ошибаться и хуже справляться с задачами, не связанными с кодом. Лицензия — Llama 2.

Moderncamembert-4entities — модель распознавания именованных сущностей для французского языка, разработанная Лоиком Бурдуа из Centre Aquitain des Technologies de l'Information et Electroniques. Она дообучена на базе almanach/moderncamembert-cv2-base и размечает токены как географические объекты (LOC), персон (PER), организации (ORG), прочие именованные сущности (MISC) или фоновые токены. Обучающий корпус frenchNER_4entities объединяет и очищает французские наборы данных NER; всего в нём 384 773 примера для обучения, валидации и тестирования. Модель использует архитектуру ModernBERT с классификационной головой для токенов, содержит 135,5 млн параметров и поддерживает контекст до 8192 токенов. В опубликованной оценке общий F1 составил 0,983; по классам результаты различаются — например, F1 для LOC равен 0,960, а для MISC — 0,811. Модель принимает французский текст и выдаёт метки сущностей для его токенов. Распространяется по лицензии MIT.

nesemenpolkov/msu-wiki-ner — модель для распознавания именованных сущностей в русскоязычном тексте. Автор дообучил Babelscape/wikineural-multilingual-ner на датасете RCC-MSU/collection3 для задачи классификации токенов. Модель на архитектуре BERT содержит 205,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки BIO для персон, организаций и географических объектов. Модель подходит для извлечения имён людей, названий организаций и мест из русскоязычных документов. В карточке приведены результаты на валидации после трёх эпох: F1 — 0,968, точность — 0,963, полнота — 0,974. Эти показатели относятся к указанному набору данных; автор предупреждает, что на текстах на других языках качество может быть низким. Модель распространяется под лицензией, сведения о которой в предоставленных данных отсутствуют.

Это англоязычная модель распознавания именованных сущностей: энкодер BERT base uncased с головой классификации токенов, дообученный на наборе CoNLL-2003. Она присваивает метку каждому токену и выделяет людей, организации, местоположения и прочие сущности в новостном тексте. Модель содержит 136,7 млн параметров, использует контекст до 512 токенов и доступна в формате safetensors через библиотеку Transformers. На тестовой выборке CoNLL-2003 указаны precision 0,896, recall 0,909 и F1 0,902 на уровне сущностей; слабее всего модель распознаёт класс MISC. Она рассчитана на английские новости, а uncased-токенизатор не сохраняет регистр и может разбивать многословные сущности на подслова; для объединения фрагментов в сущности README рекомендует aggregation_strategy="simple". Лицензия — Apache-2.0.

Narwhal-7b-v3 — языковая модель Vezora, созданная слиянием методом Tie на основе OpenChat 3.5 и una-cybertron-7b-v2-bf16. Это плотная causal language model семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и, по карточке, особенно хорошо подходит для автоматической разметки данных: она может присваивать предложениям метки тональности и возвращать результат в JSON. Её можно применять для предварительной разметки текстовых корпусов, классификации тональности по предложениям и подготовки структурированных обучающих данных с последующей проверкой человеком. README приводит пример на английском языке; метаданные не задают список поддерживаемых языков. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Заявление о качестве в карточке не сопровождается оценками или сравнительными тестами, поэтому точность разметки следует проверять на целевых данных.

NERDE-base — дообученная модель на архитектуре BERT для распознавания именованных сущностей в тексте на португальском языке. Модель разработана на основе pierreguillou/bert-base-cased-pt-lenerbr и дообучена на наборе данных nerde. Она содержит 136,1 млн параметров, принимает последовательности длиной до 512 токенов и выдаёт метки для токенов. На оценочной выборке указаны Precision 0,9119, Recall 0,9153, F1 0,9136 и Accuracy 0,9842. Модель предназначена для извлечения сущностей из португальских текстов; доступные сведения не уточняют набор типов сущностей и ограничения по жанрам или доменам. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Это крупная модель распознавания именованных сущностей для английского языка, поставляемая вместе с библиотекой Flair. Она присваивает токенам 18 типов сущностей, включая даты, числовые значения и названия событий, и предназначена для разметки сущностей в англоязычных текстах. Модель использует документные эмбеддинги XLM-R и архитектуру FLERT; для OntoNotes в карточке указан F1-score 90,93. Репозиторий содержит веса PyTorch, а для применения требуется библиотека Flair. Сведения о лицензии в предоставленных данных отсутствуют.

liaad/NER_harem_bert-base-portuguese-cased — модель для распознавания именованных сущностей, дообученная разработчиком на наборе данных HAREM на основе neuralmind/bert-base-portuguese-cased. Она использует архитектуру BERT для классификации токенов и предназначена для разметки сущностей в текстах на португальском языке. В карточке приведены результаты на оценочной выборке: F1 0,7106, точность (precision) 0,6853, полнота (recall) 0,7378 и accuracy 0,9522. Модель содержит 136,1 млн параметров и принимает последовательности длиной до 512 токенов. Распространяется по лицензии MIT.

Это большая модель распознавания именованных сущностей для испанского языка, распространяемая вместе с библиотекой Flair. Она выполняет токенную классификацию и размечает в тексте имена людей, географические названия, организации и ещё один класс сущностей; в README этот четвёртый класс не раскрыт. Модель основана на документных эмбеддингах XLM-R и архитектуре FLERT. Для испанской части CoNLL-03 указана оценка F1 90,54. Модель подходит для извлечения сущностей из испанских текстов, например для последующего поиска, анализа документов и подготовки данных. Использование предполагает библиотеку Flair; сведения о лицензии в предоставленных данных отсутствуют.

OpenCodeInterpreter-DS-33B — модель генерации кода из семейства OpenCodeInterpreter, разработанного для объединения генерации программ с их выполнением и последующей доработкой по обратной связи. Модель основана на deepseek-coder-33b-base и использует плотную архитектуру LlamaForCausalLM с 33,1 млрд параметров. Она принимает текстовые запросы и генерирует текст, в том числе программный код; семейство рассчитано на итеративное улучшение решений с учетом результатов выполнения кода. Модель подходит для написания кода по описанию задачи, создания программных решений и интерпретации кода. Контекст составляет 16 384 токена. В карточке указана поддержка английского языка и лицензия Apache-2.0. Описание семейства говорит о пользе обратной связи от выполнения кода, но не подтверждает, что этот репозиторий сам содержит среду исполнения или автоматически выполняет код.

OpenMed-PII-ClinicalBGE-Large-335M-v1 — англоязычная модель OpenMed для обнаружения и классификации персональных и медицинских данных в тексте. Это дообученная архитектура BERT на основе BAAI/bge-large-en-v1.5 с классификационной головой для разметки токенов; метаданные указывают 433,9 млн параметров и контекст до 512 токенов. Модель выявляет 54 типа чувствительных сущностей, включая имена, адреса, контактные данные, медицинские идентификаторы, финансовые сведения и сетевые идентификаторы. Модель предназначена для поиска и последующего удаления или маскирования чувствительной информации в клинических записях, медицинских документах и корпусах данных, а также для аудита наборов документов. В README приведён результат Micro F1 0,9546 на тестовой выборке из 2 000 примеров NVIDIA Nemotron-PII; качество различается между типами сущностей, а для некоторых категорий указаны более низкие оценки. Модель можно использовать через Transformers pipeline для распознавания сущностей. Основной язык модели — английский. Она может пропускать чувствительные данные, а качество зависит от предметной области; README рекомендует проверку человеком в критически важных сценариях. Лицензия — Apache-2.0.

OpenThinker3-7B — языковая модель с открытыми весами, разработанная командой Open Thoughts для задач рассуждения. Она дообучена методом supervised fine-tuning на базе Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts3-1.2M, включающем вопросы по математике, программированию и естественным наукам. По данным авторов, модель обучалась без RL и показала улучшение по сравнению с предыдущими моделями OpenThinker в приведённых тестах. Модель имеет плотную архитектуру Qwen2 с 7,1 млрд параметров, принимает текст и генерирует текст. Контекст составляет до 32 768 токенов; поддерживаются чатовый режим и интерфейс вызова инструментов. Модель предназначена для решения математических задач, написания и анализа кода, научных вопросов и пошагового рассуждения. Доступна по лицензии Apache 2.0.

radlab/pii-pl-v1.0 — модель распознавания именованных сущностей в польском тексте, разработанная Radlab на базе polish-roberta-8k и дообученная для выделения персональных данных. Она размечает токены по девяти категориям, включая контактные данные, и предназначена для конвейеров анонимизации и задач защиты данных. Модель использует архитектуру RoBERTa для классификации токенов, принимает текст и поддерживает контекст до 8194 токенов. В обучении использовалась обобщённая версия набора KPWr-NER; в README приведены метрики оценки, включая Macro F1 0,8430. Модель подходит для поиска персональных сущностей в польских документах перед их обезличиванием. Она также выделяет другие типы именованных сущностей, поэтому результаты требуют проверки на соответствие конкретной схеме анонимизации. Модель распространяется по лицензии Apache 2.0; для набора данных KPWr-NER указана лицензия CC-BY-3.0.

OpenMed разработала OpenMed/privacy-filter-multilingual-v2 — мультиязычную модель для извлечения персональных данных из текста. Это полноценно дообученная на базе openai/privacy-filter модель с архитектурой MoE и BIOES-головой классификации токенов. Она размечает фрагменты по 54 категориям PII, используя 217 меток BIOES. В метаданных указано 145,4 млн параметров и контекст до 131 072 токенов; карточка описывает исходную базовую модель как MoE на 1,4 млрд параметров с 50 млн активных параметров на токен. Модель предназначена для обнаружения и последующего маскирования персональных данных в многоязычных текстах; обёртка OpenMed также поддерживает извлечение сущностей и деидентификацию с заменой значений. Поддерживаются арабский, бенгальский, китайский, нидерландский, английский, французский, немецкий, хинди, итальянский, японский, корейский, португальский, испанский, телугу, турецкий и вьетнамский языки. Весовые файлы представлены в формате safetensors, лицензия — Apache-2.0. Качество неравномерно: карточка отмечает более слабые результаты для японского, корейского, китайского и ряда языков с низкими ресурсами. Обучающие данные преимущественно синтетические, поэтому для реальных текстов и критически важных сценариев нужны доменная оценка и калибровка; модель не является специализированным решением для клинических медицинских данных и не заменяет проверку требований законодательства.

Qwen-Distilled-Scout-1.5B-Instruct-Gen2 — разработанная Yiqiao Yin (eagle0504) инструктивная языковая модель, дообученная для пошаговых рассуждений и генерации ответов в математике, text-to-SQL, медицинских задачах и программировании на Python. Это декодерная причинная модель семейства Qwen2 с 1,5 млрд параметров, доступная в формате Safetensors и предназначенная для запуска через Transformers. Метаданные указывают контекст до 131 072 токенов, тогда как README сообщает об ограничении входа в 1 024 токена с усечением более длинного текста. Модель подходит для учебных помощников по математике и программированию, генерации SQL-запросов, структурированных ответов и рассуждений по медицинским вопросам. Она ориентирована на английский язык и обучалась на наборах для text-to-SQL, математики, кода и медицинских рассуждений. Указанная лицензия — MIT.

sat-12l-sm — модель семейства Segment Any Text для сегментации текста на предложения, разработанная для использования с библиотекой wtpsplit. Она определяет границы предложений на уровне токенов и построена на архитектуре XLM с 12 слоями Transformer; размер модели — 305,2 млн параметров, контекст — 514 токенов. В карточке заявлено качество уровня state of the art. Метаданные указывают поддержку множества языков, включая английский, арабский, китайский и другие; лицензия — MIT.

sat-9l-sm — модель семейства Segment any Text, разработанная для библиотеки wtpsplit. Она предназначена для сегментации текста на предложения и решает эту задачу как классификацию токенов: размечает границы предложений, в том числе в текстах без надёжной пунктуации. Модель использует архитектуру XLM для классификации токенов, содержит 276,9 млн параметров и рассчитана на последовательности длиной до 514 токенов. Карточка заявляет качество уровня state of the art и указывает, что модель имеет 9 слоёв Transformer. Поддерживаются многие языки, включая арабский, английский, русский, китайский и японский; лицензия — MIT.

slim-sql-1b-v0 — специализированная языковая модель компании llmware для генерации SQL-запросов по запросам на естественном языке. Это дообученная модель TinyLlama с плотной архитектурой Llama и примерно 1 млрд параметров; она принимает текстовые запросы и выдаёт текст SQL. Модель рассчитана на выборку данных из простых таблиц, в том числе с агрегатными функциями и несколькими переменными. Основной язык — английский, контекст составляет 2048 токенов. Доступны веса в формате PyTorch. В тесте на 100 коротких SQL-запросах модель дала 86 точных совпадений; часть ошибок была связана с порядком и именованием элементов запроса, а также с выбором переменных и агрегатных функций. Результат теста ограничен короткими запросами и не гарантирует корректность для сложных схем или других сценариев. Лицензия — Apache-2.0.

rishiraj/smolified-tiny-text-to-sql — компактная языковая модель от Smolify Foundry для преобразования запросов на естественном языке в SQL. В README она описана как доменная DSLM, созданная методом дистилляции reasoning-моделей и рассчитанная на запуск на CPU/NPU и в средах с ограниченной видеопамятью. Метаданные указывают архитектуру Gemma 3 Text с причинно-языковой моделью Gemma3ForCausalLM, 257 млн параметров и контекст до 32 768 токенов; модель принимает текст и генерирует текст. Репозиторий содержит веса safetensors и заявляет оптимизацию с 4-битной квантизацией и смешанной точностью FP16. README указывает совместимость со стандартными средствами инференса, включая vLLM. Модель может помогать формировать SQL по текстовому описанию, однако карточка не сообщает о поддерживаемых СУБД, точности, обучающих данных или проверке безопасности сгенерированных запросов. Лицензия — Apache-2.0.