II.8Инженерия данных и аналитика

Стандартная англоязычная модель распознавания именованных сущностей, поставляемая в составе библиотеки Flair. Она использует эмбеддинги Flair и архитектуру LSTM-CRF, обучена на CoNLL-2003 и присваивает токенам метки для имён людей, географических названий, организаций и ещё одной категории сущностей. В карточке указана оценка F1 93,06 на исправленной версии CoNLL-03. Модель предназначена для выделения и классификации сущностей в английском тексте, например при разборе новостей и документов. Для использования требуется библиотека Flair. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

NERmembert-large-4entities — модель CamemBERT large, дообученная Лои́ком Бурдуа из Centre Aquitain des Technologies de l'Information et Electroniques для распознавания именованных сущностей во французском тексте. Она присваивает метки токенам и выделяет четыре типа сущностей: людей (PER), организации (ORG), географические названия (LOC) и прочие сущности (MISC).

Модель r1char9/ner-rubert-tiny-news — русскоязычная модель для распознавания именованных сущностей в новостных текстах. Она помечает в тексте имена людей, организации и географические названия; карточка также упоминает ещё два типа сущностей, но их названия в доступном фрагменте таблицы отсутствуют. Модель основана на BERT и дообучена на cointegrated/rubert-tiny2. Она содержит 29 млн параметров, принимает текст с контекстом до 2048 токенов и опубликована в формате PyTorch. Лицензия — MIT.

NuSentiment — дообученная Numind версия e5-v2 на размеченной выборке C4. Это модель эмбеддингов для задач анализа тональности: она преобразует текст в векторные представления, которые можно использовать напрямую или дополнительно дообучить на специализированных данных. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Карточка указывает английский язык; лицензия — MIT.

Ortix Seg LV Small — модель сегментации латышского текста на предложения, разработанная Baltrix в рамках выпуска Ortix. Она выявляет границы предложений в письменном латышском и предназначена для очистки документов, обработки корпусов и предварительной подготовки текста для поиска и других NLP-конвейеров. Это компактная модель token classification на базе DeBERTa-v2 с 53,5 млн параметров и контекстом 1024 токена. Вариант Small использует три слоя и рассчитан на меньшие затраты при выполнении; пакет ortix-seg применяет конфигурацию сегментации и правила постобработки для латышского языка. Модель дообучена на AiLab-IMCS-UL/lv-deberta-base и распространяется по лицензии Apache-2.0.

Модель edumunozsala/phi3-mini-4k-qlora-python-code-20k — дообученная методом QLoRA версия Phi-3 Mini-4K-Instruct от Microsoft, созданная автором репозитория на наборе инструкций по Python-коду python_code_instructions_18k_alpaca. Это плотная авторегрессионная языковая модель семейства Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов. Модель предназначена для генерации Python-кода по текстовым инструкциям и ответов на вопросы о программировании в диалоговом формате. Веса опубликованы в формате Safetensors; используется библиотека Transformers. Лицензия — Apache-2.0. Карточка описывает обучение на задачах с Python-кодом, поэтому результаты за пределами этого сценария могут быть менее надёжными.

Piiranha-v1 — дообученная модель iiiorg на базе microsoft/mdeberta-v3-base для обнаружения и классификации персональных данных в тексте. Она выделяет 17 типов PII, включая имена, адреса, электронную почту, номера телефонов, пароли, данные кредитных карт и идентификаторы. Модель предназначена для помощи в обезличивании и редактировании текстов на английском, испанском, французском, немецком, итальянском и нидерландском языках. Архитектура — DeBERTa V2 для токеновой классификации; модель содержит 306 млн параметров и принимает до 512 токенов по метаданным. В README указан контекст длиной 256 токенов и рекомендация делить более длинные тексты на фрагменты. В карточке приведены результаты тестирования, включая F1 93,12% для классификации по 18 категориям и метрики бинарного обнаружения PII; качество зависит от типа сущности и распределения данных. Лицензия CC-BY-NC-ND-4.0 ограничивает коммерческое использование и распространение производных версий. Предсказания могут быть ошибочными, поэтому модель следует применять как средство поддержки обезличивания, а не как гарантию полного удаления персональных данных.

PII-Tracer-MLX — версия детектора персональных данных PII-Tracer в формате MLX, подготовленная Perplexity AI для работы с MLX. Это модель для обнаружения и маскирования персональных данных в разговорных текстах. В основе — двунаправленный энкодер Qwen3 примерно на 600 млн параметров с backbone perplexity-ai/pplx-embed-v1-0.6b и двумя выходными головами: классификатор токенов с BIOES-разметкой девяти категорий PII и классификатор чувствительности диалога. Для декодирования меток токенов используется ограниченный алгоритм Витерби. Линейные проекции backbone квантизованы до 8 бит с размером группы 64; эмбеддинги и нормализационные веса хранятся в bf16, а обе головы — в fp32. Конфигурация задаёт предел в 4096 токенов. Репозиторий содержит веса и конфигурацию, но не реализацию модели или скрипт загрузки: для инференса нужна совместимая реализация двунаправленного энкодера Qwen3 и голов в MLX. Лицензия — MIT.

Harsh221/qwen2.5-1.5b-pii-redactor — плотная причинная языковая модель Qwen2.5-1.5B-Instruct, дообученная методом supervised fine-tuning с LoRA для поиска и редактирования персональных данных в тексте. Она сохраняет обычный текст и заменяет распознанные фрагменты метками типов данных, например адреса электронной почты, телефона или имени. Модель содержит 1,5 млрд параметров, принимает текст и выдаёт отредактированный текст; в метаданных указан контекст до 32 768 токенов. В описанном обучении использовались набор ai4privacy/pii-masking-300k и последовательности длиной 512 токенов. Модель подходит для предварительной маскировки персональных данных в сообщениях и документах перед передачей на анализ или публикацией. Карточка отмечает, что это генеративный редактировщик, а не гарантия конфиденциальности: возможны пропуски чувствительных фрагментов, нежелательные изменения обычного текста и нестандартные метки. Для длинных документов рекомендуется обрабатывать текст частями и объединять результаты с проверкой. README не указывает поддерживаемые языки; применяйте модель только после оценки на нужных языках и категориях данных. Лицензия — Apache-2.0.

Qwen2.5-Coder-7B-SkyRL-SQL — языковая модель на архитектуре Qwen2, дообученная авторами репозитория lecunyin на базе Qwen/Qwen2.5-Coder-7B-Instruct методом GRPO по рецепту SkyRL-SQL. Модель содержит 7,1 млрд параметров, распространяется в формате Safetensors и имеет контекст до 32 768 токенов. Она предназначена для многошагового Text-to-SQL: получает схему базы данных и вопрос, выполняет исследовательские запросы к SQLite, учитывает результаты или ошибки и формирует итоговый SQL-ответ. В README сообщается о точности выполнения 69,8% pass@1 на отложенной выборке Spider после обучения; модель обучалась на 653 примерах и ожидает специальный формат взаимодействия SkyRL-SQL. Модель выпущена под лицензией Apache-2.0. Результаты и обучающие данные указывают на ограниченную область настройки; качество на других базах, диалектах SQL и форматах запросов отдельно не подтверждено.

MSQaLe — специализированная модель на 2 млрд параметров, разработанная авторами проекта SQaLe на базе Qwen3.5-2B. Её дообучили методом обучения с подкреплением GRPO на наборе SQaLe для преобразования вопросов на естественном языке в SQL-запросы к базам данных SQLite. Вместо передачи всей схемы в одном запросе модель работает как агент: исследует базу через инструменты, ищет нужные таблицы и значения, проверяет запрос и возвращает ответ. Для работы требуется цикл выполнения вызовов инструментов, например из файла sqale_agent.py. В тестах авторов модель показала точность выполнения 66,3% на SQaLe test и 52,3% на BIRD dev; при росте размера схем точность снижается. Модель обучалась и оценивалась только на SQLite. Хотя экспорт включает неизменённую башню зрения Qwen3.5-2B, обучение и оценка касались только текста. Лицензия — Apache-2.0.

MSynSQL — специализированная модель для преобразования вопросов на естественном языке в SQL-запросы к базам SQLite. Её выпустила команда SQaLe как одну из моделей исследования о данных для компактных text-to-SQL систем. Модель основана на Qwen3.5-2B и дообучена методом GRPO на наборе SynSQL-2.5M; размер базовой модели — 2 млрд параметров. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель работает как агент: исследует базу через инструменты, проверяет запрос выполнением и затем возвращает ответ. Для работы требуется цикл, который исполняет вызовы инструментов и передаёт результаты модели; схема базы не включается в исходный запрос. В README указаны результаты 44,3% на BIRD dev, 50,7% на SQaLe test и 13,3% на EHRSQL. Модель обучалась и оценивалась только на SQLite; на больших схемах она менее надёжно находит таблицы и значения, чем MSQaLe, и чаще вызывает инструменты, из-за чего выполнение может занимать больше времени. Архитектура включает неизменённую зрительную часть Qwen3.5, однако обучалась и оценивалась только языковая часть, на текстовых данных.

Это модель reader из семейства ReLiK, опубликованная организацией relik-ie и основанная на DeBERTa-v3-large. Она предназначена для извлечения отношений между сущностями в тексте с использованием кандидатов, подготовленных отдельным этапом поиска; модель анализирует текст и кандидаты и помогает формировать пары сущностей и типы отношений. В карточке Hugging Face указано около 0,4 млрд параметров, архитектура RelikReaderREModel и формат Safetensors. Репозиторий разработчиков описывает ReLiK как систему извлечения информации для связывания сущностей и извлечения отношений, где reader извлекает сущности и отношения из найденных материалов. Для запуска указаны Transformers и пользовательский код модели. Карточка не сообщает языки обучения и длину контекста; суффикс wikipedia указывает на вариант, связанный с Wikipedia, но сам по себе не устанавливает языковой охват. ПО и данные проекта ReLiK распространяются по лицензии CC BY-NC-SA 4.0, поэтому для коммерческого использования следует учитывать её условия.

Модель tner/roberta-large-tweetner7-all разработана в рамках проекта T-NER и представляет собой RoBERTa-large, дообученную для распознавания именованных сущностей в коротких сообщениях Twitter на полном обучающем разделе TweetNER7. Она помечает в тексте сущности семи типов: организации, творческие работы, события, группы, местоположения, людей и продукты. Модель содержит 454,1 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель подходит для извлечения сущностей из коротких сообщений и анализа упоминаний людей, мест и организаций в публикациях. На тестовом наборе 2021 года показала micro-F1 0,657 и macro-F1 0,612; качество различается по категориям: например, F1 для людей составляет 0,829, а для событий — 0,467. Данные TweetNER7 используют специальное представление имён аккаунтов и URL, поэтому для корректной обработки необходимо предварительно привести твиты к формату датасета. Лицензия в предоставленных данных не указана.

Belumind SBD-SQL 0.5B — модель семейства Qwen2, дообученная разработчиком Belumind для ускорения генерации SQL с помощью Set Block Decoding. Это плотная авторегрессионная языковая модель примерно на 494 млн параметров с поддержкой чата и контекстом до 32 768 токенов. В одном чекпойнте объединены предсказание следующего токена и вспомогательное предсказание блока токенов; декодер также использует предложения из n-грамм и проверяет их без отдельной черновой модели. Модель ориентирована на генерацию SQL и ускоренный инференс при пакетной генерации запросов. В описанном тесте на отложенных SQL-документах ускорение составило 1,58 раза относительно обычного greedy-декодирования на тех же весах и GPU; результат зависит от корпуса и метода декодирования. Дообучение заметно ухудшило качество относительно базовой Qwen2.5-0.5B: на приведённом наборе NLL выросла, а точность следующего токена снизилась на 8,4 процентного пункта. Модель распространяется по лицензии Apache-2.0.

SkyCode — открытая модель для генерации кода, выпущенная компанией Singularity-AI (奇点智源). Она обучена на большом объёме кода и предназначена для автодополнения, генерации программ и решения задач по программированию. Модель поддерживает более десяти языков программирования, включая Python, Java, JavaScript, C, C++, Go, PHP, Swift и shell, и, по заявлению разработчиков, лучше понимает китайские комментарии. В README указано 2,6 млрд параметров и приведено сравнение результатов на HumanEval; авторы сообщают о высоких показателях решения задач относительно некоторых открытых моделей. Метаданные классифицируют архитектуру как GPT-2 и указывают контекст длиной 2048 токенов; README описывает структуру как GPT-3. Это авторские заявления и сведения каталога, а независимая проверка приведённых результатов в карточке не представлена. Модель распространяется по лицензии MIT.

SLIM-RATINGS — компактная специализированная языковая модель из серии SLIM, разработанной llmware и дообученной для вызова функции оценки тональности. Она анализирует текст и выдаёт словарь Python с оценкой от 1 до 5, где меньший балл соответствует более негативной, а больший — более позитивной тональности. Модель предназначена для классификации степени тональности в автоматизированных рабочих процессах, где несколько небольших моделей выполняют отдельные этапы обработки. Это плотная decoder-only модель семейства Llama с архитектурой LlamaForCausalLM, содержащая 1 млрд параметров. Она работает с текстом, использует формат PyTorch и имеет контекст длиной до 2048 токенов. В карточке приведён пример вызова через Transformers и интеграцию с llmware; модель настроена на формирование структурированного результата по заданным ключам. Модель распространяется по лицензии Apache-2.0. Она специализирована на оценке тональности по шкале 1–5 и не предназначена для широкого диалога или произвольной классификации; README не приводит отдельной оценки качества или перечня поддерживаемых языков.

pyannote/speaker-diarization-3.0 — открытый конвейер для автоматической диаризации речи, разработанный Séverin Baroudi с использованием pyannote.audio 3.0.0. Модель определяет временные интервалы речи и связывает их с отдельными говорящими, формируя разметку Annotation. Она предназначена для анализа разговоров, встреч, интервью, совещаний и других многоголосых аудиозаписей, в том числе как этап подготовки данных для автоматического распознавания речи. Конвейер принимает монофонический звук с частотой 16 кГц; стерео- и многоканальные записи автоматически сводятся в моно, а аудио с другой частотой дискретизации пересчитывается в 16 кГц. В состав входят автоматическое обнаружение речи, обнаружение смены говорящего и обработка перекрывающейся речи. Количество говорящих обычно определяется автоматически, но его можно задать или ограничить параметрами min_speakers и max_speakers. Обучение проводилось на комбинации наборов AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Сильные стороны модели — полностью автоматическая обработка без ручного VAD и обязательного указания числа говорящих, поддержка перекрывающейся речи и возможность ускорения на GPU. В README указано, что на Nvidia Tesla V100 и Intel Cascade Lake обработка занимает примерно 1,5 минуты на час разговора. Ограничения включают необходимость работы через pyannote.audio 3.0, использование токена Hugging Face и принятие условий доступа для связанных моделей. Модель распространяется по лицензии MIT, однако для её использования требуется пройти gated-доступ на Hugging Face.

speechless-coding-7b-16k-tora — языковая модель для генерации кода, представленная автором карточки как дообучение llm_agents/tora-code-7b-v1.0. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом до 16 384 токенов; для работы используется библиотека Transformers и формат PyTorch. Модель обучалась на инструкционных примерах для программирования, рассуждений и планирования из наборов Airoboros, OpenOrca, Open-Platypus, WizardLM и Python Eval. Она принимает запросы в формате Alpaca и предназначена для генерации кода и ответов на инструкции по программированию. В README приведены результаты HumanEval и MultiPL-E, включая задачи на Python, Java и JavaScript. Модель распространяется по лицензии Llama 2. Результаты бенчмарков не гарантируют качество на произвольных задачах; ответы с кодом следует проверять и тестировать.

Это дообученная модель OpenAI Whisper Base для классификации аудио по языку. Она обучена на наборе данных Common Language и предназначена для определения языка по аудиозаписи. Архитектура — WhisperForAudioClassification, размер — 51,7 млн параметров; модель принимает аудио и выдаёт метку класса. В оценке на тестовой выборке указаны loss 1,0725 и accuracy 0,7525. Модель распространяется по лицензии Apache-2.0.

Whisper Medium FLEURS Language Identification — модель классификации аудио, созданная дообучением OpenAI Whisper Medium на подмножестве FLEURS датасета google/xtreme_s. Она предназначена для определения языка по аудиозаписи речи. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и сохранена в форматах PyTorch и safetensors. На оценочном наборе модель достигла accuracy 0,8805 и loss 0,8413. Базовая Whisper Medium — мультиязычная модель для распознавания речи и перевода, однако эта версия дообучена для идентификации языка. Лицензия — Apache-2.0.

axxd/wizardllama-7b — объединённая авторегрессионная языковая модель на архитектуре Llama, созданная методом SLERP с помощью mergekit на основе CodeLlama-7b-Python-hf и WizardCoder-Python-7B-V1.0. Веса представлены в формате Safetensors; модель содержит 6,6 млрд параметров и поддерживает контекст до 16 384 токенов. Модель предназначена для генерации и автодополнения кода, в первую очередь Python, на основе текстовых запросов. Объединение двух специализированных кодовых моделей может быть полезно при написании функций, фрагментов программ и ответов на вопросы о коде. В карточке нет результатов оценки качества или подробных рекомендаций по использованию. Лицензия — Apache-2.0.

EvanD/xlm-roberta-base-romanian-ner-ronec — модель распознавания именованных сущностей на румынском языке, созданная на базе XLM-RoBERTa и дообученная на наборе данных RONEC. Она размечает токены в тексте и предназначена для извлечения именованных сущностей. В README указана оценка F1-Macro 0,955 на тестовой выборке RONEC. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации токенов и работает с текстом; нативный контекст составляет 514 токенов. Метаданные указывают формат PyTorch и поддержку румынского языка. Лицензия в предоставленных данных не указана.

Davlan/xlm-roberta-large-ner-hrl — многоязычная модель распознавания именованных сущностей, разработанная Davlan на основе XLM-RoBERTa Large, дообученной для разметки токенов. Модель содержит 658,7 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Модель предназначена для извлечения из текста имён людей (PER), организаций (ORG) и мест (LOC) на арабском, немецком, английском, испанском, французском, итальянском, латышском, нидерландском, португальском и китайском языках. Её можно применять для разметки новостных текстов и извлечения сущностей в многоязычных потоках документов. Обучение проводилось на размеченных новостных корпусах для этих десяти языков. Поэтому качество может снижаться на других предметных областях и текстах, отличающихся от обучающих данных. Модель распространяется по лицензии AFL-3.0.

AAP-SQL Column Retriever — двуэнкодерная модель на базе sentence-transformers/all-mpnet-base-v2 для первого этапа поиска колонок в схеме базы данных в рабочем процессе AAP-SQL. Она кодирует запрос и описания схемы для извлечения до 50 кандидатов-колонок, которые затем передаются реранкеру для выбора наиболее подходящих. Модель дообучена на примерах поиска колонок, полученных из обучающей части BIRD и описаний схем, с использованием MultipleNegativesRankingLoss. Модель использует архитектуру MPNet и библиотеку Sentence Transformers; число параметров — 136,7 млн, длина контекста — 514 токенов. Репозиторий содержит веса в формате safetensors. Карточка указывает английский язык. Лицензия в предоставленных данных не указана.

MatinAsgarov выпустил четвёртую версию модели для распознавания именованных сущностей в английском тексте. Это дообученная DistilBERT-base-cased с архитектурой DistilBertForTokenClassification и примерно 65,2 млн параметров; она принимает текст и выдаёт метки для токенов, объединяемые в сущности PERSON, ORGANIZATION, LOCATION, PRODUCT и WORKOFART. Контекст модели составляет 512 токенов. Модель обучалась с повторным включением примеров, содержащих PRODUCT и WORKOFART, и с выбором лучшего чекпойнта по F1. На тестовом разделении из 119 записей её F1 составил 0,717; проверка на 20 внераспределённых предложениях показала улучшения распознавания некоторых организаций и границ многословных сущностей, но также сохраняются ошибки классификации и неоднозначности. Модель подходит для извлечения сущностей из английских текстов, например новостей и коротких документов. Лицензия в метаданных указана как unknown.

ml6team/bert-base-uncased-city-country-ner — модель на базе BERT, дообученная командой ML6 для распознавания названий городов и стран в предложениях. Она выполняет разметку токенов: каждому фрагменту текста присваивается одна из меток OTHER, CITY или COUNTRY. Модель подходит для извлечения упоминаний городов и стран из англоязычных текстов, например для последующей нормализации географических названий или поиска мест в сообщениях. Она содержит 136,7 млн параметров и рассчитана на контекст до 512 токенов. Дообучение выполнено на пользовательском наборе данных, созданном с помощью слабой разметки Ultra-Fine Entity Typing и дополнительной очистки ложных меток. Модель принимает текст и возвращает метки токенов. Карточка описывает распознавание только городов и стран; качество для других типов сущностей и языков не заявлено. Лицензия в предоставленных данных не указана.

osiria/bert-italian-cased-ner — модель BERT базового размера с учётом регистра, разработанная для распознавания именованных сущностей в итальянском тексте. Она дообучена на базе bert-base-italian-cased на датасете WikiNER и дополнительном наборе вручную размеченных абзацев из Википедии. Модель присваивает токенам метки четырёх классов: люди, места, организации и прочие сущности, включая события, товары и услуги. Она предназначена для извлечения сущностей из веб-страниц, новостей и других грамотных цифровых текстов. В README приведён результат F1 92,78 на тестовом наборе; метрики рассчитаны на уровне токенов и усреднены по классам. Модель имеет около 136,9 млн параметров, контекст до 512 токенов и доступна в форматах PyTorch и Safetensors. Модель хуже подходит для шумных текстов с ошибками и сленгом, а также для узкоспециализированных медицинских, финансовых и юридических материалов. Лицензия — Apache-2.0.

Модель almanach/camembertav2-base-ftb-ner разработана Виссамом Антуном из Almanach, Inria-Paris. Это дообученная версия almanach/camembertav2-base на архитектуре DeBERTa-v2, предназначенная для распознавания именованных сущностей во французском тексте с помощью пок tokenной классификации. Модель обучена на наборе FTB-NER и показала F1 0,93966 на этом наборе. Её можно применять для выделения сущностей во французских текстах; число параметров составляет 138,4 млн, контекст — до 1024 токенов. Модель распространяется по лицензии MIT. Качество и переносимость могут снижаться на данных, отличающихся от FTB-NER; карточка также предупреждает о возможных смещениях, унаследованных от обучающих данных.

Карточка модели CollectionStudio/chronos-t5-tiny на Hugging Face совпадает с карточкой amazon/chronos-t5-tiny, поэтому описание составлено по ней. Chronos-T5 Tiny — компактная предварительно обученная модель прогнозирования временных рядов, разработанная Amazon. Она основана на архитектуре T5; временные ряды масштабируются и квантуются в последовательности токенов, после чего модель авторегрессионно генерирует возможные будущие значения. Выборка нескольких траекторий позволяет получить вероятностный прогноз. Модель предназначена для прогнозирования временных рядов по историческим наблюдениям. Её обучали на общедоступных рядах и синтетических данных, созданных с помощью гауссовских процессов. В README для варианта Tiny указано 8 млн параметров и база t5-efficient-tiny; метаданные каталога указывают 4,7 млн параметров. Контекст составляет 512 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку chronos-forecasting. Лицензия — Apache 2.0.