II.8Инженерия данных и аналитика

Jean-Baptiste разработал эту модель распознавания именованных сущностей на английском языке: она основана на RoBERTa-large и дообучена на датасете CoNLL-2003. Модель размечает токены текста категориями PER (имена людей), ORG (организации), LOC (места), MISC (прочие сущности) и O (токены вне сущностей); префиксы B- и I- в исходной схеме CoNLL-2003 объединены. Модель рассчитана на извлечение сущностей из английских текстов, в том числе писем, чатов и неформальных обсуждений. В README сообщается, что на данных такого типа она лучше распознавала сущности, начинающиеся со строчной буквы. На проверочной выборке CoNLL-2003 указана общая F1-оценка 0,9753; на частном наборе писем и чатов показатели ниже, особенно для организаций. Архитектура — RobertaForTokenClassification, размер — 454,1 млн параметров, длина контекста — 514 токенов. Доступны версии в форматах PyTorch, TensorFlow и ONNX, включая веса Safetensors. Лицензия — MIT.

SLIM-SA-NER — специализированная языковая модель компании llmware для совместного анализа тональности и распознавания именованных сущностей. Она дообучена на llmware/bling-stable-lm-3b-4e1t-v0, основанной на stabilityai/stablelm-3b-4elt. Архитектура — StableLM Epoch с 2,7 млрд параметров; модель принимает текст и формирует текстовый ответ в виде словаря с тональностью и сущностями, например людьми, организациями и местами. Для вызова используется формат функции classify с перечнем нужных полей. Модель предназначена для извлечения тональности и сущностей из текстов, в том числе в прикладных системах, где нужны компактные специализированные модели вместо отдельных классификаторов. Контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch, лицензия — CC BY-SA 4.0. Ответ генерируется как текстовое представление словаря, поэтому его автоматический разбор может завершиться ошибкой; README демонстрирует обработку такой ситуации. В примере также есть несогласованность между указанным форматом вызова и параметром topic, поэтому при интеграции следует проверять формат промпта и результат.

sqlpup-394m-sft — модель на 394,3 млн параметров от shivenkk для преобразования вопросов на естественном языке в SQL. Это декодер архитектуры Llama, обученный с нуля на 9,67 млрд токенов, а затем дообученный на отфильтрованных парах «вопрос — SQL». Модель использует токенизатор byte-level BPE и контекст до 2048 токенов. Модель предназначена для генерации SQL по вопросу пользователя, схеме базы данных и дополнительному контексту. В тестировании на 1534 вопросах dev-выборки BIRD точность выполнения достигла 22,84% при голосовании по семи генерациям и предварительном сжатии схемы. Для корректного использования нужно передавать CREATE TABLE, затем вопрос и строку evidence; модель выводит комментарий с предполагаемыми таблицами и столбцами, а затем SQL. Модель разработал shivenkk. Она распространяется по лицензии MIT. Результаты измерены только на dev-выборке BIRD; качество на других наборах и тестовой выборке не приведено. Большие схемы требуют предварительного сжатия, а около 1% вопросов в конфигурации с голосованием не дают разбираемого SQL.

QuantFactory/stable-code-instruct-3b-GGUF — квантизированная версия модели Stable Code Instruct 3B, созданная QuantFactory с использованием llama.cpp на основе stabilityai/stable-code-instruct-3b от Stability AI. Это авторегрессионная языковая модель с архитектурой Transformer decoder примерно на 2,7 млрд параметров, дообученная из stable-code-3b на общедоступных и синтетических данных с применением Direct Preference Optimization (DPO). Модель ориентирована на английский язык. Модель предназначена для генерации и обсуждения программного кода, общих задач разработки программного обеспечения и генерации SQL. Она поддерживает сценарии диалоговой работы с инструкциями и может использоваться локально в формате GGUF через инструменты экосистемы llama.cpp. В заявленных тестах MultiPL-E оценка pass@1 составила 32,4% для Python, 30,9% для C++, 32,1% для Java и JavaScript, 24,2% для PHP и 23% для Rust; показатели не были подтверждены в метаданных. Заявленная длина контекста и полный перечень поддерживаемых языков программирования не указаны. К сильным сторонам относятся специализация на коде и SQL, инструкционное дообучение, компактный размер и возможность запуска квантизированной версии на локальном оборудовании. Ограничениями являются относительно небольшой размер, английская языковая специализация, отсутствие сведений о длине контекста и неполное покрытие языков программирования; качество результата требует проверки, особенно для критически важного кода. Лицензия указана как Stability AI Community License; для коммерческого использования необходимо ознакомиться с условиями Stability AI и обратиться к коммерческой лицензии Stability AI.

StructLM-13B — языковая модель TIGER-Lab для задач привязки ответов к структурированным знаниям. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров и контекстом до 16 384 токенов; она дообучена на наборе инструкций SKGInstruct, объединяющем 19 задач работы со структурированными знаниями и SlimOrca. Модель принимает текстовые инструкции и линеаризованные структурированные данные, например таблицы, тройки знаний и схемы графов знаний, и генерирует текстовый ответ, соблюдая заданный формат вывода. Модель предназначена для вопросов и рассуждений по табличным данным и графам знаний, проверки фактов, генерации описаний по структурированным данным и преобразования запросов в ответы. В README приведены оценки на наборах ToTTo, GrailQA, CompWebQ, MMQA, Feverous, Spider, TabFact, DART и других. Карточка предупреждает, что модель может уступать по качеству, необходимому для непосредственного применения в чат-ботах и других приложениях. Лицензия — MIT.

StructLM-7B — языковая модель TIGER-Lab для задач привязки запросов к структурированным знаниям. Это дообученная для следования инструкциям плотная модель семейства Llama с 6,6 млрд параметров и контекстом до 16 384 токенов. Она принимает текстовые инструкции и линеаризованные структурированные данные, например таблицы, тройки знаний и схемы графов знаний, и генерирует ответ в заданном формате. Модель предназначена для вопросов и рассуждений по структурированным данным: ответов на вопросы по таблицам и графам знаний, проверки фактов и генерации структурированных ответов. Для обучения использованы набор SKGInstruct с 19 задачами структурированного grounding и SlimOrca. В карточке приведены результаты оценки на задачах ToTTo, GrailQA, Spider, TabFact и других; показатель зависит от конкретной задачи и набора данных. Модель распространяется под лицензией MIT. Авторы указывают, что она предназначена для исследований и может уступать в качестве при обычном диалоге и других сценариях общего назначения.

TAPAS Large — модель Google на базе трансформера, похожего на BERT, для проверки утверждений по содержимому таблиц. Версия из репозитория дообучена на наборе TabFact: по текстовому утверждению и таблице она определяет, подтверждается ли утверждение таблицей или опровергается. Модель содержит 433,9 млн параметров, использует относительные позиционные эмбеддинги с перезапуском индексов в каждой ячейке; для обработки текст и таблица объединяются в последовательность. Контекст — до 1024 токенов по метаданным модели. TAPAS предварительно обучалась на англоязычных таблицах и связанных текстах из Википедии с помощью masked language modeling и дополнительного этапа обучения на синтетических примерах проверки утверждений и числовых рассуждений. Затем модель дообучили на TabFact. Она предназначена для проверки фактов в таблицах и может служить основой для задач вопросов и ответов по табличным данным, однако эта версия обучена именно классификации поддержки или опровержения утверждений. Репозиторий предоставляет веса PyTorch и TensorFlow. Лицензия — Apache 2.0.

Uzbek NER XLM-RoBERTa — модель распознавания именованных сущностей в узбекских текстах, созданная dashakoryakovskaya на основе дообучения FacebookAI/xlm-roberta-large. Она размечает токены по схеме BIO и выделяет организации (ORG), имена (NAME) и географические названия (GEO); предсказания для перекрывающихся окон объединяются по символьным смещениям. Модель построена на архитектуре XLM-RoBERTa large, содержит 658,7 млн параметров и обрабатывает до 514 токенов контекста; для длинных документов используются окна длиной до 512 токенов с шагом 128. Модель рассчитана на узбекские тексты; базовая XLM-RoBERTa мультиязычна, однако карточка не подтверждает качество разметки для других языков. Лицензия в предоставленных данных не указана.

wtp-bert-mini — компактная символьная модель BERT для классификации токенов, опубликованная пользователем benjamin на Hugging Face для проекта wtpsplit. Она предназначена для восстановления границ предложений и связанных задач сегментации текста. Модель содержит около 12 млн параметров, принимает текстовые последовательности длиной до 512 токенов и поддерживает множество языков; репозиторий включает веса PyTorch и ONNX. Карточка модели распространяется по лицензии MIT.

Davlan/xlm-roberta-base-masakhaner — модель распознавания именованных сущностей, созданная дообучением XLM-RoBERTa на наборах MasakhaNER для африканских языков. Она размечает в тексте имена людей (PER), места (LOC), организации (ORG), даты и время (DATE), присваивая метки отдельным токенам. Модель предназначена для извлечения сущностей из новостных текстов на амхарском, хауса, игбо, киньяруанда, луганда, нигерийском пиджине, суахили, волоф и йоруба. Архитектура — XLM-RoBERTa для классификации токенов, около 305,2 млн параметров; максимальный родной контекст — 514 токенов. Доступна в формате PyTorch и рассчитана на использование с Transformers. Карточка сообщает о высокой точности на задаче NER, однако обучение проводилось на размеченных новостных статьях за ограниченный период, поэтому качество может снижаться на текстах других жанров и предметных областей. Лицензия в доступных данных не указана.

FacebookAI/xlm-roberta-large-finetuned-conll03-english — многоязычная модель XLM-RoBERTa-large, дообученная на английском наборе CoNLL-2003 для классификации токенов. Архитектура основана на RoBERTa; размер модели — 658,7 млн параметров, длина контекста — 514 токенов. Базовая XLM-RoBERTa обучалась на 100 языках, однако эта версия дообучена на англоязычных данных. Модель предназначена прежде всего для распознавания именованных сущностей в тексте, а также может применяться для разметки частей речи. Она присваивает метки отдельным токенам и подходит для извлечения сущностей из английских документов. Для других языков качество после дообучения на английском наборе не гарантируется. Возможны систематические смещения при распознавании сущностей разных демографических групп; результаты следует проверять. В README лицензия не указана.

Yi-9B-Coder — языковая модель для генерации кода, созданная дообучением Yi-9B командой TechxGenus. Модель содержит 8,6 млрд параметров, использует плотную архитектуру семейства Llama и доступна в формате safetensors для Transformers. Контекст составляет 4096 токенов. Модель обучали на дополнительных 0,5 млрд токенов, связанных с программированием, в течение трёх эпох. Она принимает текстовые инструкции в формате Alpaca без системного промпта и генерирует текст, прежде всего код. В README приведён результат 69,5 pass@1 на HumanEval-Python. Подходит для генерации кода по инструкциям и решения задач программирования. По заявлению авторов, модель может ошибаться и выдавать вводящую в заблуждение информацию, слабо справляется с задачами вне программирования и прошла ограниченное тестирование. Лицензия — Apache-2.0.

Zero-shot SELECTRA Medium — испаноязычный классификатор с архитектурой ELECTRA, разработанный авторами, указанными в карточке модели: David Fidalgo, Daniel Vila, Francisco Aranda и Javier Lopez. Модель дообучена на испанской части набора XNLI и предназначена для классификации текста по заданным пользователем категориям без отдельного обучения на этих категориях. Модель содержит около 47,5 млн параметров, принимает текст и использует шаблон гипотезы на испанском языке. Контекст ограничен 512 токенами. В оценке авторов SELECTRA Medium показала точность 0,807 на тестовой части XNLI и 0,589 при классификации испанских резюме MLSUM по пяти выбранным меткам; эти результаты относятся к указанным наборам и настройкам оценки. Модель компактнее прежнего классификатора на BETO и в этих тестах превзошла его. Распространяется по лицензии Apache-2.0.

Это модель для распознавания именованных сущностей в немецком тексте. Она основана на bert-base-german-cased и дообучена на собственном наборе данных, состав которого в карточке не раскрыт. Архитектура — BERT для классификации токенов; модель содержит 136,3 млн параметров и обрабатывает контекст длиной до 512 токенов. Модель подходит для разметки немецких текстов по типам сущностей. На указанном в карточке наборе оценки она получила F1 0,7772, точность 0,7134 и полноту 0,8536; результаты на других данных могут отличаться. Распространяется по лицензии MIT.

Это японская модель распознавания именованных сущностей из книги «Введение в большие языковые модели», глава 6. Её разработчики взяли cl-tohoku/bert-base-japanese-v3 и дообучили на наборе llm-book/ner-wikipedia-dataset, добавив CRF-слой к выходному слою BERT. Модель содержит 138,4 млн параметров, работает через Transformers и принимает текстовые фрагменты длиной до 512 токенов. Модель выделяет в японском тексте сущности, например имена людей и географические названия, и возвращает их типы и оценки уверенности. Подходит для извлечения сущностей из текстов, подобных статьям Википедии. Лицензия — Apache License 2.0.

KBLab/bert-base-swedish-lowermix-reallysimple-ner — модель для распознавания и классификации именованных сущностей в шведском тексте. Она основана на KB-BERT и дообучена на корпусе SUCX 3.0 NER с упрощёнными метками и данными, частично приведёнными к нижнему регистру. Для разметки использована схема без BIO-различения начала и продолжения сущности. Модель построена на архитектуре BERT, содержит около 151,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Она предназначена для извлечения именованных сущностей из шведских текстов. По карточке указаны форматы PyTorch и Safetensors. Сведения о лицензии отсутствуют в предоставленных материалах.

savasy/bert-base-turkish-sentiment-cased — модель анализа тональности турецких текстов на основе BERTurk. Это BERT-модель с головой классификации последовательностей, содержащая 137,8 млн параметров; она принимает текст и относит его к одному из двух классов тональности, обозначенных LABEL0 и LABEL1. В примерах карточки LABEL1 соответствует положительной тональности, а LABEL0 — отрицательной. Модель предназначена для классификации отзывов и комментариев на турецком языке, в том числе пакетной обработки строк из TSV-файлов. Максимальная длина контекста составляет 512 токенов. Доступны веса в форматах PyTorch, Flax и Safetensors. В карточке не приведены сведения о лицензии, поэтому условия использования по ней определить нельзя.

Это модель для распознавания именованных сущностей в сообщениях Twitter/X, разработанная в рамках проекта T-NER. Она дообучена на bert-base-cased на наборе tner/tweetner7, используя обучающую часть train_all; архитектура — BERT для классификации токенов, размер — 135,5 млн параметров, максимальный контекст — 512 токенов. Модель выделяет семь типов сущностей: организации, произведения творчества, события, группы, локации, людей и продукты. На тестовой выборке 2021 года micro F1 составил 0,623, при этом лучший показатель по классам — для людей (0,820), а самый низкий — для произведений творчества (0,389). Для обработки предусмотрена библиотека T-NER; сообщения следует предварительно привести к формату TweetNER7, включая специальное представление имён аккаунтов и URL. Язык модели — английский. Лицензия в предоставленных данных не указана.

ByT5-small — небольшая предобученная модель Google на архитектуре T5, работающая напрямую с последовательностями байтов UTF-8 и не требующая токенизатора. Она содержит около 364,6 млн параметров и обучалась на mC4 с задачей восстановления замаскированных фрагментов; для практического решения конкретных задач её необходимо дообучить. Модель предназначена для последующего дообучения на задачах преобразования текста: например, для работы с шумными или ошибочными текстами, где важны написание и произношение. Предобучение охватывает многоязычный текст, а обработка байтов позволяет принимать текст на разных языках без отдельного словаря токенов. По данным README, ByT5-small превосходила mT5-small на TweetQA. Это модель кодировщик-декодер для генерации текста по текстовому входу. Последовательности байтов обычно длиннее токенизированных последовательностей, что может снижать скорость обработки. Лицензия — Apache-2.0.

Карточка модели CollectionStudio/chronos-2-small на Hugging Face совпадает с карточкой autogluon/chronos-2-small, поэтому описание составлено по ней. Chronos-2-Small — небольшая версия модели Chronos-2 от AutoGluon, предназначенная для прогнозирования временных рядов. Она построена на архитектуре T5 и содержит 22 млн параметров по метаданным Hugging Face; README указывает 28 млн параметров. Для работы используется библиотека chronos-forecasting. Модель подходит для построения прогнозов по временным рядам и может применяться как предварительно обученная модель для таких задач. В карточке указаны наборы данных autogluon/chronos_datasets и Salesforce/GiftEvalPretrain. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Данные карточки не уточняют поддерживаемые языки, конкретные отраслевые сценарии и ограничения качества прогнозов.

Карточка модели Mattral/chronos-2-small на Hugging Face совпадает с карточкой autogluon/chronos-2-small, поэтому описание составлено по ней. Chronos-2-Small — небольшая версия модели Chronos-2 от AutoGluon, предназначенная для прогнозирования временных рядов. Она построена на архитектуре T5 и содержит 22 млн параметров по метаданным Hugging Face; README указывает 28 млн параметров. Для работы используется библиотека chronos-forecasting. Модель подходит для построения прогнозов по временным рядам и может применяться как предварительно обученная модель для таких задач. В карточке указаны наборы данных autogluon/chronos_datasets и Salesforce/GiftEvalPretrain. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Данные карточки не уточняют поддерживаемые языки, конкретные отраслевые сценарии и ограничения качества прогнозов.

CodeCalc-Mistral-7B — объединённая модель на базе Mistral, созданная sethuiyer методом TIES из uukuguy/speechless-code-mistral-7b-v1.0 и upaya07/Arithmo2-Mistral-7B. Она предназначена для генерации текста в формате инструкций, включая написание программного кода и решение математических задач. Модель имеет плотную архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; для работы используются Transformers и веса в формате Safetensors. В карточке приведены результаты тестов, в том числе GSM8K: автор сообщает об улучшении результата на этом наборе по сравнению с одной из базовых моделей при сопоставимых показателях на других перечисленных бенчмарках. Модель выпущена под лицензией Apache-2.0. Карточка не приводит подробных сведений о качестве на реальных задачах или ограничениях, поэтому результаты тестов не гарантируют точность ответов и генерируемого кода.

CodeFuse-StarCoder2-15B — языковая модель для программирования, разработанная CodeFuse и дообученная с помощью LoRA на нескольких задачах, связанных с кодом, на базе bigcode/starcoder2-15b. Она предназначена для генерации кода и диалогового взаимодействия при решении задач программирования. В README приведены результаты HumanEval pass@1 73,17% и оценки HumanEval-X для Python, JavaScript, Java, C++, Go, а также MBPP-500; эти показатели относятся к указанным тестам и не гарантируют качество в других сценариях. Модель использует плотную архитектуру StarCoder2 и содержит 21,7 млрд параметров; длина контекста — 16 384 токена. Репозиторий содержит веса Safetensors, а метаданные указывают поддержку чата. Для запуска README перечисляет PyTorch, Transformers, SentencePiece и CUDA. Лицензия в предоставленных данных не указана.

DCUBE Language Identifier — компактная модель для определения языка по тексту, разработанная DCUBE Ai. Она дообучена методом LoRA SFT на базе Qwen2.5-0.5B-Instruct с использованием дистилляции знаний от Qwen3-14B и примеров из набора papluca/language-identification с дополнительными данными на малаялам. Модель принимает текст и отвечает названием распознанного языка; поддерживает 21 язык, включая русский, английский, китайский, арабский и хинди. Модель семейства Qwen2 имеет плотную архитектуру, около 494 млн параметров и контекстное окно 32 768 токенов. В репозитории доступны веса Safetensors и GGUF; шаблон чата может автоматически добавлять инструкцию для определения языка. Лицензия — Apache-2.0. README рекомендует устанавливать температуру 0 при использовании через LM Studio.

ai4data разработала DevData Search Granite 97M multilingual nopermute cmnrl — биэнкодерную модель эмбеддингов для поиска по структурированным статистическим метаданным. Это дообучение ibm-granite/granite-embedding-97m-multilingual-r2 на наборе DevDataBench; модель предназначена для построения векторов запросов и записей метаданных и последующего поиска по сходству, а не является готовым поисковым сервисом. Модель построена на архитектуре ModernBERT, содержит 97,4 млн параметров и поддерживает контекст до 32 768 токенов по метаданным. В README указана максимальная длина последовательности 512 токенов и отсутствие префиксов запросов и документов. Многоязычная базовая модель рассчитана на сопоставление текстовых запросов и метаданных; особенность этого варианта — обучение на полных схемах с перестановкой порядка полей и их выпадением, чтобы представление меньше зависело от порядка сериализации. Однако в настройках именно этого чекпойнта перестановка полей отключена, а выпадение полей равно нулю. Модель распространяется по лицензии Apache-2.0.

Everyone-Coder-33b-Base — модель для генерации кода из серии EveryoneLLM, созданная сообществом. По карточке, это слияние дообученных версий DeepSeek Coder 33B Base; в метаданных указаны архитектура LlamaForCausalLM, 33,1 млрд параметров и формат safetensors. Модель принимает текст и генерирует текст, поддерживает диалоговый сценарий и контекст до 16 384 токенов. Модель предназначена для решения задач программирования, включая ответы на запросы о коде и прохождение задач на программирование. Автор сообщает о хороших результатах ручных сравнений, но не приводит воспроизводимого описания бенчмарков. В карточке отмечена проблема с завершением генерации: для остановки ответа предлагается специальный шаблон и стоп-строка. Лицензия в метаданных обозначена как other, без конкретных условий в предоставленных данных.

Nickrosh/Evol-Replit-v1 — языковая модель для генерации кода, созданная дообучением ReplitLM на наборе Evol-Instruct-Code-80k-v1. Инструкции в наборе основаны на Code Alpaca 20k и усложнены с помощью эволюционных промптов: они добавляют требования, меняют требования к временной и пространственной сложности и включают примеры с ошибочным кодом для повышения устойчивости ответов. Модель предназначена для генерации кода по инструкциям и решения задач программирования с более подробными и сложными требованиями. В метаданных указаны архитектура MPT и класс MPTForCausalLM; формат файлов — PyTorch. Модель опубликована под лицензией CC BY-SA 4.0. README не приводит численный размер модели, длину контекста или список поддерживаемых языков.

Granite-8B-Code-Instruct-4K — языковая модель IBM Research с 8,1 млрд параметров, дообученная на базе ibm-granite/granite-8b-code-base-4k. Она предназначена для выполнения инструкций по программированию и создания помощников для разработчиков. Модель также обучалась на данных с математическими задачами и примерами вызова функций. Архитектура — плотная LlamaForCausalLM; модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и распространяется в формате Safetensors. Модель обучалась на инструкциях по коду и ряду распространённых языков программирования, а также на математических и общих инструкционных данных. Для языков программирования вне обучающего охвата качество может быть ниже; в таких случаях README рекомендует использовать примеры в контексте. Перед применением в критически важных системах необходимы проверки безопасности и настройка под целевую задачу. IBM не рекомендует выбирать эту модель для новых проектов и указывает, что она предоставлена для исторических и научных целей. Лицензия — Apache 2.0.

MuRIL-Naamapadam — модель распознавания именованных сущностей в текстах на маратхи, пенджаби и телугу. Она разработана на основе MuRIL от Google и дообучена для задачи NER; архитектура — BERT для классификации токенов, размер — 264,8 млн параметров, максимальная длина контекста — 512 токенов. Модель выделяет сущности в предложениях на поддерживаемых языках; для проверки результатов доступен Hosted Inference API на странице модели. В README приведены F1: 0,8341 для маратхи, 0,8328 для телугу и 0,7334 для пенджаби. Указанная лицензия — Apache-2.0.

Модель soddokayo/klue-roberta-large-klue-ner — дообученная для разметки токенов версия klue/roberta-large на датасете KLUE. Она предназначена для распознавания именованных сущностей в корейском тексте. Модель построена на архитектуре RoBERTa, содержит 435,4 млн параметров и принимает контекст до 514 токенов. В README приведены результаты на оценочной выборке: F1 — 0,8365, точность — 0,8292, полнота — 0,8439, accuracy — 0,9664. Для использования нужны библиотека Transformers и веса в формате PyTorch. Лицензия в предоставленных данных не указана.