II.8Инженерия данных и аналитика

chabab дообучил инструкционную текстовую модель Google gemma-3-270m-it для преобразования вопроса на естественном языке и описания схемы в один SQL-запрос для Oracle или PostgreSQL. Модель построена на плотной архитектуре Gemma 3, содержит 257 млн параметров и имеет контекстное окно 32 768 токенов. Она принимает текст с указанием диалекта, блоком Schema и блоком Question и генерирует SQL без пояснений и разметки Markdown. На отложенной выборке из 60 примеров точное совпадение с эталонным SQL составило 78,3%: 86,7% для Oracle и 53,3% для PostgreSQL. Модель обучалась на семи схемах; её качество на других схемах не проверено. Запросы не проверяются на реальной базе: возможны ошибки в выборе таблиц, интерпретации вопроса и диалектных конструкциях. Перед использованием SQL требуется проверка, особенно перед выполнением с правами записи. Модель распространяется по лицензии Apache-2.0.

BAAI/IndustryCorpus2_DataRater — модель BAAI для оценки качества текстовых данных датасета IndustryCorpus2. Она классифицирует текст по качеству, учитывая семантическую согласованность, плотность информации и образовательную ценность; авторы приводят пороги: оценка выше 3 означает относительно высокое качество, выше 4 — высокое качество. Модель основана на BAAI/bge-m3 и использует архитектуру XLM-RoBERTa с классификационной головой; размер — 658,7 млн параметров, контекст — до 8194 токенов. Модель предназначена для отбора и ранжирования текстовых примеров при подготовке корпусов для предобучения, в том числе для отсева малополезных фрагментов и повышения средней информативности набора данных. Она принимает текст и выдаёт оценку класса качества. В карточке не перечислены поддерживаемые языки, поэтому нельзя заключить, какие языки она оценивает надёжно. Распространяется по лицензии Apache-2.0.

lid-neural-25.1 — модель для автоматического определения языка текста, разработанная olaverse и дообученная на базе XLM-RoBERTa. Она классифицирует текст по 25 языкам и рассчитана на документы, статьи и фрагменты текста; для коротких запросов и сообщений автор предлагает checkpoint lid-neural-25.2. Модель использует архитектуру XLM-RoBERTa для классификации последовательностей. В README указаны 125 млн параметров и максимальная длина входа 128 токенов, а метаданные Hugging Face — 305,2 млн параметров и контекст 514 токенов; эти сведения расходятся. Для версии .1 заявлена точность 99,9% на отложенной выборке из 2 498 примеров. Обучение требует GPU, запуск инференса возможен на CPU, но медленнее, чем у компактной fastText-модели. Модель поддерживает африкаанс, амхарский, немецкий, английский, французский, хауса, хинди, игбо, индонезийский, итальянский, японский, корейский, нидерландский, польский, португальский, русский, шона, сомали, испанский, суахили, турецкий, вьетнамский, коса, йоруба и зулу. На коротком тексте зулу и коса часто путаются; обучение на человеческих сообщениях и тексте со смешанными языками не проверялось. Лицензия модели — Apache-2.0.

Многоязычная модель ai4privacy для обнаружения и разметки персональных данных в тексте с целью их последующего маскирования. Она разработана Ai4Privacy как дообучение answerdotai/ModernBERT-base и использует архитектуру ModernBERT с классификацией токенов; содержит 149 млн параметров, поддерживает контекст до 8192 токенов и распространяется в форматах Safetensors и ONNX. Модель рассчитана на редактирование PII, а не на полную классификацию персональных данных. В карточке приведены результаты оценки на тестовой части датасета ai4privacy/open-pii-masking-500k-ai4privacy: точность 99,01%, precision 98,72%, recall 98,47% и F1 98,59%. Модель может быть полезна для поиска имен, времени и других категорий персональных данных перед передачей текста или сохранением документов. Она лицензирована по MIT; перед применением на собственных данных следует оценить качество, поскольку результаты на тестовом наборе могут отличаться от реальных.

MistralSQL-7B — дообученная модель bugdaryan на базе mistralai/Mistral-7B-Instruct-v0.1, предназначенная для преобразования вопросов на естественном языке в SQL с учётом схемы таблиц. Модель создана с помощью LoRA и обучена на наборе bugdaryan/sql-create-context-instruction, содержащем примеры запросов, инструкций CREATE TABLE и соответствующих SQL-запросов из WikiSQL и Spider. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она принимает текстовые инструкции в формате Mistral [INST] и генерирует текст, включая SQL. Карточка указывает поддержку английского языка. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Модель подходит для прототипов интерфейсов «вопрос к базе данных» и генерации SQL по описанию структуры таблиц. Качество зависит от соответствия схемы и формулировки запроса обучающим примерам; карточка не приводит оценок качества или результатов тестирования.

Tirendaz/multilingual-xlm-roberta-for-ner — дообученная Tirendaz модель XLM-RoBERTa для распознавания именованных сущностей в тексте. Она выполняет токенную классификацию и рассчитана на извлечение сущностей из многоязычных текстов. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и поддерживает контекст до 514 токенов. В README указаны результаты оценки: F1 0,8631 и loss 0,1415. Датасет обучения и подробности о классах сущностей не описаны. Модель распространяется в форматах PyTorch и safetensors по лицензии MIT.

names-linking-model — модель эмбеддингов на базе MPNet, разработанная исследовательской группой Dell Research–Harvard и предназначенная прежде всего для связывания записей и сопоставления сущностей с помощью пакета LinkTransformer. Она дообучена на sentence-transformers/all-mpnet-base-v2 на данных об именах из связанных переписей населения США; при обучении использовались только имена и функция SupCon loss. Модель преобразует текст в плотные векторы размерности 768 и подходит для кластеризации, дедупликации, связывания и агрегирования записей, а также семантического поиска и задач сходства предложений. Архитектура — MPNet с усреднением токенных представлений и нормализацией; модель рассчитана на английский язык. Метаданные указывают контекст до 514 токенов, а конфигурация README задаёт максимальную длину последовательности 384 токена. Специализация на именах из переписей населения США может ограничивать качество сопоставления других типов записей и данных за пределами английского языка. Модель распространяется под лицензией, указанной в карточке Hugging Face.

RashidNLP/NER-Deberta — модель RashidNLP для распознавания именованных сущностей. Она основана на предобученной DeBERTa-v3-base и дообучена на Few-NERD: наборе данных с более чем 180 тысячами примеров и 4,6 миллиона токенов. Модель обрабатывает текст и присваивает метки токенам, выделяя людей, организации, места, здания, события, продукты, искусство и другие сущности. Модель предназначена для извлечения сущностей из англоязычных текстов, например для последующего поиска, индексирования или анализа документов. Размер составляет 211,6 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса PyTorch и Safetensors; лицензия — MIT. Карточка не приводит оценок качества или дополнительных ограничений.

NeuroBERT-NER — англоязычная модель для распознавания именованных сущностей, разработанная Boltuix на базе boltuix/NeuroBERT-Mini и дообученная для классификации токенов. Модель на архитектуре BERT содержит 9,9 млн параметров, принимает текст с контекстом до 512 токенов и присваивает токенам метки BIO для 18 категорий сущностей, включая людей, организации, места, даты и денежные суммы. Модель предназначена для извлечения сущностей из новостей, пользовательских текстов и исследовательских корпусов, а также для индексации поиска и построения графов знаний. В README приведены результаты на тестовой выборке указанного датасета: precision 0,85, recall 0,87 и F1 0,86; фактическое качество может отличаться на других типах текста и в специализированных областях. Поддерживается английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка отмечает, что датасетная ссылка является заглушкой; заявленные размеры выборок приведены приблизительно.

NSQL-2B — авторегрессионная языковая модель Numbers Station для генерации SQL-запросов по схеме таблиц и запросу на естественном языке. Модель основана на CodeGen-Multi 2B от Salesforce: её дополнительно предварительно обучили на SQL-коде, а затем дообучили на парах «текст — SQL». В карточке указано, что модель предназначена для генерации запросов SELECT и лучше работает с заданным авторами форматом промпта. Обучение включало около миллиона SQL-примеров из подмножества The Stack и пары text-to-SQL из более чем 20 открытых источников. Модель оценивали на наборах Spider и GeoQuery; эти наборы исключили из обучающих данных. Архитектура — плотная CodeGenForCausalLM, число параметров в предоставленных данных не указано; контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch и Safetensors, лицензия — BSD 3-Clause. Модель подходит для прототипирования интерфейсов к базам данных на естественном языке и генерации SQL по схеме. Результат следует проверять перед выполнением: модель ориентирована на генерацию, а карточка не заявляет гарантии корректности или поддержку других типов запросов и диалога.

NuMind NuSentiment-multilingual — модель компании NuMind для получения векторных представлений текста, ориентированных на анализ тональности. Это версия multilingual E5, дообученная на размеченной части корпуса mC4; эмбеддинги можно применять напрямую или дополнительно настраивать на специализированных наборах данных. Модель основана на XLM-RoBERTa, содержит около 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. В метаданных перечислены английский, арабский, французский, немецкий, португальский, итальянский, испанский, китайский, японский и корейский языки. Модель распространяется по лицензии MIT. Ее назначение — представление текста для задач анализа тональности; README не сообщает результатов оценки качества и ограничений по отдельным языкам или сценариям.

Otter Bi MM BERT — мультиязычная модель распознавания именованных сущностей, разработанная автором репозитория whoisjones. Она принимает текст и названия типов сущностей на естественном языке, например «person» или «chemical compound», и возвращает символьные диапазоны найденных сущностей без фиксированного набора меток и отдельной настройки под каждую схему. Модель использует биэнкодер: текст и названия типов кодируются отдельно, а представления меток можно повторно использовать для обработки корпуса с неизменным набором типов. Текстовый энкодер основан на jhu-clsp/mmBERT-base, энкодер меток — на google-bert/bert-base-multilingual-uncased. Максимальная длина последовательности составляет 1024 токена, максимальная длина диапазона — 30 токенов. Модель подходит для мультиязычного извлечения сущностей с пользовательскими типами и обработки больших корпусов, когда набор типов повторяется. Лицензия — Apache-2.0. Порог по умолчанию равен 0,2 и был выбран по макро-F1 на наборе оценки; результат чувствителен к количеству и формулировкам типов, поэтому порог может потребовать повторной калибровки на данных конкретной области. README отмечает, что модели семейства cross-encoder сильнее, тогда как bi-encoder экономичнее при многократном применении одного набора меток.

Phi-3-mini-128k-instruct-graph — языковая модель, разработанная Emergent Methods и дообученная на базе microsoft/phi-3-mini-128k-instruct. Она предназначена для извлечения сущностей и отношений между ними из произвольного текста и выдачи результата в структурированном формате JSON. Разработчик указывает контекстную версию базы на 128K токенов; модель рассчитана на английский язык. Модель подходит для построения графов знаний из документов и новостных материалов, поиска информации в текстовых базах и анализа меняющихся сюжетов и связей. Карточка приводит сравнительные метрики сходства узлов и рёбер и согласованности JSON, но не гарантирует качество на других наборах данных и предметных областях. Указана лицензия CC BY-NC-SA 4.0, включающая ограничения на коммерческое использование и требование распространять адаптации на тех же условиях.

Qwen2.5-0.5B-text2sql — дообученная модель семейства Qwen2.5 от автора iamkushagratomar для преобразования вопросов на естественном языке и схем баз данных в SQL-запросы. Модель основана на Qwen2.5-0.5B-Instruct-bnb-4bit и содержит около 494 млн параметров; архитектура — плотная авторегрессионная Qwen2 с поддержкой генерации текста. Для работы с моделью указаны библиотека Transformers и контекст длиной до 32 768 токенов. Модель подходит для создания SQL-запросов по текстовым вопросам и описаниям таблиц, например для интерфейсов к базам данных на естественном языке. Дообучение выполнено на наборе b-mc2/sql-create-context; карточка указывает английский язык. Модель распространяется по лицензии Apache-2.0. Качество генерации зависит от соответствия схемы и формулировки вопроса обучающим данным; README не приводит результатов оценки или дополнительных ограничений.

speechless-mistral-hermes-code-7b — дообученная модель на архитектуре Mistral, созданная на основе mistralai/Mistral-7B-v0.1. В README указано, что обучение на 986 тыс. примеров из OpenHermes-2.5, Python Eval Instruct, Spider и Evol-Instruct было направлено на улучшение рассуждений и планирования; модель принимает инструкции в формате Alpaca. Модель предназначена для генерации текста по инструкциям, включая помощь с кодом и задачами, требующими рассуждений. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. В метаданных указан английский язык и библиотека Transformers. Модель распространяется в формате safetensors по лицензии Apache-2.0. В таблицах README приведены названия оценочных наборов, но значения результатов отсутствуют, поэтому по карточке нельзя судить о достигнутом качестве на этих тестах.

TableLLM-13B — модель RUCKBReasoning для манипуляций с табличными данными в электронных таблицах и документах. Это плотная авторегрессионная модель семейства Llama на 12,9 млрд параметров, дообученная на основе CodeLlama-13b-Instruct-hf; веса доступны в формате safetensors. Контекст модели составляет 16 384 токена. Модель принимает описание таблицы и вопрос на естественном языке, после чего генерирует Python-код для операций с таблицами в электронных таблицах — добавления, удаления, обновления, запросов, объединения и построения графиков — либо текстовый ответ на вопрос о небольшой таблице в документе. В README приведены оценки на наборах WikiSQL, Spider, WikiTQ, TAT-QA, FeTaQA и OTTQA; модель предназначена для задач работы с таблицами в офисных сценариях. Карточка указывает лицензию Llama 2. Описание не уточняет ограничения по точности и практическим условиям использования; сгенерированный код и ответы следует проверять перед применением.

Tejapriyan-8B — персональная языковая модель, созданная и дообученная Teja Priyan на базе Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, контекстом до 32 768 токенов и весами Safetensors. Модель предназначена для диалога, распознавания личности создателя и генерации SQL-запросов по схеме базы данных. При дообучении применялись SFT для закрепления идентичности и GRPO с наградой за выполнение запросов в SQLite. По заявлению автора, это улучшает генерацию многотабличных JOIN, подзапросов и anti-join и снижает число ошибок при опоре на схему. Также отмечены возможности работы с кодом и интерфейс вызова инструментов. Модель ориентирована на английский язык; лицензия — Apache-2.0. Автор отдельно указывает на квантизированный вариант GGUF и интерактивную веб-демонстрацию.

Neo4j/text-to-cypher-Gemma-3-4B-Instruct-2025.04.0 — специализированная языковая модель от Neo4j, дообученная на базе google/gemma-3-4b-it с использованием набора данных neo4j/text2cypher-2025v1. Модель предназначена для генерации запросов Cypher по текстовому описанию задачи и структуре графовой базы данных Neo4j. Модель относится к семейству Gemma 3 и содержит около 4 миллиардов параметров согласно идентификатору базовой модели. Она работает в текстовом режиме и опубликована в формате SafeTensors. В метаданных для неё указан pipeline text-generation, а в README — text2text-generation. Модель подходит для преобразования пользовательских вопросов и описаний аналитических задач в Cypher-запросы, создания естественно-языковых интерфейсов к графовым базам данных и ускорения разработки запросов. Лицензия — Gemma; условия её использования необходимо проверять в официальных лицензионных документах Google.

VisCoder-7B — языковая модель TIGER-Lab для генерации кода визуализаций на Python и его пошагового исправления по обратной связи об ошибках выполнения. Модель дообучена на Qwen/Qwen2.5-Coder-7B-Instruct и содержит 7,1 млрд параметров; карточка указывает контекст до 32 768 токенов. Использует архитектуру Qwen2 и формат safetensors. Модель предназначена для преобразования инструкций на естественном языке и структур данных в исполняемый Python-код, создающий содержательные графики, а также для повторной генерации и отладки такого кода в несколько ходов. В README приведён результат свыше 90% успешного выполнения для Matplotlib и Seaborn в сценарии с самоотладкой на PandasPlotBench. Для запуска требуется Transformers. Модель распространяется по лицензии Apache-2.0. Оценки README относятся к указанному бенчмарку; они сами по себе не гарантируют аналогичного качества на других данных и задачах.

WizardCoder-33B-V1.1 — языковая модель для генерации кода, разработанная командой WizardLM и обученная на базе deepseek-coder-33b-base с применением Code Evol-Instruct к данным Code-Alpaca. Это плотная causal language model семейства Llama с 33,1 млрд параметров, рассчитанная на контекст до 16 384 токенов; веса опубликованы в формате safetensors и предназначены для использования через Transformers. Модель отвечает на инструкции по программированию: пишет код по описанию, решает задачи на программирование и помогает с типовыми изменениями кода. В README приведены результаты на HumanEval, HumanEval-Plus, MBPP и MBPP-Plus. Для воспроизведения ответов авторы рекомендуют использовать указанный в карточке формат системного промпта. Модель ориентирована на код; поддержка конкретных естественных языков отдельно не заявлена. Известное ограничение: авторы не гарантируют точность квантованных версий. Лицензия в предоставленных данных не указана.

MMG/xlm-roberta-large-ner-spanish — модель XLM-RoBERTa-large, дообученная для распознавания именованных сущностей в испанском тексте на испанской части набора CoNLL-2002. Она размечает текст на уровне токенов и подходит для извлечения сущностей из документов и других испаноязычных текстов. Архитектура — XLM-RoBERTa для классификации токенов; размер модели — 658,7 млн параметров, длина контекста — 514 токенов. В карточке указана оценка F1 89,17 на тестовой части CoNLL-2002. Модель опубликована в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

surazbhandari/all-MiniLM-L6-v2-ProductMatching — дообученная автором Sentence Transformer модель для сопоставления товаров в каталогах электронной коммерции и промышленной продукции. Она основана на sentence-transformers/all-MiniLM-L6-v2 и предназначена для сравнения названий товаров, поисковых запросов, характеристик и описаний, в том числе при различиях в формулировках. Модель использует энкодер BERT с 25,9 млн параметров и формирует нормализованные векторы размерности 384; сходство оценивается косинусной мерой. README указывает максимальную длину последовательности 256 токенов, а метаданные — нативный контекст 512 токенов. Обучение на синтетических парах товаров и сложных отрицательных примерах нацелено на снижение ложных совпадений, например между разными версиями товара или брендами. Метаданные описывают базовую модель как англоязычную; поддержка других языков не подтверждена. Лицензия в предоставленных данных не указана.

madhurjindal представляет классификатор бессмысленного текста на английском языке, созданный с помощью AutoNLP на базе DistilBERT и дообученный для классификации последовательностей. Модель принимает текст и относит его к одной из четырёх категорий: шум, несвязный набор осмысленных слов, слабовыраженная бессмыслица или связный текст. Максимальная длина контекста — 512 токенов; модель доступна для Transformers в форматах PyTorch, Safetensors и ONNX. Модель предназначена для проверки пользовательского ввода в чат-ботах, фильтрации бессмысленных сообщений и спама, а также контроля качества текстовых данных. В README приведены метрики валидации, включая точность 97,36%; эти показатели относятся к описанному набору данных и не гарантируют такое же качество на других текстах. Модель опубликована под лицензией MIT.

Davlan/bert-base-multilingual-cased-ner-hrl — модель распознавания именованных сущностей на основе mBERT, дообученная разработчиком Davlan на размеченных новостных текстах. Модель содержит около 205,1 млн параметров, использует архитектуру BERT и принимает текстовые последовательности длиной до 512 токенов. Модель размечает упоминания людей (PER), организаций (ORG) и мест (LOC) на арабском, немецком, английском, испанском, французском, итальянском, латышском, нидерландском, португальском и китайском языках. Её можно применять для извлечения сущностей из новостных статей и других текстов на этих языках. Качество может снижаться на текстах из других областей: обучение проводилось на датасетах новостной разметки, ограниченных конкретными периодами и источниками. Модель распространяется по лицензии AFL-3.0.

Модель IreNkweke/bert-finetuned-ner-ontonotes5 — дообученная автором IreNkweke модель BERT для распознавания и классификации именованных сущностей в английском тексте. Она использует архитектуру BertForTokenClassification, содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена на OntoNotes 5 и различает 37 меток, включая PERSON, ORG, GPE, DATE, MONEY, LAW и EVENT. Модель подходит для извлечения сведений из новостей, публикаций в социальных сетях и юридических документов, а также для обогащения поиска сущностями и подготовки данных к последующей классификации. В README приведены результаты оценки: F1 0,8733, точность 0,8620 и полнота 0,8849. Модель ориентирована на английский язык; качество на других языках и текстах, отличающихся от обучающих данных, не заявлено. Лицензия — MIT.

bertin-project/bertin-base-ner-conll2002-es — испаноязычная модель для распознавания именованных сущностей, разработанная командой проекта BERTIN. Это модель RoBERTa-base с головой классификации токенов, дообученная на наборе CoNLL2002-es; базовая модель Bertin Gaussian 512 обучалась с нуля на испанских текстах. Модель принимает текст и присваивает метки его токенам, чтобы выделять сущности в задачах NER. Контекст модели составляет 514 токенов, число параметров — 151,8 млн. Модель подходит для извлечения имен и других размечаемых сущностей из испаноязычных текстов, например для подготовки корпуса или автоматической индексации документов. Она опубликована в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия.

dbmdz/bert-large-cased-finetuned-conll03-english — модель токеновой классификации на основе BERT, разработанная dbmdz и дообученная для распознавания именованных сущностей в английском тексте. Она помечает токены и фрагменты текста сущностями, например именами людей, организаций и географическими названиями. Модель содержит около 432,3 млн параметров, использует архитектуру BertForTokenClassification и принимает текст с максимальной длиной контекста 512 токенов. Доступны варианты весов для PyTorch, TensorFlow и Flax, а также Rust-формат. Карточка Hugging Face не содержит описания лицензии; использовать следует с учетом условий исходной модели и данных.

DePlot — модель компании Google для преобразования изображений графиков и диаграмм в линейную таблицу. Она основана на архитектуре Pix2Struct и предназначена для визуального анализа данных: модель принимает изображение графика и вопрос о нём, а выдаёт текстовое представление данных, которое можно использовать для последующих ответов и рассуждений с помощью языковой модели. Модель обучена для задачи преобразования графика в таблицу и может работать как компонент системы ответов на вопросы по диаграммам. В статье описан подход DePlot вместе с LLM: DePlot извлекает структурированные данные из графика, а языковая модель рассуждает над ними. Карточка Hugging Face указывает поддержку английского, французского, румынского и немецкого языков, форматы PyTorch и Safetensors, а также лицензию Apache 2.0. DePlot специализируется на графиках и диаграммах, поэтому её возможности не следует считать универсальным визуальным пониманием. Качество ответов на сложные вопросы зависит от точности преобразования графика в таблицу и от языковой модели, подключённой для рассуждений.

Модель elastic/distilbert-base-uncased-finetuned-conll03-english — англоязычная модель распознавания именованных сущностей, созданная Elastic на основе DistilBERT base uncased и дообученная на наборе CoNLL-2003. Она классифицирует токены текста, выделяя сущности согласно меткам этого набора данных. Модель принимает текст, не различает заглавные и строчные буквы и поддерживает контекст длиной до 512 токенов. Она подходит для извлечения сущностей из англоязычных текстов; регистр букв не помогает ей различать имена и обычные слова. Для обработки с учётом регистра в карточке рекомендована версия distilbert-base-cased-finetuned-conll03-english. Модель распространяется по лицензии Apache-2.0.

distilbert-NER — англоязычная модель распознавания именованных сущностей, созданная dslim путём дообучения DistilBERT. Она размечает токены в тексте тегами для людей (PER), организаций (ORG), мест (LOC) и прочих сущностей (MISC), включая начало и продолжение сущности. Модель основана на DistilBERT с архитектурой DistilBertForTokenClassification и содержит 66 млн параметров. Она обучена на английском наборе CoNLL-2003 и принимает контекст до 512 токенов. Компактность DistilBERT помогает снизить размер и ускорить обработку по сравнению с BERT, сохраняя пригодность для извлечения сущностей из новостных и сходных текстов. Качество может снижаться на текстах, заметно отличающихся от CoNLL-2003; возможны ошибки разметки в сложных предложениях и смещения, унаследованные от обучающих данных. Лицензия — Apache-2.0.