I.3Извлечение и структурирование данных

Это четырёхбитная версия Qwen2.5-VL-3B-Instruct-abliterated, преобразованная сообществом mlx-community в формат MLX из huihui-ai/Qwen2.5-VL-3B-Instruct-abliterated с помощью mlx-vlm 0.1.13. В основе лежит дообученная Qwen/Qwen2.5-VL-3B-Instruct — компактная плотная мультимодальная модель Alibaba с 3,1 млрд параметров и контекстом до 128 000 токенов. Модель предназначена для диалогового анализа изображений и видео с ответами на естественном языке; также поддерживает интерфейс вызова инструментов. Формат MLX и 4-битное представление рассчитаны на запуск на устройствах Apple с MLX. Метаданные указывают английский язык. Лицензия в предоставленных данных не указана.

huihui-ai/Qwen2.5-VL-7B-Instruct-abliterated — мультимодальная инструкционная модель на 7,1 млрд параметров, созданная разработчиком huihui-ai на основе Qwen/Qwen2.5-VL-7B-Instruct. Это версия с удалёнными отказами: abliteration применена только к текстовой части модели, а часть, обрабатывающая изображения, не изменялась. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает контекст до 128 000 токенов и предназначена для диалогового взаимодействия и визуальных задач. Модель можно использовать для вопросов по изображениям и общения с визуальным контекстом. Карточка указывает библиотеку Transformers; метаданные также отмечают интерфейс вызова инструментов, но подробности его использования не приведены. Указаны английский язык и лицензия Apache-2.0. Поскольку модель описана как uncensored, её ответы могут не включать обычные отказы на нежелательные запросы; качество и безопасность ответов зависят от приложения.

Модель khadija69/roberta_ASE_kgl_large — дообученная версия XLM-RoBERTa Large для классификации токенов. Она подходит для задач разметки последовательностей, например извлечения сущностей или назначения меток отдельным словам, если соответствующие метки предусмотрены обучением. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и принимает последовательности длиной до 514 токенов. Опубликованные показатели включают train loss 0,1842 и validation loss 0,3626 после пяти эпох обучения. Модель создана на неизвестном датасете, поэтому её конкретная схема меток, языки и качество на прикладных данных не описаны. Репозиторий содержит веса в формате TensorFlow. Лицензия — MIT.

RouteNER — компактная модель распознавания сущностей для запросов о планировании поездок, разработанная boltuix на основе BERT-mini и дообученная для классификации токенов. Она выделяет пункты отправления (From), назначения (To) и виды транспорта (Mode) в англоязычных текстовых запросах. Модель предназначена для интеграции в туристические ассистенты, чат-боты, навигационные и транспортные приложения, где нужно преобразовать запрос пользователя в структурированные данные о маршруте. Архитектура BERT, около 5 млн параметров и контекст до 512 токенов позволяют использовать её в приложениях с ограниченными ресурсами. Модель принимает текст и выдаёт метки сущностей для его токенов. Лицензия — Apache-2.0. Карточка заявляет высокую точность, но не приводит метрик или подробностей оценки; качество для языков и сущностей вне описанного сценария не подтверждено.

savitr-bf16 — модель распознавания электоральных списков, созданная gojiberries на базе Surya OCR 2 от Datalab. Это дообученная и слитая с базовыми весами модель семейства Qwen3.5 с архитектурой для условной генерации; в репозитории хранятся веса Safetensors в формате bf16. Модель принимает изображение страницы списка избирателей и выдаёт компактные строки с разделителями: EPIC, имя, тип родства, имя родственника, номер дома, возраст и пол. Такой формат примерно в пять раз короче HTML-представления учительской модели по числу токенов декодирования. Модель предназначена для извлечения записей из индийских списков избирателей, повторного квантования в другие форматы, продолжения обучения и оценки без ошибки квантования. В тесте на 37 страницах избирательных округов, не использовавшихся при обучении, сходство записей с выводом учительской модели составило 98,7%, а страниц — 92,9%; это согласие с учителем, а не независимая оценка абсолютной точности. Обучение проведено на 450 страницах англоязычных списков штата Манипур за 2025 год; лицензия указана как other.

admko/sembr2023-bert-small — дообученная модель на основе prajjwal1/bert-small для классификации токенов. В карточке приведены метрики на оценочной выборке: F1 0,8159, точность 0,7915, полнота 0,8418 и accuracy 0,9651. Модель построена на архитектуре BERT и содержит 32,4 млн параметров. Она принимает текстовые последовательности длиной до 512 токенов и выдаёт метки для отдельных токенов. Назначение меток, язык и набор данных в карточке не раскрыты, поэтому конкретную прикладную область определить нельзя. Репозиторий содержит веса PyTorch и safetensors; лицензия — MIT.

Модель tomaarsen/span-marker-bert-base-ncbi-disease — модель SpanMarker для распознавания упоминаний заболеваний в тексте. Она обучена на наборе данных NCBI Disease и использует bert-base-cased в качестве кодировщика; предсказывает сущности с меткой DISEASE. Подходит для извлечения названий заболеваний из научных и медицинских текстов на английском языке. На тестовой выборке указаны precision 0,8661, recall 0,8971, F1 0,8813 и accuracy 0,9837. Модель распространяется по лицензии Apache-2.0.

Stanza-hr — модель обработки хорватского языка из набора инструментов Stanza, разработанного Stanford NLP. Она предназначена для лингвистического анализа текста и поддерживает задачу классификации токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

Модель Stanza для русского языка разработана командой Stanford NLP и предназначена для лингвистического анализа текста. Она входит в набор инструментов Stanza, который обрабатывает текст от базового языкового анализа до синтаксического разбора и распознавания сущностей. В Hugging Face модель классифицирована как token-classification и опубликована в формате PyTorch. Модель подходит для разметки токенов и использования в конвейерах NLP для русского языка. Репозиторий распространяется по лицензии Apache-2.0. Карточка не уточняет размер модели, конкретные типы разметки и длину контекста.

lmqg/t5-small-squad-ae — модель семейства T5, разработанная сообществом lmqg и дообученная на английском наборе lmqg/qg_squad для извлечения ответа из контекста. Она принимает текст и формулирует извлечённый ответ; модель основана на архитектуре T5ForConditionalGeneration, содержит 38,5 млн параметров и имеет контекстное окно 512 токенов. Репозиторий предоставляет веса PyTorch. В карточке приведены результаты оценки на lmqg/qg_squad: Answer Exact Match 56,15, Answer F1 68,06 и BERTScore 91,2. Модель подходит для извлечения ответов в конвейерах генерации вопросов и ответов по тексту. Лицензия — CC BY 4.0. Оценки относятся к указанному набору данных и сами по себе не гарантируют качество на других текстах.

TAPAS — модель Google на архитектуре BERT, дообученная для ответов на вопросы по таблицам на датасете WikiTableQuestions (WTQ). Базовая версия содержит 136,7 млн параметров; модель использует двунаправленное представление текста и таблиц, а для выбора ответа — специальные головы выбора ячеек и агрегации. В репозитории доступны веса PyTorch и TensorFlow. Модель принимает вопрос и таблицу, преобразованную в последовательность токенов, и предназначена для поиска ответа в таблице, включая выбор ячеек и агрегацию значений. Она предварительно обучалась на англоязычных данных Википедии, а затем последовательно дообучалась на SQA, WikiSQL и WTQ. Карточка приводит точность 45,25% на dev для базовой версии с абсолютными позиционными эмбеддингами; результаты зависят от варианта чекпойнта и подготовки таблицы. Указанный лимит контекста — 1024 токена; при описанной настройке дообучения использовалась максимальная длина последовательности 512. Модель ориентирована на английский язык и табличные данные. Лицензия — Apache-2.0.

microsoft/tapex-base-finetuned-wtq — модель Microsoft для ответов на вопросы по таблицам. Она основана на архитектуре BART и дообучена на наборе WikiTableQuestions с применением подхода TAPEX: модель предварительно обучали выполнять SQL-подобные запросы к таблицам, чтобы развить навыки табличного рассуждения. Модель содержит 95,2 млн параметров и рассчитана на контекст до 1024 токенов. Модель предназначена для ответов на сложные вопросы по содержимому таблицы: например, поиска значений, сравнения чисел и определения первого или последнего элемента. Она принимает текст вопроса и таблицу, а ответ формирует в текстовом виде. Указанный в метаданных язык — английский, а лицензия — MIT. Карточка демонстрирует примеры решаемых вопросов, но не описывает ограничения качества или гарантии корректности ответов.

Texify — модель оптического распознавания символов, разработанная Vik Paruchuri. Она преобразует изображения и PDF с математическим содержимым в Markdown и LaTeX, распознавая формулы и окружающий их текст; работает как с отдельными формулами, так и с формулами, встроенными в текст. Модель построена на архитектуре vision-encoder-decoder и содержит около 0,3 млрд параметров. Модель предназначена для извлечения математической записи из изображений и страниц документов, чтобы её можно было отображать, например, через MathJax. Репозиторий разработчика указывает, что Texify устарела, а её возможности перенесены в Surya и улучшены новой моделью. Для весов Hugging Face указана лицензия CC BY-SA 4.0.

TrOCR small-stage1 — предварительно обученная модель оптического распознавания текста, представленная Microsoft и описанная в статье Li et al. Она предназначена для извлечения текста из изображений отдельных строк; для практического OCR на конкретных типах документов рекомендуется использовать подходящую дообученную версию. Модель построена по архитектуре encoder-decoder: Transformer-энкодер обрабатывает изображение как последовательность патчей размером 16×16, а авторегрессионный Transformer-декодер генерирует текст. Энкодер инициализирован весами DeiT, декодер — UniLM. Репозиторий содержит веса PyTorch. Модель предварительно обучена, но сама по себе не дообучена под конкретную задачу распознавания. Лицензия в предоставленных данных не указана.

CS221DoAn разработала PhoBERT-FoodNER — модель распознавания именованных сущностей, дообученную на базе vinai/phobert-base для классификации токенов во вьетнамских сообщениях о заказе еды и доставке. Она извлекает названия блюд и напитков, количество порций и особые пожелания из разговорных сообщений, включая сокращения, сленг и текст без диакритики. Модель основана на архитектуре RoBERTa, содержит 162,4 млн параметров и имеет контекст длиной 258 токенов. Для обработки требуется предварительная сегментация вьетнамских слов, например с помощью RDRSegmenter из VnCoreNLP; без неё точность распознавания может заметно снижаться. Веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

AfriBERTa large — предварительно обученная многоязычная языковая модель семейства XLM-RoBERTa, разработанная Castorini для африканских языков. В метаданных указано 148,1 млн параметров; README описывает архитектуру из 10 слоёв с 6 головами внимания, размером скрытого представления 768 и промежуточным слоем 3072. Модель принимает текст и предсказывает пропущенные токены; её также можно дообучать для классификации текста и распознавания именованных сущностей. Контекст — до 514 токенов по метаданным. Модель обучалась на корпусе объёмом менее 1 ГБ, объединяющем материалы BBC и Common Crawl, преимущественно новости. README указывает обучение на 11 африканских языках и конкурентные результаты в классификации и распознавании сущностей, в том числе для некоторых языков, не входивших в предобучение. Ограниченный объём и состав данных могут ухудшать обобщение и способность модели усваивать сложные языковые связи. Лицензия — MIT.

BC5CDRbioBERTNER — англоязычная модель распознавания именованных сущностей в биомедицинских текстах, разработанная дообучением dmis-lab/biobert-v1.1. Она выделяет названия химических веществ и заболеваний и предназначена для автоматической разметки научных и медицинских текстов в задачах биомедицинского NLP. Модель построена на архитектуре BERT и содержит 135,5 млн параметров; максимальная длина контекста — 512 токенов. В отчёте оценки указаны F1 0,98 для химических веществ и 0,85 для заболеваний. Карточка не раскрывает набор данных и подробности обучения; результаты относятся к приведённому оценочному набору и не гарантируют такую же точность на других текстах. Лицензия в предоставленных данных не указана.

CAMeLBERT-MSA-half — предварительно обученная модель BERT от CAMeL Lab для современного стандартного арабского языка (MSA). Это вариант семейства CAMeLBERT, обученный на половине корпуса MSA; в карточке указано 6,3 млрд слов в обучающих данных. Модель имеет архитектуру BERT с 136,3 млн параметров, контекст до 512 токенов и доступна в форматах PyTorch, TensorFlow и Flax. Модель предсказывает замаскированные фрагменты текста и предназначена также для дообучения под задачи обработки арабского языка, включая распознавание именованных сущностей, разметку частей речи, анализ тональности, определение диалекта и классификацию поэзии. Обучающие тексты собраны из арабских корпусов и Википедии; модель ориентирована на MSA, поэтому её применимость к диалектному и классическому арабскому может быть ограничена. Лицензия — Apache-2.0.

Bertha Portuguese Small — компактная языковая модель на архитектуре BERT, разработанная Леонардо Лессой Арамаки и обученная с нуля на бразильском португальском корпусе Corpus Carolina (C4AI/USP). Это энкодерная модель BERT-Small с 6 слоями, 8 головами внимания и размером скрытого представления 512; число параметров — 32,1 млн, максимальный контекст — 512 токенов. Модель предназначена для заполнения маскированных слов и как основа для последующей адаптации к задачам обработки португальского текста, включая распознавание именованных сущностей, классификацию, анализ тональности и извлечение информации. Компактный размер рассчитан на низкую задержку и эффективный запуск на CPU. Карточка приводит финальную потерю около 1,9; это значение само по себе не гарантирует качество на конкретных прикладных задачах. Модель распространяется по лицензии CC-BY-4.0.

Koichi Yasuoka разработал эту японскую модель BERT для морфологического анализа текста. Она дообучена на базе KoichiYasuoka/bert-large-japanese-char-extended и размечает короткие слова универсальными частями речи UPOS; карточка также указывает назначение для синтаксического анализа зависимостей. Модель обучена на текстах японской Википедии и данных Universal Dependencies. Это плотная архитектура BERT с 409,1 млн параметров, рассчитанная на входные последовательности длиной до 512 токенов. Модель принимает японский текст и выдаёт метки для токенов; для её загрузки и применения карточка показывает Transformers и PyTorch. Модель подходит для разметки частей речи и синтаксического анализа японских текстов. Лицензия — CC BY-SA 4.0.

Aurigene AI разместила копию BiomedBERT от Microsoft, также известной как PubMedBERT для аннотаций и полных текстов. Это encoder-модель семейства BERT с 136,7 млн параметров, предварительно обученная с нуля на аннотациях PubMed и полнотекстовых статьях PubMed Central. Она принимает текст и предсказывает замаскированные токены в последовательностях длиной до 512 токенов. Модель предназначена для биомедицинского NLP и может служить энкодером для извлечения биомедицинских сущностей и отношений, а также для поиска и анализа научной литературы. В README заявлены сильные результаты на биомедицинских NLP-задачах и лидерство на Biomedical Language Understanding and Reasoning Benchmark. Доступны веса PyTorch и Flax; лицензия — MIT.

Bormokrut — русскоязычная модель генерации текста на архитектуре GPT-2, созданная дообучением Bormotuha методом SFT с использованием TRL. Она предназначена для извлечения из текста сущностей, аспектов и ключевого вопроса, а также для маршрутизации вопроса к экспертной области, например медицинской или гуманитарной. Модель содержит 42 слоя, размер скрытого представления 256 и 8 голов внимания; контекст — до 1536 токенов. В карточке приведены примеры извлечения сведений из текста и выбора области для вопроса. Указанные сценарии — узкоспециализированная обработка текста на русском языке. Модель распространяется по лицензии MIT. Короткий контекст ограничивает работу с длинными документами; карточка не приводит оценок качества или подробных сведений о проверке на разных типах входных данных.

Модель разработана подразделением Text Mining Unit (TeMU) Барселонского суперкомпьютерного центра (BSC) и предназначена для распознавания фармацевтических сущностей в испанских биомедицинских и клинических текстах. Это дообученная для токенной классификации модель RoBERTa на 151,8 млн параметров, основанная на bsc-bio-ehr-es, предварительно обученной на испанском биомедицинском корпусе объёмом 1,1 млрд токенов. Модель выделяет в тексте вещества, соединения и белки в задаче PharmaCoNER. Для указанной оценки на наборе данных PharmaCoNER достигнута F1-мера 0,8913. Контекст составляет до 514 токенов; модель принимает текст и возвращает метки сущностей для его токенов. В карточке отмечено, что смещения модели отдельно не оценивались; авторы предупреждают о возможных смещениях и нежелательных искажениях в данных и результатах. Лицензия — Apache 2.0.

covalenthq/cryptoNER — модель распознавания и классификации именованных сущностей в текстах о криптовалютах, разработанная Covalent и дообученная на базе XLM-RoBERTa Base. Она помечает тикеры криптовалют, названия токенов и адреса блокчейн-обозревателей. Модель принимает текст и возвращает разметку токенов; архитектура содержит около 305,2 млн параметров, поддерживает контекст до 514 токенов и распространяется в формате PyTorch. Модель предназначена для извлечения криптовалютных сущностей из публикаций и других текстов криптовалютной тематики, например для последующего анализа упоминаний токенов. Для оценки указаны loss 0,0058 и F1 0,9970; в обучающих данных использовались синтетические твиты и метаданные токенов ERC-20. Лицензия — MIT.

kbulutozler/distilbert-base-uncased-FT-ner-BC5CDR-disease — англоязычная модель DistilBERT, дообученная для распознавания заболеваний в тексте. Она размечает упоминания заболеваний на уровне токенов и предназначена для извлечения таких сущностей из научных и биомедицинских текстов. Модель обучена на обучающей части набора BC5CDR-disease из BLURB; для тестовой части указаны precision 0,76, recall 0,81 и micro-F1 0,79. Модель использует архитектуру DistilBertForTokenClassification, принимает текст, имеет контекст до 512 токенов и распространяется по лицензии Apache-2.0. Карточка не сообщает об оценке на других наборах данных, поэтому качество на иных текстах может отличаться.

KeraCare/drug_name_extraction_v2x0 — дообученная модель GLM-OCR для извлечения названий лекарств с изображений рецептов. Она принимает изображение рецепта и формирует текстовый ответ с распознанными названиями препаратов. Модель построена на архитектуре GLM-OCR и доступна в формате safetensors; для запуска карточка указывает библиотеку Transformers. Модель предназначена для автоматизации чтения рецептов и извлечения из них названий лекарств. Она дообучена на пользовательском наборе изображений рецептов с соответствующими метками названий препаратов. Сведения о языках, размере модели, длине контекста и лицензии в предоставленных источниках отсутствуют.

Карточка модели EdgeAIMed/EdgeAIMed-NER-OncologyDetect-SuperClinical-434M на Hugging Face совпадает с карточкой OpenMed/OpenMed-NER-OncologyDetect-SuperClinical-434M, поэтому описание составлено по ней. OpenMed-NER-OncologyDetect-SuperClinical-434M — модель OpenMed для распознавания именованных сущностей в биомедицинских текстах, особенно связанных с генетикой рака. Это дообученный трансформер DeBERTa-v2 с примерно 533,8 млн параметров, который принимает токенизированный текст и выдаёт BIO-метки для сущностей, включая типы рака, гены и их продукты, клетки, ткани, органы, аминокислоты и химические вещества. Модель обучена на корпусе BioNLP 2013 CG и рассчитана на научную литературу, клинические тексты и документы здравоохранения; в карточке приведены F1 0,87, точность 0,86 и полнота 0,88. Её можно использовать для извлечения онкологических и генетических сущностей при анализе медицинских записей и публикаций, а также для подготовки данных к поиску и построению биомедицинских графов знаний. Метаданные указывают английский язык и контекст до 512 токенов. Заявленные в README сценарии обнаружения лекарственных взаимодействий и побочных эффектов не подтверждают отдельные возможности модели: её основная задача — разметка сущностей. Лицензия — Apache-2.0.

Dizex/FoodBaseBERT-NER — модель BERT для распознавания именованных сущностей в текстах о еде. Это дообученная версия bert-base-cased, обученная на наборе данных FoodBase и предназначенная для выделения сущностей одного типа: FOOD. Модель принимает текст и размечает в нём упоминания пищевых продуктов; её можно применять для извлечения названий продуктов из текстов и построения NER-конвейеров на базе Transformers. Модель основана на архитектуре BERT, содержит 135,5 млн параметров и поддерживает контекст длиной до 512 токенов. В метаданных указан английский язык. Веса доступны в форматах PyTorch и Safetensors. Лицензия — MIT. Модель специализирована на сущностях еды и не предназначена для распознавания других типов сущностей.

samirmsallem/gbert-base-definition_classification — немецкоязычный классификатор предложений, дообученный автором на базе deepset/gbert-base для поиска определений в научных текстах. Модель на основе BERT содержит 137,1 млн параметров, принимает текстовые входы и классифицирует предложение как определительное или не содержащее определения. Контекст — до 512 токенов. Модель обучена на специально размеченном наборе примерно из 10 000 обучающих и 2 000 тестовых примеров из немецких статей Википедии. В карточке сообщается о точности около 96% на оценочной выборке; тестовые метрики после четырёх эпох включают accuracy 0,963. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель подходит для автоматического поиска определений в немецкоязычных научных материалах и подготовки кандидатов для последующей разметки или извлечения терминов. Результаты могут хуже переноситься на другие жанры и области, поскольку обучение проводилось на предложениях из Википедии. Лицензия в предоставленных сведениях не описана.

GLiNER-модель rafmacalaba/gliner_datause_v0 — дообученная версия urchade/gliner_large-v2.1 для извлечения из экономических научных статей упоминаний наборов данных, обследований, переписей и реестров. Она размечает фрагменты текста тремя типами: NAMED_DATA для названий и аббревиатур конкретных источников, DESCRIPTIVE_DATA для описаний неназванных источников и VAGUE_DATA для общих упоминаний данных без идентифицируемого источника. Модель предназначена для поиска источников данных в корпусах исследовательских работ и структурирования таких упоминаний. В README приведены результаты проверки на отложенной выборке: при пороге 0,50 общая точность составила 0,6948, полнота — 0,5957; качество заметно различается между группами и типами меток, а для VAGUE_DATA показатели ниже, чем для именованных источников. Это специализированный экстрактор сущностей, поэтому результаты стоит проверять, особенно для расплывчатых упоминаний. Модель распространяется по лицензии Apache-2.0.