I.3Извлечение и структурирование данных

TUKE и Deutsche Telekom дообучили словацкую модель gerulata/slovakbert для ответа на вопросы по тексту. Это плотная модель архитектуры RoBERTa с 151,8 млн параметров, обученная на наборе данных TUKE-DeutscheTelekom/skquad. Она предназначена для сценариев, в которых вопрос и текстовый контекст подаются вместе, а модель определяет ответ в контексте. Модель принимает текст и выдаёт текстовый ответ; поддерживаемый язык — словацкий. Длина контекста составляет 514 токенов. Модель распространяется по лицензии MIT.

SmqBERT 100M Kazakh — энкодерная языковая модель с 100,1 млн параметров, разработанная автором репозитория salyamq и предварительно обученная на казахском корпусе salyamq/kk-corpus-v1. Она предназначена для предсказания замаскированных токенов и как предварительно обученный энкодер для последующей настройки под задачи NLP на казахском языке. Модель использует архитектуру SmqBERT с 16 слоями Transformer, скрытым размером 768 и словарём SentencePiece на 32 000 токенов. Контекст — до 8 192 токенов; внимание сочетает локальные окна и глобальные слои. Это не чат-модель и не модель авторегрессионной генерации текста. Модель подходит для контекстных представлений, извлечения признаков и дообучения для классификации, разметки токенов и поиска на казахском языке. Качество для других языков может снижаться; карточка не приводит результатов бенчмарков, а предсказания MLM не являются проверенными фактами. Для запуска с Transformers требуется пользовательский код модели и параметр trust_remote_code=True. Лицензия — Apache-2.0.

Sumen — трансформерная модель для преобразования изображений математических формул в последовательности LaTeX. Она предназначена для распознавания печатных и рукописных математических выражений, чтобы получать редактируемую разметку LaTeX из изображения. В метаданных указана архитектура vision-encoder-decoder и формат весов safetensors; модель связана с набором данных hoang-quoc-trung/fusion-image-to-latex-datasets. Модель опубликована под лицензией Apache-2.0. Карточка описывает её как сквозную модель image-to-LaTeX, обученную на большом наборе данных; сведения о поддерживаемых языках, размере модели и ограничениях качества не приводятся.

Kyrmasch/t5-kazakh-qa — модель на архитектуре mT5, разработанная Алдияром Сакеном, Султанияром Куандыком, Алибеком Камилулы, Курмашем Апаевым, Адаем Шомановым и Алией Нугумановой. Она дообучена на 30 000 примерах казахской версии Stanford Question Answering Dataset (SQuAD) и предназначена для ответов на вопросы по тексту на казахском языке. Модель содержит 371,7 млн параметров и распространяется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не приводит сведений о длине контекста.

Swedish Lion Libre — модель распознавания рукописного текста, разработанная Национальным архивом Швеции совместно с Городским архивом Стокгольма, Национальным архивом Финляндии и Jämtlands Fornskriftsällskap. Это дообученная модель TrOCR base handwritten с архитектурой vision-encoder-decoder, предназначенная для транскрибации отдельных строк на изображениях.

Sprakbanken/TrOCR-norhand-v3 — модель распознавания рукописного текста, разработанная Национальной библиотекой Норвегии. Она основана на архитектуре TrOCR типа vision-encoder-decoder и дообучена на версии набора NorHand v3 с Hugging Face для чтения исторических норвежских документов. Модель принимает изображения отдельных строк рукописного текста и преобразует их в текст. Она предназначена для распознавания норвежского письма, преимущественно из документов старше 100 лет. Для обработки изображения целой страницы сначала нужно разделить её на строки. Модель распространяется в формате Safetensors по лицензии CC BY 4.0. Она дообучена на microsoft/trocr-base-handwritten согласно метаданным; в README также указана модель microsoft/trocr-base-printed, поэтому сведения о базовой модели в источниках расходятся.

abelcetina/u2t01-bert-squad — англоязычная модель для извлечения ответа на вопрос из заданного текста. Команда U2T01 дообучила всю модель BERT base uncased, включая энкодер и линейную голову, предсказывающую начальную и конечную позиции ответа. Модель содержит 136,7 млн параметров, использует библиотеку Transformers и принимает контекст длиной до 512 токенов по метаданным; при обучении входы обрезались до 384 токенов. Модель предназначена для ответов на вопросы по англоязычным отрывкам, особенно похожим на статьи Википедии с вопросами из SQuAD v1.1. На валидационной выборке указаны exact match 72,56 и F1 81,78; отдельная тестовая оценка не проводилась. Модель всегда возвращает фрагмент контекста и не умеет воздерживаться от ответа, поэтому она не подходит для вопросов без ответа в тексте или для извлечения фактов без предоставленного контекста. Обучение выполнено на подвыборке примерно из 15 тысяч примеров и оценено с одним seed, поэтому качество и его устойчивость за пределами указанного домена не установлены. Карточка предупреждает о смещениях данных и базового предобучения, а также не рекомендует использовать модель для решений, влияющих на людей. Лицензия модели — Apache-2.0; обучающий датасет SQuAD v1.1 указан под CC BY-SA 4.0, поэтому условия его использования следует учитывать отдельно.

SalmonAI123/vi-mrc-large-version-2 — модель на архитектуре RoBERTa, дообученная на базе nguyenvulebinh/vi-mrc-large для ответов на вопросы. Она предназначена для извлечения ответа из предоставленного контекста по вопросу; в описании базовой модели указан приоритет вьетнамского языка. Модель содержит 658,7 млн параметров и поддерживает контекст длиной до 514 токенов. В README приведён результат оценки Loss 0,9283, но набор данных и подробности оценки не описаны. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Это модель ответов на вопросы на базе XLM-RoBERTa, дообученная Z-Jafari на модели Gholamreza/xlm-roberta-base-finetuned-pquad-squad. Она предназначена для извлечения ответа из предоставленного текста по вопросу; название указывает на дополнительное дообучение на PersianQuAD и DeepseekQA_WS в течение 10 эпох, однако README сообщает, что датасет обучения неизвестен, поэтому эти сведения нельзя подтвердить. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForQuestionAnswering, библиотеку Transformers и формат Safetensors; длина контекста — 514 токенов. Лицензия — MIT. В карточке приведена оценка Loss 2,0120, но без описания методики и набора оценки она не позволяет судить о качестве в реальных сценариях.

Это компактная англоязычная модель для извлечения ответов из текста, созданная Janik и Ben в рамках курса DL4NLP под руководством Ivan Habernal. В её основе — xtremedistil-l6-h256-uncased, дообученная на наборе NaturalQuestionsShort из MRQA Shared Task 2019. Модель решает задачу extractive question answering: получает вопрос и текстовый контекст и выбирает из него фрагмент ответа. Её можно применять для ответов на вопросы по документам и веб-текстам, особенно в сценариях, похожих на NaturalQuestionsShort. Это BERT-модель с архитектурой BertForQuestionAnswering, 14,1 млн параметров и контекстом до 512 токенов. Модель работает с английским текстом и распространяется под лицензией MIT. Она специализирована на извлечении ответа из предоставленного контекста; качество для других языков, свободной генерации ответов и контекстов длиннее 512 токенов не подтверждено.

extractivereaderafroxlmrsquadv2 — модель Masakhane на базе Davlan/afro-xlmr-base, дообученная на наборе данных SQuAD v2 для извлечения ответов на вопросы из текста. Она использует архитектуру XLM-RoBERTa и содержит 305,2 млн параметров; максимальная длина контекста составляет 514 токенов. Модель принимает вопрос и текстовый фрагмент и предсказывает ответ, включая возможность указать, что в тексте нет ответа. Репозиторий содержит веса PyTorch. Модель предназначена для систем вопросов и ответов на африканских языках, поддерживаемых базовой моделью AfroXLMR. Карточка не приводит подробностей оценки качества и ограничений; практическая точность зависит от языка и соответствия входного текста обучающим данным. Лицензия — MIT.

AraNeoBERT-v4 — арабоязычный энкодер на 297 млн параметров, разработанный вместе с исследовательской группой профессора Мустафы Джаррара. Модель семейства NeoBERT/ModernBERT предварительно обучена предсказанию замаскированных токенов на смеси веб-текстов, диалектных данных, новостей и книг; в обучающей смеси 15,5% приходилось на диалектные тексты. Архитектура включает 28 слоёв, чередование локального и глобального внимания, RoPE, токенизатор SentencePiece на 64 тыс. токенов и контекст до 4096 токенов. Модель предназначена для заполнения пропусков в арабском тексте и как база для дообучения на задачах анализа тональности и распознавания именованных сущностей. В бенчмарках дообученных моделей она показала конкурентные результаты по тональности; оценка NER была нестабильной в одном из трёх запусков дообучения. Для загрузки через Transformers требуется включить доверенную загрузку пользовательского кода. Лицензия — Apache-2.0; README также характеризует модель как исследовательский артефакт.

Модель fabr iceyhc/bert-base-uncased-yahoo_answers_topics — дообученная версия BERT base uncased для классификации текстов по темам набора Yahoo Answers Topics. Она принимает текст и относит его к тематической категории; опубликованный результат на оценочной выборке — точность 0,7499 при значении loss 0,8092. Архитектура — BertForSequenceClassification, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель подходит для тематической сортировки вопросов и ответов, похожих на данные Yahoo Answers. Карточка не описывает категории, обучение и ограничения подробнее. Базовая модель ориентирована на английский текст. Лицензия — Apache-2.0.

anas-awadalla/bert-tiny-finetuned-squad — компактная модель семейства BERT, дообученная на датасете SQuAD для ответов на вопросы по предоставленному тексту. Она принимает вопрос и контекст и определяет в контексте фрагмент, который отвечает на вопрос. Модель содержит 4,4 млн параметров, использует архитектуру BertForQuestionAnswering и распространяется в формате PyTorch; максимальная длина контекста — 512 токенов. Модель подходит для поиска ответов в коротких документах и демонстрационных систем вопросно-ответного поиска. В карточке не приведены результаты оценки и подробные ограничения; качество зависит от соответствия вопроса и контекста данным SQuAD. Лицензия — MIT.

BidirLM/BidirLM-1B-Base — промежуточный чекпойнт семейства BidirLM, созданный авторами BidirLM на основе Google Gemma 3 1B. Веса Gemma 3 1B преобразовали для двунаправленного внимания, обучили с Masked Next Token Prediction на 30 млрд токенов из многодоменного корпуса, а затем объединили с исходными весами Gemma 3 1B в соотношении 50/50. Модель содержит 1 млрд параметров, использует плотную архитектуру BidirLMForMaskedLM и поддерживает контекст до 32 768 токенов. Модель предназначена прежде всего для предсказания замаскированных токенов и как основа для последующей тонкой настройки под классификацию текста и разметку токенов. Она поддерживает множество языков; среди явно перечисленных — английский, арабский, немецкий, французский, испанский, хинди и японский. Для получения общих эмбеддингов авторы рекомендуют вариант BidirLM-1B-Embedding с дополнительным контрастивным обучением. Лицензия — Apache-2.0.

monologg/biobert_v1.1_pubmed — языковая модель на архитектуре BERT, опубликованная monologg на Hugging Face. Это BioBERT, предварительно обученная на биомедицинских текстах PubMed; её назначение — извлечение и анализ информации из научных и медицинских текстов. Репозиторий предоставляет модель для заполнения пропусков в тексте (fill-mask), с 135,5 млн параметров и контекстом до 512 токенов. Модель работает с текстом и подходит как языковая основа для биомедицинских задач, например распознавания сущностей, извлечения отношений и ответов на вопросы после соответствующей настройки. Карточка указывает Transformers и варианты весов PyTorch, JAX и safetensors. Лицензия в предоставленных сведениях не установлена; базовая BioBERT опубликована исследовательской группой DMIS-Lab.

electramed-small-BC5CDR-ner — модель семейства ELECTRA, разработанная путём дообучения giacomomiolo/electramed_small_scivocab на наборе BC5CDR. Она предназначена для разметки токенов и распознавания сущностей в биомедицинских текстах, связанных с химическими веществами и заболеваниями. Модель содержит 20,4 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. В README приведены результаты на оценочном наборе BC5CDR: F1 0,8444, точность 0,8092 и полнота 0,8829. Лицензия в предоставленных данных не указана.

GLiNER2 structure-extraction-модель, дообученная на базе fastino/gliner2-base-v1 для извлечения сведений о погибших, пострадавших и пропавших без вести из текстов новостей о катастрофах. Она связывает числовые значения с соответствующими ролями и помогает отличать их от дат, магнитуд землетрясений и числа перемещённых жителей; если роль в тексте не упомянута, может вернуть null. Модель предназначена для извлечения данных из новостных потоков и передачи их трекеру, который оценивает изменение числа жертв со временем. В тестировании на синтетических новостных потоках модель превзошла базовую версию по точности и полноте связывания ролей с числами. Обучение и оценка проводились на синтетических текстах, поэтому качество на реальных новостях о катастрофах не проверено. Поле source ненадёжно: вместо источника сообщения модель может выделить число. Модель распространяется в формате safetensors; лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

HPLT/hplt_bert_base_2_0_lvs-Latn — монолингвальная модель-кодировщик проекта HPLT, обученная для латышского языка на данных HPLT v2.0. Она основана на варианте BERT под названием LTG-BERT и предназначена прежде всего для восстановления скрытых токенов в тексте; представления модели также подходят для задач классификации текста и токенов, ответов на вопросы и выбора варианта ответа. Архитектура соответствует настройкам BERT-base: 12 слоёв, 12 голов внимания, размер скрытого состояния 768 и словарь из 32 768 токенов. Модель содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и использует отдельный токенизатор, обученный на латышских данных HPLT. Для загрузки через Transformers требуется пользовательский код модели и параметр trust_remote_code=True. Выпущена по лицензии Apache-2.0.

Это модель mcsabai, представляющая собой HuBERT base в версии cased, дообученную для ответов на вопросы на венгерском языке. Она использует архитектуру BERT и принимает вопрос вместе с текстом-контекстом, чтобы извлечь из него ответ; при настройке handle_impossible_answer может воздерживаться от ответа, если контекст его не подтверждает. Модель содержит 137,8 млн параметров и рассчитана на контекст длиной до 512 токенов. Модель предназначена для извлечения ответов из предоставленного текста, например для вопросно-ответных систем по документам на венгерском языке. Дообучение выполнено на венгерской версии SQuADv2, созданной машинным переводом датасета с помощью Google Translate API; это может ограничивать качество формулировок и ответов. Доступны веса в форматах PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.

InternViT-300M-448px — визуальная foundation-модель и backbone для извлечения признаков изображений, разработанная OpenGVLab. Модель содержит около 402,7 млн параметров по метаданным и использует архитектуру InternVisionModel семейства InternViT. Она обучена дистилляцией из InternViT-6B-448px-V1-5. Модель принимает изображения с динамическим разрешением на основе тайлов 448×448: при обучении использовалось от 1 до 12 тайлов, при тестировании поддерживается от 1 до 40. Предназначена для получения визуальных признаков и может служить backbone для компьютерного зрения; в карточке также отмечены устойчивость, обработка высокого разрешения и возможности OCR. Обучающие данные включают мультиязычные наборы изображений, подписи и OCR-данные на китайском и английском языках. Лицензия — MIT. Авторы отмечают, что серия InternViT V2.5 лучше подходит для построения мультимодальных языковых моделей, чем для традиционных задач компьютерного зрения; результаты OCR и качество на конкретных данных могут зависеть от сценария применения.

Isaac-0.1-Base — базовая мультимодальная модель PerceptronAI для совместной обработки изображений и текста. В карточке она описана как модель на 2 млрд параметров, предназначенная для визуальных вопросов и ответов, пространственного рассуждения, локализации объектов, распознавания мелкого текста и анализа сложных сцен. Метаданные указывают 1,7 млрд параметров и контекст до 40 960 токенов; архитектура — плотная IsaacForConditionalGeneration, формат весов — Safetensors. Модель объединяет Qwen/Qwen3-1.7B и визуальную основу google/siglip2-so400m-patch14-384. Модель рассчитана на сценарии, где текстовые ответы должны быть привязаны к содержимому изображения: например, поиск дефектов оборудования, определение расположения объектов и чтение текста в загруженных сценах. README отмечает поддержку локализации с выделением областей, работы с примерами прямо в запросе и диалогового взаимодействия. Указанная лицензия CC BY-NC 4.0 разрешает использование на её условиях, включая ограничения для коммерческого применения.

KcELECTRA-base-v2022 — корейская предобученная языковая модель семейства ELECTRA, разработанная Beomi. Она обучена с нуля на комментариях и ответах к комментариям новостных статей Naver, чтобы лучше работать с пользовательским корейским текстом: разговорными выражениями, сленгом, опечатками и эмодзи. В обучающем корпусе было более 180 миллионов предложений; опубликованный чекпойнт прошёл 848 тысяч шагов обучения. Модель имеет плотную архитектуру ELECTRA с 155 млн параметров, контекстное окно 512 токенов и WordPiece-токенизатор со словарём из 30 тысяч токенов. Это базовый предобученный энкодер для последующей тонкой настройки: его применяли, в частности, для классификации тональности, распознавания именованных сущностей, оценки сходства и ответов на вопросы. В приведённых автором сравнениях версия v2022 улучшила результаты относительно KcELECTRA-base предыдущей версии на большинстве задач. Модель рассчитана прежде всего на корейский шумный пользовательский текст; для более общих текстовых задач автор отмечает, что KoELECTRA может работать лучше. Для прикладного решения обычно требуется дообучение под целевую задачу. Модель распространяется по лицензии MIT.

KuBERT-Central-Kurdish-BERT-Model — модель на архитектуре BERT, разработанная AsoSoft для обработки центральнокурдского языка. Она предназначена для классификации текста без заранее заданного набора классов: пользователь задаёт варианты меток, а модель оценивает их соответствие тексту. Чекпойнт содержит около 95 млн параметров и поддерживает контекст до 512 токенов. Модель обучена на корпусе примерно из 296,5 млн токенов, собранном из материалов AsoSoft, текстов Арама Рафика и Мухаммада Азизи, а также корпуса OSCAR 2019. В README также указаны специализированный токенизатор для курдского языка и использование BERT. Это языковая модель общего назначения для центральнокурдских текстов; карточка не сообщает лицензию и не приводит оценок качества, поэтому их нельзя установить по доступным сведениям.

Это англоязычная модель классификации текста на основе DistilBERT, дообученная разработчиком Harveen1808 для различения текста о еде и не о еде. Модель предназначена для классификации текстовых последовательностей; в метаданных указана архитектура DistilBertForSequenceClassification и максимальный контекст 512 токенов. В README приведён результат оценки: точность 1,0 и loss 0,0005, однако датасет и условия оценки не описаны, поэтому эти показатели не позволяют судить о качестве на новых данных. Модель распространяется по лицензии Apache-2.0.

MihaiPopa-1/LFM2.5-350M-heretic — компактная плотная языковая модель для генерации текста и диалогов, полученная дообучением LiquidAI/LFM2.5-350M с применением abliteration для снижения частоты отказов. Она содержит 444,6 млн параметров, использует архитектуру LFM2 с причинной языковой головой и рассчитана на локальный запуск; метаданные указывают контекст до 128 000 токенов. Карточка базовой модели описывает текстовую модель для извлечения данных, структурированных ответов и использования инструментов; поддерживаемые языки — английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский. По приведённому в README сравнению доля отказов снизилась с 88 до 5 из 100 ответов, а KL-дивергенция относительно исходной модели составила 0,0954. Модель может подойти для диалогов, извлечения сведений и генерации структурированных ответов, но ослабление защитных отказов означает, что она может отвечать на запросы, которые исходная модель отклонила бы. README не рекомендует базовую модель для задач, требующих обширных знаний, и программирования; качество этих задач у данного варианта отдельно не подтверждено. Лицензия указана как other, без уточнения её условий в предоставленных данных.

OpenBioLLM-70B — специализированная языковая модель для биомедицины, разработанная Анкитом Палом (Aaditya Ura) из Saama AI Labs. Это дообученная для медицинской и биологической тематики версия Meta-Llama-3-70B-Instruct с архитектурой Llama и примерно 69,5 млрд параметров. Модель генерирует текст и поддерживает диалоговое следование инструкциям; заявленная длина контекста — 8192 токена. Модель предназначена для ответов на медицинские вопросы, суммирования клинических записей, извлечения медицинских сущностей и классификации биомедицинских документов. В карточке приведены результаты на нескольких биомедицинских наборах тестов, но эти показатели сами по себе не подтверждают пригодность для клинических решений. README также предупреждает, что ответы иногда бывают многословными и рекомендует использовать исходный шаблон чата Llama 3 Instruct; медицинские ответы требуют проверки специалистом. Основной язык — английский. Лицензия — Meta Llama 3 License (llama3).

MIReAD — дообученная модель на архитектуре BERT, представленная авторами работы MIReAD на ACL 2023. Она инициализирована весами SciBERT и обучена предсказывать класс журнала по заголовку и аннотации научной статьи. Для обучения использовались более 500 тысяч аннотаций из PubMed и arXiv, размеченных по более чем 2 тысячам классов журналов. Модель подходит для классификации научных публикаций по журналам и извлечения семантически значимых представлений аннотаций для последующего анализа. Она принимает текст и использует токенизатор SciBERT; максимальная длина контекста составляет 512 токенов. Веса опубликованы в формате PyTorch, число параметров — около 137,1 млн. Лицензия — Apache-2.0.

Это дообученная модель mmBERT для распознавания упоминаний источников СМИ в текстах исторических газет Impresso. Она выполняет токенную классификацию и выделяет названия информационных агентств и радиостанций; модель предназначена для обогащения газетных корпусов и помощи при курировании данных, а не для общего распознавания именованных сущностей. Модель основана на ModernBERT: в ходе адаптации были разморожены верхние четыре слоя. Веса обучены на наборе impresso-project/impresso-mediaagencies-ner-dataset версии v2.0.0; опубликованная версия v2.0.1 обновляет runtime-пайплайн без повторного обучения. Размер составляет 306,9 млн параметров, поддерживаемая длина контекста — до 8192 токенов. Карточка указывает французский, немецкий и люксембургский языки; базовая модель mmBERT — многоязычная. На отложенном тестовом наборе точность составила 0,9346, полнота — 0,8644, F1 — 0,8981. Для применения необходимо соблюдать токенизацию unicode-word-punctuation-v1 и декодирование first_subtoken_viterbi, настроенное для модели. Лицензия — MIT.

Jhusef Alfonso López Parra разработал эту модель распознавания именованных сущностей в клинических текстах на испанском языке. Она дообучена для токенной классификации онкологических сущностей по 30 меткам в схеме BIO на основе XLM-RoBERTa-large и предназначена для извлечения медицинских упоминаний из текстов, например сведений о диагнозе и лечении. Модель содержит 658,7 млн параметров, принимает текст и поддерживает контекст длиной до 514 токенов. Для разметки текста можно использовать библиотеку Transformers и pipeline token-classification с объединением фрагментов сущностей. В README указаны метрики на валидации: F1 0,9499, точность 0,9394 и полнота 0,9607. Модель распространяется по лицензии Apache-2.0. Это академическая модель: она может ошибаться и отражать смещения обучающего корпуса, поэтому её результаты не заменяют оценку медицинского специалиста.