I.3Извлечение и структурирование данных

BioTinyBERT — компактная модель семейства BERT, разработанная командой NLPie путём дальнейшего обучения TinyBERT на наборе научных публикаций PubMed в режиме continual learning. Обучение длилось 200 тысяч шагов с общим размером пакета 192. Модель содержит 4 скрытых слоя, размерность скрытых представлений и эмбеддингов — 768, всего около 15,6 млн параметров; контекст ограничен 512 токенами. Модель предназначена для заполнения пропусков в тексте с помощью задачи fill-mask и подходит для экспериментов с биомедицинскими текстами, например для подстановки термина в предложение с маскированным словом. Это PyTorch-чекпойнт с лицензией MIT. Карточка не приводит оценок качества или специальных ограничений применения, поэтому результаты на конкретных биомедицинских задачах следует проверять отдельно.

lukasdrg/clinical_longformer_same_tokens_200k — дообученная модель семейства Longformer с архитектурой LongformerForMaskedLM и 151,8 млн параметров. Она предназначена для заполнения пропусков в тексте: модель предсказывает замаскированные токены с учётом окружающего контекста. В README приведён результат оценки Loss 1,9880; модель дообучена на наборе данных, обозначенном как None. Модель опубликована в формате safetensors и связана с базовой моделью lukasdrg/clinical_longformer_same_tokens_180k. Указанный в метаданных размер контекста — 4098 токенов. Карточка не описывает обучающие данные, языки, ограничения или конкретные клинические сценарии, поэтому её пригодность для медицинского применения по имеющимся сведениям оценить нельзя.

SandriBarros/clinical_longformer_same_tokens_cienmil — дообученная модель Longformer для задачи заполнения масок в тексте. Она основана на allenai/longformer-base-4096, содержит 151,8 млн параметров и поддерживает контекст до 4098 токенов. В карточке указана оценка Loss 2,0099 на тестовом наборе, но сам набор и условия оценки не описаны. Модель принимает текст с замаскированными фрагментами и предсказывает подходящие токены. Архитектура Longformer рассчитана на работу с длинными последовательностями; название указывает на клиническую направленность, однако README не подтверждает специализированные медицинские возможности или языки обучения. Модель распространяется в формате safetensors по лицензии Apache-2.0.

moralBERT-uncased-mrfc-authority — модель классификации текста, созданная дообучением google-bert/bert-base-uncased. Она предназначена для классификации текстовых последовательностей; название указывает на связь с моральной оценкой и авторитетом, однако карточка не уточняет набор меток и целевую схему классификации. Модель содержит 136,7 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. В README приведены результаты на тестовой выборке: loss 0,6352 и accuracy 0,5997. Данные обучения не описаны, поэтому эти показатели не позволяют судить о качестве на конкретных прикладных задачах. Модель распространяется в формате safetensors по лицензии Apache-2.0.

ajrayman/narcissism_binary — модель классификации текста, созданная дообучением microsoft/deberta-v3-base. Она предназначена для бинарной классификации текста, связанной с нарциссизмом; название модели указывает на такой сценарий, однако README не уточняет классы и обучающие данные. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и принимает текст длиной до 512 токенов. В README приведены результаты оценки: accuracy 0,7034, precision 0,8052, recall 0,5375, F1 0,6447 и AUC 0,7577. Это указывает на компромисс между точностью положительных предсказаний и полнотой; результаты сами по себе не подтверждают пригодность для клинической диагностики. Модель распространяется под лицензией MIT.

SEC-BERT-SHAPE — англоязычная модель семейства SEC-BERT, разработанная группой обработки естественного языка Афинского университета экономики и бизнеса (AUEB). Она предназначена для финансового NLP и приложений FinTech. Модель основана на архитектуре BERT и обучена на финансовых документах; вариант SHAPE относится к семейству SEC-BERT, однако README не раскрывает, чем именно он отличается от базового варианта. Основная задача модели — предсказание скрытых токенов в финансовом тексте. Это подходит, например, для анализа формулировок в финансовых документах и исследовательских экспериментов с финансовым языком. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель работает с английским языком и ориентирована на финансовую тематику. Лицензия — CC BY-SA 4.0. README не описывает специфические ограничения варианта SHAPE и не приводит оценок качества именно этой модели.

SpaceBERT — доменная модель семейства SpaceTransformers, представленная авторами работы «SpaceTransformers: Language Modeling for Space Systems». Это BERT-Base (uncased), дополнительно предварительно обученный на корпусе объёмом 14,3 ГБ: аннотациях публикаций, книгах и страницах Wikipedia о космических системах. В карточке указан оригинальный репозиторий проекта strath-ace/smart-nlp. Модель предназначена для задач заполнения пропусков в тексте и может служить основой для дообучения на задачах обработки текстов о космических системах. В работе авторы также дообучали её для распознавания понятий. Архитектура — BERT для masked language modeling, размер — 136,7 млн параметров, контекст — до 512 токенов. Основной язык — английский. Модель распространяется под лицензией MIT. Она специализируется на тематике космических систем; карточка не сообщает результатов для других областей или отдельных метрик качества.

stanfordnlp/stanza-cu — модель проекта Stanza для автоматической лингвистической разметки старославянского языка. Stanza разработан группой Stanford NLP и предоставляет инструменты для анализа текста: эта модель относится к задаче классификации токенов, а её файлы опубликованы в формате PyTorch. Репозиторий автоматически подготовлен из моделей Stanza. Модель предназначена для анализа текстов на старославянском языке в конвейерах NLP. Она распространяется по лицензии Apache 2.0. Карточка не уточняет размер модели, состав конкретных меток и точность.

taiqihe/test-w2v-bert-dummy — модель, опубликованная пользователем Taiqi He на Hugging Face. В каталоге Hugging Face она обозначена как модель для извлечения признаков (Feature Extraction); указан размер около 24,3 млн параметров или эквивалентный объём артефактов. Название содержит w2v-bert, однако доступные первоисточники не подтверждают конкретную архитектуру, конфигурацию или связь с определённой базовой моделью. Модель предназначена для получения признаковых представлений входных данных, но сведения о точных сценариях применения, поддерживаемых модальностях, языках, размере контекста, качестве, обучающих данных и ограничениях отсутствуют. Информация о лицензии также не установлена. README или содержательная карточка модели в доступных результатах поиска отсутствует, поэтому дополнительные характеристики нельзя надёжно указать.

Atul8827/vilt_finetuned_200 — дообученная модель визуальных вопросов и ответов на основе dandelin/vilt-b32-mlm. Она принимает изображение вместе с текстовым вопросом и предназначена для ответа на вопросы о содержимом изображения. Модель использует архитектуру ViLT и содержит 136,7 млн параметров; для репозитория указаны веса safetensors и контекст длиной 40 токенов. Карточка сообщает о дообучении на наборе данных, обозначенном как None, и приводит результаты оценки: loss 9,2119, accuracy 0,0 и F1 0,0. Эти показатели не подтверждают практическую точность модели. Лицензия — Apache-2.0.

ZaraBERTa — англоязычная модель-энкодер, разработанная Brigham Young University–Idaho для работы с текстами Священного Писания. Она дообучена на базе FacebookAI/roberta-large на пяти томах Стандартных трудов Церкви Иисуса Христа Святых последних дней и предназначена для предсказания замаскированных слов, извлечения контекстных векторов и анализа сходства слов в библейском регистре. Архитектура RobertaForMaskedLM имеет 24 слоя; в карточке указаны 355 млн параметров, а метаданные каталога — 456,1 млн. Контекст составляет 514 токенов. Модель сохраняет регистр, различает формы LORD, Lord и lord и добавляет в словарь специальные для корпуса слова и имена как цельные токены. Модель подходит для языкового анализа и извлечения признаков из библейских текстов, включая изучение имен, словоупотребления и лексических связей. Она не генерирует текст и сама по себе не предназначена для ответов на вопросы, суммаризации, классификации или поиска предложений; для таких задач потребуется обученная дополнительная голова либо другая модель. Современные англоязычные запросы о Писании обрабатываются хуже, чем текст в соответствующем стиле. Это учебный и исследовательский инструмент, а не источник вероучительных авторитетных толкований и не официальная публикация церкви. Лицензия — MIT.

CeLLaTe-tapt-pubmedbert-tokenizer-original-baseline-combinedData — дообученная модель Mardiyyah на основе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Она использует архитектуру BERT с 136,7 млн параметров и предназначена для предсказания замаскированных слов в англоязычных биомедицинских текстах. Модель обучалась на Mardiyyah/Combined_TAPT_dataset; контекст составляет до 512 токенов. В оценке на тестовом наборе указаны loss 0,9904, accuracy 0,7745 и perplexity 2,6923. Репозиторий распространяется по лицензии Apache-2.0. README не описывает конкретные сценарии применения и ограничения модели.

dominguesm/legal-bert-base-cased-ptbr — языковая модель BERT для юридических текстов на португальском языке, разработанная автором репозитория на основе BERTimbau base. Модель обучена предсказывать скрытые токены по MASK-цели на корпусе юридических документов Бразилии; архитектура — BertForMaskedLM, размер — 153,2 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для исследований NLP в юридической сфере, вычислительного права и правовых технологий. Её можно использовать для заполнения пропусков в португалоязычных юридических текстах и как основу для прикладных NLP-сценариев в правовой области. Корпус включает судебные решения, ходатайства и другие юридические документы, предоставленные Верховным федеральным судом Бразилии в рамках условий использования LREC 2020. Модель принимает текст и выдаёт варианты заполнения маски; README также показывает загрузку через Transformers. Она ориентирована на бразильский португальский язык, а результаты проекта не выражают позицию Верховного федерального суда Бразилии. Лицензия — CC BY 4.0.

Machiavellianism Binary — англоязычная модель классификации текста, созданная дообучением microsoft/deberta-v3-base. Она предназначена для бинарной классификации текста по признаку макиавеллизма; размер модели составляет 211,6 млн параметров, архитектура — DeBERTa V2 для классификации последовательностей, максимальный контекст — 512 токенов. На оценочном наборе модель получила accuracy 0,6884, precision 0,7492, recall 0,5675, F1 0,6458 и AUC 0,7389. Эти результаты характеризуют только указанный в карточке набор оценки и не гарантируют такую же точность на новых данных. Лицензия — MIT.

NewsBERT_1800-1920-Temporal — дообученная TextMachineProject модель BERT для анализа англоязычных газет 1800–1920 годов с учётом года публикации. К представлениям токенов добавляется временной вектор на основе синусоидальных признаков, поэтому модель можно запрашивать для любого года в пределах этого временного диапазона. Размер модели — 136,7 млн параметров, контекст — до 512 токенов. Модель предназначена для восстановления пропущенных слов и сравнения вероятностей слов в разные годы, например, чтобы исследовать изменения газетной лексики и дискурса вокруг исторических событий. Она обучена на корпусе из 9,28 млн текстов и годов публикации из коллекций LwM и HMD; используется архитектура BERT для masked language modeling. Модель обучалась один проход, поэтому результаты предварительные. Качество может различаться по годам из-за неравномерного распределения публикаций в обучающем корпусе. Для загрузки необходим сопутствующий модуль continuous_time_embedding.py: стандартный вызов AutoModelForMaskedLM.from_pretrained не поддерживает встроенную временную логику. Сведения о лицензии в доступных источниках отсутствуют.

yuiseki разработал экспериментальную языковую модель qwen3-0.6b-jp-gov-v0.1: плотную Qwen3ForCausalLM с 507,9 млн параметров, полученную продолжением предобучения Qwen/Qwen3-0.6B-Base на фактах о муниципалитетах Японии. Модель генерирует текст на японском языке и рассчитана на продолжение заданного текста, а не на диалог в режиме чата. Она принимает контекст длиной до 32 768 токенов; веса опубликованы в формате safetensors по лицензии Apache-2.0. Основной сценарий — продолжение японских фраз о том, к какой префектуре относится муниципалитет, и ответы на близкие запросы о географических связях муниципалитетов Японии. На фактах и формулировках, использованных при обучении, автор сообщает точность 86,5%; на муниципалитетах, исключённых из обучающего корпуса, — 22,8%. Модель также отвечает на некоторые новые формулировки и обратные запросы, но показатели зависят от формы вопроса. Модель не предназначена для общих знаний о географии Японии: она плохо отвечает о муниципалитетах, которых не было в обучающих данных, и заметно хуже справляется с названиями в ромадзи. Обучение также изменило японский стиль ответов и повысило потерю на отложенной выборке Википедии, что указывает на забывание части общих языковых знаний. Карточка не заявляет о дообучении в формате инструкций.

Qwen3-VL-4B-ImRegis — мультимодальная модель на базе Qwen/Qwen3-VL-4B-Instruct, дообученная разработчиком Geologi для создания подписей к изображениям на португальском языке. Модель принимает отдельное изображение и выдаёт текстовое описание; адаптер LoRA объединён с базовыми весами, поэтому модель загружается самостоятельно без PEFT. Она предназначена для описания рисунков, карт, геологических разрезов и диаграмм, извлечённых из геонаучных документов. Обучение проводилось на парах фрагментов иллюстраций из геологических отчётов и португальских подписей набора ImRegis. Модель использует архитектуру Qwen3-VL с 4 млрд параметров. Для изображений вне геонаучных документов её качество может быть ниже; подписи могут содержать фактические ошибки и галлюцинации, поэтому их следует проверять перед дальнейшим использованием. Обучающие изображения уменьшались так, чтобы длинная сторона не превышала 448 пикселей. Лицензия в предоставленных данных не указана.

ANTONI-Alpha — мультимодальная модель группы Computational Pathology Group RadboudUMC для работы с изображениями в вычислительной патологии. Она позволяет задавать вопросы на естественном языке по whole-slide images (WSI) и получать текстовые ответы. Модель использует визуальный энкодер Prism, который преобразует тайлы в эмбеддинги размерности 1280, проекционный слой с cross-attention и языковую модель MedGemma-4B. Для адаптации применялся LoRA с рангом 16; веса языковой модели представлены в 4-битном формате, активации — bf16. Модель принимает предварительно извлечённые Prism-эмбеддинги и диалоги в формате OpenAI, а выдаёт текст. Она не обрабатывает исходные WSI напрямую; для использования нужны Prism-эмбеддинги. Базовая модель — google/medgemma-4b-it. В метаданных указана лицензия other; дополнительные условия следует проверять в карточке модели и лицензии базовой модели.

CheXagent-2-3b-srrg-findings — модель Stanford AIMI для анализа рентгеновских снимков грудной клетки и подготовки структурированных радиологических заключений в формате SRRG. Она построена на архитектуре Phi и имеет 3,5 млрд параметров; модель принимает изображение и формирует текстовый ответ. В метаданных указаны поддержка image-to-text и генерации текста, диалоговый режим, английский язык и контекст до 2048 токенов. Модель предназначена для исследовательских и вспомогательных сценариев анализа медицинских изображений, включая формулировку находок по рентгенограммам. Карточка содержит пример адаптированного скрипта для SRRG, но не приводит подробных оценок качества или клинической валидации. Распространяется по лицензии MIT.

est-roberta-vm-morph-homonym-tagging (Ro-v2-H) — специализированная модель на основе Est-RoBERTa, созданная Сандером Саской в 2026 году. Это дообученная CamemBERT-подобная модель с 144 млн параметров и контекстом до 514 токенов, предназначенная для морфологической разметки и снятия омонимии в эстонском языке. Она использует части речи и морфологические признаки из набора тегов Vabamorf и сосредоточена на омонимичных словоформах склонительных типов 1, 16, 17 и 19. Модель подходит для разрешения морфологической неоднозначности в эстонском тексте и как экспертный компонент более широкой системы. Общая способность к морфологической разметке может быть слабой из-за забывания при дообучении, поэтому модель не рекомендуется для самостоятельной обработки текстов общего назначения. Распространяется по лицензии CC BY-SA 4.0.

Это дообученная модель RoBERTa для заполнения пропусков в тексте: она предсказывает подходящее слово вместо маскированного токена. Модель основана на PlanTL-GOB-ES/roberta-base-bne и содержит 151,8 млн параметров; для хранения весов используется формат safetensors. Максимальная длина контекста — 514 токенов. В названии указаны ультразвуковые исследования, однако карточка не описывает обучающие данные и предполагаемые медицинские сценарии, поэтому специализацию модели по README подтвердить нельзя. В карточке приведён результат оценки Loss 0,6164, но методика и набор оценки не описаны. Лицензия — Apache-2.0.

lgessler/microbert-coptic-mxp — компактная модель семейства BERT для извлечения признаков из текстов на коптском языке. По README, MicroBERT предварительно обучена на корпусе Coptic SCRIPTORIUM с 970 642 токенами и использует обучение с маскированным языковым моделированием, а также supervision для тегирования XPOS и синтаксического анализа зависимостей Universal Dependencies. Модель содержит 1,3 млн параметров, принимает текст и имеет контекстное окно 512 токенов. Модель предназначена для получения контекстных представлений коптского текста, которые можно применять в NLP-системах и downstream-задачах, связанных с морфологической и синтаксической разметкой. В карточке Hugging Face указаны архитектура BERT и задача feature-extraction; веса доступны в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

WhisperSeg-base-animal-vad — модель на базе WhisperSeg, разработанная исследователями из Университета Цюриха и ETH Zurich. Чекпойнт Whisper Transformer дообучен для сегментации голосовой активности животных и предназначен для обнаружения вокализаций и определения их временных границ в аудиозаписях. В README приведён пример разметки с временными отметками начала и конца фрагментов и метками кластеров; модель обучена на наборах сегментации вокализаций пяти видов. Модель содержит 51,7 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате PyTorch. Она ориентирована на анализ голосов животных; её пригодность для других видов, условий записи и человеческой речи отдельно не описана. Лицензия — Apache-2.0.

AnirudhVV/ACTSA-CARDIFFNLP — модель классификации текста, обученная с помощью AutoTrain на наборе ACTSA-CARDIFFNLP/autotrain-data. Она построена на архитектуре XLM-RoBERTa и содержит около 305,2 млн параметров; максимальная длина контекста составляет 514 токенов. Модель предназначена для отнесения входного текста к классам задачи, на которой её обучали. В README приведены метрики на валидации: accuracy и micro-F1 около 0,46, macro-F1 около 0,21. Эти результаты указывают на ограниченное качество классификации; без описания классов и данных оценить применимость модели к конкретному сценарию нельзя. Лицензия в предоставленных сведениях не обозначена.

cm309/distilroberta-base-finetuned-Financial-News-Superior — дообученная модель RoBERTa на базе distilbert/distilroberta-base, созданная для предсказания пропущенных слов в финансовых текстах. Она содержит 95,2 млн параметров, принимает текст с маскированными позициями и предсказывает подходящие токены; максимальная длина контекста — 514 токенов. Модель обучена на наборе financial-reports-sec, а в карточке приведено значение loss 1,4572 на оценочной выборке. Модель подходит для восстановления скрытых слов в финансовых документах и новостях, а также для экспериментов с языковым моделированием в финансовом домене. Указана лицензия Apache-2.0. Карточка не раскрывает подробности обучения и ограничения качества, поэтому приведённый результат не позволяет оценить пригодность для конкретных прикладных задач.

lgessler/microbert-coptic-mx — компактная модель семейства BERT для коптского языка, разработанная как MicroBERT. Она предварительно обучена на задаче masked language modeling с дополнительной супервизией по тегам XPOS. Для обучения использовались 970 642 токена неразмеченных текстов корпуса Coptic SCRIPTORIUM и 48 632 токена размеченных данных UD_Coptic_Scriptorium. Модель предназначена для извлечения контекстных признаков из коптского текста и может служить основой для задач анализа языка. Архитектура — BertModel, размер — 1,3 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в предоставленных сведениях не указана.

merve/rfdetr-docvqa-media3-v2-agree1-large — дообученная модель обнаружения объектов на основе Roboflow/rf-detr-large. Она предназначена для поиска объектов и их локализации на изображениях; метрики карточки отдельно показывают результаты для диаграмм, изображений и подписей. Модель использует архитектуру RF-DETR Large и распространяется в формате safetensors. Лицензия — Apache-2.0. В README приведены низкие значения mAP на оценочном наборе: общий mAP 0,0038, mAP для диаграмм 0,005, для изображений 0,0045 и для подписей 0,0019. Датасет и подробности предполагаемого применения не описаны, поэтому эти результаты не подтверждают пригодность модели для конкретного сценария.

SPECTER-frozen-with-biblio-context-finetuned-reviewclassifier — дообученная модель на основе allenai/specter для классификации текстов. В метаданных указана архитектура BERT с классификационной головой и энкодером библиографического контекста; размер модели — 137,1 млн параметров, максимальная длина контекста — 512 токенов. Модель сохранена в формате PyTorch. Карточка сообщает результаты оценки на неизвестном наборе данных: accuracy 0,91, precision 0,8379, recall 0,0490 и F1 0,0925. Низкие recall и F1 указывают на существенные ограничения качества; метрики не позволяют определить пригодность для конкретного набора данных. Модель опубликована под лицензией Apache-2.0.

Gregg Vision v0.2.1 — модель Grascii, которая преобразует изображение отдельной формы стенографии Грегга в её текстовое представление Grascii. Она предназначена для распознавания рукописной стенографической формы; вместе с Grascii Search результат можно использовать для поиска возможных интерпретаций на английском языке. Модель построена на архитектуре vision encoder-decoder: ViT-энкодер обрабатывает одноканальное изображение, а декодер на основе RoBERTa генерирует текст. Энкодер был инициализирован из vit-small-patch16-224-single-channel, декодер — случайно; модель обучена на наборе gregg-preanniversary-words. Лицензия — MIT. Модель рассчитана на изображения отдельных форм, поэтому карточка не подтверждает распознавание длинных записей или произвольного текста. Она генерирует Grascii, а не готовую английскую расшифровку; для получения возможных английских интерпретаций требуется Grascii Search.

Qwen3-8B Novel Base SFT — полнопараметрическая донастройка модели Qwen3-8B, созданная автором репозитория mikuhhn1239. Модель обучена на 669 китайских веб-романах, примерно 72 млн символов, и предназначена для работы с повествованием и диалогами персонажей. В данных представлены жанры романтики, сён-ай, городской романтики, фэнтези и онлайн-игр. Модель служит базой Stage 1 для рабочего процесса All Novel Can Be Galgame и основой для последующих LoRA-адаптеров, выполняющих классификацию повествовательных единиц, поиск границ сцен и определение говорящих персонажей. Обучение включало продолжение текста и инструкционное продолжение; модель загружается через Transformers. Архитектура — плотная авторегрессионная Qwen3ForCausalLM, размер — 7,6 млрд параметров, контекст — до 40 960 токенов. Основной язык — китайский. Это специализированная модель для китайской художественной прозы, а не универсальный помощник. В README указано, что она рассчитана только на китайский ввод и не имеет защитного выравнивания, поэтому не подходит для генерации чувствительного контента. Репозиторий распространяется по лицензии Apache-2.0.