I.3Извлечение и структурирование данных

Google BigBird Base Trivia ITC — модель семейства BigBird, дообученная на наборе TriviaQA для ответов на вопросы по тексту. Она использует архитектуру BigBirdForQuestionAnswering с 151,9 млн параметров и контекстом до 4096 токенов. Модель принимает текст вопроса и контекст и предсказывает ответ; карточка указывает английский язык и поддержку PyTorch и JAX. Модель подходит для поиска ответов на вопросы по материалам TriviaQA и аналогичным англоязычным текстам. Веса доступны в форматах PyTorch и Flax; лицензия — Apache-2.0. Карточка не приводит оценок качества или подробных ограничений за пределами специализации на вопросно-ответной задаче.

CARDS-Qwen3.6-27B-API — дообученная модель семейства Qwen, разработанная для классификации климатических утверждений, отрицающих или оспаривающих изменение климата, по таксономии CARDS. Она дообучена на наборе C3DS/cards_sft_dataset с помощью LoRA ранга 16, после чего адаптер объединён с базовыми весами Qwen/Qwen3.6-27B. Модель загружается через Transformers и может обслуживаться, например, через vLLM. Основной сценарий — разметка утверждений кодами CARDS; также модель сохраняет мультимодальные возможности базовой модели и может классифицировать утверждения, представленные на изображениях, с текстом или без него. В тесте на 1 436 примерах уровня L1 модель показала Samples F1 0,893 и Micro F1 0,885. По описанию авторов, качество ниже на редких метках: модель уступает Claude Opus по Macro F1 и полноте для редких классов. При генерации может выдавать рассуждение перед итоговым YAML-блоком категорий, что нужно учитывать при разборе ответа. Лицензия — Apache-2.0.

LRieser/ceo-responsible-leadership-modernbert-base — англоязычный классификатор предложений, разработанный для анализа писем генеральных директоров акционерам. Это дообученная для классификации последовательностей модель ModernBERT-base с 149 млн параметров и контекстом до 8192 токенов; в описанном сценарии ей передают одно предложение. Модель относит его к одному из двух классов: responsible — высказывание о заинтересованных сторонах, сотрудниках, обществе, окружающей среде, этике или долгосрочной ценности; not_responsible — обычное деловое или финансовое содержание. Модель предназначена для выявления ответственного лидерства в корпоративных коммуникациях и исследовательского анализа писем CEO. На размеченной выборке из 5 418 предложений средний macro-F1 при повторной стратифицированной 5-блочной кросс-валидации составил 0,890, а точность — 0,910. Ошибки возможны: ценностные заявления и шаблонные формулировки могут ошибочно распознаваться как ответственное лидерство, а финансовые высказывания, связанные с ценностью для заинтересованных сторон, — пропускаться. Модель распространяется по лицензии Apache-2.0.

mpkato/chemu-biobert-ner — модель распознавания именованных сущностей в описаниях химических реакций и патентах. Она разработана на основе BioBERT-Base v1.2 и дообучена как BertForTokenClassification на корпусе ChEMU 2020 Task 1. Модель содержит 135,5 млн параметров, использует формат safetensors и обрабатывает последовательности длиной до 512 токенов. Модель размечает десять типов сущностей, связанных с этапами реакции, включая исходные вещества, реагенты и катализаторы, растворители, продукты, условия и выходы. На отложенной выборке ChEMU 2020 указана оценка exact-match micro-F1; для сравнения, общий результат выше baseline BANNER на 6,9 процентного пункта. Модель рассчитана на англоязычные химические патенты, особенно описания органического синтеза. Для длинных фрагментов текста требуется разбиение на части или chunking. Качество на других химических областях, включая материаловедение, неорганическую химию и иные наборы данных по катализу, не проверено. Для некоторых типов веществ точность ниже, чем для часто встречающихся типов; отмечены ошибки сегментации многословных названий и путаница между растворителями и реагентами. Лицензия CC BY-NC 3.0 ограничивает использование некоммерческими исследовательскими целями.

HFL Chinese LERT Base — предварительно обученная языковая модель для китайского языка, разработанная авторами Yiming Cui, Wanxiang Che, Shijin Wang и Ting Liu. LERT основана на архитектуре BERT и предназначена для восстановления замаскированных токенов в тексте, а также как языковая основа для задач обработки китайского языка. Модель содержит 129,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Карточка характеризует LERT как модель с лингвистически мотивированным предобучением. Лицензия — Apache 2.0. Для прямого применения в других задачах может потребоваться дообучение. В доступной карточке не приведены результаты оценки качества и подробности состава обучающих данных.

Модель Amna-Shahzad/code-switching-codesaviours-si26-Amna разработана Амной Шахзад в рамках проекта CodeSaviours SI-26 и организации Code Saviours (SMC-PRIVATE) Limited. Это дообученная XLM-RoBERTa-base с 305,2 млн параметров и классификационной головой для разметки отдельных токенов текста. Модель определяет, относится ли слово к урду, английскому или смешанному варианту: метки URD, ENG и MIX. Она предназначена для анализа переключения языков в тексте на романизированном урду и английском, в том числе как этап предварительной обработки для последующих NLP-задач. Максимальный контекст — 514 токенов. В README сообщается об обучении на 140 предложениях, тестировании на 35 предложениях и точности 99,70%; эти результаты относятся к указанной небольшой выборке. Модель распространяется в формате safetensors по лицензии Apache-2.0 в метаданных, тогда как README указывает на исследовательское и учебное применение и рекомендует проверять условия базовой модели и датасетов перед коммерческим использованием.

DeepSeek-V4-Flash-Vision-Strix-Halo-GGUF — мультимодальная версия DeepSeek-V4-Flash-Vision-Exp, подготовленная автором репозитория для запуска на AMD Strix Halo (gfx1151) через Ember. Это аблитерированная, откалиброванная по матрице важности GGUF-квантизация с эффективной точностью 2,58 BPW; в комплект входят башня зрения в F16 и черновая модель DSpark. Основная модель занимает около 85,3 ГиБ, а весь набор с башней и черновой моделью — около 96,3 ГиБ в памяти. Модель принимает текст и изображения и отвечает на вопросы о содержимом изображений, включая распознавание текста, подсчёт объектов и пространственные вопросы. Изображения обрабатываются только при наличии отдельной башни зрения и должны быть неинтерлейсными PNG в RGB/RGBA8. README приводит проверки на синтетических и естественных вопросах, но не заявляет поддержки конкретных языков. Для запуска требуется AMD Strix Halo и Ember либо совместимый движок с поддержкой графа deepseek4, типов ROCmFPx и маршрутизации токенов изображения. В README не приведены условия лицензии, а в метаданных указана лицензия other. Это производный экспериментальный артефакт; его пригодность зависит от требуемого оборудования и runtime.

EriBERTa-base — двуязычная доменно-специализированная языковая модель для клинической обработки текста, разработанная Икером де ла Иглесиа, Айцибер Атутчей, Кольдо Гохенолой и Андером Барреной. Модель построена на архитектуре RoBERTa и содержит 162,4 млн параметров; она обучена на медицинских и клинических корпусах на английском и испанском языках. Репозиторий предоставляет веса PyTorch и safetensors, лицензия — Apache-2.0. Модель предназначена прежде всего для задачи заполнения маскированных фрагментов текста. Её можно адаптировать для клинического NER и классификации текста; авторы также отмечают потенциал переноса знаний между языками, что может быть полезно при нехватке клинических данных на испанском. Длина контекста составляет 514 токенов. Модель показала преимущества над предшествующими испанскими языковыми моделями в клинической области, однако её следует проверять и валидировать для конкретного применения. Данные из разных источников, в том числе собранные веб-сканированием, могут недостаточно охватывать отдельные клинические поддомены, редкие заболевания и языковые варианты, а также содержать демографические и лингвистические смещения. EriBERTa не предназначена для медицинской диагностики или критически важных решений; результаты требуют проверки специалистом.

Feraoun-36M — модель оптического распознавания печатного кабильского языка (тақбайлит), созданная для транскрибации строк и страниц в латинской орфографии и нео-тифинаге. Это модель типа Vision Encoder-Decoder примерно на 36,3 млн параметров: визуальный энкодер DeiT с 12 слоями и декодером для генерации текста. Для инициализации энкодера использованы веса microsoft/trocr-small-stage1. Модель принимает изображение строки или страницы и выдаёт распознанный текст, самостоятельно обрабатывая оба письма. Модель предназначена для оцифровки печатных романов, грамматик, периодики и архивных материалов на кабильском. В описанном тесте на 1000 строк латиницей достигнуты CER 2,85%, WER 13,20% и точное совпадение всей строки в 70,20% случаев; результаты на смешанном наборе с тифинагом приведены отдельно и не сопоставимы напрямую. Лицензия — Apache-2.0. Модель обучалась на строках печатного текста и не предназначена для рукописей, других языков или распознавания сложной верстки. На страницах обнаруживаются горизонтальные полосы текста без определения колонок и порядка чтения. Основные ошибки связаны с регистром и пробелами; символ ţ отсутствует в словаре и не может быть восстановлен. Качество диакритик зависит от шрифта и качества скана.

la_core_web_lg — конвейер NLP для латинского языка в spaCy, разработанный Patrick J. Burns в рамках проекта LatinCy при участии Tim Geelhaar, Nora Bernhardt и Vincent Koch. Модель обучена на гармонизированных корпусах Universal Dependencies Perseus, PROIEL, ITTB, LLCT, UDante и CIRCSE, а также на данных LASLA. Конвейер выполняет токенизацию с обработкой энклитик, сегментацию предложений, POS-теггинг, морфологический анализ, лемматизацию, синтаксический разбор зависимостей и распознавание именованных сущностей. Он поддерживает латинский язык и включает 200 000 уникальных 300-мерных векторов. Версия модели — 3.9.8; требуется spaCy версии не ниже 3.8.11 и ниже 3.9.0. Модель подходит для лингвистического анализа латинских текстов, извлечения сущностей, нормализации словоформ и построения структурированных синтаксических представлений. По опубликованным оценкам, точность POS-теггинга составляет 96,48%, лемматизации — 94,15%, сегментации предложений — 93%, а F-мера распознавания сущностей — 88,36%. Точность морфологического анализа равна 90,78%, UAS синтаксического разбора — 80,78%, LAS — 75,27%. Показатели относятся к измерениям версии 3.9; в версии 3.9.8 веса не переобучались, а метрики повторно не измерялись на обновленном тестовом наборе. Ограничения включают зависимость от совместимой версии spaCy и возможное снижение качества на текстах, заметно отличающихся от обучающих корпусов. Модель распространяется по лицензии MIT.

Это версия модели для классификации текста, автоматически преобразованная в формат ONNX и опубликованная через Hugging Face Space. Модель основана на DistilBERT и дообучена для бинарного определения, относится ли текст к еде; она рассчитана на запуск через Transformers.js и поддерживает входную длину до 512 токенов. В README указана точность 1,0 и потеря 0,0005 на оценочном наборе, однако сведения о наборе данных и методике оценки отсутствуют, поэтому эти показатели не позволяют судить о качестве на новых данных. Модель распространяется по лицензии Apache-2.0.

DuoNeural Abliteration Lab выпустила LFM 2.5-8B-A1B Abliterated — экспериментально модифицированную версию Liquid AI LFM 2.5-8B-A1B. Это диалоговая языковая модель для генерации текста и рассуждений; в ней ослаблено обученное поведение отказа на опасные запросы. По карточке, модификация затрагивает веса шести слоёв внимания гибридной архитектуры Mamba и attention с MoE-экспертами. В метаданных указано 1,6 млрд параметров, контекст 128 000 токенов и формат safetensors. Модель предназначена для диалога, рассуждений, ответов на вопросы, генерации JSON и исследовательского изучения поведения отказов и постобучения. В README заявлено сохранение качества на тестах фактических ответов, математики и JSON, однако приведённые проверки ограничены небольшими наборами примеров и не гарантируют качество в других сценариях. Поддерживаемый язык карточки — английский. Лицензия — Apache-2.0. У модели намеренно снижены защитные ограничения, поэтому она может выдавать опасные инструкции. README отмечает, что часть отказов сохраняется, а обученные отказы и знания об опасных действиях — разные аспекты поведения. Модель не рекомендуется для систем без человеческого контроля и сценариев, где необходимы надёжные защитные отказы.

Это 4-битная GPTQ-квантизация текстовой инструктивной модели Google MedGemma 27B, подготовленная Беном Барнардом и Оладимеджи Адарамевой для Medical Policy Applied Research Team (MPART) в Innovate Springfield и University of Illinois Springfield. Модель предназначена для разработчиков и исследователей, создающих приложения для работы с медицинскими текстами, в том числе для анализа политики здравоохранения, Medicaid и финансирования систем здравоохранения. Модель принимает и генерирует текст, поддерживает диалог и рассчитана на английский язык. Квантизация выполнена методом GPTQ через llmcompressor: веса 4-битные, активации 16-битные, размер группы 128; слой lm_head оставлен в полной точности. По README, это снижает потребность в памяти примерно с 55 до 15 ГБ и позволяет запускать модель на одной видеокарте с 24 ГБ или более видеопамяти. Приведённые результаты медицинских бенчмарков относятся к базовой модели до квантизации. Модель может быть полезна для анализа и обобщения медицинских и связанных с политикой здравоохранения текстов, но не предназначена для непосредственного клинического применения: ответы необходимо независимо проверять квалифицированным специалистам. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

Aladin004/my_awesome_model — модель DistilBERT, дообученная на неизвестном наборе данных для классификации текста. В метаданных указаны архитектура DistilBertForSequenceClassification, библиотека Transformers, формат весов safetensors и базовая модель distilbert/distilbert-base-uncased. Контекст модели составляет 512 токенов. Модель предназначена для классификации текстовых последовательностей. На оценочном наборе данных автор сообщает accuracy 0,9314 и loss 0,2316, однако описание набора данных, классов и методики оценки отсутствует. Модель поддерживает английский язык, унаследованный от базовой uncased-модели DistilBERT. Лицензия — Apache-2.0; пригодность метрик для конкретного применения зависит от неизвестных данных и классов, на которых проводилась оценка.

CLS-Lab/narrative-likert-roberta — модель CLS-Lab на базе RoBERTa-base, дообученная для оценки повествовательных характеристик текста по девяти шкалам Лайкерта. Она регрессионно оценивает агентность (фокализация, эмоции, когниция, изменение состояния и конфликт) и характеристики сеттинга (конкретность, временная и пространственная привязка, сенсорные детали). Модель обучена на псевдоразметке, созданной Gemma-4-31B, а оценка проводилась на отложенной выборке с человеческой эталонной разметкой. Модель предназначена для анализа повествований и извлечения структурированных оценок из текста. Это дообучение FacebookAI/roberta-base; в репозитории указаны веса PyTorch и токенизатор. Карточка с подробностями обучения пока не представлена. Лицензия — ODC-BY.

ontology-arrest — модель классификации текста, выпущенная SCALES Open Knowledge Network. Это дообученная версия scales-okn/docket-language-model на наборе данных, названном в карточке None; архитектура DeBERTa-v2, около 533,7 млн параметров, контекст до 512 токенов. Модель предназначена для исследований и разработки в области классификации юридических документов и извлечения информации. В карточке приведены идеальные показатели на оценочном наборе: accuracy, F1, precision и recall равны 1,0, а loss — 0,0000. Состав и размер оценочного набора не описаны, поэтому эти результаты не позволяют судить о качестве на других данных. Модель не является источником юридических рекомендаций и требует проверки на конкретном применении. Распространяется по лицензии GNU GPL v3.0.

OpenMed-NER-ProteinDetect-ElectraMed-335M — модель OpenMed для распознавания и классификации биомедицинских сущностей в тексте. Это дообученный трансформер с архитектурой семейства BERT, примерно 433,9 млн параметров и контекстом до 512 токенов. Модель принимает токенизированный текст и выдаёт BIO-метки для сущностей, включая белки, белковые комплексы, семейства и варианты белков. Модель предназначена для извлечения сущностей из научной литературы, биомедицинских текстов и клинических документов, в частности для анализа белковых взаимодействий и поиска молекулярных сущностей. В README сообщается о тестировании на корпусе FSU и приводятся метрики F1 0,91, точность 0,90 и полнота 0,92; эти показатели относятся к указанному набору данных и не гарантируют такого же качества на других текстах. Заявленные в README сценарии включают анализ клинических записей и поддержку исследований, однако описанные типы меток сосредоточены на белках и связанных сущностях. Модель поддерживает английский язык. Распространяется под лицензией Apache-2.0.

OpenMed-ZeroShot-NER-DNA-Medium-209M — модель OpenMed для распознавания биомедицинских именованных сущностей в тексте. Она основана на архитектуре GLiNER и дообучена на корпусе JNLPBA, содержащем аннотации белков, ДНК, РНК, клеточных линий и типов клеток. Размер 209 млн параметров указан в названии модели; модель доступна в формате PyTorch. Модель предназначена для извлечения сущностей из научной биомедицинской литературы и других профильных текстов, например при анализе молекулярных взаимодействий, подготовке данных для курирования биологических путей и исследованиях в области геномики. В zero-shot режиме можно задавать типы сущностей без отдельного дообучения под каждую метку. В README приведён результат F1 0,8208 на тестовой выборке JNLPBA; заявленные возможности на произвольных типах сущностей следует проверять на целевых данных. Модель принимает текст и выдаёт обнаруженные сущности с метками. В карточке указана поддержка английского языка. Лицензия — Apache-2.0. Результаты на JNLPBA не гарантируют такую же точность на других жанрах текста или при извлечении редких и пользовательских типов сущностей.

OpenMed/OpenMed-ZeroShot-NER-DNA-Small-166M — специализированная модель OpenMed для распознавания биомедицинских сущностей в тексте. Она основана на архитектуре GLiNER и дообучена на корпусе JNLPBA, содержащем аннотации белков, ДНК, РНК, клеточных линий и типов клеток. Модель поддерживает zero-shot извлечение сущностей: пользователь может задавать категории для поиска без отдельного дообучения под каждую из них. Модель предназначена для анализа биомедицинской литературы и исследовательских текстов, включая поиск молекулярных сущностей для курирования биологических путей и извлечения взаимодействий. В README приведён F1 0,76 на тестовой выборке JNLPBA, не включённой в обучение. Веса доступны в формате PyTorch; модель принимает текст и возвращает распознанные сущности с метками. Метаданные указывают английский язык и лицензию Apache-2.0. Заявления карточки о применении к клиническим записям и широкой номенклатуре сущностей не подкреплены приведёнными результатами на этих сценариях.

OpenMed-ZeroShot-NER-Genomic-Large-459M — модель OpenMed для распознавания генов и связанных с генетикой сущностей в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе GELLUS, посвящённом извлечению упоминаний генов и генетических сущностей из научной литературы. Модель принимает текст и возвращает найденные сущности с метками и позициями. Модель предназначена для разметки упоминаний генов и вариантов, поддержки генетических ассоциативных исследований, курирования вариантов и анализа геномной литературы. В README также заявлена возможность задавать пользовательские типы сущностей без дополнительного обучения. Для новых или редких типов предлагается подбирать порог обнаружения; приведённый результат F1 0,9775 относится к тесту на GELLUS и не гарантирует такое же качество на других данных. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не сообщает размер контекста. Хотя README описывает широкое биомедицинское применение, обучающий корпус и специализация этой версии ориентированы на генетику и распознавание генов.

google/paligemma-3b-ft-vqav2-448 — мультимодальная модель Google для ответов на вопросы по изображениям, дообученная на VQAv2. Она построена на архитектуре PaliGemma, сочетающей визуальный энкодер SigLIP и языковую модель Gemma; принимает изображение и текстовый запрос и генерирует текст. Вариант с разрешением 448 предназначен для визуальных задач, а карточка относит его к image-text-to-text и указывает формат safetensors. Модель подходит для визуальных вопросов и ответов, а семейство PaliGemma также может дообучаться для описания изображений, чтения текста на изображениях, обнаружения и сегментации объектов. Это одношаговая модель, рассчитанная на конкретные задачи, а не на многоходовой диалог; для этого варианта уместно использовать вопросы по изображениям VQAv2. В README заявлена поддержка нескольких языков, но основные языки этого чекпойнта не уточнены. Модель может ошибаться в фактических ответах, сложных рассуждениях и интерпретации нюансов; возможны смещения, унаследованные от обучающих данных. Лицензия — Gemma; применяются условия и ограничения использования моделей Gemma.

Это дообученная Sergio Torres Aguilar модель XLM-RoBERTa для распознавания именованных сущностей в средневековых документах. Она извлекает имена людей и географические названия из текстов, включая вложенные сущности, и может представлять разметку в формате BIO/CoNLL. Модель обучена на 8 тысячах размеченных текстов средневековой латыни, старофранцузского и староиспанского языков XI–XV веков. Это чекпойнт XLM-RoBERTa с 658,7 млн параметров и контекстом до 514 токенов; он принимает текст и выдаёт метки токенов. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

PiotrSty/trocr-pl-mixed-v3 — экспериментальная TrOCR-модель, разработанная PiotrSty дообучением PiotrSty/trocr-pl-base. Это модель архитектуры vision-encoder-decoder, настроенная методом QLoRA на декодере для распознавания польского печатного текста, включая строки с реальных машинописных документов EHRI. Она принимает изображения отдельных строк и выдаёт распознанный текст; обучение включало синтетические печатные строки и 349 реальных машинописных строк. В README приведены результаты оценки на небольших отложенных наборах, однако их недостаточно, чтобы считать качество обобщённым или подтверждённым на независимых полноформатных страницах. Модель предназначена для OCR отдельных строк, а не для сегментации страниц. README предупреждает о ненадёжной сегментации выцветшего машинописного текста и рекомендует провести собственную оценку перед использованием. Модель распространяется по лицензии Apache-2.0.

laion/vocalburst-captioning-whisper — дообученная LAION модель на архитектуре Whisper-small encoder–decoder для создания текстовых описаний коротких неречевых вокализаций: смеха, вздохов, крика, кашля, плача, одышки и прочих подобных звуков. Она принимает аудиофрагмент и генерирует свободный текст на английском языке. Веса занимают 153,1 млн параметров; модель построена на Transformers и сохранена в формате safetensors. Модель подходит для автоматической подписи вокальных звуков в аудиозаписях и для конвейеров разметки аудио. Её можно использовать вместе с laion/vocalburst-locator: детектор находит временные границы вокализаций, после чего эта модель описывает каждый сегмент. На валидационной выборке авторы получили cosine similarity 0,2506 по метрике CLAP против 0,190 у базовой модели. Модель дообучена на синтетических примерах вокализаций; приведённые результаты относятся к этой валидационной выборке, а полнота обнаружения зависит от совместно используемого детектора. Лицензия — CC BY 4.0.

anchor-pairs — дообученный Krasovskiy на FacebookAI/xlm-roberta-base кросс-энкодер для оценки того, должны ли два поисковых запроса вести на одну страницу. Модель предназначена прежде всего для кластеризации ключевых слов при построении семантического ядра в гемблинг-нише: она оценивает пары запросов без обращения к поисковой выдаче и может помочь разобрать случаи с разными написаниями, синонимами или языками. Модель построена на XLM-RoBERTa и содержит 305,2 млн параметров; она принимает пары текстов и выдаёт оценку для ранжирования или классификации. Карточка сообщает о контексте до 514 токенов и обучении на 1,2 млн пар запросов, собранных по страницам конкурентов. В заявленном тесте на гемблинг-данных anchor-pairs показала PR-AUC 0,9636; эти результаты относятся к описанной оценочной выборке и задаче. Для других ниш авторы указывают худший результат, чем у базовой модели, и рекомендуют переобучение на профильных данных. Модель не определяет по одному запросу, является ли название провайдером игр или заведением. Лицензия — Apache-2.0.

bamibert-res-acsa-multilabel — модель классификации текста на архитектуре RoBERTa с 129 млн параметров. Согласно карточке, она обучена с нуля на неизвестном наборе данных; подробности о назначении, классах и обучении отсутствуют. Метаданные указывают контекст длиной 2050 токенов и формат весов safetensors. Лицензия не указана в предоставленных данных.

BERT-base для французских текстов, разработанный командой MDZ Digital Library Баварской государственной библиотеки. Модель предварительно обучена на французской части корпуса Europeana объёмом 63 ГБ и примерно 11 млрд токенов; в корпусе преимущественно тексты XVIII–XX веков. Учитывая исторический состав данных, модель подходит для анализа французских исторических и библиотечных коллекций. Это плотная модель BERT с 137,8 млн параметров, регистрозависимая (cased) и с контекстом до 512 токенов. Доступны веса для PyTorch, TensorFlow и Flax. Её можно применять как языковое представление для задач вроде распознавания именованных сущностей и классификации; README ссылается на результаты для исторического NER. Лицензия — MIT. Специализация на историческом французском корпусе может ограничивать качество на современных текстах и других языках.

Bio_ClinicalBERT — англоязычная модель семейства BERT, разработанная Эмили Олсенцер и соавторами как вариант Bio+Clinical BERT. Она инициализирована весами BioBERT и предварительно обучена на всех заметках MIMIC-III: примерно 880 млн слов из электронных медицинских записей пациентов отделения интенсивной терапии. Модель использует плотную архитектуру BERT с 135,5 млн параметров и контекстом до 512 токенов. Модель предназначена для работы с клиническим текстом; её задача в каталоге и основной сценарий использования — заполнение пропусков в тексте. Представления модели также исследовались для задач распознавания именованных сущностей и вывода по тексту. Доступна по лицензии MIT; файлы представлены в форматах PyTorch, TensorFlow и Flax, включая safetensors.

Модель tkcho/commerce-bert-kr — предварительно обученная BERT-модель, созданная Epopcon на данных корейской электронной коммерции: названиях товаров и опций, брендах, продавцах и категориях с площадок, включая 11st и Naver Store. Она предназначена для языковых задач в контексте корейской торговли; основной доступный сценарий — восстановление замаскированных токенов в тексте. Модель имеет архитектуру BertForMaskedLM, содержит 145,5 млн параметров и принимает последовательности длиной до 512 токенов. Для токенизации указан tkcho/commerce-tokenizer-kr. Распространяется в формате PyTorch; сведения о лицензии в доступных данных отсутствуют.

German Europeana ConvBERT — модель для извлечения признаков, опубликованная командой цифровой библиотеки MDZ Баварской государственной библиотеки. Она основана на архитектуре ConvBERT и предварительно обучена на корпусе газет Europeana объёмом 51 ГБ, содержащем около 8 млрд токенов. Модель рассчитана на представление исторических немецкоязычных текстов в виде признаков; авторы также указывают на результаты применения к распознаванию именованных сущностей в исторических текстах. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Доступны форматы PyTorch, SafeTensors и TensorFlow; лицензия — MIT. Карточка не сообщает отдельные метрики качества или подробные ограничения, поэтому результаты для конкретных корпусов следует проверять на целевых данных.