I.3Извлечение и структурирование данных

mobilint/Qwen3-VL-4B-Instruct — это квантованная версия базовой модели Qwen/Qwen3-VL-4B-Instruct, скомпилированная и оптимизированная компанией Mobilint для работы на аппаратных ускорителях Mobilint NPU. Модель распространяется в формате, предназначенном для развертывания в стеке ускорения Mobilint. По указанным данным модель относится к классу image-text-to-text и предназначена для задач, объединяющих обработку изображений и текста, однако конкретные сценарии применения, поддерживаемые языки, размер контекста и детали архитектуры не описаны. Известно, что базовая модель имеет размер 4B, но сведения о модальностях и характеристиках именно оптимизированной версии ограничены. Модель может быть полезна для инференса на оборудовании Mobilint благодаря оптимизации под NPU и интеграции с соответствующим программным стеком. Ограничением является зависимость от аппаратной платформы и среды Mobilint. Лицензия — Apache-2.0.

RadBERT-RoBERTa-4m — языковая модель UC San Diego и системы здравоохранения VA, адаптированная для радиологических текстов. Она инициализирована весами RoBERTa и дополнительно обучена на 4 миллионах обезличенных радиологических заключений из больниц VA. Модель имеет архитектуру RoBERTa с маскированным языковым моделированием, содержит около 151,8 млн параметров и поддерживает контекст до 514 токенов. Модель предназначена для анализа радиологических заключений: классификации предложений с нормальными или патологическими находками, присвоения диагностических кодов по пяти системам и экстрактивного суммирования раздела находок. В README также описано применение модели для получения признаковых представлений текста. Карточка сообщает о более сильных результатах на медицинских языковых задачах по сравнению с рядом прежних моделей медицинского домена. Модель обрабатывает текст; обучение проводилось на обезличенных отчетах VA, однако обезличивание не гарантирует пригодность для любых клинических сценариев. Указана лицензия Apache-2.0. Для практического применения потребуется настроить или оценить модель на целевой задаче; приведённый README не описывает отдельную мультимодальную поддержку.

RECCON — модель для извлечения из реплик диалога короткого фрагмента текста, который служит причиной или триггером заданной эмоции. Разработчик в карточке не назван; модель подготовлена для развёртывания на Hugging Face Inference Endpoints. Она решает задачу извлекающего вопросно-ответного поиска: на вход подаются текст высказывания и метка эмоции, на выходе — соответствующий текстовый фрагмент. В README указана база SpanBERT, а метаданные классифицируют веса как BERT-модель с 135,5 млн параметров и контекстом до 512 токенов. Модель обучалась на наборе RECCON, созданном на основе DailyDialog, и предназначена для анализа эмоциональных причин в диалогах. README описывает постобработку, которая ограничивает ответ коротким фрагментом, проверяет его наличие в исходном тексте и удаляет дубликаты пересекающихся фрагментов. В README есть расхождение: в описании базы указана SpanBERT, тогда как логика обработчика упоминает RoBERTa; архитектура в метаданных указана как BERT. Лицензия в предоставленных данных не приведена.

KoichiYasuoka/roberta-base-chinese — предобученная модель RoBERTa для китайского языка, разработанная Koichi Yasuoka на текстах китайской Википедии, включая упрощённое и традиционное письмо. Это плотная трансформерная модель класса RobertaForMaskedLM с 133,7 млн параметров и контекстом до 512 токенов; веса доступны в формате PyTorch и могут использоваться через Transformers. Модель предназначена для восстановления замаскированных токенов и дообучения под последующие задачи, например разметку частей речи и синтаксический анализ зависимостей. Она подходит для обработки китайских текстов в сценариях, где нужны предобученные языковые представления. Лицензия — CC BY-SA 4.0.

RelBERT — модель на базе RoBERTa-large, дообученная библиотекой RelBERT командой, поддерживающей репозиторий relbert, на наборе данных relbert/semeval2012_relational_similarity. Она предназначена для получения векторных представлений отношений между понятиями и решения задач понимания семантических отношений: аналогий, классификации лексических отношений и сопоставления отношений. В README приведены результаты на SAT, BATS, U2, U4, Google, BLESS, CogALexV, EVALution, K&H+ и ROOT09. Модель содержит 454,1 млн параметров, использует архитектуру RoBERTa и принимает текст для извлечения признаков; заявленная длина контекста — 514 токенов. README предлагает использовать её через библиотеку RelBERT. Репозиторий содержит веса PyTorch. Лицензия в предоставленных сведениях не указана. Результаты приведены на конкретных наборах задач понимания отношений и не гарантируют аналогичного качества на других типах текста.

RelBERT — модель на архитектуре RoBERTa Large, дообученная из roberta-large библиотекой RelBERT на наборе relbert/semeval2012_relational_similarity. Она предназначена для получения признаковых представлений текста, которые помогают решать задачи понимания семантических отношений: определять аналогии, классифицировать лексические отношения и сопоставлять отношения между понятиями. Модель содержит 454,1 млн параметров, работает с текстом и имеет контекст до 514 токенов. В карточке приведены результаты на нескольких наборах для аналогий и классификации отношений, включая точность 0,946 на Google и F1 0,954 на K&H+. Использование описано через библиотеку RelBERT. Язык модели и лицензия в предоставленных данных не указаны.

swardiantara/sentence-problem_type-embedding — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 384. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений; по названию карточки модель ориентирована на тексты о типах задач, связанных с дронами. Модель построена на архитектуре BERT, содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель обучалась с ContrastiveLoss на основе косинусного расстояния. В репозитории указаны веса safetensors и библиотека sentence-transformers. Язык обучающих данных и лицензия в предоставленных сведениях не указаны.

nbdaaa разработал модель T5-Small Vietnamese — вариант архитектуры T5 для вьетнамского языка, продолжительно предобученный на текстовом корпусе с целью восстановления замаскированных фрагментов. Модель использует токенизатор VietAI/vit5-base; в метаданных указаны 40,5 млн параметров, контекст 512 токенов и библиотека Transformers. В README исходная архитектура обозначена как google-t5/t5-small с примерно 60 млн параметров. Модель предназначена для заполнения пропусков и денойзинга вьетнамского текста, а также как основа для дообучения на задачах суммаризации, ответов на вопросы, классификации, распознавания именованных сущностей и машинного перевода. README приводит примеры нулевого дообучения для NER и контекстных вопросов и ответов, но отмечает, что модель не дообучена для конкретных прикладных задач. Репозиторий содержит веса safetensors и опубликован под лицензией Apache-2.0.

Карточка модели Yongxin-Guo/trace на Hugging Face совпадает с карточкой Yongxin-Guo/trace-uni, поэтому описание составлено по ней. TRACE-uni — видеоязыковая модель Yongxin Guo и соавторов для понимания событий в видео. Она основана на дообученной Mistral-7B-Instruct-v0.2 и использует причинное моделирование событий, последовательно связывая временные метки, оценки значимости и текстовые описания. Размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для поиска событий и временных интервалов в видео, плотного описания видео и ответов на вопросы о его содержании. В README также приведены результаты на задачах общего понимания видео. Репозиторий содержит веса safetensors; лицензия — Apache-2.0. Для работы с видео требуется видеовход, однако доступная классификация Hugging Face указывает только задачу генерации текста.

Модель louisbrulenaudet/tsdae-lemone-mbert-tax — sentence-transformers-модель на базе mBERT, разработанная Louis Brulé Naudet для работы с французским налоговым и юридическим языком. Она преобразует предложения и абзацы в плотные векторы размерности 768; README указывает на адаптацию к французской налоговой тематике с помощью Transformer-based Sequential Denoising Auto-Encoder для обучения эмбеддингов без учителя. Модель предназначена для семантического поиска и кластеризации французских налоговых и правовых текстов, а также для извлечения признаков, которые можно использовать в классификаторах с размеченными данными. Основана на архитектуре BERT, содержит 194,6 млн параметров и принимает последовательности длиной до 512 токенов. Базовая модель обучалась на 102 языках, но эта версия адаптирована прежде всего для французского языка и налогового домена. Модель опубликована под лицензией Apache-2.0. Её эмбеддинги отражают специализацию на французском налоговом праве, поэтому пригодность для других языков и тематик может быть ниже; контекст ограничен 512 токенами.

Arabic Medical Classification Model (AraBERTv2) — модель на базе aubmindlab/bert-base-arabertv2, дообученная для классификации арабских медицинских вопросов и ответов по 89 категориям, включая кардиологию, неврологию и эндокринологию. Разработчик — AymanElbery. Модель предназначена для разметки медицинских текстов в системах вопросов и ответов, виртуальных помощниках и медицинских чат-ботах. Она принимает текст на арабском языке, включая современный стандартный арабский и некоторые диалекты, и выдаёт метку класса. Архитектура — BERT для классификации последовательностей, размер — 162,4 млн параметров, максимальная длина контекста — 512 токенов. Обучение проводилось на частном наборе из 800 000 пар «вопрос, ответ, классификация». Модель распространяется под лицензией Apache-2.0. Она классифицирует тексты по заданным медицинским категориям, но карточка не подтверждает её пригодность для постановки диагнозов или медицинских рекомендаций; качество на других диалектах и вне обучающих категорий не описано.

Asclepius-13B — клиническая языковая модель, созданная командой Asclepius и дообученная на синтетических клинических данных на базе LLaMA-13B. Это плотная авторегрессионная модель с 12,9 млрд параметров, рассчитанная на английский язык и контекст до 2048 токенов. Модель предназначена для клинических NLP-задач с медицинскими записями: извлечения именованных сущностей и отношений, раскрытия сокращений, выделения временной информации, разрешения кореференции, перефразирования, суммаризации и ответов на вопросы. Авторы позиционируют её для исследований; результаты требуют проверки специалистом перед клиническим применением. Веса опубликованы в формате PyTorch. В метаданных указана лицензия CC-BY-NC-4.0, тогда как README указывает CC-BY-NC-SA 4.0; условия лицензирования следует сверить с актуальной карточкой репозитория. Модель не предназначена для клинического использования без независимой валидации.

bert-local — компактная модель классификации текста, разработанная boltuix на основе дообученной bert-mini. Она сопоставляет разговорные запросы пользователя с одной из более чем 140 категорий местных организаций и услуг, например магазинами, клиниками, кафе, транспортными объектами и учреждениями. Модель рассчитана на локальный поиск, мобильные приложения, голосовых помощников и другие системы, которым нужно быстро направлять запрос к подходящей категории; заявлены размер около 20 МБ и точность 94,26% на тестовой выборке из 122 примеров. Модель принимает текст и возвращает метку категории с оценкой классификатора. Архитектура — BertForSequenceClassification на базе bert-mini, около 5 млн параметров, контекст — до 512 токенов; доступен формат safetensors и интеграция через Transformers. README описывает примеры и категории на английском, а метаданные указывают английский язык карточки. Указана лицензия Apache-2.0. Модель специализируется на категориях локального бизнеса и не предназначена для генерации ответов или поиска конкретных организаций и маршрутов.

BioBERTpt(all) — португалоязычная модель на архитектуре BERT, разработанная для клинических и биомедицинских текстов. Она инициализирована из BERT multilingual cased и обучена на клинических заметках и биомедицинской литературе на португальском языке. В репозитории указана версия с примерно 205,1 млн параметров и контекстом до 512 токенов. Модель предназначена для языкового моделирования в медицинском домене; метаданные Hugging Face указывают задачу заполнения пропусков в тексте. Её можно использовать как основу для анализа португальских клинических записей и биомедицинских публикаций, в том числе как компонент систем распознавания клинических сущностей. Доступны веса в форматах PyTorch, TensorFlow и Flax. Карточка ссылается на статью о BioBERTpt и оценке для распознавания клинических именованных сущностей. Лицензия в предоставленных данных не указана.

BioLinkBERT-large — англоязычная модель-энкодер семейства BERT, разработанная Мичи Ясунага и соавторами. Она предварительно обучена на рефератах PubMed с использованием связей цитирования между документами, чтобы учитывать информацию из нескольких связанных текстов. Архитектура — плотный трансформерный энкодер BertModel; в метаданных указан размер 432,2 млн параметров, контекст — до 512 токенов. Модель предназначена для дообучения под задачи биомедицинского NLP, включая классификацию текстов, ответы на вопросы и разметку токенов. Её также можно использовать для извлечения признаков и эмбеддингов. В README заявлены сильные результаты на биомедицинских бенчмарках, включая BLURB, PubMedQA и BioASQ; обучение на связях между документами особенно полезно для вопросов и задач, требующих объединения сведений из разных текстов. Модель принимает текст и выдаёт контекстные представления; для классификации требуется подходящая задача и настройка. Контекст ограничен 512 токенами, а исходное обучение и заявленные результаты ориентированы на английские биомедицинские тексты. Лицензия — Apache-2.0.

BioMed-RoBERTa-base — языковая модель AllenAI на архитектуре RoBERTa-base, адаптированная к научной литературе по биомедицине. Модель продолжительно предобучена на полных текстах 2,68 млн научных статей из корпуса Semantic Scholar, содержащих в сумме 7,55 млрд токенов. Веса модели насчитывают 151,8 млн параметров, а длина контекста составляет 514 токенов. Она предназначена как базовая модель для настройки под задачи обработки биомедицинского текста, включая классификацию, извлечение отношений и распознавание сущностей. В README приведены результаты на RCT-180K, ChemProt и JNLPBA, где модель показывает конкурентные результаты относительно RoBERTa-base. Модель обрабатывает английский текст. Метаданные указывают форматы PyTorch и Flax. Сведения о лицензии в предоставленных материалах отсутствуют.

ChemQwen2-vL — мультимодальная модель для химии, дообученная разработчиком prithivMLmods на Qwen2-VL-2B-Instruct. Она принимает изображения и текстовые запросы, распознаёт химические структуры на изображениях, генерирует идентификаторы InChI и описания соединений, а также отвечает на вопросы по химическим схемам. Модель семейства Qwen2-VL имеет плотную архитектуру с 1,5 млрд параметров, поддерживает динамическое число визуальных токенов для изображений разных разрешений и контекст до 32 768 токенов. В карточке заявлена поддержка химического текста на нескольких языках, включая английский, китайский, немецкий, французский, японский, корейский и арабский. Модель предназначена для хемоинформатики, обучения и исследовательского анализа химических изображений. Качество распознавания может снижаться на сложных или нестандартных структурах, изображениях низкого разрешения и редких символах; результаты требуют проверки специалистом, особенно при использовании в лабораторных процессах. Репозиторий распространяется по лицензии Apache-2.0.

CODER++ — англоязычная модель семейства BERT для получения векторных представлений биомедицинских терминов и их автоматической кластеризации. Работа описана Сиханом Зенгом, Чжэн Юанем и Шэном Ю в статье «Automatic Biomedical Term Clustering by Learning Fine-grained Term Representations» (2022). Репозиторий содержит модель на 135,5 млн параметров в форматах PyTorch и Safetensors; заявленная длина контекста — 512 токенов. Модель предназначена для извлечения признаков из текста и построения тонких представлений биомедицинских терминов, которые можно использовать для группировки терминов по смыслу. Карточка не описывает дополнительные сценарии или способ обучения модели. Лицензия — Apache-2.0.

Модель disham993/electrical-embeddinggemma-ir_f16 — версия семейства Gemma 3 Text для семантического поиска и извлечения информации в электротехнике и электронике. Её разработал пользователь disham993, дообучив unsloth/embeddinggemma-300m на наборе ElectricalElectronicsIR с парами вопросов и фрагментов текста по электротехнике, электронике, энергосистемам и связи. Модель содержит около 302,8 млн параметров и принимает текстовые запросы и фрагменты документов, преобразуя их в признаки для поиска. Это сборка GGUF в формате F16 для запуска через llama.cpp, в том числе на CPU и GPU; заявленная длина контекста — 2048 токенов. README приводит высокие результаты поиска на тестовой выборке из 2000 запросов, но они относятся к набору ElectricalElectronicsIR. Модель ориентирована на английский текст и может хуже работать с другими языками, разговорными формулировками и запросами, смешивающими электротехнику с другими областями. Лицензия — MIT.

FinBERT-FLS — модель на архитектуре BERT, разработанная исследователями HKUST и дообученная для классификации финансовых высказываний о будущих событиях. Она различает конкретные прогнозные заявления, неконкретные прогнозные заявления и фрагменты, которые не являются прогнозными заявлениями. Модель обучена на 3 500 вручную размеченных предложениях из разделов Management Discussion and Analysis годовых отчётов компаний Russell 3000. Модель предназначена для анализа корпоративной отчётности и выявления прогнозных заявлений, которые могут быть полезны инвесторам и аналитикам при оценке финансовых документов. Она принимает финансовый текст на английском языке и возвращает одну из трёх категорий. Размер модели — 137 млн параметров, максимальная длина контекста — 512 токенов; доступен формат PyTorch. Результаты отражают классы, предусмотренные обучающей разметкой, и сами по себе не являются инвестиционной рекомендацией или оценкой точности прогноза компании. Карточка не содержит сведений о лицензии.

Gemma3-12B-CVRR — мультимодальная модель для ответов на вопросы по изображениям, разработанная в рамках работы Reason Through the Latent! Making Latent Visual Reasoning Necessary. Она основана на Google Gemma 3 12B Instruct и использует метод Causal Visual Recurrent Reasoning (CVRR): состояние вопроса несколько раз уточняется с доступом к визуальным свидетельствам, а итоговый ответчик получает это состояние без прямого доступа к исходным визуальным данным. Модель рассчитана на визуальные вопросы и задачи рассуждения по изображениям; поддерживает текстовый ввод вместе с изображением и выдаёт текстовый ответ. В репозитории указаны веса safetensors и лицензия Gemma. CVRR сохраняет визуальные возможности исходной VLM и настраивает рекуррентный переход с помощью LoRA и обучения на токенах ответа; отдельная загрузка LoRA не требуется. Для запуска нужен специальный загрузчик Transformers и зависимости из README. Модель требует отдельную полную копию на GPU и не поддерживает автоматическое разбиение по устройствам, стандартную переупаковку через save_pretrained() или прямую загрузку в vLLM и SGLang.

U-CURATE v2.0 — NAVER HyperCLOVA X SEED Text Instruct 1.5B негізіндегі, корей тілінде мәтін генерациялауға арналған тәжірибелік модель. Оны 2026 жылғы K-DS хакатоны мен K-AI көшбасшылар тақтасын бағалау үшін жасаған. LlamaForCausalLM архитектурасындағы 1,6 млрд параметрлі модель бастапқы модельге U-CURATE Random 1K деректер жиыны бойынша QLoRA арқылы бір дәуір доқытылып, адаптері негізгі салмақтармен біріктірілген; нәтижесі BF16 форматындағы жеке safetensors артефактісі. Контекст терезесі 131 072 токенге дейін, Transformers және vLLM арқылы пайдалануға болады. Модель корей тіліндегі әкімшілік құжаттар, жаңалықтар, техникалық-ғылыми мәтіндер, сандық есептер, қылмыстық құқық, оқу материалдары және бухгалтерлік есеп бойынша сұрақтарға жауап беру мен нұсқауларды орындауға бейімделген. Сондай-ақ корей тіліндегі көпсессиялық диалогты қолдайды. Деректер жиыны бар болғаны 1 000 мысалдан және бір оқыту seed-інен тұрады; ішкі бағалау нәтижелері ресми K-AI ұпайын немесе жалпы жағдайда жақсы жалпылауды кепілдемейді. Фактілік дәлдігі, қауіпсіздігі, бейтараптығы және жоғары тәуекелді шешімдерге жарамдылығы кепілденбейді. Лицензиясы — HyperCLOVA X SEED Model License Agreement; толық шарттар репозиторийдегі LICENSE, өзгерістер MODIFICATIONS.md, ал ескертпелер NOTICE файлында берілген.

hawalurahman/indobert-base-uncased-bloom-base — дообученная модель на базе indolem/indobert-base-uncased для классификации текста. Она построена на архитектуре BERT и содержит 137,8 млн параметров; принимает текстовые последовательности длиной до 512 токенов. Репозиторий использует библиотеку Transformers и формат весов safetensors. Модель подходит для присвоения тексту категорий в задачах на индонезийском языке. В README указаны результаты оценки: accuracy 0,575 и loss 1,0931; описание набора данных, конкретных меток и предполагаемых сценариев применения не приведено. Модель распространяется по лицензии MIT.

ml6team/keyphrase-extraction-kbir-kpcrowd — англоязычная модель команды ML6 для извлечения ключевых фраз из текста. Она основана на KBIR и дообучена на датасете KPCrowd; архитектура RoBERTa решает задачу токенной классификации, помечая начало и продолжение ключевой фразы, а также слова вне неё. Модель предназначена для быстрого выделения тем и значимых фраз в документах, особенно в транскрипциях новостных передач. Она поддерживает английский язык, имеет 454,1 млн параметров и контекст до 514 токенов. Модель обучалась на 500 англоязычных новостных историях из десяти тематических категорий. В README указана оценка на тестовой выборке Inspec: F1@5 — 0,12, F1@10 — 0,20, F1@M — 0,33. Разработчики предупреждают, что модель зависит от датасета и не рекомендуют применять её в других предметных областях. Лицензия — MIT.

Bespin Global компаниясының Jaehyeong автора дообучила модель klue/bert-base для машинного чтения и ответов на вопросы по предоставленному тексту. Модель использует архитектуру BERT с головой BertForQuestionAnswering и содержит 137,8 млн параметров. Она обучалась на наборе AIHub для машинного чтения: стандартной и объяснимой частях данных; в README указаны четыре эпохи и скорость обучения 3e-5. Модель предназначена для корейских сценариев поиска ответа в тексте. Максимальная длина контекста составляет 512 токенов, формат весов — PyTorch. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

KorSciDeBERTa — корейская языковая модель KISTI на архитектуре DeBERTa-v2 с 211,6 млн параметров. Она предварительно обучена на корпусе объёмом 146 ГБ, включающем научные статьи, исследовательские отчёты, патенты, новости и корейскую Википедию. Модель принимает текст и предсказывает замаскированные токены; максимальная длина контекста — 512 токенов. Модель предназначена для заполнения пропусков и дальнейшей тонкой настройки для классификации предложений, разметки токенов и ответов на вопросы. В карточке приведена оценка классификации научных публикаций: F1-micro 0,85 и F1-macro 0,52 по описанной авторами методике. Для работы могут потребоваться специфичный токенизатор KorSci и Mecab. Лицензия — MIT. Авторы предупреждают о возможных стереотипах, предвзятости, персональных данных и токсичном языке в результатах. Модель не предназначена для высокорисковых решений, включая применение в медицине, праве, финансах, образовании и найме.

yuiseki/llm-jp-3-440m-jp-gov-v0.2 — компактная авторегрессионная модель семейства Llama, дообученная yuiseki на базе llm-jp/llm-jp-3-440m. Она предназначена для короткого японского продолжения названия муниципалитета, чтобы определить, в какой префектуре Японии он находится. Модель содержит 345,2 млн параметров, использует Transformers и принимает контекст до 4096 токенов. По описанным испытаниям, после подсказки вида «当別町は» модель верно завершала 71,5% названий муниципалитетов, отложенных из обучающего корпуса; на примере обученных названий точность составила 97,2%. Она также справляется с формулировками, прямо спрашивающими о префектуре, но создана для завершения текста, а не для диалога. Модель лучше работает с японскими названиями: для тех же названий в романизации README сообщает точность лишь 16%. Она плохо подходит для длинных инструкций и структурированных ответов; на описанном тесте такого формата не выдала требуемой строки ни в одном из 36 случаев. Лицензия — Apache-2.0.

Это контекстная модель XLM-RoBERTa, разработанная Manifesto Project и дообученная на примерно 1,6 млн размеченных высказываний из Manifesto Corpus версии 2023a. Она относит текст к одной из 56 политических тем по схеме кодирования Manifesto Project, описанной в Handbook 4. Модель имеет около 658,7 млн параметров, использует архитектуру XLM-RoBERTa для классификации последовательностей и принимает текст высказывания вместе с окружающим контекстом; для контекста при обучении использовалось до 200 токенов. Максимальная длина контекста модели — 514 токенов. Контекстный вариант предназначен для классификации неоднозначных высказываний в политических манифестах: добавление окружающих предложений улучшило точность примерно на 7 процентных пунктов по сравнению с вариантом без контекста. Модель поддерживает языки предобучения XLM-RoBERTa, а лучше всего работает на 38 языках, представленных в Manifesto Corpus. На тестовом наборе из 199 046 высказываний контекстный вариант показал точность 0,64 и macro-F1 0,53. Для загрузки полной модели в Transformers требуется trust_remote_code=True. Лицензия — BigScience OpenRAIL-M.

MedRoBERTa.nl — языковая модель на архитектуре RoBERTa, разработанная Стеллой Веркийк и Пиком Воссеном. Она предварительно обучена с нуля на почти 10 миллионах обезличенных медицинских записей из электронных карт пациентов больниц Amsterdam University Medical Centres и не проходила дообучение под конкретную задачу. Модель содержит 153,2 млн параметров и поддерживает контекст до 514 токенов. Модель предназначена для NLP-задач в медицинской сфере на нидерландском языке. Её можно дообучать для прикладных сценариев; доступная задача — заполнение пропусков в тексте (fill-mask). Авторы сообщают, что обезличили обучающие данные и словарь, чтобы модель не предсказывала имена в режиме заполнения пропусков. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.

MiniLM-evidence-types — модель классификации текста, разработанная Marieke93 путём дообучения microsoft/MiniLM-L12-H384-uncased на наборе данных evidence types. Она определяет тип свидетельства в тексте и подходит для разметки фрагментов по категориям свидетельств в исследовательских и аналитических задачах. Модель построена на архитектуре BERT и содержит около 40 млн параметров. Она принимает текстовые последовательности длиной до 512 токенов и выдаёт метку класса. На тестовой выборке указаны accuracy 0,7161, macro F1 0,3726 и balanced accuracy 0,3616, поэтому качество заметно различается между классами. Лицензия — MIT.