IV.6Научные исследования, математика и новые материалы

Карточка модели MathLLMs/MathCoder-L-13B на Hugging Face совпадает с карточкой MathLLMs/MathCoder-L-7B, поэтому описание составлено по ней. MathCoder-L-7B — языковая модель семейства Llama, разработанная командой MathLLMs для решения математических задач. Это версия на 7B-класса, дообученная на наборе MathCodeInstruct; в README базовой моделью указана Llama 2. Модель генерирует текстовые решения математических задач и предназначена для использования через библиотеку Transformers.

MetaMath-Mistral-7B — плотная языковая модель семейства Mistral с 7,1 млрд параметров, разработанная командой MetaMath и полностью дообученная на наборе MetaMathQA. Она предназначена прежде всего для генерации решений математических задач и ответов на вопросы, похожие на задачи из GSM8K и MATH. Авторы сообщают результат Pass@1 77,7 на GSM8K и отмечают, что примеры MetaMathQA получены из обучающих частей GSM8K и MATH, а не из их тестовых частей. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка также описывает её как базу для экспериментов с дообучением Mistral-7B и рекомендует снижать скорость обучения относительно настроек для LLaMA-2-7B.

Mistral-7B-MMIQC — плотная языковая модель Vivacem, полученная дообучением Mistral-7B на MMIQC. Она предназначена для генерации текста и решения математических задач; в README указана точность 36,0% на тестовой выборке MATH. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Доступна в формате Safetensors по лицензии Apache-2.0.

Mochi — языковая модель для математических рассуждений, созданная дообучением GLM-4.7-Flash на датасете unsloth/OpenMathReasoning-mini. Модель семейства GLM-4 MoE Lite насчитывает 4,1 млрд параметров и поддерживает контекст до 202 752 токенов. Она принимает текст и генерирует текстовые решения; заявленный язык — английский. Модель предназначена для пошагового решения задач по алгебре, теории чисел, комбинаторике и олимпиадной математике, а также для исследований дообучения компактных моделей на цепочках рассуждений и локального инференса с низкой задержкой. Карточка указывает формат safetensors, чат-возможности и интерфейс вызова инструментов. Лицензия — Apache-2.0; перед коммерческим использованием автор рекомендует сверить условия лицензии базовой модели. Математическая специализация может ухудшить общие навыки диалога и следования инструкциям; обучение на сокращённой выборке ограничивает охват типов задач. Модель способна выдавать убедительные, но ошибочные выкладки, поэтому важные ответы следует проверять.

MuMath-Code-L-7B — языковая модель для математических рассуждений с генерацией кода и использованием инструментов. Она входит в серию MuMath-Code, разработанную авторами проекта MuMath-Code; модель обучали в два этапа: сначала на MuMath-Data, затем на наборе MuMath-Code-Data, объединяющем задачи математического рассуждения и примеры взаимодействия с кодом. Архитектура — плотная LlamaForCausalLM примерно на 6,6 млрд параметров, формат весов — PyTorch; контекст составляет 4096 токенов. Модель предназначена для решения математических задач, в том числе с генерацией кода и его выполнением как вспомогательным инструментом. README описывает серию как ориентированную на математические бенчмарки GSM8K и MATH, однако результаты конкретно этой версии в доступном тексте не приведены. Для запуска авторы предлагают использовать vLLM. Лицензия в предоставленных данных не указана.

OpenMed разработала специализированную модель распознавания биомедицинских сущностей в текстах об онкологии и генетике рака. Это дообученная модель XLM-RoBERTa с примерно 658,7 млн параметров, предназначенная для токенной классификации: она присваивает токенам BIO-метки, которые можно объединять в сущности, например гены и их продукты, опухоли, клетки, ткани, анатомические структуры и простые химические вещества. Модель рассчитана на извлечение сущностей из научной литературы и медицинских документов, а также на поиск упоминаний генов и биомаркеров для онкологических исследований и построения биомедицинских баз знаний. Она обучена на корпусе BioNLP 2013 CG; в README заявлены F1 0,88, точность 0,87 и полнота 0,88. Контекст составляет до 8194 токенов, основной указанный язык — английский. Модель принимает текст и возвращает разметку токенов, а не готовые клинические выводы. Лицензия — Apache-2.0. Качество заявлено на профильном корпусе BioNLP 2013 CG; переносимость на другие типы документов и языки в карточке не подтверждена, поэтому результаты для клинического применения следует проверять отдельно.

OpenMed-NER-PharmaDetect-BioClinical-108M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученная Bio_ClinicalBERT с архитектурой BERT для классификации токенов; она размечает упоминания химических веществ и препаратов тегами B-CHEM и I-CHEM. Модель обучена на BC5CDR_CHEM и принимает токенизированный текст, возвращая предсказания в формате BIO. По метаданным, размер модели составляет 135,5 млн параметров, максимальный контекст — 512 токенов; язык карточки — английский. Модель подходит для извлечения упоминаний препаратов из клинических записей и научных публикаций, мониторинга нежелательных явлений и подготовки данных для поиска лекарственных взаимодействий и исследований в области разработки лекарств. В README заявлены F1 0,96, точность 0,95 и полнота 0,96 на BC5CDR-Chem; эти показатели относятся к указанному набору данных. Лицензия — Apache-2.0.

OpenMed-NER-SpeciesDetect-ElectraMed-33M — специализированная модель OpenMed для распознавания названий видов и организмов в тексте. Это дообученный трансформер семейства BERT для token classification: он помечает фрагменты текста тегами B-SPECIES и I-SPECIES. Модель обучена на корпусе LINNAEUS, ориентированном на распознавание научных и общеупотребительных названий видов в биомедицинской литературе. Модель принимает токенизированный текст и выдаёт BIO-разметку сущностей. Размер по метаданным — 40 млн параметров, максимальная длина контекста — 512 токенов; указан английский язык. Её можно применять для извлечения упоминаний организмов из научных статей, биомедицинских документов и текстов исследований, а также для последующего построения таксономических баз и графов знаний. В README приведены метрики на LINNAEUS: F1 0,61, точность 0,56, полнота 0,66 и accuracy 0,96; эти результаты указывают на ограничения качества, поэтому извлечённые сущности могут требовать проверки. Лицензия — Apache-2.0.

OpenMed-NER-SpeciesDetect-ModernClinical-395M — модель OpenMed для распознавания названий видов и организмов в биомедицинских текстах. Это дообученный трансформер ModernBERT с архитектурой BioClinical-ModernBERT-large и примерно 394,7 млн параметров; для обработки текста используется контекст до 8192 токенов. Модель выполняет NER как классификацию токенов и выделяет сущности метками B-SPECIES и I-SPECIES. Она обучена на корпусе LINNAEUS и предназначена для поиска упоминаний видов в клинических записях и научной литературе, а также для текстового анализа в биомедицинских исследованиях. В карточке указаны F1, точность и полнота 0,94, однако детали оценки и клинической валидации не приведены. Модель принимает текст и возвращает BIO-разметку сущностей. В метаданных указан английский язык. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0.

OpenMed-NER-SpeciesDetect-ModernMed-149M — модель OpenMed для распознавания названий видов и организмов в биомедицинских текстах. Это дообученная для классификации токенов модель ModernBERT примерно на 149 млн параметров; она принимает токенизированный текст и возвращает BIO-разметку сущностей B-SPECIES и I-SPECIES. Для распознавания использован корпус LINNAEUS, ориентированный на упоминания видов в научной литературе. Модель подходит для извлечения названий организмов из научных публикаций, клинических документов и других биомедицинских текстов, а также для последующего анализа литературы и построения баз знаний. Заявленная длина контекста — 8192 токена; карточка приводит F1 0,85, precision 0,89 и recall 0,81. Указана лицензия Apache-2.0. Карточка также перечисляет более широкие сценарии биомедицинского NLP, но модель размечает только сущности видов, поэтому её не следует считать моделью для извлечения лекарств или выявления взаимодействий препаратов.

OpenMed-NER-SpeciesDetect-ModernMed-395M — модель распознавания упоминаний видов и организмов в тексте, опубликованная OpenMed. Это дообученный ModernBERT для классификации токенов с метками B-SPECIES и I-SPECIES; модель содержит 394,7 млн параметров и поддерживает контекст до 8192 токенов. Она рассчитана на английские биомедицинские тексты, включая научную литературу и клинические документы, и возвращает BIO-разметку найденных упоминаний видов. Модель может применяться для извлечения названий организмов из публикаций и документов, поиска упоминаний видов в биомедицинских корпусах и подготовки данных для таксономического анализа и построения баз знаний. В README приведены результаты на LINNAEUS: F1 0,90, точность 0,93 и полнота 0,87; эти показатели относятся к описанной оценке и не гарантируют такое же качество на других корпусах. Указана лицензия Apache-2.0.

OpenMed разработала модель OpenMed-NER-SpeciesDetect-PubMed-v2-109M для распознавания упоминаний видов и организмов в биомедицинских текстах. Это дообученная модель на архитектуре BERT для классификации токенов, основанная на BiomedNLP-BiomedBERT-base-uncased-abstract. Она размечает названия видов тегами B-SPECIES и I-SPECIES. Модель предназначена для извлечения названий организмов из научных публикаций и других биомедицинских текстов. Её можно применять для поиска упоминаний видов в корпусах литературы, таксономического анализа и построения биомедицинских графов знаний. В README приведены результаты на наборе LINNAEUS: F1 0,9543, точность 0,9422 и полнота 0,9667; эти показатели относятся к описанной оценке и могут отличаться на других данных. Модель содержит 136,7 млн параметров, принимает токенизированный текст, имеет контекстное окно 512 токенов и выдаёт BIO-разметку сущностей. В метаданных указан английский язык. Лицензия — Apache-2.0. Результаты на других жанрах и типах текста могут отличаться; README не подтверждает отдельно заявленные сценарии вроде извлечения лекарств или клинического мониторинга.

OpenMed разработала OpenMed-NER-SpeciesDetect-SuperMedical-355M — дообученную модель RoBERTa для распознавания названий видов и организмов в тексте. Она размечает упоминания BIO-тегами B-SPECIES и I-SPECIES и предназначена для извлечения таксономических сущностей из научной и биомедицинской литературы, клинических текстов и других документов. Модель содержит 454,1 млн параметров, принимает токенизированный текст и поддерживает контекст длиной до 514 токенов. В README указано обучение на корпусе LINNAEUS; среди целевых применений — поиск упоминаний организмов, анализ научной литературы и построение биомедицинских баз знаний. В карточке приведены F1 0,94, точность 0,92 и полнота 0,97, однако условия оценки подробно не описаны. Модель распространяется в формате safetensors по лицензии Apache-2.0 и интегрируется с Transformers. Она распознаёт сущности видов, поэтому заявленные в README сценарии вроде извлечения лекарств или выявления взаимодействий препаратов не следует считать подтверждёнными возможностями. Основной язык карточки — английский; качество на других языках не заявлено.

OpenMed-ZeroShot-NER-Organism-Medium-209M — специализированная модель OpenMed для обнаружения упоминаний видов организмов в научных текстах. Она построена на архитектуре GLiNER и дообучена на корпусе SPECIES800, включающем научные и общепринятые названия организмов. Модель использует zero-shot подход: типы сущностей можно задавать при обработке без отдельного дообучения, хотя карточка особо описывает распознавание сущностей типа SPECIES. Модель принимает текст и возвращает найденные упоминания организмов с разметкой сущностей. Она предназначена для биомедицинской литературы, биокурации, таксономического анализа и исследований биоразнообразия. В карточке указан F1 0,8257 на тестовой выборке SPECIES800, не использованной при обучении. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Карточка также заявляет применимость к более широким медицинским категориям, однако основное обучение и описанная оценка относятся к распознаванию видов.

P1-235B-A22B — открытая большая языковая модель серии P1, разработанная для решения задач по физике и научного рассуждения. Она основана на Qwen3-235B-A22B-Thinking-2507 и дообучена в несколько этапов с помощью обучения с подкреплением на отобранных данных физических олимпиад. Архитектура — Qwen3 MoE; заявлены 18,2 млрд параметров и контекст до 262 144 токенов. Модель предназначена прежде всего для разбора и решения сложных задач по физике, в том числе олимпиадного уровня. Карточка также приводит результаты на математических и общих STEM-бенчмарках и указывает поддержку диалогового режима и интерфейса вызова инструментов. Указанные в README медальные результаты относятся к оценкам на соревнованиях и бенчмарках, а результат с PhysicsMinions — к системе с несколькими агентами. Модель принимает текст и генерирует текст; в карточке указаны английский и многоязычный режимы. Веса опубликованы в формате Safetensors по лицензии Apache-2.0. В README не приведены подробные сведения о составе обучающих данных и ограничениях качества за пределами описанных оценок.

Crystalcareai/Quiet-Star-Custom — языковая модель, созданная на основе Mistral-7B и дообученная продолжением предварительного обучения с методом Quiet-STaR. Модель использует архитектуру QuietForCausalLM с плотной сетью и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста с внутренними рассуждениями: перед каждым выходным токеном она генерирует восемь токенов мысли. В карточке указано использование корпуса Open Web Math, поэтому модель может быть полезна для генерации текста и рассуждений на математическом материале. Доступны веса в формате safetensors. Карточка не сообщает результаты оценки качества или дополнительные сведения об ограничениях и лицензии, поэтому нельзя подтвердить уровень математических способностей и условия распространения. Модель рассчитана на текстовый ввод и генерацию текста.

sail/Qwen2.5-Math-7B-Oat-Zero — дообученная языковая модель, созданная по минималистичному рецепту R1-Zero на основе Qwen/Qwen2.5-Math-7B. В README указаны алгоритм Dr. DRPO, шаблон Qwen-Math и обучение на задачах уровней 3–5 из набора MATH. Модель предназначена для генерации ответов и пошаговых решений математических задач. Это плотная авторегрессионная модель архитектуры Qwen2, содержащая 7,1 млрд параметров; максимальная длина контекста — 4096 токенов. Базовая модель рассчитана на математические задачи на английском и китайском языках. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка показывает результаты оценки на математических бенчмарках, но не приводит их значения; качество на других типах задач не описано.

pe-nlp/R1-Qwen2.5-Math-1.5B — дообученная pe-nlp модель на базе Qwen/Qwen2.5-Math-1.5B, обученная на датасете Sky-T1. Она предназначена для генерации текста и может использоваться для получения решений математических задач. Модель построена на плотной архитектуре Qwen2, содержит 1,5 млрд параметров и принимает текстовый ввод, выдавая текст. Нативная длина контекста — 4096 токенов. Базовая модель ориентирована на математические задачи на английском и китайском языках, но README не подтверждает языковой охват именно этой версии. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

RLCR-lr1e-6-math — дообученная модель генерации текста на базе Qwen/Qwen2.5-3B, обученная с помощью TRL. Она предназначена для диалоговой генерации ответов и может применяться для математических вопросов и рассуждений; название модели указывает на математическую настройку, но карточка не описывает её методику или результаты оценки. Модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

SOLID-StepORLM-Qwen3-8B — дообученная модель JamesX421 для построения моделей операций исследования и генерации ответов с опорой на решатель. Это плотная авторегрессионная модель семейства Qwen3 с архитектурой Qwen3ForCausalLM и 7,6 млрд параметров; она обучена методом GRPO с поэлементной KL-супервизией, основанной на решателе, и использует шаблон ответов COPT-style StepORLM. Контекст составляет 40 960 токенов. Модель предназначена для формулирования задач математической оптимизации и получения решений, проверяемых оптимизационным решателем. В README приведены результаты на OptMATH, MAMO-Complex и InOR, полученные при выборке 64 ответов на задачу; качество заметно различается между наборами данных, а приведённые оценки не гарантируют корректность каждого отдельного ответа. Репозиторий содержит веса Safetensors для использования через Transformers. Лицензия в предоставленных данных не указана.

ThinkLess-2B-SFT — текстовая модель для генерации ответов и рассуждений, разработанная Shaik1903 на основе Qwen/Qwen3.5-2B. Это полное дообучение методом SFT на кратчайших корректных решениях задач по математике и науке; для самых сложных примеров использовались решения модели Qwen3.5-9B. Модель рассчитана на диалоговый режим и применение, где важны точность и ограниченный бюджет рассуждений. В описанных автором тестах ThinkLess-2B-SFT показала более высокую точность, чем базовая модель, на GSM8K, MATH-500 и GPQA-Diamond, при сокращении длины рассуждений на 43–72%. Карточка также сообщает о снижении доли ответов, обрывающихся из-за лимита токенов. Модель имеет плотную архитектуру семейства Qwen3.5, содержит 2 млрд параметров и распространяется в формате safetensors; для запуска автор рекомендует режим рассуждений Qwen3.5. Лицензия — Apache-2.0. Обучение проводилось на 8 890 задачах из GSM8K train и MATH train, с разделением тестовых наборов по 13-граммам. Показатели приведены автором модели и относятся к указанному в README протоколу и бюджету; результаты могут отличаться на других данных и настройках. Хотя базовая модель мультимодальна, README описывает дообучение и сценарии для математических и научных текстовых задач, поэтому возможности работы с изображениями здесь не подтверждены.

TREC_Clinical_Trials_finetune_V1 — модель Sentence Transformers, дообученная на базе sentence-transformers/all-mpnet-base-v2 для работы с текстами клинических исследований. MPNet преобразует предложения и абзацы в плотные векторы размерностью 768; в архитектуре используются усреднение токенов и нормализация, а близость текстов можно оценивать косинусным сходством. Модель обучалась на 11 583 примерах с TripletLoss и подходит для семантического поиска, сравнения текстов и кластеризации в корпусах клинических исследований. Максимальная длина последовательности в README — 384 токена; метаданные указывают нативный контекст 514 токенов. Для более длинных входов потребуется усечение или разбиение текста. Модель принимает текст и выдаёт векторы; сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют.

WizardLM-Math-70B-TIES-v0.1 — объединённая модель MaziyarPanahi на базе архитектуры Llama, предназначенная для генерации ответов и решения математических задач по инструкциям. В карточке приведён пример задачи на рассуждение и шаблон instruction-response; также указаны результаты оценки на наборах задач общего рассуждения. Модель содержит 68,7 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст с контекстом до 4096 токенов. Файлы представлены в формате safetensors. Для простых математических задач автор README не рекомендует использовать CoT-шаблон. Модель распространяется по лицензии AGPL-3.0. Представленные сведения не описывают отдельные ограничения точности математических ответов.

WizardMath-7B-V1.1 — языковая модель для математических рассуждений, разработанная командой WizardLM и обученная на основе Mistral-7B с помощью подхода Reinforced Evol-Instruct (RLEIF). Это плотная авторегрессионная модель с 7,1 млрд параметров, принимающая текстовые инструкции и генерирующая текстовые ответы; заявленная длина контекста — 32 768 токенов. В карточке указана поддержка английского языка. Модель предназначена для решения математических задач и пошагового рассуждения, включая задачи GSM8K и MATH. Авторы сообщают результаты pass@1 83,2 на GSM8K и 33,0 на MATH и рекомендуют использовать заданный ими системный промпт; для простых задач не рекомендуют вариант промпта с CoT. Эти результаты приведены авторами и не гарантируют точность ответов в других сценариях. В репозитории представлены веса PyTorch. Модель основана на Mistral-7B и является её дообученной версией. Сведения о лицензии в предоставленных данных отсутствуют.

1-bit Medical Embedding Model — медицинская и биомедицинская модель для построения текстовых эмбеддингов. Она создана на основе Microsoft BitNet b1.58 2B4T и адаптирована в двунаправленный энкодер предложений по рецепту LLM2Vec: базовые веса оставались замороженными, а для обучения использовались LoRA-адаптеры, затем объединённые с моделью. Модель содержит 2,4 млрд параметров; доступны ternary GGUF с квантизацией TQ1_0 размером около 1,1 ГБ и bf16-веса. Эмбеддинги имеют размерность 2560, а первые 768, 512, 256 или 128 измерений можно использовать как укороченные векторы. Поддерживается запуск на CPU через llama.cpp. Модель предназначена для поиска и сопоставления медицинских текстов: семантического поиска, извлечения релевантных публикаций, кластеризации и оценки сходства. Обучение проводилось на англоязычных данных PubMed, учебниках и парах вопросов с контекстами PubMedQA; для запросов рекомендуется инструкционный префикс, а для документов — без префикса. Внутренняя оценка на парах PubMed показала Recall@10 0,98 для GGUF, но модель обучалась лишь несколько тысяч шагов, не проверялась на внешних бенчмарках и слабее подходит для клинических записей. Ternary-экспорт уступает bf16-версии примерно пятью пунктами Recall@1. Модель не предназначена для принятия клинических решений. Лицензия — MIT.

AceMath-1.5B-Instruct — языковая модель NVIDIA для решения математических задач на английском языке. Это плотная авторегрессионная модель семейства Qwen2, содержащая 1,5 млрд параметров и принимающая текстовые запросы в формате диалога. Она обучена на основе Qwen2.5-Math-1.5B-Base в несколько этапов: сначала на общих данных для следования инструкциям, затем на специализированных математических данных; при решении задач использует рассуждения Chain-of-Thought. Длина контекста — 4096 токенов. Модель предназначена прежде всего для решения математических задач, включая пошаговый разбор решения. Разработчик рекомендует использовать её именно для математики, а для кода и общих знаний — модели семейства AceInstruct. В README приведены сравнительные результаты семейства AceMath, но конкретные показатели для версии 1.5B не указаны. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Arithmo-Mistral-7B — языковая модель на 7,1 млрд параметров, разработанная Ashvini Kumar Jindal и Ankur Parikh для решения математических задач. Это плотная авторегрессионная модель семейства Mistral, дообученная с помощью QLoRA на базе mistralai/Mistral-7B-v0.1. Модель использует текстовый ввод и генерирует текстовые решения на английском языке в формате цепочки рассуждений либо Python-код, который можно выполнить для получения ответа. Размер контекста — 32 768 токенов. Модель предназначена для решения математических задач, в том числе в сценариях, оцениваемых наборами GSM8K и MATH. Авторы сообщают о результатах на этих бенчмарках и отмечают, что выпущенная позднее Arithmo2-Mistral-7B показывает улучшения относительно этой версии. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Сгенерированный Python-код требует проверки перед выполнением; более поздняя версия Arithmo2 рекомендуется авторами вместо этой модели.

Biomedical Longformer base — производная языковая модель для биомедицинских текстов, созданная на основе microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract. Параметры исходной модели были скопированы, а позиционные эмбеддинги расширены повторным копированием, чтобы поддерживать более длинные документы. Архитектура — LongformerForMaskedLM, размер — 136,7 млн параметров, контекст — до 4098 токенов. Модель предназначена для заполнения пропусков в биомедицинских текстах и обработки длинных документов на английском языке. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на некоммерческих условиях, требуя распространять производные работы на той же лицензии.

biomed-Qwen2-VL-2B-Instruct — мультимодальная модель для биомедицины, разработанная командой AdaptLLM на основе Qwen/Qwen2-VL-2B-Instruct с помощью доменного постобучения на наборе AdaptLLM/biomed-visual-instructions. Модель сохраняет архитектуру Qwen2-VL и рассчитана на диалоговые запросы с изображениями: она отвечает на вопросы по медицинским и биологическим изображениям и помогает анализировать визуальную информацию в биомедицинских сценариях. Модель содержит 1,5 млрд параметров, принимает текст и изображения, выдаёт текст и поддерживает контекст до 32 768 токенов. В README отмечено, что изображение нужно размещать в начале инструкции. Модель предназначена для доменно-адаптированных ответов и оценки на биомедицинских VQA-бенчмарках; лицензия — Apache-2.0. Результаты модели не следует считать заменой профессиональной медицинской оценки.

BlueBERT — англоязычная модель на архитектуре BERT, предварительно обученная на аннотациях PubMed. Версия bionlp/bluebert_pubmed_uncased_L-12_H-768_A-12 содержит 12 слоёв, скрытый размер 768 и 12 attention heads; в метаданных указан размер 136,7 млн параметров и контекст до 512 токенов. Модель обучена на корпусе примерно из 4 млрд слов, извлечённых из текстов PubMed. Модель предназначена как языковая основа для задач обработки биомедицинских текстов и последующего дообучения под конкретные сценарии. Для использования приведена ссылка на инструкции, но сами инструкции в карточке не заполнены. Модель распространяется по лицензии CC0-1.0.