IV.4Клиническая медицина и общественное здоровье

Dayhoff-170M-UR90-46000 — генеративная белковая языковая модель из проекта Dayhoff, разработанного группой исследователей, перечисленных в карточке модели. Это гибридная архитектура Jamba: слои Mamba и Transformer сочетаются с механизмом смеси экспертов. По метаданным модель содержит 23,6 млн параметров, поддерживает контекст до 262 144 токенов и распространяется в формате safetensors по лицензии MIT. Модель предназначена для исследовательских задач белкового моделирования: генерации последовательностей белков, оценки эффектов мутаций без дополнительного обучения и создания белковых каркасов для структурных мотивов с заданным контекстом. Автогенерация обучалась в направлениях N→C и C→N, что поддерживает заполнение пропусков в последовательностях. Dayhoff рассчитана на белковые последовательности и гомологичные последовательности; она не предназначена для обычного текста или ДНК. Карточка описывает возможности семейства Dayhoff, но не уточняет, какие именно из перечисленных оценок и режимов доступны в этом чекпойнте объёмом 23,6 млн параметров. Реализм сгенерированных последовательностей не гарантирован, а создание качественных последовательностей без сходства с природными белками остаётся сложной задачей.

Dayhoff-170M-UR90-HL-24000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная исследовательской командой, перечисленной в карточке модели. Она предназначена для генерации белков, оценки эффектов мутаций и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом смеси экспертов; модель использует автогрессивное обучение и поддерживает контекст длиной до 262 144 токенов. В метаданных указано 23,6 млн параметров, формат весов safetensors и библиотека Transformers. Модель работает с белковыми последовательностями и не предназначена для обычного текста, ДНК или других биологических последовательностей. Сгенерированные последовательности не гарантированно реалистичны, а получение новых белков без сходства с природными последовательностями остаётся сложной задачей. Лицензия — MIT.

Dayhoff-170M-UR90-HL-34000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная авторами, перечисленными в карточке модели. Это гибридная архитектура Jamba: слои Mamba и Transformer с механизмом Mixture-of-Experts. Модель насчитывает 23,6 млн параметров и рассчитана на контекст до 262 144 токенов. Модель предназначена для исследовательских задач белкового языкового моделирования: генерации белковых последовательностей, оценки эффектов мутаций без дообучения и проектирования белков с заданными структурными мотивами или эволюционным контекстом. Она обучалась на данных Dayhoff, включая метагеномные и синтетические последовательности, и поддерживает моделирование одиночных последовательностей и развёрнутых множественных выравниваний. Обучение в направлениях N→C и C→N позволяет выполнять заполнение последовательностей без зависимости от порядка. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей, кроме белков. Сгенерированные последовательности не обязательно реалистичны; генерация высококачественных последовательностей без сходства с известными природными белками остаётся сложной задачей. Лицензия — MIT.

Dayhoff-3b-UR90-30000 — модель генерации белковых последовательностей, разработанная командой исследователей, перечисленных в карточке Dayhoff. Она предназначена для исследований в области белкового дизайна и языкового моделирования белков. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом Mixture-of-Experts; модель содержит 445,7 млн параметров и поддерживает контекст до 262 144 токенов. Она работает с последовательностями белков и может моделировать развёрнутые множественные выравнивания последовательностей. Модель применялась для безусловного создания белковых последовательностей, предсказания эффектов мутаций без дополнительного обучения и проектирования белковых каркасов для структурных мотивов. Карточка Dayhoff также описывает условную генерацию белков в заданных семействах для моделей семейства. Модель не предназначена для обычного текста или последовательностей ДНК; сгенерированные последовательности не гарантированно реалистичны, а получение последовательностей без сходства с известными природными белками остаётся сложной задачей. Лицензия — MIT.

Intern-S1-mini context-conditioned molecule transfer V10.3 TDC-v2-HP — Oral bioavailability — это дообученная модель jiosephlee для ранжирования молекул по признакам переноса с учётом контекста, с фокусом на пероральной биодоступности. Она построена на плотной архитектуре Qwen3ForCausalLM и содержит 7,6 млрд параметров; модель принимает текст и выдаёт текстовый ответ в формате генерации. Контекстное окно — 65 536 токенов. Модель дообучена на 49 224 прямых записях, включая данные TDC и Starling, и таком же количестве косвенных записей. Это сохранённый чекпойнт, выбранный по валидационной метрике macro-F1@5; в README приведены результаты сравнения с вариантами ранжирования Morgan. Модель предназначена для исследовательского ранжирования кандидатов по пероральной биодоступности, а не для самостоятельного подтверждения фармакологических свойств. README и метаданные не сообщают лицензию.

Intern-S1-mini context-conditioned molecule transfer V10.4 — Oral bioavailability — это дообученная модель jiosephlee на базе Intern-S1-mini-lm, разработанная для переноса свойств молекул с учётом контекста и ориентированная на пероральную биодоступность. Модель имеет архитектуру Qwen3ForCausalLM с 7,6 млрд параметров, принимает текст и выдаёт текст; её нативная длина контекста составляет 65 536 токенов. Чекпойнт доступен в формате safetensors для Transformers. Модель предназначена для контекстно обусловленного сравнения молекул и поиска кандидатов с похожей ожидаемой биодоступностью. В README приведены тестовые значения Macro-F1@5 0,6814 и NDCG@5 0,7364, полученные на 267 запросах. Это специализированный экспериментальный чекпойнт, поэтому качество на других наборах данных и в практических сценариях может отличаться. Сведения о лицензии в предоставленных материалах отсутствуют.

Dayhoff-170m-UR90 — модель генерации белковых последовательностей, разработанная Кевином К. Янгом и соавторами. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования белковых каркасов с заданными структурными мотивами. Модель обучена на данных Dayhoff Atlas, включая белковые последовательности, и использует авторегрессионный подход. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); класс модели — JambaForCausalLM. По метаданным, модель содержит 23,6 млн параметров и поддерживает контекст до 262 144 токенов. Она обрабатывает белковые последовательности и выдает последовательности аминокислот; README также описывает работу с гомологичными последовательностями. Лицензия — MIT. Модель не предназначена для естественного языка, ДНК или других типов биологических последовательностей. Сгенерированные последовательности не всегда реалистичны, а генерация качественных белков без сходства с известными природными последовательностями остается сложной задачей.

Nemotron-3-Embed-8B-Medical — модель эмбеддингов для биомедицинских и клинических текстов на основе NVIDIA Nemotron-3-Embed-8B-BF16. Она предназначена для поиска медицинской литературы и доказательств, извлечения контекста для RAG, проверки научных утверждений и тематической организации исследовательских коллекций. Модель содержит 8 млрд параметров, использует архитектуру Ministral 3 и библиотеку Sentence Transformers; заявленная длина контекста — 262144 токена. К весам базовой модели добавлена низкоранговая голова кластеризации, обученная на внешней литературе PubMed. Она меняет проекцию эмбеддингов для группировки документов по клиническим темам, сохраняя размер выходного вектора 4096 измерений. В README указаны результаты MTEB Medical и улучшения на двух наборах для кластеризации; оценивание проводилось с mteb 2.18.6. Модель поддерживает английский, китайский и польский языки; характеристики для китайского и польского унаследованы от базовой модели. Голова настроена на клинические категории и может хуже подходить для других таксономий. Для кодирования документов в Sentence Transformers следует явно задавать prompt_name="document"; при больших пакетах и длинных текстах возможен высокий расход памяти. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

alhparsa/qwen35-extract-tsv-v2 — дообученная модель семейства Qwen3.5 для извлечения фактов из изображений страниц медицинских документов, например приёмных и клинических записей. Она принимает изображения вместе с текстовыми инструкциями и выдаёт компактный TSV: контекстную строку с идентификационными данными пациента и строки с фактами, временными данными, тегами и оценкой уверенности. Модель может использовать только теги из списка, переданного во входном сообщении. README описывает полное выборочное дообучение Qwen3.5-9B и гибридную архитектуру с GatedDeltaNet, блоками полного внимания и зрительным модулем. Для обслуживания рекомендуются vLLM, длина контекста 32768 токенов и параметры обработки изображений из карточки; указаны также режимы ускоренного декодирования DFlash/MTP. По оценке авторов, на их проверке извлечение достигает примерно 98–100% полноты и около 100% точности после удаления дублей; заявленная скорость — 4,4–4,9 секунды на страницу на двух H100. Эти показатели относятся к проверке автора и не гарантируют такое же качество на других документах. Модель предназначена для извлечения структурированных сведений из медицинских документов, в том числе из многостраничных PDF после преобразования страниц в изображения. Для полноты авторы рекомендуют обрабатывать перекрывающиеся окна страниц и объединять результаты с последующим удалением смысловых дублей. Лицензия в метаданных обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

Diver-Retriever-4B-1020 — двуязычная модель текстовых эмбеддингов, разработанная AQ-MedAI на основе Qwen/Qwen3-Embedding-4B и дообученная для задач поиска и сопоставления запросов и документов. Обучение использовало данные из математики, программирования и медицины, а также специально подобранные сложные отрицательные примеры. Модель содержит около 3,7 млрд параметров, построена на плотной архитектуре Qwen3 и поддерживает контекст до 40 960 токенов. Она предназначена для семантического поиска и ранжирования, включая запросы на китайском и английском языках; авторы сообщают о результатах на BRIGHT и медицинском бенчмарке MTEB-Medical. Доступна в формате Safetensors для Transformers под лицензией Apache-2.0.

MedResearcher-R1-32B — специализированная медицинская модель для глубокого поиска и синтеза информации, созданная командой авторов, перечисленных в карточке. Это плотная авторегрессионная модель семейства Qwen2, дообученная на основе Qwen/Qwen2.5-32B-Instruct методом supervised fine-tuning и онлайн-обучения с подкреплением. Она рассчитана на диалоговые сценарии и сложные медицинские запросы, требующие многошагового рассуждения и взаимодействия с инструментами поиска. Модель содержит 32 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. В обучении использованы синтезированные цепочки рассуждений по медицинским графам знаний и траектории с взаимодействиями инструментов. В README сообщается о результатах на MedBrowseComp, GAIA и xBench; заявлены превосходство над крупными системами на медицинском бенчмарке и сопоставимость с GPT-4o-mini на общих бенчмарках. Модель предназначена для исследовательских и вспомогательных задач поиска и обобщения медицинской информации, а не для самостоятельной постановки диагноза или назначения лечения. Она лицензирована по MIT. Практическое использование инструментов поиска требует соответствующей внешней инфраструктуры; качество ответов и медицинские выводы следует проверять.

Diver-Retriever-0.6B — модель текстовых эмбеддингов и ранжирования AQ-MedAI, дообученная на Qwen/Qwen3-Embedding-0.6B. Она предназначена для семантического поиска и сопоставления запросов с документами, в том числе в задачах, требующих рассуждений. При обучении использовались данные по математике, программированию и медицине с подобранными по сложности негативными примерами. Модель поддерживает китайский и английский языки, имеет 507,6 млн параметров и контекст до 32 768 токенов; архитектура относится к семейству Qwen3. README отмечает результаты на Bright и MTEB-Medical, но не приводит здесь полные таблицы оценок. Распространяется в формате safetensors по лицензии Apache-2.0.

OpenMed публикует вариант North Micro Vision Instruct в формате MLX bf16 для локального мультимодального вывода на устройствах Apple Silicon. Это конверсия компактной модели Cohere Compass с 2,4 млрд параметров, разработанной Cohere и обученной понимать изображения вместе с текстовыми запросами. Репозиторий содержит веса safetensors и предназначен для использования с локальными Python- и Swift-рантаймами OpenMed и OpenMedKit; лицензия весов — Apache 2.0. Модель принимает текст и изображения и формирует текстовые ответы. Она подходит для визуальных вопросов и ответов, OCR, извлечения сведений из клинических документов и графиков, описания изображений и работы с несколькими изображениями. Поддерживаются английский, немецкий, французский, испанский, итальянский, португальский, хинди, японский, корейский, китайский и арабский языки. Исходная модель обучалась и проверялась для мультимодальных последовательностей до 8 тысяч токенов. Вариант bf16 сохраняет исходную точность весов; заявленные для других вариантов MLX схемы квантования к нему не относятся. Локальный запуск после загрузки артефакта помогает не отправлять изображения в облако, однако ответы могут быть неполными, ошибочными или вымышленными. Модель не предназначена для диагностики и лечения, не поддерживает вызов инструментов и слаба в математике и программировании; клинические результаты требуют проверки специалистом.

AIN — арабско-английская мультимодальная модель MBZUAI на 7,1 млрд параметров, дообученная на базе qwen2-VL-7B. Она принимает изображения и текстовые запросы и предназначена для визуальных вопросов и ответов, OCR и анализа документов, а также понимания графиков, таблиц, видео и изображений из специализированных областей. Модель обучалась на 3,6 млн арабско-английских мультимодальных примеров; в карточке заявлены сильные результаты для арабского языка, двуязычные возможности и понимание культурного контекста. Архитектура основана на Qwen2-VL, поддерживает диалог и контекст до 32 768 токенов. Среди заявленных сценариев — медицинские изображения, сельское хозяйство, дистанционное зондирование и научная визуализация. Модель выдаёт текстовые ответы по содержимому изображений; для видео в README описана обработка локальных файлов. Указана лицензия MIT. Результаты и сравнительные заявления приведены авторами модели; качество на конкретных данных может отличаться.

HealthMate-AI — энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2, созданный для проекта медицинского RAG-чатбота и дообученный на медицинских текстах. Модель объединяет усреднённые веса трёх чекпойнтов, полученных при трёхкратной кросс-валидации, и преобразует предложения и абзацы в плотные векторы размерностью 384. Она содержит 25,9 млн параметров, использует архитектуру BERT/MiniLM и поддерживает контекст до 512 токенов. Модель предназначена для вычисления семантического сходства и поиска по медицинским документам. Однако оценка на нескольких задачах поиска показала результаты значительно ниже базовой модели all-MiniLM-L6-v2; автор не рекомендует использовать её для retrieval. Обучающие данные взяты из защищённой авторским правом медицинской энциклопедии, а код обучения и разбиения данных недоступны, поэтому заявленный результат на внутрикorpusной задаче нельзя воспроизвести. Модель распространяется по лицензии Apache-2.0; она не заменяет профессиональную медицинскую консультацию.

NorskHelsenett eti-reranker-v1 — переранжировщик для норвежских медицинских текстов, разработанный на основе BAAI/bge-reranker-v2-m3. Это дообученный Cross Encoder на базе XLM-RoBERTa: он совместно обрабатывает запрос и документ и выдаёт один числовой балл релевантности для сортировки результатов поиска. Модель рассчитана на норвежский язык, включая запросы и документы о здравоохранении, и может применяться для семантического поиска и улучшения выдачи по медицинским материалам. Модель обучена на 1 130 346 примерах с запросами, документами и оценками релевантности. В карточке указана максимальная длина последовательности 2048 токенов; метаданные каталога сообщают нативный контекст 8194 токена. На приведённых наборах dev_rerank и test_rerank показаны высокие значения nDCG@10 — 0,9969 и 0,9945 соответственно. Эти результаты относятся к указанным наборам и не гарантируют качество на других данных. Лицензия — Apache-2.0.

UMLS-ED-Bioformer-16L-V-1 — модель Sentence Transformer на основе Bioformer-16L, дообученная для получения векторных представлений предложений и абзацев. Она кодирует медицинские и биомедицинские тексты в плотные векторы размерностью 384 и рассчитана на поиск семантически похожих фрагментов, семантический поиск, поиск парафраз, классификацию и кластеризацию. Модель использует архитектуру BERT с усреднением токенных представлений, поддерживает последовательности до 1024 токенов и сравнение векторов по косинусному сходству. Для обучения применялась TripletLoss на парах и тройках текстов; в примерах данных встречаются медицинские термины на нескольких языках. Лицензия в предоставленных данных не указана.

HealthMate-AI — дообученный энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2, подготовленный для медицинского RAG-проекта. Модель кодирует предложения и абзацы в плотные векторы размерности 384; архитектура — 6-слойный MiniLM на базе BERT, всего 25,9 млн параметров. Контекст ограничен 512 токенами, указанный язык — английский. Модель предназначалась для семантического поиска и извлечения сведений из медицинских документов. Чекпойнт получен усреднением весов двух лучших фолдов дообучения на медицинских текстах. Однако автор README сообщает, что в тестах поиска на SciFact, NFCorpus, TREC-COVID и MedQuAD модель значительно уступила базовой all-MiniLM-L6-v2, и не рекомендует её для retrieval. Результат Spearman 0,8039 относится к задаче сходства внутри обучающего корпуса и не воспроизводим по опубликованным данным и коду. Модель распространяется по лицензии Apache-2.0; она не предназначена для медицинских рекомендаций.

Это модель Sentence-Transformers на архитектуре MPNet, разработанная на основе multi-qa-mpnet-base-dot-v1 и дообученная для поиска по COVID-19 вопросам и материалам. Она преобразует предложения и абзацы в плотные векторы размерности 768; векторные представления подходят для семантического поиска, оценки сходства и кластеризации текстов. Обучение проводилось с TripletLoss. Модель принимает текст и выдаёт эмбеддинги. Её можно использовать для поиска релевантных ответов или документов о COVID-19, а также для организации текстового корпуса по смыслу. Контекст составляет 514 токенов, размер — 136,7 млн параметров. В README приведена инструкция по использованию с Sentence-Transformers и Transformers. Лицензия в доступных данных не указана.

BigBirdPegasus-large-pubmed — модель Google для суммаризации научных публикаций из области биомедицины. Она использует архитектуру BigBird-Pegasus с блочным разреженным вниманием, которое снижает вычислительные затраты при работе с длинными текстами. Модель содержит 366,8 млн параметров и рассчитана на входные последовательности длиной до 4096 токенов. Модель предназначена для создания краткого пересказа научного текста, в частности длинных статей и публикаций PubMed. Карточка также отмечает пригодность архитектуры BigBird для суммаризации длинных документов и ответов на вопросы по длинному контексту, однако основной заявленной задачей этой модели является суммаризация. Поддерживаемый язык — английский. Модель распространяется по лицензии Apache-2.0.

JumareKhaled/e5-small-v2-medichat-finetuned — текстовая Sentence Transformer-модель, дообученная на базе intfloat/e5-small-v2. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384 и рассчитана на извлечение текстовых признаков, поиск и сопоставление по косинусному сходству. Архитектура основана на BertModel с усредняющим pooling; максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и извлечения медицинских текстов. Название указывает на медицинскую настройку, однако карточка не описывает конкретную специализацию, данные обучения или оценку качества, поэтому результаты для медицинских запросов следует проверять. В метаданных указана лицензия? Нет сведений о лицензии; условия использования следует сверить на странице репозитория.

phibert-finetuned-ner — модель Girinlp для распознавания именованных сущностей и другой разметки токенов. Это дообученная версия dmis-lab/biobert-v1.1 на наборе данных, название которого в карточке не приведено. Модель построена на архитектуре BERT и содержит 135,5 млн параметров; она принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. Формат весов — PyTorch. Модель предназначена для задач разметки последовательностей, в частности NER. На указанном в карточке наборе оценки она получила F1 0,9226, precision 0,9238, recall 0,9213 и accuracy 0,9950. Карточка не уточняет языки, набор меток и область применения, поэтому результаты нельзя уверенно переносить на другие данные. Лицензия в предоставленных сведениях не указана.

OpenMed подготовила 8-битную MLX-версию OpenAI Privacy Filter для локального обнаружения персональных данных в тексте на устройствах Apple с Apple Silicon. Это двунаправленная модель классификации токенов с архитектурой MoE и исходной BIOES-головой разметки; модель насчитывает 145,4 млн параметров и рассчитана на контекст до 131 072 токенов. Веса сохранены в safetensors и сжаты аффинной квантизацией до 8 бит с размером группы 64. Для токенизации используются ресурсы o200k_base. Модель отмечает имена, адреса, даты, электронную почту, телефоны, URL, номера счетов и секреты, чтобы затем можно было маскировать найденные фрагменты. После загрузки артефакта обработка выполняется локально через OpenMed и MLX, без отправки текста документа на сервер. README сообщает об одинаковых сгруппированных фрагментах на проверенных примерах для BF16- и Q8-версий. Для медицинских, юридических, финансовых и других высокорисковых сценариев качество следует проверить на собственных данных и в соответствии с применимыми правилами. Лицензия — Apache-2.0.

PubMedBERT Embeddings — модель NeuML, дообученная с помощью Sentence Transformers на базе PubMedBERT для создания эмбеддингов медицинских текстов. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, кластеризации и поиска релевантных фрагментов для RAG по медицинской литературе. Обучение использовало пары заголовков и аннотаций PubMed, включая похожие заголовки; README сообщает о сравнительной оценке на наборах PubMed QA, PubMed Subset и PubMed Summary. Модель построена на архитектуре BERT, содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Основной язык — английский. Для медицинской литературы она формирует более подходящие представления, чем модели общего назначения; дообучение на конкретной медицинской подотрасли может улучшить качество. Распространяется по лицензии Apache-2.0.

NeuML разработала BiomedBERT ColBERT — англоязычную модель эмбеддингов с несколькими векторами, дообученную на microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Она кодирует предложения и абзацы в последовательности плотных векторов размерностью 128 и оценивает их сходство с помощью позднего взаимодействия ColBERT и оператора MaxSim. Модель предназначена для семантического поиска и извлечения релевантных фрагментов из биомедицинских текстов, в том числе как источника контекста для RAG. Её можно применять для поиска по большим коллекциям публикаций, подбора ответов на вопросы по медицинской литературе и ускоренного переранжирования результатов. В README приведены оценки на PubMed QA, PubMed Subset и PubMed Summary; автор отмечает, что модель превосходит включённые в сравнение модели на среднем результате. Она не является cross-encoder, а её контекст ограничен 512 токенами. Модель содержит 136,7 млн параметров, распространяется в формате safetensors и доступна по лицензии Apache-2.0.

ccdv/lsg-bart-base-4096-pubmed — англоязычная модель для суммаризации научных публикаций из набора PubMed. Это дообученная на scientific_papers версия ccdv/lsg-bart-base-4096, основанная на BART-base и использующая архитектуру Local-Sparse-Global attention для работы с длинными последовательностями. В README указано около 145 млн параметров, а метаданные каталога приводят 95,2 млн; контекст составляет до 4096 токенов. Модель принимает текст статьи и генерирует её краткое изложение. На тестовом наборе PubMed для конфигураций с длиной 4096 токенов приведены значения ROUGE-1 до 47,37, ROUGE-2 до 21,74 и ROUGE-L до 28,59. README отмечает требование Transformers версии 4.36.1 или выше и использования trust_remote_code=True для пользовательского файла моделирования. Лицензия в предоставленных данных не указана.

PubMedBERT Embeddings 100K — компактная модель статических эмбеддингов, созданная NeuML путём сокращения словаря версии PubMedBERT Embeddings 2M: оставлены наиболее часто встречающиеся 5% токенов. Модель предназначена для построения векторных представлений медицинских текстов, семантического поиска и использования в системах RAG; её можно подключать через txtai, Sentence-Transformers или Model2Vec. В карточке приведены результаты оценки на наборах PubMed QA, PubMed Subset и PubMed Summary. По сравнению с исходной моделью без сокращения словаря точность заметно снижается, хотя модель превосходит наивный дистиллированный вариант без обучения. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные указывают контекст в 1 000 000 токенов.

PubMedBERT Embeddings 8M — англоязычная модель статических текстовых эмбеддингов, созданная NeuML как дистиллированная версия NeuML/pubmedbert-base-embeddings с библиотекой Model2Vec. Она преобразует тексты в векторы для семантического поиска, сравнения предложений и построения баз знаний для RAG; подходит для сценариев с ограниченными вычислительными ресурсами и требованиями к низкой задержке на CPU или GPU. Модель оценивалась на наборах PubMed QA, PubMed Subset и PubMed Summary: результаты конкурентоспособны, но не всегда превосходят другие модели из сравнения. Размер контекста в метаданных указан как 1 000 000 токенов. Распространяется по лицензии Apache-2.0.

Карточка модели emmapraise/pubmedbert-base-embeddings-onnx на Hugging Face совпадает с карточкой NeuML/pubmedbert-base-embeddings, поэтому описание составлено по ней. PubMedBERT Embeddings — модель NeuML, дообученная с помощью Sentence Transformers на базе PubMedBERT для создания эмбеддингов медицинских текстов. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, кластеризации и поиска релевантных фрагментов для RAG по медицинской литературе. Обучение использовало пары заголовков и аннотаций PubMed, включая похожие заголовки; README сообщает о сравнительной оценке на наборах PubMed QA, PubMed Subset и PubMed Summary. Модель построена на архитектуре BERT, содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Основной язык — английский. Для медицинской литературы она формирует более подходящие представления, чем модели общего назначения; дообучение на конкретной медицинской подотрасли может улучшить качество. Распространяется по лицензии Apache-2.0.

NeuML/biomedbert-base-embeddings — англоязычная модель плотных эмбеддингов, разработанная NeuML и дообученная на базе NeuML/pubmedbert-base-embeddings с помощью Sentence Transformers. Она кодирует предложения и абзацы в векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации медицинских публикаций, а также может служить источником знаний для RAG-систем. Обучение включало дистилляцию оценок модели biomedbert-base-reranker: использовались пары заголовков и аннотаций PubMed, а дообучение на полученных данных проводилось с KLDivLoss. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и принимает текст с контекстом до 512 токенов. В README приведены результаты оценки на наборах PubMed QA, PubMed Subset и PubMed Summary; модель показала среднюю корреляцию 96,87 по указанным тестам. Модель предназначена для англоязычных биомедицинских текстов. Лицензия Apache-2.0.