IV.4Клиническая медицина и общественное здоровье

Helix-mRNA-v0 — модель компании Helical AI для извлечения признаковых представлений из последовательностей мРНК. Она сочетает архитектуру Mamba2 с пространством состояний и механизм внимания Transformer, чтобы обрабатывать длинные последовательности и учитывать контекст. Нуклеотиды A, C, U, G и неоднозначный символ N токенизируются по одному; специальный символ E отмечает начало кодона. Модель предназначена для анализа полноразмерных транскриптов, вариантов сплайсинга и структурных элементов мРНК. Её эмбеддинги можно использовать как основу для последующей классификации и других задач анализа последовательностей. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC-SA 4.0; для коммерческого использования разработчик предлагает связаться с Helical AI.

MediKo-9B-A4B-inst — корейская медицинская языковая модель с инструкционной настройкой для диалогов. Она дообучена на базе Qwen/Qwen3-4B и использует архитектуру VocMoE: словарь расширен на 5 000 корейских медицинских токенов, а маршрутизация направляет их к специализированным экспертам. В README указано 9,4 млрд параметров всего и 4,5 млрд активных; метаданные репозитория указывают 3,7 млрд параметров. Контекст составляет 40 960 токенов. Модель предназначена для исследований и обучения в области обработки корейского медицинского текста, включая ответы на вопросы и диалоговые сценарии. В опубликованных тестах приведены результаты по KorMedMCQA, KMMLU-Med, EnMed, KoBEST и HAE-RAE. Модель проверена только на корейском медицинском тексте и может генерировать недостоверные сведения. Её нельзя использовать для диагностики, лечения, назначения препаратов или принятия клинических решений; также не следует передавать ей персональные данные пациентов. Архитектура MoE требует больше памяти, чем сопоставимая плотная модель. Распространяется по лицензии Apache-2.0.

Orthrus MLM 6-track — RNA-модель-энкодер, разработанная авторами семейства Orthrus. Это плотная модель на основе Mamba примерно с 10 млн параметров, предварительно обученная на контрастивной задаче и masked language modeling. Версия MLM добавляет к стандартному backbone Orthrus голову предсказания токенов для каждой позиции последовательности. Модель предназначена для получения векторных представлений РНК и оценки нуклеотидов в отдельных позициях. Методы representation() и representation_unpooled() выдают агрегированные и попозиционные эмбеддинги; predict_tokens() возвращает логарифмические правдоподобия нуклеотидов и может применяться для оценки вариантов. Для входа в формате 6-track требуются дополнительные CDS- и splice-каналы наряду с нуклеотидными данными. Модель распространяется в формате safetensors и использует библиотеку Transformers с пользовательским кодом; README указывает, что для Mamba-backbone требуется CUDA. Лицензия — MIT. README связывает другие модели семейства Orthrus с публикацией в Nature Methods, но не сообщает об отдельной публикации или оценках качества этой MLM-версии.

QuiltNet-B-16-PMB — мультимодальная модель для анализа изображений и текстов в области гистопатологии, разработанная на основе OpenCLIP. Она сочетает визуальный энкодер ViT-B/16 с текстовым энкодером PubMedBERT и обучена на наборе QUILT-1M, составленном из образовательных видео по гистопатологии. Модель поддерживает классификацию изображений без дообучения, поиск между изображениями и текстом, а также другие задачи сопоставления визуальных и текстовых данных. Модель предназначена прежде всего для исследований устойчивости, обобщения и ограничений систем компьютерного зрения для гистопатологии. В карточке также упоминаются дообучение для классификации изображений и оценка линейным классификатором. Модель рассчитана на англоязычные сценарии; в метаданных указана лицензия MIT. Это исследовательская модель, не предназначенная для развёртывания. Авторы не рекомендуют даже ограниченный поиск без тщательной проверки на предметной области и фиксированной таксономии классов. Результаты не являются медицинской консультацией и не должны заменять оценку специалиста.

Это промежуточный исследовательский чекпойнт языковой модели Qwen3-4B-Instruct-2507, дообученный командой HYU-NLP-EVAL методом GRPO на статической рубрике RaR-Medicine. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текстовые запросы, генерируя текстовые ответы. Родная длина контекста — 262 144 токена; опубликованный экспорт предназначен для Transformers в формате BF16. Чекпойнт отражает 18 обновлений оптимизатора из запланированных 48 и обучался на 1 500 медицинских запросах с отключённым режимом рассуждений. Он предназначен для исследований поведения модели на медицинских запросах и сравнения вариантов обучения, а не для клинического применения. Лицензия — Apache-2.0.

SaProt_650M_AF2 — белковая языковая модель семейства ESM, опубликованная westlake-repl. Модель принимает последовательность белка и предсказывает замаскированные токены; также в карточке описаны получение эмбеддингов белковых последовательностей и оценка эффекта мутаций. Для анализа мутаций с использованием структуры AF2 авторы рекомендуют применять маску pLDDT. Модель содержит 865,6 млн параметров, имеет контекст до 1026 токенов и распространяется в формате PyTorch. Доступны загрузка через Transformers и файл для загрузчика ESM. Лицензия — MIT. README не приводит количественных оценок качества или подробностей о тренировочных данных.

SoulChat — китайскоязычная модель для психологической поддержки и консультационного диалога, разработанная командой Южно-Китайского технологического университета и лабораторией цифровых двойников человека провинции Гуандун. Она предназначена для продолжительных бесед, в которых модель выслушивает пользователя, проявляет эмпатию, помогает ему раскрыть переживания и предлагает уместные рекомендации. Модель основана на ChatGLM-6B и содержит 8,1 млрд параметров. Её полностью дообучили методом инструкционного обучения на смешанном корпусе SoulChatCorpus: более 150 тысяч примеров длинных консультаций и около миллиона ходов многораундовых диалогов. Репозиторий содержит веса PyTorch; карточка также указывает задачу извлечения признаков, хотя основное пользовательское назначение модели — генерация диалоговых ответов. Модель ориентирована на китайский язык. SoulChat подходит для исследований и прототипирования диалоговых систем психологической поддержки. Ответы могут быть случайными и не всегда подходить пользователю; модель не заменяет психолога или врача и не должна использоваться для диагностики или профессиональных рекомендаций. Условия использования унаследованы от ChatGLM-6B и ограничивают применение некоммерческими исследовательскими целями; карточка указывает Apache-2.0, но README отдельно требует соблюдать лицензию базовой модели.

Модель Starling oral-bioavailability transfer разработана для оценки переноса поведения пероральной биодоступности между двумя молекулами. На вход она принимает SMILES и метаданные исследования для каждой молекулы, а также измеренное значение биодоступности молекулы A; на выходе выдаёт вероятность того, что биодоступность молекулы B будет сходной в заданном контексте исследования. Архитектура использует общие для обеих молекул замороженные энкодеры: MolFormer-XL преобразует SMILES в вектор размерности 768, а MiniLM кодирует семь полей метаданных. Их представления объединяются и поступают в позиционно-зависимую голову на базе residual SwiGLU MLP с 32 блоками. Голова обучена предсказывать сходство значений биодоступности с пороговой разметкой; в README указано около 407 млн обучаемых параметров. Для пропущенных полей метаданных предусмотрены отдельные обучаемые представления. Модель предназначена для оценки переноса результатов между молекулами при подборе аналогов и анализе данных о пероральной биодоступности. README приводит AUROC около 0,87 на валидации same_species_v2 и около 0,95 на междатасетной проверке tianang. Репозиторий распространяется под лицензией MIT.

TxGravity-30B-A5B-Open — специализированная модель для прогнозирования терапевтических свойств молекул и биомолекулярных взаимодействий. Её совместно разработали SK Biopharmaceuticals и Trillion Labs на базе Trillion Labs/Gravity-30B-A5B; архитектура совместима с DeepSeek-V3 и использует MoE. В карточке указано 3,8 млрд параметров, а в README — 29,56 млрд общих и около 6 млрд активных параметров; эти сведения о размере расходятся. Модель дообучена на 57 задачах Therapeutic Data Commons, преобразованных в одношаговые инструкции. Она предназначена для прогнозирования ADMET-свойств малых молекул, токсичности, взаимодействий лекарств с мишенями, белок-белковых и пептидно-MHC взаимодействий и других задач бенчмарка TDC. Ожидаемый формат ответа — метки (A)/(B) для классификации или нормализованный бин 000–1000 для регрессии. Контекст — до 131 072 токенов; интерфейс рассчитан на текстовые запросы и ответы. В сравнении с TxGemma-27B на сопоставимых задачах TDC модель показала 16 побед, 26 ничьих и 18 поражений. Она не является универсальным помощником и не предназначена для свободного диалога: надёжность вне обучающих форматов и задач не установлена. Прогнозы могут быть неточными, смещёнными или неполными и требуют независимой проверки до экспериментального, клинического или иного принятия решений. Открытая версия выпущена под лицензией Apache-2.0; при обучении исключены датасеты с ограничением на некоммерческое использование.

Модель Kuldeepmishra3/vit-large-skin-cancer-ham10000 разработана как личный проект для изучения дообучения моделей на медицинских изображениях. Это ViT-Large на базе google/vit-large-patch16-224, дообученная на наборе HAM10000 для классификации дерматоскопических изображений по семи типам кожных поражений. Модель принимает изображение и выдаёт вероятности классов; в README приведены результаты на валидационной части HAM10000: точность 92,74% и взвешенная F1-мера 92,60%. Репозиторий содержит веса в формате safetensors, размер модели — 402,7 млн параметров. Лицензия — MIT. Модель подходит для экспериментальной классификации дерматоскопических изображений и учебных проектов по компьютерному зрению в дерматологии. Она не предназначена для постановки диагноза или принятия медицинских решений. Качество снижается на редких классах из-за дисбаланса данных; меланому модель может путать с меланоцитарными невусами. Обучение проводилось только на дерматоскопических снимках HAM10000, преимущественно полученных от европейских пациентов, поэтому модель может плохо работать на обычных фотографиях кожи и хуже обобщаться на другие группы населения.

argos-dentsight-stage2-conditions-v1 — исследовательская модель детекции на базе D-FINE-Large, разработанная для проекта argos-dentsight. Она дообучена на панорамных стоматологических рентгенограммах OPG и обнаруживает 13 типов состояний и находок: кариес, зубной камень, эндодонтическое лечение, ретинированные зубы, реставрации, коронки, периапикальные просветления, корни, мосты, импланты, зачатки зубов, отсутствующие зубы и другие находки. Модель принимает изображения размером 1280×704 и возвращает рамки объектов с оценками классов. Предназначена для исследовательского использования и ранжирования находок по зубам в связке с отдельной моделью первого этапа, которая локализует позиции зубов по системе FDI. Без сопоставления рамок с результатами первого этапа предсказания не содержат идентификаторов зубов. Модель не предназначена для клинических решений: авторы сообщают о провале порогов приемки для кариеса, зубного камня и периапикальных просветлений, а оценки классов не откалиброваны и имеют низкие значения. Оценка mAP@0.5 = 0,53 не подтверждает клиническую пригодность; проверка согласия со стоматологами и ряд дополнительных оценок не проводились. Лицензия — Apache-2.0.

starmpcc/Asclepius-Llama2-7B-Pretraining-Only — клиническая языковая модель на архитектуре Llama 2, разработанная для генерации текста на основе синтетических клинических записей Asclepius-Synthetic-Clinical-Notes. Это версия после предварительного обучения с причинным языковым моделированием; модель Asclepius с инструкционной настройкой создана на её основе. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст, поддерживает английский язык и имеет контекст до 4096 токенов. Модель предназначена для исследовательских экспериментов с генерацией клинического текста. Лицензия в метаданных указана как CC-BY-NC 4.0, тогда как README указывает CC-BY-NC-SA 4.0; лицензионные условия следует сверить с репозиторием перед использованием. README ограничивает применение исследовательскими целями. Модель не следует считать готовым клиническим инструментом: карточка описывает предварительное обучение на синтетических данных, а не клиническую валидацию или инструкционную настройку этой версии.

Карточка модели gbrixi/minerva-mlm-8k на Hugging Face совпадает с карточкой gbrixi/minerva-mlm, поэтому описание составлено по ней. Minerva-MLM — плотная геномная языковая модель семейства Minerva от gbrixi для анализа последовательностей ДНК и поиска коэволюционных сигналов. Модель содержит голову masked language modeling и дополнительные головы для предсказания спаривания оснований, контактов белка и повторов. Она рассчитана на контекст до 4 096 токенов и доступна в формате safetensors для библиотеки Transformers; лицензия — Apache-2.0. Модель подходит для заполнения замаскированных токенов в геномных последовательностях, анализа сигналов взаимодействия и построения карт контактов и повторов. README указывает поддержку взаимодействий между ДНК, РНК и белком, а также функции вычисления отпечатков взаимодействий. Для неизвестной ориентации участка следует запускать анализ обеих цепей: обучение преимущественно проводилось на положительной цепи ДНК, и качество на ней лучше. Для полноценной работы с обеими ориентациями можно объединять карты прямой и обратной комплементарной последовательностей.

mRNABERT — модель семейства BERT, опубликованная Taykhoom как минимальный порт исходных весов mRNABERT. Она использует архитектуру MosaicBERT с 12 слоями, 12 головами внимания и размерностью эмбеддингов 768; в метаданных указано 113,3 млн параметров. Модель предобучена на 18 млн последовательностей мРНК с помощью маскированного языкового моделирования и контрастивного обучения, учитывающего семантику аминокислот. Репозиторий содержит веса и токенизатор; код модели загружается из Taykhoom/MosaicBERT-updated. Модель предназначена для получения представлений последовательностей мРНК и предсказания скрытых нуклеотидов или кодонов. Токенизатор использует гибридный словарь из отдельных нуклеотидов для UTR-областей и триплетов-кодонов для CDS; последовательности кодируются буквами ДНК, включая T вместо U. Для корректной обработки с аннотацией CDS требуется раздельное представление UTR и CDS. Поддерживаются masked language modeling и дообучение для классификации последовательностей. Лицензия — Apache-2.0.

InstaDeepAI/NTv3_8M_pre_8kb — небольшая предварительно обученная masked language model из семейства геномных моделей NTv3, разработанного InstaDeep. Она предназначена для исследования и заполнения замаскированных участков последовательностей ДНК; авторы отдельно предупреждают, что эта версия обучена только на последовательностях длиной 8 кб и не рекомендуется как основная модель NTv3 для получения результатов. Модель использует архитектуру в стиле U-Net: свёрточную башню, блоки Transformer, деконволюционную башню и языковую голову. Токенизатор работает на уровне символов с нуклеотидами A, T, C, G и N. Длина входной последовательности должна быть кратна 128. Для загрузки нужны Transformers версии 4.55.0 или выше и доверие пользовательскому коду репозитория. Модель преобразована из JAX в Torch; веса загружаются в fp32, также доступен bf16 с возможными небольшими численными расхождениями. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

ProteinGLM-100B-INT4 — квантизированная до INT4 версия белковой языковой модели семейства ProteinGLM, разработанного исследователями Университета Цинхуа. Модель предназначена для анализа белковых последовательностей и проектирования белков: авторы описывают семейство как объединяющее masked language models для понимания белков и causal language models для генерации последовательностей. В README приведён пример генерации белковой последовательности по короткому аминокислотному префиксу. Репозиторий содержит модель с 120,8 млрд параметров и контекстом 2048 токенов. Метаданные указывают архитектуру ProteinGLM и формат safetensors; README называет веса INT4. Примеры использования показывают интерфейсы Transformers для генерации, классификации последовательностей и токенов, а также получения представлений последовательности. Модель ориентирована на биологические последовательности, а не на обычный текстовый диалог. README ссылается на работы о xTrimoPGLM и обучении белковых языковых моделей. Базовая модель в метаданных не указана, поэтому точную связь данного репозитория с конкретной исходной моделью установить нельзя. Лицензия в предоставленных данных не приведена. Для запуска README использует trust_remote_code и CUDA; практическое применение зависит от совместимого программного окружения и ресурсов для модели такого размера.

Ramen-GSPO-Qwen3-Next-80B-A3B-Instruct — медицинская языковая модель на базе Qwen/Qwen3-Next-80B-A3B-Instruct, разработанная командой Ramen Team Токийского университета в рамках проекта NEDO. Это исследовательский вариант постобучения методом GSPO — производным GRPO с последовательностным семплированием по важности. Модель предназначена для ответов на вопросы японских медицинских экзаменов и сравнительного изучения методов постобучения японских медицинских LLM. README сообщает об обучении на прошлых экзаменационных вопросах для врачей и приводит результаты тестирования на экзаменах врачей и специалистов. Модель построена на разреженной архитектуре MoE семейства Qwen3-Next; в карточке указаны 2,3 млрд параметров и контекст до 262 144 токенов. Поддерживаемый язык по карточке — японский. Лицензия — Apache-2.0. Разработчики не проводили проверку безопасности и эффективности для клинического применения и не рекомендуют использовать модель для диагностики, выбора лечения или медицинских советов. Исследовательские результаты не доказывают клиническую надёжность; в README также отмечено, что результаты GSPO нельзя полностью отделить от влияния некоторых отличающихся параметров обучения.

Taykhoom Dalal подготовил порт RiNALMo-giga для Hugging Face — языковой модели для анализа последовательностей РНК. Модель содержит 650,9 млн параметров, использует плотную архитектуру трансформера RiNALMo с 33 слоями и 20 головами внимания. Она обучена в стиле BERT на 36 млн некодирующих последовательностей РНК с задачей восстановления замаскированных токенов; у модели есть класс RiNALMoForMaskedLM и поддержка Transformers. Модель предназначена для получения представлений последовательностей и предсказания замаскированных нуклеотидов. Её можно дообучать для задач анализа РНК, включая предсказание вторичной структуры и обнаружение сайтов сплайсинга. Токенизатор преобразует U в T, поскольку модель обучалась на T; алфавит также включает неоднозначные нуклеотидные символы. Порт проверен на совпадение представлений с исходной реализацией. Модель распространяется по лицензии CC BY 4.0. Для запуска требуется совместимая среда PyTorch и Transformers; в README для загрузки указан параметр trust_remote_code=True. Чекпойнт крупный, а для прикладных задач на уровне последовательности потребуется pooling и обучающая голова либо дообучение.

seqLens_4096_512_47M-at-small — геномная языковая модель, разработанная omicseye для работы с последовательностями ДНК. Это энкодер на архитектуре DeBERTa V2 с механизмом раздельного внимания и относительным позиционным кодированием; в карточке указаны 59,8 млн параметров и контекст до 512 токенов. Модель обучена на датасете omicseye/prok_heavy. Модель предназначена для задачи fill-mask: она предсказывает скрытые токены в последовательностях ДНК и может использоваться для анализа геномных последовательностей и поддержки геномной аннотации. Семейство seqLens также исследовалось для фенотипических предсказаний, однако для этой версии в метаданных заявлена только задача fill-mask. Доступна по лицензии CC-BY-NC 4.0; для коммерческого лицензирования README предлагает обращаться к разработчикам.

Карточка модели Iambackup/AMPLIFY_350M на Hugging Face совпадает с карточкой nvidia/AMPLIFY_350M, поэтому описание составлено по ней. AMPLIFY_350M — оптимизированная NVIDIA версия белковой языковой модели AMPLIFY, разработанной Chandar Research Lab. Модель на архитектуре Transformer типа ESM-2 содержит около 350 млн параметров; метаданные Hugging Face указывают 471,9 млн параметров. Версия оптимизирована с помощью TransformerEngine и, с точностью до численных различий, сохраняет веса и выходы исходной модели. Модель принимает строки из канонических аминокислот длиной до 2048 остатков. Она предназначена для анализа белковых последовательностей: получения векторных представлений аминокислот и белка, предложения мутаций, различения неупорядоченных белков и непоследовательностей белка, а также задач проектирования белков и анализа их функций. В метаданных основная задача обозначена как fill-mask. Модель рассчитана на ускорение на GPU NVIDIA и интеграцию через Hugging Face Transformers. README указывает поддержку NVIDIA Ampere, Blackwell и Hopper, а также Linux. Среди ограничений — необходимость проверять качество на данных конкретного применения; оптимизация может вызывать небольшие численные отличия от исходной модели. Лицензия MIT; карточка указывает возможность коммерческого и некоммерческого использования.

AMPLIFY_350M — оптимизированная NVIDIA версия белковой языковой модели AMPLIFY, разработанной Chandar Research Lab. Модель на архитектуре Transformer типа ESM-2 содержит около 350 млн параметров; метаданные Hugging Face указывают 471,9 млн параметров. Версия оптимизирована с помощью TransformerEngine и, с точностью до численных различий, сохраняет веса и выходы исходной модели. Модель принимает строки из канонических аминокислот длиной до 2048 остатков. Она предназначена для анализа белковых последовательностей: получения векторных представлений аминокислот и белка, предложения мутаций, различения неупорядоченных белков и непоследовательностей белка, а также задач проектирования белков и анализа их функций. В метаданных основная задача обозначена как fill-mask. Модель рассчитана на ускорение на GPU NVIDIA и интеграцию через Hugging Face Transformers. README указывает поддержку NVIDIA Ampere, Blackwell и Hopper, а также Linux. Среди ограничений — необходимость проверять качество на данных конкретного применения; оптимизация может вызывать небольшие численные отличия от исходной модели. Лицензия MIT; карточка указывает возможность коммерческого и некоммерческого использования.

Bacformer causal complete genomes — модель для геномики бактерий, разработанная исследователями из University of Cambridge и EPFL под руководством Maciej Wiatrak. Она рассматривает геном как упорядоченную по расположению на хромосомах, плазмидах и контигах последовательность белков и использует трансформер для моделирования их контекста. Чекпойнт содержит 33,2 млн параметров по метаданным и имеет контекст до 6000 белковых токенов. Модель дообучена на примерно 40 тысячах полных геномов NCBI RefSeq после предварительного обучения на разнообразных метагеномно собранных геномах. Для представления каждого белка усредняются аминокислотные эмбеддинги ESM-2 t12 35M; причинная цель обучения — предсказывать семейство следующего белка по предшествующим белкам в геноме. Модель предназначена для получения контекстных представлений белков и исследований геномной организации, взаимодействий белков и фенотипов бактерий. Для работы нужны аминокислотные последовательности белков, упорядоченные по геномным координатам; это не обычная модель для генерации свободного текста. В обучении число белков ограничивалось 6000 на геном. Модель распространяется по лицензии Apache 2.0.

Модель разработана группой NeuroGSD факультета информационных технологий Университета Моратува. Это классификатор на базе EfficientNetB0 с блоком внимания squeeze-excitation, дообученный для определения выраженности катаракты по фотографиям переднего отрезка глаза. Он относит изображение к одному из четырёх классов: норма, лёгкая, умеренная или тяжёлая степень. Модель принимает цветные изображения RGB размером 224×224; перед подачей требуется обработка, описанная в README: медианный фильтр, CLAHE для канала яркости LAB и изменение размера изображения. Модель предназначена для исследовательской и учебной оценки классификации офтальмологических изображений. В README приведены результаты на отложенной выборке из 59 изображений, сгруппированной по исходным фотографиям, чтобы исключить утечку между обучением и тестированием. Авторы сообщают точность 0,983 и сбалансированную точность 0,964, но малый объём данных и широкие доверительные интервалы ограничивают обобщаемость этих оценок. Датасет состоит из 357 уникальных изображений из одного источника; оценки классов присвоены студенческой командой и проверены специалистом. Работа на других камерах, при ином освещении и на других популяциях не проверялась. Модель не является медицинским изделием, не прошла клиническую валидацию или регуляторное одобрение и не должна использоваться для принятия решений о пациентах. Условия лицензии в предоставленных данных не приведены.

DeepSpot-M — мультимодальная модель исследовательской группы Ratschlab для предсказания пространственной экспрессии генов по гистологическим изображениям. Она принимает тайлы H&E размером 224×224 пикселя и использует дообученный с LoRA энкодер Midnight вместе с декодером перекрёстного внимания, который связывает признаки изображения с биологическими представлениями генов. Модель предсказывает экспрессию примерно для 19 тысяч генов и позволяет запрашивать отдельные гены, в том числе не встречавшиеся при обучении. Её можно применять для исследования виртуальной пространственной транскриптомики на изображениях опухолевой ткани и анализа целых гистологических препаратов. Модель разработана для обработки изображений, а не для клинических решений. DeepSpot-M дообучена на базе kaiko-ai/midnight; веса опубликованы в формате safetensors. Лицензия CC BY-NC-SA 4.0 допускает использование на условиях указания авторства, распространения производных материалов на тех же условиях и некоммерческого применения. Авторы ограничивают назначение исследовательскими задачами.

ESM-1b — белковая языковая модель семейства ESM, разработанная исследовательской группой Facebook AI. Это плотный трансформер на архитектуре RoBERTa с головой masked language modeling; модель содержит около 865,1 млн параметров и принимает последовательности аминокислот длиной до 1024 токенов. Она предварительно обучена без разметки на примерно 30 млн белковых последовательностей из UniRef50 2018-03: по окружающему контексту предсказывает замаскированные аминокислоты. Модель предназначена для заполнения масок в белковых последовательностях и получения представлений, которые можно применять для прогнозирования структуры и функций белков. Её используют для поиска удалённой гомологии, предсказания вторичной структуры и контактов, оценки влияния мутаций, извлечения признаков и дообучения на прикладных наборах данных. В README отмечено, что более новая ESM-2 обычно показывает лучшие результаты; ESM-1b полезна, в частности, для сравнения с прежними моделями. Лицензия — MIT.

GENERanno-prokaryote-0.5b-base — базовая геномная модель GenerTeam для анализа прокариотической ДНК. Это плотная модель с архитектурой GenerannoForMaskedLM и примерно 493,2 млн параметров, обученная на наборе данных объёмом 715 млрд пар оснований. Она обрабатывает последовательности с разрешением до одного нуклеотида и поддерживает контекст до 8192 токенов, соответствующих парам оснований. Модель предназначена для заполнения маскированных участков ДНК и может применяться как основа для задач геномного анализа, включая классификацию последовательностей и разметку токенов. В карточке также описана отдельная производная модель для аннотации метагеномных последовательностей, но этот репозиторий содержит базовую модель, а не аннотатор. Модель распространяется по лицензии MIT. Данные карточки указывают на специализацию на прокариотических геномах; результаты и характеристики отдельной модели-аннотатора не следует автоматически переносить на эту базовую модель.

GenomeOcean MoE 8x2.4B — модель DOE Joint Genome Institute для генерации и анализа последовательностей микробных геномов. Это авторегрессионный декодерный трансформер с разреженной архитектурой Mixtral Mixture-of-Experts: в репозитории заявлено 15,13 млрд параметров всего, около 4,25 млрд активных на токен. Модель создана на основе DOEJGI/GenomeOcean-4B: полносвязные слои исходной модели преобразовали в набор экспертов, после чего все веса обучались дальше. Используется формат safetensors и библиотека Transformers; контекст — до 10 240 токенов. Модель предназначена для исследовательского моделирования микробных геномных последовательностей: оценки правдоподобия, генерации последовательностей и адаптации к задачам геномики. Токенизатор рассчитан на последовательности ДНК в верхнем регистре и штатно обрабатывает A, C, G, T и N; U нормализуется в T, а неоднозначные коды IUPAC не несут специфической информации и превращаются в неизвестный токен. В README отмечено, что качество на непрерывных длинных контигах, специализированные биологические бенчмарки и биологическая функция сгенерированных последовательностей не установлены; контексты длиннее 10 240 токенов не проверены. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

gLM2_150M — геномная языковая модель на 150 млн параметров, разработанная TattaBio и обученная на датасете OMG. Это трансформерный энкодер с задачей masked language modeling: он представляет геномный контиг как последовательность кодирующих белок участков CDS и межгенных участков ДНК (IGS). CDS кодируются токенами аминокислот, IGS — токенами отдельных нуклеотидов; специальные токены обозначают направление цепи. Для разделения алфавитов аминокислоты следует подавать в верхнем регистре, а нуклеотиды — в нижнем. Модель предназначена для анализа геномных последовательностей и предсказания замаскированных токенов в смешанном представлении белковых и ДНК-участков. В версии, обновлённой в сентябре 2024 года, контекст увеличен с 2048 до 4096 токенов, а для IGS используется токенизация по отдельным нуклеотидам. Доступна также версия на 650 млн параметров. Модель распространяется по лицензии Apache-2.0. README не приводит оценок качества или результатов для конкретных биологических задач.

Minerva-MLM — плотная геномная языковая модель семейства Minerva от gbrixi для анализа последовательностей ДНК и поиска коэволюционных сигналов. Модель содержит голову masked language modeling и дополнительные головы для предсказания спаривания оснований, контактов белка и повторов. Она рассчитана на контекст до 4 096 токенов и доступна в формате safetensors для библиотеки Transformers; лицензия — Apache-2.0. Модель подходит для заполнения замаскированных токенов в геномных последовательностях, анализа сигналов взаимодействия и построения карт контактов и повторов. README указывает поддержку взаимодействий между ДНК, РНК и белком, а также функции вычисления отпечатков взаимодействий. Для неизвестной ориентации участка следует запускать анализ обеих цепей: обучение преимущественно проводилось на положительной цепи ДНК, и качество на ней лучше. Для полноценной работы с обеими ориентациями можно объединять карты прямой и обратной комплементарной последовательностей.

OmniGenome-52M — трансформерная модель семейства OmniGenome для работы с геномными последовательностями, разработанная для исследований в RNA-геномике, биоинформатике и молекулярной биологии. По карточке, модель использует выравнивание последовательностей и вторичных структур РНК и поддерживает преобразования Seq2Str и Str2Seq. В метаданных указан размер 70,1 млн параметров, контекст 1026 токенов и формат safetensors; README описывает версии семейства на 52 млн и 186 млн параметров. Модель предназначена для предсказания вторичной структуры РНК, дизайна последовательностей РНК и других геномных задач, включая оценку деградации мРНК. Её также можно адаптировать для задач на ДНК, например предсказания активности промоторов, экспрессии генов и доступности хроматина. Предобучение выполнено на последовательностях более чем тысячи видов растений из базы OneKP; структуры предсказывались с помощью ViennaRNA. В метаданных основная задача указана как fill-mask, также перечислены text-generation, text-classification и token-classification. Карточка сообщает о хороших результатах на вычислительных бенчмарках, но перенос на человеческую ДНК может требовать дообучения, а результаты in vivo не подтверждены. Модель распространяется по лицензии MIT.