IV.6Научные исследования, математика и новые материалы

HELM-BERT — языковая модель пептидов от Flansma, построенная на архитектуре DeBERTa и обученная на нотации HELM. Модель содержит 56,7 млн параметров, 6 слоёв и поддерживает контекст до 512 токенов. Она предварительно обучена методом masked language modeling на примерно 75 тысячах пептидов из ChEMBL, CREMP, CycPeptMPDB и Propedia. Модель предназначена для заполнения маскированных участков пептидных последовательностей и может служить основой для классификации, включая прогнозирование проницаемости пептидов и классификацию взаимодействий пептид-белок. В карточке описаны результаты на случайных и структурных разбиениях; качество заметно зависит от способа разбиения, поэтому показатели на случайных выборках не гарантируют перенос на новые семейства или каркасы. Модель работает с текстовой нотацией HELM, а не с изображениями или непосредственно с лабораторными измерениями. Лицензия — MIT.

Exscientia IgBert_unpaired — BERT-модель для белковых и антительных последовательностей, разработанная Exscientia. Она дообучена на непарных последовательностях антител из Observed Antibody Space на основе ProtBert-BFD с целью masked language modeling. В метаданных указаны 503,3 млн параметров, контекст до 40 000 токенов и формат safetensors. Модель предназначена для заполнения маскированных аминокислот и получения векторных представлений последовательностей антител. Такие представления можно использовать в последующих задачах классификации или другой специализированной настройке. Для загрузки и токенизации README рекомендует библиотеку Transformers; токенизатор добавляет специальные токены начала и конца последовательности и выполняет дополнение до длины в пакете. Лицензия — MIT. Модель обучалась на непарных антительных последовательностях, поэтому её специализация — антительные и белковые данные; README не приводит результатов сравнительной оценки качества. Для задач на уровне последовательности может потребоваться отдельная настройка или pooling-голова.

ISM — белковая языковая модель, разработанная Jeffrey Ouyang-Zhang, Chengyue Gong, Yue Zhao, Philipp Krähenbühl, Adam Klivans и Daniel J. Diaz. Она представлена в работе «Distilling Structural Representations into Protein Sequence Models» и описана авторами как ESM2 с обогащёнными структурными представлениями белков. Модель предназначена для работы с последовательностями белков и использует архитектуру ESM с плотной сетью и головой masked language modeling. В каталожных метаданных указаны 865,1 млн параметров и контекст до 1026 токенов. Её можно использовать в сценариях, где требуется предсказывать замаскированные аминокислоты или анализировать белковые последовательности с учётом структурных представлений. Карточка рекомендует заменять ею ESM2 в существующем рабочем процессе ESM2. Репозиторий предоставляет веса в формате safetensors. Информация о лицензии в доступных данных отсутствует.

MathBERTa — модель на базе RoBERTa, разработанная Витом Новотным и Михалом Штефаником для работы с английскими математическими текстами и формулами LaTeX. Токенизатор дополнен математическими символами, а модель дообучена на корпусах ArXMLiv и Math StackExchange с задачей masked language modeling. Веса содержат 173,7 млн параметров, контекст — до 514 токенов; модель чувствительна к регистру. Репозиторий распространяется в формате PyTorch по лицензии MIT. Модель предсказывает замаскированные слова и математические символы, а также может служить источником признаков для последующего дообучения на классификацию последовательностей и токенов или ответы на вопросы по математическим текстам. Она рассчитана на задачи, где решение опирается на весь входной фрагмент, а не на генерацию текста. В README отмечена проблема долгой загрузки из-за большого числа добавленных токенов LaTeX в старых версиях Transformers; исправление вошло в версию 4.20.0.

mRNABERT — модель семейства BERT, опубликованная Taykhoom как минимальный порт исходных весов mRNABERT. Она использует архитектуру MosaicBERT с 12 слоями, 12 головами внимания и размерностью эмбеддингов 768; в метаданных указано 113,3 млн параметров. Модель предобучена на 18 млн последовательностей мРНК с помощью маскированного языкового моделирования и контрастивного обучения, учитывающего семантику аминокислот. Репозиторий содержит веса и токенизатор; код модели загружается из Taykhoom/MosaicBERT-updated. Модель предназначена для получения представлений последовательностей мРНК и предсказания скрытых нуклеотидов или кодонов. Токенизатор использует гибридный словарь из отдельных нуклеотидов для UTR-областей и триплетов-кодонов для CDS; последовательности кодируются буквами ДНК, включая T вместо U. Для корректной обработки с аннотацией CDS требуется раздельное представление UTR и CDS. Поддерживаются masked language modeling и дообучение для классификации последовательностей. Лицензия — Apache-2.0.

mRNA-FM — плотный 12-слойный трансформер BERT-типа для анализа кодирующих последовательностей мРНК, разработанный Chen et al.; порт для Hugging Face поддерживает Taykhoom Dalal. Модель предварительно обучена на 45 млн последовательностей CDS из RefSeq с помощью masked language modeling. Она использует токенизацию по кодонам: каждый токен соответствует триплету нуклеотидов; размерность представлений — 1280, число голов внимания — 20. Модель предназначена для восстановления замаскированных кодонов и получения представлений последовательностей для последующей классификации, регрессии и других задач тонкой настройки. На вход подают последовательность в РНК-обозначении с U вместо T; её длина должна быть кратна трём, а неполный конечный триплет отбрасывается. Порт совместим с Transformers и поддерживает реализации внимания SDPA и Flash Attention 2. Лицензия — MIT.

OpenMed разработала OpenMed-NER-ProteinDetect-BioMed-109M — дообученную модель BERT для распознавания биомедицинских сущностей в текстах. Она предназначена прежде всего для извлечения белков, белковых комплексов, семейств и вариантов белков из научной литературы и других биомедицинских документов, а также для последующего анализа белковых взаимодействий и молекулярных процессов. Модель использует архитектуру BiomedNLP-BiomedELECTRA-base-uncased-abstract и решает задачу классификации токенов с BIO-разметкой. В метаданных указано 136,7 млн параметров и контекст до 512 токенов; карточка описывает обучение на корпусе FSU, связанном с молекулярной биологией и белковыми взаимодействиями. Указанные в README показатели на FSU: F1 0,93, точность 0,92 и полнота 0,94. Модель подходит для разметки текстов перед построением баз знаний, анализом взаимодействий и поиском молекулярных сущностей. Карточка также предлагает сценарии анализа клинических текстов, однако перечисленные типы сущностей сосредоточены на белках и README не приводит результатов для клинических задач. Лицензия — Apache-2.0; модель принимает токенизированный текст и возвращает метки сущностей.

OpenMed-NER-ProteinDetect-SnowMed-568M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная XLM-RoBERTa для классификации токенов с 658,7 млн параметров и контекстом до 8194 токенов; веса опубликованы в формате safetensors. Модель размечает белки, белковые комплексы, семейства и группы белков, а также варианты белков BIO-тегами. Она обучена на корпусе FSU, ориентированном на взаимодействия белков и молекулярную биологию. Модель предназначена для извлечения сущностей из научной биомедицинской литературы и других специализированных текстов, например для поиска упоминаний белков при анализе взаимодействий и построении баз знаний. В карточке также заявлены клинические и исследовательские сценарии, включая извлечение сведений из медицинских записей и мониторинг нежелательных явлений, однако описанные классы сущностей и датасет сосредоточены на белках. Заявленные показатели на FSU: F1 0,9609, точность 0,9576, полнота 0,9642 и accuracy 0,9803; это результаты на указанном корпусе и они не гарантируют качество на других данных. Лицензия — Apache-2.0.

OPI-Llama-3.1-8B-Instruct — языковая модель BAAI, дообученная на полном наборе инструкций OPI из 1,61 млн примеров на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогового выполнения инструкций и генерации ответов по задачам, связанным с белками и биологией. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; в репозитории представлены веса safetensors. Модель подходит для исследовательских рабочих процессов в биологии и life sciences, где требуется отвечать на вопросы или выполнять инструкции по белковым задачам. Карточка ссылается на публикацию о наборе OPI и сообщает об оценке на девяти задачах, но подробности таблицы результатов в предоставленном README опущены. Модель поддерживает английский язык. Условия использования наследуют лицензию Llama 3.1 (llama3.1); перед применением необходимо соблюдать её ограничения.

PeiYangMe-0.8 是天津大学开发的面向计算催化的文本生成模型，重点用于丙烷脱氢（PDH）过程。模型基于 01.AI 的 Yi-6B 系列微调，仓库元数据显示其架构为稠密 Llama 类因果语言模型，参数量为 5.8B，使用 Transformers 和 safetensors，原生上下文长度为 4096 个 token。卡片提到的训练基础包括 Yi-6B、Yi-6B-Chat、Yi-1.5-6B 和 Yi-1.5-6B-Chat； метаданные связывают репозиторий с 01-ai/Yi-6B. Модель предназначена для задач вычислительного катализа, в частности для поддержки работы с процессом дегидрирования пропана. Её можно применять для генерации текстовых ответов и материалов в этой предметной области. Карточка указывает английский и китайский языки. Лицензия — Apache-2.0. Подробные технические спецификации и показатели качества авторы обещают представить после публикации исследования; проверяемых сравнительных результатов в карточке нет.

PertMind — биологическая языковая модель на базе Qwen3-4B-Base, разработанная для рассуждений о клеточных возмущениях и биологических профилей. Модель дообучена с использованием supervised initialization на доверенных траекториях и обучения с подкреплением на экспериментальных данных атласа возмущений Tahoe-100M. Она принимает текстовые запросы о клеточной линии, воздействии и целевом гене и генерирует текстовые прогнозы и интерпретации. Архитектура — плотная Qwen3ForCausalLM с 3,7 млрд параметров, контекстом до 40 960 токенов; репозиторий содержит веса safetensors и поддерживает запуск через Transformers и vLLM. Модель предназначена для прогнозирования экспрессии генов после воздействия, обратного вывода условий возмущения, приоритизации кандидатов в фенотипических скринингах и интерпретации биологических процессов. Также её ответы можно преобразовывать в профили для молекулярного, клеточного и донорского сопоставления. Карточка описывает исследовательский охват, но не подтверждает качество каждой из этих задач отдельными бенчмарками. Модель выпущена под лицензией Apache-2.0 для исследований, генерации гипотез и разработки методов.

PlantCaduceus_l32 — крупная предобученная языковая модель ДНК из семейства Caduceus, разработанная группой Kuleshov. Она обучена на геномах 16 видов покрытосеменных растений с помощью задачи masked language modeling и архитектур Caduceus и Mamba. Модель предназначена для изучения эволюционно-консервативных закономерностей и грамматики последовательностей ДНК; авторы рекомендуют вариант l32 для оценки оценок zero-shot. В README указаны 32 слоя и размер скрытого представления 1024; метаданные каталога указывают 469,8 млн параметров. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Модель применима к анализу растительных геномных последовательностей, но README не описывает конкретные гарантии качества или ограничения переносимости на другие виды.

Plant DNA BPE — модель семейства BERT, разработанная zhangtaolab для анализа последовательностей ДНК растений. Это одна из серии предобученных моделей на геномах растений; модель основана на Google BERT base с модифицированным BPE-токенизатором для ДНК. Она содержит 119,4 млн параметров, словарь токенизатора — 8 000 токенов, максимальная длина последовательности — 512 токенов. Модель обучена методом Masked Language Modeling и предназначена для заполнения замаскированных участков в последовательностях ДНК растений. Модель можно применять для предсказания нуклеотидных фрагментов по окружающей последовательности и как основу для исследовательских задач геномики растений. Она принимает текстовое представление последовательности ДНК и выдаёт предсказания токенов. Опубликована в формате safetensors; лицензия CC BY-NC-SA 4.0 допускает использование на условиях атрибуции, распространения производных материалов на той же лицензии и некоммерческого применения.

Precious3-GPT — разработанная Insilico Medicine компактная биомедицинская языковая модель на архитектуре MPT с 88,3 млн параметров. Она предназначена для работы с мультиомными данными разных видов и поддерживает сценарии генерации и анализа сигнатур экспрессии генов. Модель может генерировать списки повышенно и пониженно экспрессируемых генов по метаданным о ткани, соединении или поле, а также предсказывать соединения или заболевания по сигнатурам. В карточке описаны режимы для задач «метаданные → сигнатура → соединение», а также сценарии с заболеваниями, соединениями и возрастными группами. Модель можно запускать как причинную языковую модель через Transformers. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое; карточка не приводит контекстное окно или список естественных языков.

hugohrban/progen2-small-mix7 — однонаправленная авторегрессионная модель семейства ProGen, разработанная для генерации белковых последовательностей. Модель обучена на семи семействах белков: GPCR, глобинах, основных гистонах, белках, связывающих медь, дегидринах, кальретикулинах и P-loop ATPase. Она предназначена для генерации последовательностей в этих семействах и связанных с ними исследовательских сценариев.

ProkBERT-mini-promoter — модель Neural Bioinformatics Research Group для бинарной классификации последовательностей ДНК на промоторы и неп promotоры. Это дообученная версия ProkBERT-mini с архитектурой ProkBertForSequenceClassification; при классификации она объединяет информацию по нуклеотидам с помощью pooling-слоя. В репозитории указаны 26,3 млн параметров и контекст до 1024 токенов; для описанного сценария ожидаются последовательности длиной 80 пар оснований, а токенизатор использует 6-меры со сдвигом 1. Модель предназначена для анализа геномных последовательностей, в частности для поиска промоторных участков. Карточка приводит результаты оценки на наборах промоторов E. coli Sigma70 и разнообразном тестовом наборе, но качество в других геномных контекстах не гарантируется и требует отдельной проверки. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

ProtBert-BFD — белковая языковая модель Rostlab на архитектуре BERT, предварительно обученная на 2,1 млрд белковых последовательностей из набора BFD с помощью задачи masked language modeling. Модель содержит 503,3 млн параметров и принимает последовательности аминокислот в виде заглавных однобуквенных обозначений, разделённых пробелами; контекст — до 40 000 токенов по метаданным. Для неизвестных или нестандартных аминокислот в примере рекомендуется заменять U, Z, O и B на X. Модель предназначена для заполнения замаскированных аминокислот, извлечения признаков белковых последовательностей и последующего дообучения для прикладных биологических задач. В README приведены результаты дообучения на задачах предсказания вторичной структуры белка. Самостоятельно модель не выдаёт готовые структурные или функциональные аннотации без соответствующей настройки. Доступны веса PyTorch и TensorFlow. Модель опубликована для исследовательского использования и дообучения; лицензия в предоставленных данных не указана. Качество на конкретных downstream-задачах зависит от дообучения, а вход должен соответствовать ожидаемому формату последовательностей белка.

PureMechBERT-uncased — базовая модель BERT для заполнения пропусков в тексте, разработанная Cambridge Molecular Engineering. Модель обучена с нуля на статьях из литературы по диаграммам напряжение–деформация, содержащих сведения о механических свойствах материалов. Она предназначена для анализа и извлечения контекста из научных текстов этой области; архитектура — BertForMaskedLM, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель может быть полезна для восстановления замаскированных слов и изучения терминологии и свойств материалов в профильных публикациях. В репозитории указаны веса PyTorch и лицензия GPL-3.0. README не сообщает о поддержке конкретных естественных языков и не описывает результаты оценки качества.

shuoxing/qwen-3.5-27b-absorb — дообученная модель Qwen/Qwen3.5-27B, созданная методом самодистилляции Absorb для математических рассуждений. Во время обучения одна и та же модель выступала учителем и учеником: учитель получал задачу вместе с ключевой математической идеей, а ученик — только задачу; ограниченная передача подсказок помогала ученику строить собственное решение. При использовании модели такая подсказка не требуется. Модель обучена на 709 задачах-доказательствах из экзаменов Ph.D. по математике из набора shuoxing/math-phd-qual-709. Она предназначена для генерации решений и доказательств, а также для экспериментов с обнаружением и применением ключевых идей в задачах. Это плотная архитектура Qwen3.5 с 27 млрд параметров; изменена языковая часть, а модуль зрения перенесён из базовой модели без изменений. Обучение и оценка проводились только на текстовых данных. Весовой адаптер LoRA был объединён с весами модели. Репозиторий содержит веса safetensors, модель распространяется по лицензии Apache-2.0.

SeongryongJung/qwen3-8b-material-sdpo-ema005 — контрольная точка Qwen3-8B, дообученная методом SDPO на наборе данных material. Репозиторий содержит последнюю контрольную точку обучения, global_step_100, преобразованную в формат Transformers; это плотная авторегрессионная языковая модель с 7,6 млрд параметров и контекстом до 40 960 токенов. Модель предназначена для генерации текста и оценки сценариев из области материалов. В README приведён лучший результат валидации mean@16 — 73,34% на шаге 70; загруженная последняя контрольная точка показала 71,68%, поэтому лучший показатель не следует считать результатом опубликованных весов. Модель принимает текст и выдаёт текст. Карточка не уточняет языковой состав набора material. Лицензия — Apache-2.0.

S-Biomed-Roberta-snli-multinli-stsb — модель Sentence-Transformers на базе RoBERTa, разработанная для представления предложений и абзацев в виде плотных векторов размерности 768. Она основана на allenai/biomed_roberta_base и дообучена для оценки сходства предложений на данных SNLI, MultiNLI и STS-B. Модель содержит 151,8 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и выдаёт эмбеддинги. Её можно применять для семантического поиска, кластеризации и сравнения сходства текстов, особенно в биомедицинских сценариях. Карточка описывает обучение для сходства предложений, но не приводит сведений о поддерживаемых языках или лицензии; использование следует сверять с условиями базовой модели и репозитория.

Ab-RoBERTa — предобученная модель masked language modeling на архитектуре RoBERTa, разработанная Eunna Huh, Hyeonsu Lee и Hyunjin Shin при поддержке Mogam Institute for Biomedical Research. Модель дообучена на последовательностях антител из базы Observed Antibody Space (OAS) и содержит 113,3 млн параметров. Она принимает аминокислотные последовательности в верхнем регистре, записанные слитно, без пробелов; длина контекста — 152 токена. Модель предназначена для извлечения признаков из последовательностей антител и может дообучаться для прикладных задач анализа этих последовательностей. Как masked language model, она также восстанавливает замаскированные фрагменты последовательности. Поддерживается библиотекой Transformers. Лицензия — MIT.

BacLM 350M Masked — модель Macwiatrak для маскированного языкового моделирования бактериальных белковых и межгенных ДНК-последовательностей. Она использует общий символьный трансформерный энкодер для одной последовательности за раз и предсказывает замаскированные символы; также модель предназначена для получения контекстных эмбеддингов и переноса обучения на задачи бактериальной геномики. В README указаны 32 слоя, размер скрытого состояния 960, 16 голов внимания, символьная токенизация и контекст до 2048 токенов. Метаданные Hugging Face указывают архитектуру BacLMForMaskedLM и 471,9 млн параметров; README приводит оценку около 350 млн. Белковые последовательности следует подавать заглавными буквами, а ДНК — строчными. Лицензия — Apache-2.0. Модель рассчитана на бактериальные последовательности, а не на общую эукариотическую геномику. Маскирование и предсказание выполняются на уровне отдельных символов, а не биологических единиц более высокого уровня; несоблюдение регистра может ухудшить распознавание модальности.

ibm-research/biomed.rna.llama.47m.wced.multitask.v1 — модель IBM Research для получения эмбеддингов и предсказаний по данным экспрессии РНК на уровне отдельных клеток. Это конвертированная в SafeTensors версия чекпойнта BMFM-RNA на архитектуре SCLLama, содержащая 35,7 млн параметров с контекстом 512 токенов; для запуска требуется пакет biomed-multi-omic и его плагин для vLLM. Модель обучена с целью Whole-cell Expression Decoder (WCED), предсказывающей профиль экспрессии всей клетки, и дополнительными многозадачными целями: классификацией типов клеток и тканей и подавлением информации об идентификаторе донора. Она предназначена для анализа scRNA-seq, включая аннотацию клеток и получение признаков для последующих задач. В README также описаны общие возможности фреймворка для прогнозирования возмущений, однако конкретно этот чекпойнт заявлен прежде всего для эмбеддингов и предсказаний RNA. Модель принимает данные экспрессии генов, подготовленные в формате h5ad с сырыми значениями и символами генов, и выдаёт эмбеддинги и предсказания. Лицензия Apache 2.0. В описании нет результатов количественной оценки качества; применение зависит от совместимого кода biomed-multi-omic и корректной подготовки данных.

CENO-1B-131k — базовая модель для работы с геномными последовательностями ДНК, разработанная в рамках семейства CENO. Это причинная языковая модель с гибридной архитектурой Nemotron-H, объединяющей Mamba, механизм внимания и смесь экспертов (MoE); модель работает с последовательностями без входных MSA-данных. В метаданных указано 638,1 млн параметров, а чекпойнт обучен на контексте длиной 131 072 токена. Токенизатор посимвольный: основания ДНК кодируются ASCII-байтами. Модель предназначена для генерации геномных последовательностей и извлечения эмбеддингов, а также для последующей адаптации и исследования геномных задач. Она не является специализированным чекпойнтом CENO-P для предсказания эффектов вариантов. Для загрузки в Transformers требуется включить trust_remote_code=True; веса доступны в формате safetensors. Модель распространяется по лицензии Apache-2.0. Указанная длина обучения — 131 072 токена; README сообщает, что это не жёсткое ограничение контекстного окна, однако качество работы за пределами длины обучения отдельно не описано.

CheMatE-v0-MLM — базовая модель для предсказания замаскированных фрагментов текста, разработанная группой SchwallerGroup. Это 149-миллионная модель ModernBERT, предварительно обученная на химических текстах с расширением SMILES-представлениями молекул. Она предназначена для восстановления пропущенных слов и фрагментов в химических текстах; для получения эмбеддингов авторы рекомендуют использовать CheMatE-v0. Модель принимает текст, поддерживает контекст до 8192 токенов и доступна в формате Safetensors. Карточка демонстрирует заполнение пропуска в предложении об аспирине. Лицензия — MIT.

CloneLM-Heavy — авторегрессионная языковая модель семейства Mistral, разработанная авторами проекта CloneBO для генерации последовательностей тяжёлых цепей антител. Её обучали на клонических семействах антител, чтобы моделировать эволюцию последовательностей и предлагать варианты с мутациями, пригодные для дальнейшей оптимизации антител. Модель содержит 377,5 млн параметров и имеет контекст 2048 токенов; в метаданных указаны Transformers и формат safetensors. Её используют в вычислительном дизайне и оптимизации антител, в том числе в составе CloneBO, где генерацию направляют экспериментальными измерениями и процедурой twisted sequential Monte Carlo. Это специализированная модель для белковых последовательностей, а не универсальный чат-ассистент. Описание проекта сообщает об улучшении эффективности оптимизации и получении более сильных и стабильных связывателей в лабораторных экспериментах. Лицензия весов в доступных источниках не установлена.

Code-as-World-VL-9B — мультимодальная модель MirroS-Lab, дообученная на базе Qwen/Qwen3.5-9B для понимания физических сцен и количественных рассуждений по видео и изображениям. Рекомендуемый формат видеовхода — 16 кадров; веса представлены в BF16 Safetensors. Модель предназначена для исследовательских задач: оценки физических свойств сцен, измерений и количественных ответов по визуальным данным. Она может принимать видео с кадрами и изображения, а также текстовые вопросы, и формировать текстовые ответы. Модель доступна по лицензии Apache-2.0. Ответы могут быть неточными и требуют независимой проверки, особенно перед использованием в сценариях, критичных для безопасности.

CodonTransformer-base — предварительно обученная модель для работы с последовательностями кодонов, созданная Adibvafa Fallahpour и соавторами из Vector Institute, University of Toronto и Université Paris Cité. Она предназначена для задач биоинформатики, включая оптимизацию кодонов: преобразование белковых последовательностей в оптимизированные последовательности ДНК с учётом целевого организма. Авторы рекомендуют для лучших результатов использовать дообученную версию модели. Модель имеет архитектуру BigBirdForMaskedLM и около 113,3 млн параметров; максимальная длина контекста — 4096 токенов. Репозиторий содержит веса в формате safetensors, модель рассчитана на использование с библиотекой Transformers. В метаданных указаны задачи заполнения маски и классификации токенов; для каталога основной задачей выбрано заполнение маски, поскольку карточка описывает предобученную модель и расходится с pipeline_tag классификации токенов. Лицензия — Apache-2.0. README предлагает Jupyter Notebook и интерактивную демонстрацию, но для получения лучших результатов указывает на необходимость дообученной версии.

Dayhoff-170M-GRS-SS-86000 — модель для генерации белковых последовательностей из семейства Dayhoff, разработанного Kevin K. Yang и соавторами. Модель предназначена для исследований в области белкового языкового моделирования: генерации последовательностей, предсказания эффектов мутаций без дополнительного обучения и проектирования белковых каркасов с заданными структурными мотивами. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); для генерации используется авторегрессионная языковая модель. В метаданных указаны 23,6 млн параметров и контекст длиной до 262 144 токенов. Модель работает с белковыми последовательностями и может моделировать развёрнутые множественные выравнивания последовательностей. Модель рассчитана на исследовательское применение к белкам, а не к естественному языку или последовательностям ДНК. Сгенерированные последовательности не всегда реалистичны, а генерация качественных последовательностей без сходства с известными природными последовательностями остаётся сложной задачей. Лицензия — MIT.