IV.6Научные исследования, математика и новые материалы

RNA-FM — языковая модель последовательностей РНК, созданная Chen et al.; порт для Hugging Face поддерживает Taykhoom Dalal. Это плотный 12-слойный трансформер в стиле BERT с 20 головами внимания и размерностью эмбеддингов 640. Модель предварительно обучена методом masked language modeling на 23,7 млн некодирующих последовательностей РНК из RNAcentral100 и принимает последовательности в обозначениях РНК, где используется U вместо T. Модель предсказывает замаскированные нуклеотиды и формирует контекстные представления последовательностей, которые можно использовать для классификации и регрессии после дообучения. Проверка реализации показала совпадение скрытых представлений с исходной моделью. Порт поддерживает Transformers и форматы вычислений SDPA и Flash Attention 2. Лицензия — MIT.

RNA-MSM — предварительно обученная модель для анализа некодирующих РНК, реализованная командой MultiMolecule по опубликованной работе Yikun Zhang и соавторов. Это неофициальная реализация модели RNA-MSM; модель разработана как BERT-подобная архитектура MSA с построчным и поколоночным вниманием. В карточке указано 10 слоёв, скрытый размер 768, 12 голов внимания и контекст до 1024 токенов; в метаданных размер составляет 94,4 млн параметров. Модель обучена методом masked language modeling на выравниваниях последовательностей из Rfam 14.7, охватывающих 3 932 семейства РНК. Она подходит для предсказания скрытых нуклеотидов, извлечения представлений последовательностей и как основа для предсказания вторичной структуры РНК или дообучения на задачах классификации и регрессии. Модель принимает последовательности РНК и выдаёт текстовые предсказания или векторные представления; карточка не заявляет поддержку естественных языков. Для точного воспроизведения оригинального поведения авторы рекомендуют отключить добавление EOS-токена: в текущей реализации он может приводить к неожиданному поведению в отдельных случаях, хотя промежуточные представления совпадают с оригиналом. Для downstream-классификации и регрессии требуется дообучение. Лицензия — AGPL-3.0.

RoBERTa Base HumAb VH — модель hemantn для гуманизации последовательностей вариабельной тяжёлой цепи антител (VH). Она обучена с нуля методом masked language modeling примерно на 141 млн последовательностей человеческих антител и предназначена для восстановления замаскированных аминокислотных остатков, анализа последовательностей и изучения закономерностей VH. README сообщает точность 91,46%; также модель можно использовать через пакет AnthroAb для предложений гуманизирующих мутаций и генерации представлений последовательностей. Модель имеет архитектуру RobertaForMaskedLM: 12 слоёв, 12 голов внимания, скрытый размер 768, словарь из 25 токенов и контекст до 192 токенов. Число параметров — 113,3 млн; веса представлены в safetensors. Это специализированная белковая модель, а не универсальная языковая модель. Лицензия — MIT. Заявленная точность приведена в README без описания методики оценки, поэтому её нельзя напрямую переносить на любые наборы последовательностей или сценарии.

SaProt_35M_AF2 — белковая языковая модель семейства ESM, опубликованная пользователем westlake-repl. Репозиторий содержит вариант для загрузки через Hugging Face Transformers и веса SaProt_35M_AF2.pt для использования в коде ESM. Модель предназначена для заполнения маскированных участков белковой последовательности и работы с белковыми представлениями; в метаданных указано 44,5 млн параметров и контекст до 1026 токенов. Модель работает с белковыми последовательностями, а суффикс AF2 в названии указывает на версию SaProt, связанную с AlphaFold2. README не описывает оценённые качества, обучающие данные или конкретные сценарии применения. Лицензия репозитория — MIT.

SaProt_650M_AF2 — белковая языковая модель семейства ESM, опубликованная пользователем Takagi-san. Репозиторий содержит веса PyTorch и вариант для загрузчика esm; модель можно использовать для заполнения маскированных участков белковых последовательностей. Размер модели составляет 865,6 млн параметров, контекст — до 1026 токенов. Лицензия — MIT. Модель предназначена для работы с белковыми последовательностями, в том числе для предсказания аминокислот в замаскированных позициях. README описывает варианты загрузки через Hugging Face Transformers и esm. Карточка не приводит оценок качества или специальных ограничений применения.

SaProt_650M_PDB — языковая модель семейства ESM, опубликованная пользователем westlake-repl. Репозиторий содержит вариант SaProt размером около 865,6 млн параметров для PyTorch и поддерживает заполнение замаскированных токенов; модель можно загружать через классы Hugging Face Transformers или средствами библиотеки ESM. Модель предназначена для работы с последовательностями белков: она предсказывает содержимое скрытых позиций в последовательности и подходит для анализа белковых данных и последующих задач биоинформатики. Длина контекста составляет 1026 токенов. Репозиторий включает также файл SaProt_650M_AF2.pt для загрузки через интерфейс ESM. Модель распространяется по лицензии MIT. README не приводит результатов оценки качества и подробных ограничений применения, поэтому пригодность для конкретных биологических задач следует проверять отдельно.

SteelBERT — предварительно обученная MGE-LLMs языковая модель на архитектуре DeBERTa для текстов о стали и материалах. Её обучили на 4,2 млн аннотаций о материалах и 55 тыс. полнотекстовых статей о стали — примерно на 0,96 млрд слов — методом masked language modeling: модель восстанавливает замаскированные токены. Для предметной области создан специализированный токенизатор со словарём из 128 100 единиц. Модель содержит 188 млн параметров и 12 Transformer-энкодеров с 12 головами внимания; максимальная длина входа — 512 токенов. Основной сценарий использования — заполнение пропусков в текстах о стали и материалах. Чекпойнт также может служить основой для дообучения под другие задачи обработки таких текстов. Доступна по лицензии Apache-2.0.

UTRBERT-5mer — перенос в формат Hugging Face модели 3UTRBERT, разработанной Yang и соавторами и подготовленной для Hugging Face Taykhoom Dalal. Это BERT-base с 12 слоями, 12 головами внимания и размерностью эмбеддингов 768, предварительно обученный на последовательностях 3′-нетранслируемых областей (3′ UTR) человеческой мРНК. Модель предсказывает замаскированные фрагменты последовательности по задаче masked language modeling. Входные последовательности РНК или ДНК преобразуются в перекрывающиеся 5-меры с шагом 1; нуклеотиды T заменяются на U. Токенизатор добавляет специальные токены [CLS] и [SEP], а исходная предобработка ограничивала последовательности 510 нуклеотидами. Контекст составляет 512 токенов. Модель подходит для анализа последовательностей мРНК, получения представлений k-меров и последующего дообучения для задач классификации или предсказания свойств последовательностей. Порт проверен на соответствие исходным весам; доступны варианты внимания SDPA и Flash Attention 2. Для загрузки требуется Transformers и trust_remote_code=True; для локальной загрузки может понадобиться код BERT-updated из сети либо из кэша. Модель распространяется по лицензии CC BY 4.0.

multimolecule/utrlm-te_el — неофициальная реализация UTR-LM, модели MultiMolecule, разработанной Yanyi Chu, Dan Yu и соавторами. Это компактная плотная BERT-подобная модель семейства UTR-LM с 1,6 млн параметров, предварительно обученная на последовательностях 5′-нетранслируемых областей мРНК. Вариант te_el предназначен для оценки эффективности трансляции транскриптов и уровня экспрессии мРНК; основная задача в каталоге — восстановление замаскированных нуклеотидов. Модель принимает последовательности РНК как текстовые токены и рассчитана на контекст до 1026 токенов. Предобучение использовало маскированное языковое моделирование, предсказание вторичной структуры и минимальной свободной энергии. Её можно применять для заполнения пропусков в последовательностях 5′ UTR, извлечения признаков и предсказания связанных с трансляцией свойств; возможности классификации и регрессии на новых задачах требуют дообучения. Карточка предупреждает, что реализация неофициальная и команда MultiMolecule не подтверждает совпадение промежуточных представлений с исходной реализацией. Веса опубликованы в форматах PyTorch и safetensors. Лицензия — AGPL-3.0.

Модель Jacopo-gab/230912GPT2_fine_tuned_SP_GPT2_config_ESM_tokenizer_6kSwissProt_20epochs — дообученная версия GPT-2, созданная на наборе примерно из 6 000 сигнальных пептидов SwissProt. В обучающую выборку вошли экспериментально подтверждённые сигнальные пептиды млекопитающих из публичной базы UniProt, выгруженные 12 сентября 2023 года. Модель предназначена для генерации новых последовательностей сигнальных пептидов млекопитающих, которые могут использоваться при подборе условий секреции рекомбинантных белков в клетках-хозяевах. Она выполняет авторегрессионную генерацию текста на основе архитектуры GPT-2 и специализированного токенизатора ESM; заявленная длина контекста составляет 1 024 токена. В качестве метрики оценки указано значение 2,1215 для отрицательного логарифмического правдоподобия на следующем токене. Модель ориентирована на исследовательскую работу с последовательностями белков. Её генерации требуют биологической проверки: карточка не приводит данных об экспериментальной эффективности или гарантиях улучшения секреции. Лицензия — MIT.

Taykhoom/AIDO.DNA-300M — 300-миллионная модель для геномной ДНК из набора AIDO (AI-Driven Digital Organism), разработанная Ellington et al. и перенесённая на Hugging Face Taykhoom Dalal. Это плотный Transformer с 24 слоями, 16 головами внимания, размером эмбеддинга 1024 и контекстом до 4000 токенов; модель доступна в формате safetensors и использует библиотеку Transformers. Модель предварительно обучена на геномных последовательностях из набора Nucleotide Transformer с целью masked language modeling. Она принимает последовательности ДНК, разбитые на отдельные нуклеотиды, и подходит для предсказания скрытых нуклеотидов, извлечения представлений последовательностей и дообучения для задач классификации или других задач на геномных данных. Для максимальной точности автор README рекомендует более крупную AIDO.DNA-7B. Токен U присутствует в словаре из-за совместимости с общей RNABert-токенизацией, но не встречался при обучении; следует использовать T вместо U. Лицензия указана как other, поэтому условия использования нужно уточнить в карточке модели. Порт сопоставлен с исходным контрольным чекпойнтом genbio-ai/GB.DNA-300M по скрытым состояниям и логитам MLM.

AntiBERTa2 — специализированная языковая модель Alchemab для аминокислотных последовательностей антител. Она построена на архитектуре RoFormer и предварительно обучена методом masked language modeling; в карточке указаны 202 млн параметров и конфигурация из 16 слоёв, 16 голов внимания и размерности 1024. Модель принимает последовательность антител и предсказывает замаскированные в ней элементы; задача в метаданных — fill-mask, а максимальный контекст составляет 256 токенов. Модель предназначена для работы с последовательностями антител, включая заполнение пропусков в последовательности. README также упоминает мультимодальный вариант AntiBERTa2-CSSP, но этот репозиторий содержит AntiBERTa2, поэтому характеристики CSSP к нему не относятся. Лицензия обозначена как other; README устанавливает некоммерческие условия использования модели и сгенерированных последовательностей антител, а для коммерческого использования предлагает связаться с разработчиком.

Ares expert-choice 4B interleaved 150K — белковая языковая модель HazemLab, обученная с нуля на UniRef50 для предсказания замаскированных аминокислотных остатков и получения представлений белковых последовательностей. Это двунаправленный энкодер с разреженной архитектурой Mixture-of-Experts: около 4,22 млрд параметров, 20 блоков, 32 эксперта, MoE-слои чередуются с плотными; на токен приходится около 0,44 млрд активных параметров. Обучение завершено на 150 000 шагах с masked language modeling. Модель предназначена для заполнения масок в последовательностях белков, извлечения представлений остатков и последовательностей, а также экспериментальных оценок свойств белков и эффектов вариантов. Она принимает одноцепочечные аминокислотные последовательности; контекст обучения — 1024 остатка. Модель не генерирует последовательности авторегрессионно и не принимает структуры, MSA, мультимеры или нуклеотидные последовательности. Это исследовательский артефакт: у варианта expert-choice известен дефект маршрутизации, токены могут не попасть ни к одному эксперту, а результат ProteinGym заметно ниже, чем у варианта с мягкой маршрутизацией. Качество на последовательностях длиннее 1024 остатков не проверено; результаты прогнозирования эффектов вариантов сильно различаются между тестами. Модель не валидирована для клинических, диагностических или связанных с биобезопасностью решений. Лицензия — MIT.

Bacformer causal complete genomes — модель для геномики бактерий, разработанная исследователями из University of Cambridge и EPFL под руководством Maciej Wiatrak. Она рассматривает геном как упорядоченную по расположению на хромосомах, плазмидах и контигах последовательность белков и использует трансформер для моделирования их контекста. Чекпойнт содержит 33,2 млн параметров по метаданным и имеет контекст до 6000 белковых токенов. Модель дообучена на примерно 40 тысячах полных геномов NCBI RefSeq после предварительного обучения на разнообразных метагеномно собранных геномах. Для представления каждого белка усредняются аминокислотные эмбеддинги ESM-2 t12 35M; причинная цель обучения — предсказывать семейство следующего белка по предшествующим белкам в геноме. Модель предназначена для получения контекстных представлений белков и исследований геномной организации, взаимодействий белков и фенотипов бактерий. Для работы нужны аминокислотные последовательности белков, упорядоченные по геномным координатам; это не обычная модель для генерации свободного текста. В обучении число белков ограничивалось 6000 на геном. Модель распространяется по лицензии Apache 2.0.

ghadeermobasher/BC4_Original-BiomedNLP-PubMedBERT-base-uncased-abstract — модель на архитектуре BERT для token classification, разработанная ghadeermobasher на основе BiomedNLP-PubMedBERT Microsoft. Она дообучена для распознавания упоминаний химических соединений и лекарственных средств в англоязычных научно-медицинских текстах, в частности в аннотациях PubMed и корпусе BioCreative IV CHEMDNER. Модель содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. Её основное применение — извлечение химических сущностей из биомедицинской литературы для последующего поиска, индексации и построения систем текстового анализа. Модель предназначена для английского языка и не является генеративной. Сильная сторона модели — специализация на биомедицинской терминологии и задаче распознавания химических сущностей. Ограничения связаны с узкой предметной областью, зависимостью от схемы разметки BC4CHEMD и максимальной длиной контекста; качество на других языках, типах документов и задачах общего назначения не гарантируется.

BiomedBERT (ранее PubMedBERT (abstracts)) — англоязычная модель Microsoft на архитектуре BERT, обученная с нуля на аннотациях статей PubMed. Она предназначена для заполнения пропусков в тексте и служит основой для прикладных задач обработки биомедицинского языка, включая извлечение и анализ информации из научных публикаций. В карточке сообщается о высоких результатах на нескольких биомедицинских NLP-задачах бенчмарка BLURB. Модель содержит 136,7 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Доступны веса PyTorch и Flax. Лицензия MIT. Обучение на биомедицинских аннотациях специализирует словарные и языковые представления на этой области; результаты на BLURB не гарантируют качество на каждой задаче или вне биомедицины.

Карточка модели EmilyJagiello/birna-bert на Hugging Face совпадает с карточкой buetnlpbio/birna-bert, поэтому описание составлено по ней. BiRNA-BERT — энкодерная модель семейства BERT для представления последовательностей РНК в виде эмбеддингов. Модель обучена с использованием фреймворка MosaicBERT и токенизации BPE и отдельными нуклеотидами, что позволяет получать представления как на уровне нуклеотидов, так и на уровне всей последовательности. В репозитории указана архитектура BertForMaskedLM с 116,4 млн параметров; основная длина контекста составляет 128 токенов. Модель предназначена для извлечения признаков РНК, которые можно использовать в последующих задачах анализа последовательностей. Метаданные также указывают задачу fill-mask. В README приведён пример изменения настройки длины последовательности до 2048, однако это изменение конфигурации само по себе не подтверждает качество модели на такой длине. Лицензия в предоставленных данных не указана.

CENO-600M-131k — базовая модель семейства CENO для работы с геномными последовательностями ДНК, разработанная CladeTeam. Это причинная языковая модель на гибридной архитектуре Nemotron-H, объединяющей Mamba, механизм внимания и смесь экспертов (MoE); входы MSA ей не требуются. Модель содержит 336,1 млн параметров, использует посимвольную токенизацию оснований ДНК и обучалась на последовательностях длиной 131 072 токена. В метаданных указан нативный контекст 1 048 576 токенов. Модель предназначена для генерации геномных последовательностей, извлечения эмбеддингов и последующей адаптации к задачам геномики. Контрольная точка опубликована в формате safetensors для Transformers, а лицензия — Apache-2.0. Для загрузки через Transformers README указывает необходимость включить trust_remote_code, поскольку код модели включён в репозиторий.

CENO-600M-1m — базовая модель семейства CENO для работы с геномными последовательностями ДНК. Это причинная языковая модель с гибридной архитектурой Nemotron-H, сочетающей Mamba, механизм внимания и смесь экспертов (MoE); модель обрабатывает последовательности без входов MSA. В метаданных указаны 336,1 млн параметров, библиотека Transformers и контекст обучения длиной 1 048 576 токенов. Модель предназначена для генерации геномных последовательностей, извлечения представлений и последующей адаптации к задачам геномики. Токенизатор посимвольный: основания ДНК сопоставляются с ASCII-кодами байтов. Чекпойнт опубликован под лицензией Apache-2.0; для загрузки README указывает использовать trust_remote_code=True.

dapack-math — это англоязычная сборка Qwen3.5-35B-A3B от R3n3r0, настроенная и сжато представленная для математики и количественных рассуждений. Модель использует архитектуру mixture-of-experts: эксперты, выбранные для математической области, сохранены в точности q2_K, остальные — в IQ2_XXS. Файл GGUF занимает 10,7 ГБ; карточка сообщает о 35 млрд параметров базовой модели, но не приводит отдельный размер этой сборки. Модель предназначена для генерации ответов на математические задачи и количественных рассуждений на английском языке. В README также заявлены вызов инструментов и генерация кода. Приведённые там измерения для GSM8K, восьми проверок вызова инструментов и генерации кода являются результатами разработчика; методика описана лишь частично. Для запуска требуется специальная среда dapack: стандартные llama.cpp, Ollama и LM Studio этот формат не загружают. Карточка сообщает о деградации качества вне математической области, резком ухудшении перевода и провале сертификации на итальянском; маршрутизатор dapack направляет неанглоязычные запросы в другие сборки. Лицензия — MIT.

Dayhoff-170M-GRS-SS-26000 — модель для генерации белковых последовательностей из семейства Dayhoff, разработанного группой исследователей, перечисленных в карточке модели. Она предназначена для исследовательских задач белкового языкового моделирования, включая безусловный дизайн последовательностей и оценку эффектов мутаций без дополнительного обучения. Архитектура сочетает слои Mamba и Transformer с механизмами Mixture-of-Experts. Метаданные указывают 23,6 млн параметров, контекст до 262 144 токенов и формат safetensors; модель работает с последовательностями белков и может обрабатывать длинные контексты. Для запуска карточка рекомендует PyTorch, mamba, causal-conv1d и flash-attn. Лицензия — MIT. Модель не предназначена для генерации естественного языка, ДНК или других непредназначенных для неё последовательностей. Сгенерированные последовательности не всегда реалистичны, а получение качественных последовательностей без гомологии к известным природным последовательностям остаётся сложной задачей.

Dayhoff-170M-UR90-16000 — компактная модель для генерации белковых последовательностей из семейства Dayhoff. Её разработали Kevin K. Yang и соавторы; архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE). В метаданных указаны 23,6 млн параметров, контекст до 262 144 токенов и формат safetensors. Модель работает с белковыми последовательностями и может учитывать длинный контекст, включая развёрнутые множественные выравнивания последовательностей. Модель предназначена для исследовательского моделирования белков: генерации последовательностей, прогнозирования эффектов мутаций без дообучения и проектирования последовательностей, соответствующих структурным мотивам. Она обучалась на данных Dayhoff Atlas, включающего природные и синтетические белковые последовательности. Модель не предназначена для обычного текста или последовательностей ДНК; сгенерированные последовательности не гарантированно реалистичны, а генерация белков без сходства с природными последовательностями остаётся сложной задачей. Лицензия — MIT.

Dayhoff-170M-UR90-61000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная исследовательской командой Kevin K. Yang и соавторов. Она предназначена для исследований в области белкового дизайна и моделирования последовательностей, включая генерацию новых белков и оценку эффектов мутаций. Архитектура — гибрид Jamba: слои Mamba и Transformer с механизмом смеси экспертов. По метаданным модель содержит 23,6 млн параметров и поддерживает контекст до 262 144 токенов. Модель обучалась авторегрессионно в направлениях N→C и C→N, что поддерживает заполнение пропусков в последовательностях без фиксированного направления. Указана лицензия MIT. Модель рассчитана на входные белковые последовательности и выдаёт белковые последовательности; она не предназначена для естественного языка, ДНК или других биологических последовательностей. Генерируемые последовательности не гарантированно реалистичны, а создание качественных последовательностей без сходства с известными природными белками остаётся сложной задачей.

Dayhoff-170M-UR90-HL-14000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная исследовательской группой, перечисленной в карточке модели. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования белковых каркасов по структурным мотивам или эволюционному контексту. Архитектура представляет собой гибрид Mamba и Transformer с механизмом смеси экспертов (MoE). Модель имеет 23,6 млн параметров и поддерживает контекст до 262 144 токенов; обучалась на данных Dayhoff, включая белковые последовательности. Лицензия — MIT. Модель принимает и генерирует белковые последовательности. Она не предназначена для естественного языка или последовательностей ДНК; генерируемые последовательности не всегда реалистичны, а создание качественных последовательностей без сходства с известными природными белками остаётся сложной задачей.

Dayhoff-170M-UR90-HL-8000 — модель для генерации и анализа белковых последовательностей из семейства Dayhoff, разработанного Kevin K. Yang, Sarah Alamdari и коллегами. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, предсказания эффектов мутаций и проектирования белковых каркасов с заданными структурными мотивами или эволюционным контекстом. Архитектура — гибрид Mamba и Transformer с механизмом смеси экспертов (MoE); в метаданных указан класс JambaForCausalLM и 23,6 млн параметров. Модель обучена авторегрессионно в направлениях N→C и C→N, поддерживает контекст длиной до 262 144 токенов и работает с одиночными последовательностями и развёрнутыми множественными выравниваниями последовательностей. Основной язык ввода и вывода — последовательности белков; лицензия — MIT. Модель не предназначена для естественного языка, ДНК и других биологических последовательностей, кроме белковых. Сгенерированные последовательности не всегда реалистичны; остаётся сложной генерация качественных последовательностей без гомологии с природными белками.

Dayhoff-3b-GR-HM-1000 — генеративная белковая языковая модель из ресурса Dayhoff, разработанного указанной в карточке командой исследователей. Она предназначена для работы с последовательностями белков, в том числе для генерации гомологов с условием на эволюционный контекст. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом смеси экспертов; модель обучена авторегрессионно в направлениях N→C и C→N и поддерживает контекст до 262 144 токенов. В репозитории указано 445,7 млн параметров. Модель применялась для безусловного дизайна белковых последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования последовательностей-каркасов для структурных мотивов. Вариант GR-HM также поддерживает генерацию с условием на гомологичные последовательности. Модель не предназначена для естественного языка или последовательностей ДНК; сгенерированные последовательности не гарантированно реалистичны, а генерация без сходства с природными последовательностями остаётся сложной. Лицензия — MIT.

Dayhoff-3b-GR-HM-c — генеративная белковая языковая модель, разработанная группой исследователей, перечисленных в карточке Dayhoff. Она предназначена для исследовательских задач проектирования белков и использует гибридную архитектуру Jamba: слои Mamba и Transformer чередуются с блоками Mixture-of-Experts. Модель принимает белковые последовательности и гомологичные последовательности; контекст составляет до 262 144 токенов. В метаданных указано 445,7 млн параметров и формат safetensors. Модель поддерживает генерацию белковых последовательностей с гомологичным контекстом, в том числе проектирование последовательностей для заданных семейств белков. Семейство Dayhoff также применяется для безпримерного предсказания эффектов мутаций и проектирования белковых каркасов по структурным мотивам; карточка отдельно отмечает использование Dayhoff-3b-GR-HM и Dayhoff-3b-GR-HM-c для генерации с гомологичным контекстом. Лицензия — MIT. Модель предназначена только для белковых последовательностей и наборов гомологичных белковых последовательностей, а не для естественного языка или ДНК. Сгенерированные последовательности не всегда реалистичны, а генерация качественных последовательностей без сходства с известными природными последовательностями остаётся сложной задачей.

Dayhoff-3b-UR90-10 — генеративная белковая языковая модель, разработанная Kevin K. Yang и соавторами. Она предназначена для исследовательских задач моделирования и проектирования белковых последовательностей. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом смеси экспертов; модель обучена авторегрессионно в направлениях N→C и C→N и рассчитана на контекст до 262 144 токенов. Репозиторий содержит 445,7 млн параметров в формате safetensors. Модель поддерживает генерацию белковых последовательностей, предсказание эффектов мутаций без дополнительного обучения и проектирование последовательностей с заданными структурными мотивами или эволюционным контекстом. Она обучена на наборе данных Dayhoff и предназначена только для белковых последовательностей, а не для естественного языка или последовательностей ДНК. Сгенерированные последовательности не всегда реалистичны, а получение качественных последовательностей без сходства с известными природными белками остаётся сложной задачей. Лицензия — MIT.

Dayhoff-3b-UR90-30000 — модель генерации белковых последовательностей, разработанная командой исследователей, перечисленных в карточке Dayhoff. Она предназначена для исследований в области белкового дизайна и языкового моделирования белков. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом Mixture-of-Experts; модель содержит 445,7 млн параметров и поддерживает контекст до 262 144 токенов. Она работает с последовательностями белков и может моделировать развёрнутые множественные выравнивания последовательностей. Модель применялась для безусловного создания белковых последовательностей, предсказания эффектов мутаций без дополнительного обучения и проектирования белковых каркасов для структурных мотивов. Карточка Dayhoff также описывает условную генерацию белков в заданных семействах для моделей семейства. Модель не предназначена для обычного текста или последовательностей ДНК; сгенерированные последовательности не гарантированно реалистичны, а получение последовательностей без сходства с известными природными белками остаётся сложной задачей. Лицензия — MIT.

AI4Protein/deep_bpe_1600 — белковая языковая модель на архитектуре RoFormer, используемая в платформе VenusFactory. Модель разработана для извлечения признаков из аминокислотных последовательностей и также поддерживает задачу заполнения пропусков в последовательности. Модель содержит 114,5 млн параметров, работает с контекстом до 1026 токенов и доступна в форматах PyTorch и Safetensors. Её можно применять для получения представлений белковых последовательностей и анализа последовательностей с замаскированными позициями. Лицензия — MIT. Описание не уточняет ограничения качества или конкретные биологические задачи, для которых модель проверялась; длинные последовательности могут превышать указанный контекст.