IV.6Научные исследования, математика и новые материалы

PlantCaduceus_l20 — языковая модель ДНК, разработанная группой Kuleshov и предварительно обученная на геномах 16 покрытосеменных растений. Она использует архитектуры Caduceus и Mamba и обучалась с задачей masked language modeling; версия l20 имеет 20 слоёв и размер скрытого представления 384. В README указано 20 млн параметров, тогда как метаданные Hugging Face сообщают 41,3 млн. Модель предназначена для извлечения признаков и анализа последовательностей ДНК растений, включая изучение сохранности эволюционных участков и грамматики последовательностей. Метаданные также относят её к задачам заполнения маски и классификации текста; основной pipeline-тег автора — feature-extraction. Для оценки zero-shot-оценок README рекомендует более крупную версию PlantCaduceus_l32. Модель распространяется по лицензии Apache-2.0.

zhangtaolab разработала эту модель как дообученную версию GPT-2-модели zhangtaolab/plant-dnagpt-BPE, предварительно обученной на геномах растений. Она предназначена для классификации последовательностей ДНК и прогнозирования активных основных промоторов. Модель использует архитектуру GPT-2 с токенизатором BPE, настроенным для последовательностей ДНК; словарь содержит 8000 токенов, контекст — 1024 токена. Модель подходит для анализа геномных последовательностей растений и поиска кандидатов в активные промоторы. Для дообучения использовались данные plant-multi-species-core-promoters. Репозиторий содержит веса safetensors; для запуска предусмотрена библиотека Transformers. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях с ограничением некоммерческого использования. Результаты следует рассматривать как предсказания классификатора, а не как экспериментальное подтверждение активности промотора.

PlantGeneAnn‑v1.5‑flower‑plants — фундаментальная модель генома, разработанная hu-lab для автоматической разметки структуры генов de novo в геномах цветковых растений. Версия 1.5 ориентирована на цветковые растения и, согласно карточке, улучшена относительно PlantGeneAnn-v1-model-plants. Модель использует архитектуру Caduceus PH с MoE и содержит 43 млн параметров. Она предназначена для извлечения признаков из геномных последовательностей и применения в задаче аннотации генов. Репозиторий предоставляет веса в формате safetensors; библиотека для работы — Transformers. Лицензия — MIT.

Synthyra/Profluent-E1-300M — опубликованная Synthyra версия чекпойнта Profluent-Bio/E1-300m, подключённая к FastPLMs и интерфейсу Hugging Face Transformers. Это плотная белковая языковая модель архитектуры E1 примерно с 272,7 млн параметров, предназначенная для работы с аминокислотными последовательностями. Токенизатор не используется: последовательности подготавливаются нативным адаптером E1. Основная задача модели — восстановление замаскированных участков белковой последовательности. Представления модели также можно применять в задачах классификации последовательностей и отдельных аминокислотных позиций. Однако классификационные головы в этом репозитории инициализированы заново, поэтому перед использованием их предсказаний для этих задач требуется дообучение. Модель поддерживает Transformers и бэкенды внимания sdpa и flex_attention. README указывает на retrieval-augmented context behavior, но не приводит численный размер контекста. Лицензия в метаданных обозначена как other; README сообщает о разрешённой публикации весов и их распространении, но не уточняет условия лицензии.

PromoGen2 — специализированная авторегрессионная языковая модель на архитектуре GPT-2 для генерации и оценки последовательностей прокариотических промоторов. Модель предназначена для биологических сценариев, в том числе для видов, по которым доступно мало экспериментально проверенных данных. На вход подают последовательность ДНК и, при необходимости, метку контекста; модель генерирует варианты промоторных последовательностей. Их также можно оценивать по правдоподобию под моделью с помощью описанной в карточке функции оценки. Контекст модели составляет 256 токенов. Модель опубликована в формате safetensors и работает через Transformers. Карточка не приводит численный размер модели и подробные результаты оценки качества, поэтому пригодность сгенерированных последовательностей следует проверять экспериментально. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

ProteinBERT — языковая модель белковых последовательностей, разработанная Надaвом Брандесом и соавторами; этот неофициальный чекпойнт опубликован командой MultiMolecule и, по данным карточки, воспроизводит промежуточные представления оригинальной реализации. Модель предварительно обучена на последовательностях UniRef90 и аннотациях Gene Ontology с совместной целью языкового моделирования последовательностей и восстановления функциональных аннотаций. В метаданных указано 1,6 млн параметров, а в README — 15,98 млн; эти значения расходятся. Архитектура использует свёрточные локальные ветви и слои глобального внимания вместо квадратичного self-attention, поддерживает последовательности переменной длины и имеет заявленный предел в 1024 токена. Основная задача опубликованного чекпойнта — заполнение маскированных участков белковых последовательностей; его также можно использовать для извлечения признаков и как основу для дообучения на задачах классификации или регрессии последовательностей и остатков. Сам чекпойнт не дообучен под конкретную прикладную задачу. Репозиторий распространяется по лицензии AGPL-3.0.

mschuh/PubChemDeBERTa-augmented — текстовая модель на базе DeBERTa для представления описаний биологических анализов и поиска сходства между ними. Модель разработана Maximilian G. Schuh, Davide Boldini и Stephan A. Sieber из Технического университета Мюнхена. Она предназначена для задач молекулярного прогнозирования, где требуется сопоставлять текстовые сведения об анализах, в том числе при ограниченном количестве данных. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa v2 и обрабатывает последовательности длиной до 512 токенов. В README описан исследовательский конвейер TwinBooster, сочетающий дообученную языковую модель, самообучение Barlow Twins и градиентный бустинг для прогнозирования свойств молекул и переноса на новые биологические анализы. Репозиторий содержит веса PyTorch; карточка указывает английский язык. Сведения о лицензии в предоставленных источниках отсутствуют.

Qwen2.5-Math-72B — плотная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это базовая версия с 71,5 млрд параметров для продолжения текста и few-shot решения математических задач; для диалога предназначена версия Instruct. Модель поддерживает рассуждение по цепочке мыслей (CoT) и интегрированное с инструментами рассуждение (TIR), помогающее выполнять точные вычисления и символьные преобразования. Модель ориентирована на математические задачи на английском и китайском языках. Авторы не рекомендуют применять эту серию для других задач. Архитектура — Qwen2ForCausalLM, формат весов — safetensors, библиотека — Transformers; базовый контекст составляет 4096 токенов. Модель создана дообучением Qwen/Qwen2.5-72B. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели.

RiNALMo-micro — компактная версия языковой модели для РНК, разработанной Penić и коллегами и перенесённой в формат Hugging Face Taykhoom Dalal. Модель содержит 33,5 млн параметров, 12 слоёв и 20 голов внимания; она предобучена на 36 млн последовательностей некодирующих РНК с помощью masked language modeling. Это плотная модель класса RiNALMoForMaskedLM для заполнения маскированных нуклеотидов и получения контекстных представлений последовательностей. Модель предназначена для анализа последовательностей РНК и может служить основой для извлечения эмбеддингов и дообучения на задачах классификации или других задачах уровня последовательности. Токенизатор преобразует U в T; словарь включает нуклеотидные и неоднозначные символы. Порт поддерживает eager, SDPA и Flash Attention 2. Лицензия — CC BY 4.0. Вариант micro выбран как самый компактный и быстрый в семействе RiNALMo; README рекомендует более крупные варианты для сложных задач, требующих более сильных представлений. Для задач уровня последовательности потребуется pooling или предиктивная голова, обученная отдельно.

Taykhoom поддерживает порт RNABERT — BERT-подобной языковой модели для последовательностей РНК, разработанной Akiyama и Sakakibara. Модель предварительно обучена на некодирующих последовательностях РНК из Rfam 14.3 с помощью masked language modeling и контрастной задачи структурного выравнивания. Порт сверён с исходными весами RNABERT. Модель предназначена для заполнения маскированных нуклеотидов, получения представлений последовательностей, кластеризации РНК и структурного выравнивания. Архитектура включает 6 слоёв и 12 голов внимания, словарь из специальных токенов и нуклеотидов A, U, G, C; последовательности токенизируются посимвольно, а T преобразуется в U. Контекст составляет до 440 токенов. Модель принимает текстовые последовательности РНК и выдаёт предсказания токенов или представления векторов. Это специализированная модель, а не универсальная языковая модель. У неё нет токена CLS, поэтому для задач на уровне последовательности README рекомендует усреднять представления непустых позиций. Для загрузки в Transformers требуется разрешить trust_remote_code. Лицензия указана как other, без уточнения условий в доступных данных.

RNAErnie — языковая модель для последовательностей РНК, первоначально разработанная Wang и соавторами; порт на Hugging Face поддерживает Taykhoom Dalal. Это плотная BERT-подобная архитектура ERNIE с 12 слоями, 12 головами внимания и размерностью эмбеддингов 768. Модель содержит 113,3 млн параметров, принимает последовательности длиной до 512 токенов и предназначена прежде всего для восстановления замаскированных нуклеотидов и получения представлений последовательностей РНК. Предобучение выполнено на RNACentral с маскированием, учитывающим мотивы; предусмотрены метки типов некодирующих РНК для обучения с учетом типа. Токенизатор использует обозначение T вместо U и автоматически преобразует U в T. Модель принимает текстовую последовательность нуклеотидов и выдаёт оценки для заполнения масок, а также скрытые представления. Веса опубликованы в формате Safetensors; лицензия — Apache-2.0. Порт реализован на PyTorch и сохраняет заявленную совместимость представлений с исходной реализацией PaddlePaddle.

SaProt 1.3B AF2 — модель семейства ESM для работы с белковыми последовательностями, представленная репозиторием westlake-repl. В README указана версия SaProt на 1,3 млрд параметров; метаданные репозитория указывают 1,7 млрд параметров, архитектуру EsmForMaskedLM и контекст длиной 1026 токенов. Модель доступна в формате PyTorch и предназначена для предсказания свойств белков и оценки эффектов вариантов последовательностей. В README приведены результаты на ClinVar, ProteinGym и Mega-scale, сопоставимые с SaProt 650M; это указывает на применение в анализе вариантов и задачах предсказания эффектов мутаций. Лицензия — MIT. Карточка не описывает конкретные ограничения или подробности входного представления.

Starwell — генеративная модель для проектирования плазменных границ стеллараторов, опубликованная phanerozoic. Она принимает число периодов поля, аспектное отношение и целевой масштаб магнитного градиента и генерирует границу для задачи mhd_stable бенчмарка ConStellaration. Модель оценивает метрики и выполнение ограничений бенчмарка, прогнозирует оценки расширенной цепочки физических критериев и может генерировать конфигурации под заданные целевые оценки. Архитектура — условный трансформер с flow matching и токеном на каждую моду Фурье границы; дополнительные генераторы и MLP-головы оценивают физические критерии и проектируют модульные катушки с заданными инженерными ограничениями. Выходы включают коэффициенты поверхности в представлении SurfaceRZFourier и коэффициенты кривых катушек CurveXYZFourier с токами. Модель предназначена для научного проектирования и оценки конфигураций стеллараторов; сведения о числе параметров и контексте не приводятся. Лицензия — MIT.

TSO Foundation Model v12 — разработанная Sehaj Singh модель-основа для прогнозирования временных рядов. Она обучается находить геометрию динамических систем с помощью самоконтролируемого восстановления, линейной динамики Koopman, масштабной ковариантности и определения направления времени. Архитектура использует вложения Takens, кодировщик Koopman и скрытое представление размерности 256 при ширине скрытого слоя 768. Для переноса на ранее не встречавшийся ряд применяется замороженный латентный кодировщик и замкнутая подгонка Koopman без градиентных шагов. Модель обучалась на 40 рядах из восьми областей, включая энергетику, метеорологию, ЭКГ, финансы, эпидемиологию, экономику, солнечную физику и хаотические системы. README сообщает о выигрыше над отдельной GRU-моделью на 28 из 40 рядов, но отмечает слабые результаты на рядах со скачками и почти единичными корнями, а также ограничения линейного пробника и зависимость переноса от разнообразия обучающих рядов. Модель распространяется в формате PyTorch по лицензии MIT. README приводит пример использования через класс FoundationOperator и функцию zero_shot_forecast.

ANIMA (Advanced Nature Inspired Multidisciplinary Assistant) — дообученная Severian языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для диалога и генерации текста по научным и философским темам, особенно для решения задач с помощью биомимикрии и этапов биомиметического проектирования. Модель обучалась на примерах по биомимикрии, биологии, экологии и STEM, а также на научных и философских текстах. README указывает базовую модель ehartford/dolphin-2.0-mistral-7b и контекст до 32 768 токенов. Модель может помогать находить природные аналоги инженерных задач и объяснять научные понятия. Она генерирует ответы, поэтому факты и рекомендации в областях науки и проектирования следует проверять. Лицензия репозитория — Artistic-2.0.

Ankh-Large — крупная белковая языковая модель семейства Ankh, разработанная группой Ahmed Elnaggar. Она предназначена для анализа аминокислотных последовательностей: получения векторных представлений белков и последующего дообучения для задач предсказания структуры и функций, а также изучения вариантов белков. Модель построена на архитектуре T5 и имеет около 1,6 млрд параметров по метаданным Hugging Face; в карточке она загружается как модель преобразования последовательностей. Ankh разработана как специализированная модель для белковых последовательностей, а не для естественного языка. Репозиторий распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и ограничивает коммерческое использование. Карточка Hugging Face содержит мало подробностей о конкретных ограничениях и оценках качества этой версии.

Bacformer-masked-MAG — трансформерная модель для бактериальной геномики, разработанная исследовательскими группами Floto Lab Кембриджского университета и Brbić Lab EPFL под руководством Maciej Wiatrak. Она обрабатывает упорядоченный по геномным координатам набор белков генома и формирует контекстные представления белков с учётом остальных белков организма. Модель обучена предсказывать семейство замаскированного белка и предназначена для анализа геномов, включая метагеномные сборки, и адаптации к последующим задачам классификации. Архитектура — Bacformer, плотный трансформер с классом BacformerForMaskedGM; карточка указывает 33,2 млн параметров, а README — 27 млн параметров базового трансформера. Белковые последовательности сначала кодируются ESM-2 t12 35M усреднением токенных эмбеддингов аминокислот, затем трансформер учитывает порядок белков, contig-эмбеддинги и геномный контекст. Контекст ограничен 6 000 белков. Обучение проводилось на примерно 1,3 млн метагеномно собранных бактериальных геномов; поддерживаемые языки — не естественные языки, а последовательности белков. Модель подходит для предсказания семейств белков и получения контекстных представлений для downstream-анализа бактериальных геномов. В метаданных также указаны задачи классификации текста и токенов, однако основное назначение карточки — fill-mask. Распространяется по лицензии Apache 2.0.

gabrielbianchin/base_esm2_t33_long — базовая версия ESM2 T33, заявленная как основа для квантизованной модели gabrielbianchin/esm2_t33_long_int4. Это плотная модель класса EsmForMaskedLM с 865,1 млн параметров, предназначенная для предсказания замаскированных токенов в последовательностях белков. Модель принимает текстовое представление последовательности и выдаёт распределения токенов для заполнения масок; заявленная длина контекста — 2050 токенов. Карточка не сообщает о дообучении на конкретной задаче, поддерживаемых языках или специализированных прикладных областях. В репозитории указаны веса SafeTensors. Лицензия в доступных сведениях не приведена.

Bioinspired-SmolLM-1.7B-Instruct — компактная языковая модель команды LAMM-MIT, созданная на базе SmolLM-1.7B с продолженным предобучением, дообучением на инструкциях и оптимизацией предпочтений DPO. Она предназначена для диалогов и генерации текста по темам биоинспирированных материалов, биоматериалов и их механики; обучение включало около 5 000 научных статей в этой области и наборы инструкций и диалогов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 1,7 млрд параметров, принимает текст и имеет контекст до 2 048 токенов. Карточка демонстрирует диалоговый шаблон ChatML и примеры ответов на вопросы о материалах и биологии, однако пример также показывает, что ответы могут содержать вымышленные сведения. Поддержка русского языка не заявлена. Распространяется в формате Safetensors по лицензии Apache-2.0.

BiomedBERT — языковая модель семейства BERT, разработанная Microsoft для биомедицинской обработки текста. Ранее она называлась PubMedBERT (abstracts + full text). Модель обучена с нуля на аннотациях PubMed и полных текстах статей PubMed Central, а не продолжала обучение общей языковой модели. Чекпойнт содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и предназначен для заполнения пропусков в тексте. Предобучение на биомедицинских публикациях помогает применять его в задачах обработки научной и медицинской литературы; README сообщает о высоких результатах на биомедицинских NLP-бенчмарках, включая лидерство на BLURB. Доступны версии весов PyTorch и Flax. Модель распространяется по лицензии MIT. Она предсказывает замаскированные токены и сама по себе не является универсальным чат-ботом или генератором длинных ответов; для прикладных задач вроде классификации или распознавания сущностей обычно требуется соответствующая настройка модели.

BioMed-RoBERTa-base — языковая модель AllenAI на архитектуре RoBERTa-base, адаптированная к научной литературе по биомедицине. Модель продолжительно предобучена на полных текстах 2,68 млн научных статей из корпуса Semantic Scholar, содержащих в сумме 7,55 млрд токенов. Веса модели насчитывают 151,8 млн параметров, а длина контекста составляет 514 токенов. Она предназначена как базовая модель для настройки под задачи обработки биомедицинского текста, включая классификацию, извлечение отношений и распознавание сущностей. В README приведены результаты на RCT-180K, ChemProt и JNLPBA, где модель показывает конкурентные результаты относительно RoBERTa-base. Модель обрабатывает английский текст. Метаданные указывают форматы PyTorch и Flax. Сведения о лицензии в предоставленных материалах отсутствуют.

C2S-Scale-Gemma-2-27B — языковая модель van Dijk Lab при Yale, разработанная совместно с Google Research и Google DeepMind для анализа данных одноклеточного секвенирования РНК (scRNA-seq). Она дообучена на основе Gemma 2 27B в рамках подхода Cell2Sentence: профили экспрессии генов представляются как упорядоченные текстовые последовательности генов, по которым модель генерирует ответы.

C2S-Scale-Gemma-2-2B — языковая модель van Dijk Lab (Йельский университет) в сотрудничестве с Google Research и Google DeepMind, дообученная на базе Gemma 2 2B для анализа данных одноклеточного секвенирования РНК. Она преобразует профили экспрессии генов в упорядоченные текстовые последовательности генов и использует их для предсказаний и генерации. Модель построена на декодерном трансформере Gemma2ForCausalLM, содержит 2,7 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для аннотации типов клеток и тканей, анализа одноклеточных данных, ответа на биологические вопросы, описания кластеров и предсказания изменений при возмущениях. Также она может генерировать профили экспрессии генов и служить основой для дальнейшей специализации. Обучение проводилось на более чем 57 миллионах клеток человека и мыши из свыше 800 наборов данных CellxGene и Human Cell Atlas. Вход и выход — текст; инструкции и списки генов следует оформлять в ожидаемом моделью формате. Модель ориентирована на исследования в одноклеточной геномике и вычислительной биологии. Её знания ограничены генами, типами клеток и условиями, представленными в обучающих данных; качество на новых типах клеток, технологиях и существенно отличающихся форматах запросов не гарантируется и требует проверки. Лицензия — CC BY 4.0.

Carbon-8B — авторегрессионная плотная языковая модель семейства Llama, разработанная HuggingFaceBio для работы с последовательностями ДНК и РНК, прежде всего эукариот. Модель содержит 7,6 млрд параметров и распространяется как causal LM для Transformers. Гибридный токенизатор использует неперекрывающиеся 6-меры для ДНК и Qwen3 BPE для английского текста; каждый токен ДНК соответствует шести парам оснований. Модель предназначена для генерации геномных последовательностей, оценки их правдоподобия, предсказания эффектов вариантов, анализа возмущений мотивов и поиска информации в длинных последовательностях. Штатное контекстное окно составляет 32 768 токенов, или примерно 196 тысяч пар оснований; с YaRN модель можно экстраполировать до 128 тысяч токенов. В ветке fns доступны генерация с контролем на уровне отдельных нуклеотидов и оценивание вероятностей по позициям. Модель предварительно обучена на корпусе HuggingFaceBio/carbon-pretraining-corpus с данными ДНК и РНК. В описанных нулевых оценках Carbon-8B улучшает ряд результатов Carbon-3B, включая восстановление последовательностей и предсказание эффектов вариантов; для поиска в длинном контексте качество снижается за пределами штатной длины и частично восстанавливается с YaRN. Лицензия — Apache-2.0. Генетические входные и выходные данные могут быть чувствительными; порядок их обработки зависит от способа и провайдера использования.

cdsBERT+ — белковая языковая модель с токенизацией по кодонам, разработанная лабораторией Gleghorn Lab Университета Делавэра. Модель основана на архитектуре BERT и предназначена для извлечения признаков из белковых последовательностей и создания биологически значимых векторных представлений. Карточка указывает 503,4 млн параметров и контекст длиной до 40 000 токенов. Контрольная точка получена дистилляцией знаний от Ankh-base с последующим сохранением весов в половинной точности; исходная модель cdsBERT+ была инициализирована с использованием ProtBERT и обучалась с расширением словаря методом MELD. Авторы сообщают о сильных результатах предсказания номеров EC по сравнению с ProtBERT. Представление можно дообучать для классификации и регрессии; заполнение масок заявлено для базового чекпойнта cdsBERT, а не для этой версии. Модель рассчитана на исследовательские и прикладные задачи анализа белковых последовательностей. Репозиторий распространяется под лицензией CC-BY-NC-2.0, которая ограничивает коммерческое использование.

Code-as-World-VL-4B-GGUF — мультимодальная vision-language модель, разработанная MirroS-Lab и представленная в формате GGUF. Она основана на Qwen3.5-4B и предназначена для понимания физических явлений и количественного визуального рассуждения по изображениям и видео, а не для общего диалога на любые темы. Модель ориентирована на Video-QA и анализ сцен, связанных с измерениями, физическими свойствами и количественными зависимостями. Рекомендуемая конфигурация обработки видео использует 16 кадров без выборки, а максимальная длина контекста составляет 4608 токенов. В репозитории доступны варианты BF16, F16 и различные уровни 3- и 4-битного квантования, а также мультимодальные проекторы для llama.cpp. Заявленный язык — английский. Сильная сторона модели — специализация на физическом понимании и количественном анализе визуального содержания при относительно небольшом размере базовой модели в 4 млрд параметров. Ограничения включают узкую предметную направленность, фиксированную конфигурацию обработки видео и возможную неточность ответов; результаты необходимо независимо проверять, особенно перед применением в сценариях, связанных с безопасностью. Модель распространяется по лицензии Apache License 2.0 и наследует лицензионные условия базовой модели Qwen3.5-4B.

CrystaLLM-pi_alex_mp_20_base — авторегрессионная генеративная модель на базе GPT-2, разработанная Bone et al. из University College London. Модель обучена с нуля на текстах CIF из набора Alex-MP-20 и содержит около 25,9 млн параметров. Она безусловно генерирует описания кристаллических структур в формате CIF; генерацию можно направлять текстовым префиксом, но модель не принимает целевые свойства или параметры дифракции. Контекст составляет 1024 токена. Модель предназначена для генерации неорганических кристаллических структур и оценки базового сценария Alex-MP-20 в LeMat-Bench. Она воспроизводит распределение обучающего набора, поэтому разнообразие новых структур ограничено; прохождение структурных проверок не подтверждает термодинамическую стабильность, а обучающие структуры получены расчётами DFT. Модель не рассчитана на органические материалы, структуры с существенным разупорядочением или большие ячейки, не помещающиеся в контекст. Лицензия — MIT.

Dayhoff-170M-GR-16000 — авторегрессионная модель для генерации белковых последовательностей из семейства Dayhoff, разработанного указанными в карточке исследователями. Это компактный вариант гибридной архитектуры Jamba: слои Mamba и Transformer чередуются с блоками смеси экспертов (MoE). Модель использует библиотеку Transformers, имеет 23,6 млн параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования белковых каркасов по структурным мотивам. Автогрессивное обучение в направлениях N→C и C→N поддерживает заполнение пропусков в последовательностях и моделирование развёрнутых множественных выравниваний. Лицензия — MIT. Модель не предназначена для генерации естественного языка, ДНК или других типов биологических последовательностей. Сгенерированные последовательности не всегда реалистичны; также остаётся сложной генерация качественных последовательностей без сходства с известными природными последовательностями.

Dayhoff-170M-GRS-2000 — модель для генерации и анализа белковых последовательностей из ресурса Dayhoff, разработанного Kevin K. Yang и соавторами. Она предназначена для исследований в области белкового языкового моделирования: модель может генерировать последовательности белков, оценивать эффекты мутаций без дополнительного обучения и проектировать последовательности с заданным структурным контекстом. Архитектура сочетает слои Mamba и Transformer с механизмами Mixture-of-Experts. Модель обучена авторегрессионно в направлениях N→C и C→N, что поддерживает заполнение пропусков в последовательностях и моделирование длинных контекстов. В репозитории указаны 23,6 млн параметров и контекст до 262 144 токенов; доступны веса Safetensors, библиотека Transformers. Лицензия — MIT. Модель предназначена только для белковых последовательностей, а не для естественного языка или ДНК. Сгенерированные последовательности не гарантированно реалистичны; остаётся сложной генерация качественных последовательностей без сходства с известными природными белками.

Dayhoff-170M-UR90-46000 — генеративная белковая языковая модель из проекта Dayhoff, разработанного группой исследователей, перечисленных в карточке модели. Это гибридная архитектура Jamba: слои Mamba и Transformer сочетаются с механизмом смеси экспертов. По метаданным модель содержит 23,6 млн параметров, поддерживает контекст до 262 144 токенов и распространяется в формате safetensors по лицензии MIT. Модель предназначена для исследовательских задач белкового моделирования: генерации последовательностей белков, оценки эффектов мутаций без дополнительного обучения и создания белковых каркасов для структурных мотивов с заданным контекстом. Автогенерация обучалась в направлениях N→C и C→N, что поддерживает заполнение пропусков в последовательностях. Dayhoff рассчитана на белковые последовательности и гомологичные последовательности; она не предназначена для обычного текста или ДНК. Карточка описывает возможности семейства Dayhoff, но не уточняет, какие именно из перечисленных оценок и режимов доступны в этом чекпойнте объёмом 23,6 млн параметров. Реализм сгенерированных последовательностей не гарантирован, а создание качественных последовательностей без сходства с природными белками остаётся сложной задачей.