IV.6Научные исследования, математика и новые материалы
В разделе собраны самостоятельные задачи, где AI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 120 моделейNucleotide Transformer 500M 1000G — трансформерная языковая модель для анализа последовательностей ДНК, разработанная InstaDeep, NVIDIA и TUM. Она обучена предсказывать замаскированные участки последовательности и служит основой для задач геномики, включая оценку молекулярных фенотипов. Модель содержит 634,4 млн параметров и использует архитектуру ESM с плотными слоями. Для предобучения использованы 3202 генетически разнообразных генома человека из 27 популяций проекта 1000 Genomes; обучение охватило 300 млрд токенов. Последовательности кодируются токенизатором 6-меров, а максимальная длина составляет около 1000 токенов. Доступны версии для PyTorch и TensorFlow. Модель предназначена для научных и прикладных задач геномики, где требуется извлекать закономерности из ДНК и получать представления последовательностей для последующего анализа. Это не модель для обычного текста: входом служат последовательности ДНК, выходом — предсказанные токены или оценки для задачи заполнения маски. Лицензия CC BY-NC-SA 4.0 требует указания авторства и ограничивает коммерческое использование.
OmicAI-0.8B — компактная модель с 0,8 млрд параметров из семейства OmicAI, разработанная для анализа омиксных данных и взаимодействия с инструментами через omicverse. Это дообученная на базе Qwen/Qwen3.5-0.8B модель: авторы применили LoRA с помощью ms-swift, затем объединили адаптер с базовой моделью. Модель использует шаблон диалога qwen3_5 и загружается через Transformers. Обучающие данные включают многошаговые траектории воспроизведения исследований в области омиксных данных: поиск публикаций, выполнение анализа, вызовы инструментов omicverse и восстановление после ошибок по обратной связи. По описанию авторов, в набор оставляли примеры, где проверка подтверждала корректность процесса и результаты не уступали опубликованным. Модель предназначена для исследовательского анализа омиксных данных, научного программирования и агентных сценариев с инструментами. Репозиторий распространяется под лицензией Apache-2.0. Модель компактна, однако карточка не приводит данных об оценке качества или длине контекста; результаты, заявленные для обучающих траекторий, не гарантируют воспроизведения качества в других задачах. Метаданные указывают английский язык; отдельное описание многоязычной поддержки отсутствует.
OmicAI-4B — языковая модель команды OmicOS / OmicVerse для анализа омиксных данных и взаимодействия с инструментами. Она предназначена для исследовательских сценариев: помощи в анализе single-cell, bulk- и пространственных омиксных данных, а также подготовки аналитических конвейеров на базе omicverse. Модель построена на Qwen/Qwen3.5-4B и дообучена методом LoRA с последующим объединением адаптера с основными весами. В репозитории представлены веса bfloat16 в формате Safetensors; модель рассчитана на диалог и генерацию текста, включая код и вызовы инструментов. В карточке указана поддержка английского языка. Модель обучалась на траекториях воспроизведения опубликованных омиксных исследований: они включают поиск контекста, генерацию кода, вызовы инструментов и исправления по результатам выполнения. Количественные результаты бенчмарков в карточке не приведены. Сгенерированный код и результаты анализа необходимо запускать и проверять: модель может ошибаться, в том числе в API за пределами omicverse и scanpy, и не заменяет экспертную оценку. Лицензия — Apache-2.0.
OpenMed-NER-ProteinDetect-ElectraMed-33M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученный трансформер с архитектурой BERT для классификации токенов; в README указана базовая архитектура e5-small-v2. Модель обрабатывает токенизированный текст и возвращает BIO-разметку сущностей, включая белки, белковые комплексы, семейства и варианты белков. Размер модели — 40 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для извлечения белковых сущностей из научных публикаций и других биомедицинских текстов, например для анализа литературы, построения графов знаний и исследований белковых взаимодействий. В README приведены результаты на корпусе FSU: F1 0,84, точность 0,82 и полнота 0,86. Указана лицензия Apache-2.0. Результаты и заявленная область применения относятся к описанному корпусу; качество на клинических документах и других типах текстов отдельно не подтверждено.
OpenMed-NER-ProteinDetect-ModernMed-395M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная ModernBERT-large с архитектурой ModernBertForTokenClassification и примерно 394,7 млн параметров. Она принимает токенизированный текст и выдаёт BIO-разметку для белков, белковых комплексов, семейств и групп белков, вариантов белков и других сущностей корпуса FSU. Контекст модели составляет до 8192 токенов. Модель предназначена для извлечения сущностей из научных публикаций и биомедицинских текстов: её можно применять при анализе белковых взаимодействий, поиске сущностей для исследований молекулярной биологии и построении биомедицинских баз знаний. README приводит для корпуса FSU F1 0,90, precision 0,90, recall 0,91 и accuracy 0,97; эти показатели относятся к заявленной оценке на этом наборе данных и не гарантируют аналогичное качество на других текстах. Карточка заявляет поддержку английского языка. Модель распространяется под лицензией Apache-2.0.
OpenMed-NER-ProteinDetect-PubMed-335M — модель OpenMed для распознавания биомедицинских сущностей в научных и клинических текстах. Это дообученный трансформер на архитектуре BERT для токенной классификации, с 433,9 млн параметров и контекстом до 512 токенов. Модель выделяет белки, белковые комплексы, семейства и группы белков, варианты белков и другие сущности корпуса FSU, размечая текст тегами BIO. README сообщает о F1 0,93 на FSU. Модель подходит для извлечения сведений о белках из публикаций и медицинских документов, анализа взаимодействий и построения биомедицинских баз знаний. Указан английский язык. Репозиторий использует формат safetensors; лицензия — Apache-2.0. Результаты распознавания зависят от соответствия входного текста корпусу и типам сущностей, на которых обучалась модель.
OpenMed-NER-ProteinDetect-TinyMed-82M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная для классификации токенов модель на архитектуре RoBERTa, основанная на distilroberta-base; в метаданных указано 95,2 млн параметров и контекст до 514 токенов. Модель принимает токенизированный текст и возвращает метки BIO для белков, белковых комплексов, семейств и вариантов белков и связанных сущностей. Модель предназначена для извлечения белковых сущностей из научной литературы и биомедицинских текстов, например для анализа взаимодействий белков, поиска сведений по молекулярной биологии и построения биомедицинских баз знаний. В README приведены результаты на корпусе FSU: F1 0,94, точность 0,93 и полнота 0,95; эти показатели относятся к указанному набору данных и не гарантируют такого же качества на других текстах. Поддерживается английский язык. Модель распространяется по лицензии Apache-2.0.
OpenMed-ZeroShot-NER-Genome-XLarge-770M — модель OpenMed для распознавания упоминаний генов и белков в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе BC2GM, содержащем аннотации упоминаний генов и белков в предложениях из аннотаций MEDLINE. Модель принимает текст и возвращает найденные сущности с разметкой токенов; заявлена возможность задавать пользовательские типы сущностей без повторного обучения. Модель предназначена для извлечения генов и белков из научной литературы и другого биомедицинского текста, в том числе для курирования данных, анализа вариантов и ассоциаций и построения сетей связей. В README для тестовой выборки BC2GM указана F1-оценка 0,8367. Указанная лицензия — Apache-2.0. Результаты для произвольных пользовательских типов сущностей могут зависеть от выбранного порога; README предлагает снижать его для редких или новых типов.
PeiYangMe-0.9 — языковая модель Tianjin University для задач вычислительного катализа, в частности анализа процессов дегидрирования пропана (PDH). Модель дообучена на Yi-1.5-6B и относится к плотной архитектуре семейства Llama; содержит 5,8 млрд параметров и принимает текст для генерации текста. Работает с контекстом до 4096 токенов, поддерживает китайский и английский языки. Модель предназначена для применения в задачах вычислительного катализа и химии, связанных с PDH. Подробные технические характеристики и показатели качества пока не опубликованы. Распространяется по лицензии Apache-2.0.
PeptideCLM-23M-all — языковая модель для химических последовательностей, обученная разработчиком aaronfeller на 10,8 млн пептидов и 12,6 млн малых молекул. Это плотная RoFormer-модель класса RoFormerForMaskedLM с 57,1 млн параметров и контекстом 768 токенов, предназначенная для предобучения по задаче masked language modeling и заполнения замаскированных участков последовательности. Модель можно применять для предсказания вероятных фрагментов пептидных и молекулярных последовательностей, а также как основу для исследований химических языковых моделей. Репозиторий содержит веса PyTorch. Токенизатор нельзя загрузить стандартным способом через Transformers: требуется собственный SMILES_SPE_Tokenizer из папки tokenizer. Лицензия — MIT. Карточка не приводит оценок качества или конкретных ограничений применимости, поэтому результаты для научных и практических задач требуют отдельной проверки.
unsloth/Phi-4-mini-reasoning-GGUF — это GGUF-версия модели Phi-4-mini-reasoning, разработанной Microsoft и подготовленной Unsloth. Модель создана на основе синтетических данных с акцентом на плотные рассуждения и дообучена для более продвинутого решения математических задач. Она относится к семейству Phi-4, поддерживает контекст до 128K токенов и предназначена для генерации текста на английском языке. Основные сценарии применения — многошаговое и логически сложное математическое решение в условиях ограниченных памяти и вычислительных ресурсов, а также при требованиях к низкой задержке. Модель ориентирована на формальную генерацию доказательств, символьные вычисления, сложные текстовые задачи и другие задачи математического рассуждения, где важны сохранение контекста между шагами и структурированная логика. Модель протестирована прежде всего для математического reasoning, поэтому её пригодность для общих прикладных задач, других языков и критически важных сценариев не гарантируется. Как и другие языковые модели, она может допускать ошибки; перед использованием необходимо отдельно оценивать точность, безопасность и справедливость. В README указана лицензия MIT. Сведения о точном числе параметров, архитектуре и конкретном уровне квантования данной GGUF-версии не приведены.
PlantHelixSeek-open_chromatin — дообученная модель на основе PlantHelixSeek для бинарного предсказания открытых участков хроматина в последовательностях ДНК растений. Она предназначена для анализа геномных последовательностей разных видов растений и может применяться при поиске потенциально доступных регуляторных областей. Модель использует архитектуру HelixSeek с механизмом mixture-of-experts; в метаданных указан размер 163,6 млн параметров и контекст до 8192 токенов. README указывает обучение на наборе plant-multi-species-open-chromatin в течение трёх эпох.
ProteinPGLM-1B-MLM — открытая белковая языковая модель семейства ProteinGLM, разработанного Университетом Цинхуа. Это плотный трансформер с 1,6 млрд параметров, обученный методом masked language modeling для задач понимания белковых последовательностей; модель принимает текстовое представление последовательности и предсказывает замаскированные токены. Указанная длина контекста — 1024 токена. Модель предназначена для анализа белковых последовательностей, включая задачи на уровне последовательности и отдельных токенов. В карточке приведены примеры использования вариантов семейства для классификации последовательностей и токенов. Репозиторий содержит веса в формате safetensors и использует Transformers. Лицензия Creative Commons Attribution-NonCommercial 4.0 International разрешает использование с атрибуцией, но не коммерческое применение.
Qwen2-Math-7B-Instruct-GGUF — это квантованные файлы модели Qwen2-Math-7B-Instruct в формате GGUF. Исходную модель разработала команда Qwen, а данный набор файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и ориентирована на решение математических задач в формате инструкций. Модель содержит 7 миллиардов параметров; доступные варианты квантования включают 2-, 3-, 4-, 5-, 6- и 8-битные версии. Поддерживаемые модальности, языки и размер контекста в README не указаны. Формат GGUF предназначен для локального запуска и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением. К сильным сторонам относятся специализация исходной модели на математических задачах, выбор уровней квантования и широкая совместимость с локальными средствами инференса. Ограничения — отсутствие в README подробностей о точности, языковой поддержке, контексте, архитектуре и требованиях к ресурсам; квантование также может влиять на качество по сравнению с исходной моделью. Лицензия в предоставленных данных не указана.
Taykhoom Dalal подготовил порт RiNALMo-giga для Hugging Face — языковой модели для анализа последовательностей РНК. Модель содержит 650,9 млн параметров, использует плотную архитектуру трансформера RiNALMo с 33 слоями и 20 головами внимания. Она обучена в стиле BERT на 36 млн некодирующих последовательностей РНК с задачей восстановления замаскированных токенов; у модели есть класс RiNALMoForMaskedLM и поддержка Transformers. Модель предназначена для получения представлений последовательностей и предсказания замаскированных нуклеотидов. Её можно дообучать для задач анализа РНК, включая предсказание вторичной структуры и обнаружение сайтов сплайсинга. Токенизатор преобразует U в T, поскольку модель обучалась на T; алфавит также включает неоднозначные нуклеотидные символы. Порт проверен на совпадение представлений с исходной реализацией. Модель распространяется по лицензии CC BY 4.0. Для запуска требуется совместимая среда PyTorch и Transformers; в README для загрузки указан параметр trust_remote_code=True. Чекпойнт крупный, а для прикладных задач на уровне последовательности потребуется pooling и обучающая голова либо дообучение.
TM-Vec 2 — модель семейства TM-Vec, разработанная scikit-bio для поиска удалённой гомологии белков. Это дообученная трансформерная языковая модель для белковых последовательностей, использующая оценку TM-score при сопоставлении структур. Модель предназначена для выявления сходства между белками, даже если их последовательности заметно различаются. Модель ориентирована на биоинформатические исследования, поиск структурно родственных белков и структурное выравнивание. В карточке Hugging Face указан pipeline fill-mask; репозиторий содержит веса PyTorch. Лицензия — BSD 3-Clause. Размер модели, длина контекста и поддержка естественных языков в предоставленных данных не описаны.
ANIMA (Advanced Nature Inspired Multidisciplinary Assistant) — дообученная языковая модель Severian для биомимикрии и научных задач. Она основана на CollectiveCognition-v1-Mistral-7B и использует архитектуру Mistral с 7,1 млрд параметров; контекст — до 32 768 токенов. Модель обучена на наборе Severian/Biomimicry, включающем более 4 000 научных запросов и ответов. ANIMA помогает применять процесс биомиметического проектирования: формулировать задачу, находить природные аналоги, выделять принципы их работы и переносить их в инженерные или дизайнерские решения. Она рассчитана на диалог с уточнениями и обратной связью, а также охватывает биологию, экологию, инженерное дело и промышленный дизайн. Модель принимает и генерирует текст. README не приводит метрик качества и подробностей обучения, поэтому результаты требуют проверки, особенно для научных и инженерных решений. В метаданных указана лицензия Apache-2.0, тогда как README указывает MIT; условия лицензирования следует уточнить перед использованием.
Synthyra/ANKH_base — опубликованный Synthyra вариант базового чекпойнта ElnaggarLab/ankh-base, адаптированный для работы с FastPLMs и Hugging Face Transformers. Это плотная модель семейства T5 с архитектурой encoder-decoder и примерно 396,5 млн параметров. Она принимает токенизированные аминокислотные последовательности и поддерживает работу энкодера, генерацию последовательностей и извлечение представлений белков. Модель предназначена для получения эмбеддингов белковых последовательностей и как основа для задач предсказания на уровне последовательности или отдельных аминокислотных остатков. Классификационные и токен-классификационные классы используют предобученный backbone, но имеют новые, не обученные классификационные головы: их необходимо дообучить перед интерпретацией результатов. Репозиторий также предоставляет FastPLMs-расширение masked-LM, которое не является официальной головой ANKH. Модель загружается через Transformers; для encoder-decoder сценариев используется AutoModelForSeq2SeqLM, а AutoModel предоставляет энкодер без декодера. Доступны бэкенды внимания eager и sdpa. Указана лицензия CC BY-NC-SA 4.0, предусматривающая некоммерческое использование и распространение производных на тех же условиях. Тестовое дообучение адаптерами увеличивает задержку и расход памяти и может ухудшить результат; сами предсказания не подтверждают биологическую функцию белка.
Ares SoftMoE 4B Consecutive 150K — белковая языковая модель HazemLab, обученная с нуля на UniRef50 для предсказания замаскированных остатков. Это двунаправленный энкодер с 20 слоями и примерно 4,24 млрд параметров: первые 10 слоёв используют плотные feed-forward-блоки, последние 10 — смесь экспертов с мягкой маршрутизацией. Чекпойнт соответствует 150 000 шагам обучения; веса сохранены в формате safetensors, лицензия — MIT. Модель предназначена для заполнения масок в аминокислотных последовательностях, оценки последовательностей и получения представлений остатков и белков для последующего анализа. Она также может служить основой для задач классификации белковых свойств и предсказания эффектов вариантов. В карточке приведён результат ProteinGym 0,341 по агрегированным DMS-ассайям; качество зависит от типа анализа. Модель принимает последовательности аминокислот, а не структуры белков, множественные выравнивания, мультимеры или нуклеотидные последовательности. Контекст обучения — 1024 остатка; более длинные входы технически возможны, но их качество не проверено. Это энкодер маскированного языка: он не генерирует последовательности авторегрессионно. Для инференса требуется пакет ares; веса занимают около 16,9 ГБ в float32, в README рекомендуется загрузка в bfloat16. Модель не валидирована для клинических, диагностических или биобезопасностных решений.
BioLinkBERT-large — англоязычная модель-энкодер семейства BERT, разработанная Мичи Ясунага и соавторами. Она предварительно обучена на рефератах PubMed с использованием связей цитирования между документами, чтобы учитывать информацию из нескольких связанных текстов. Архитектура — плотный трансформерный энкодер BertModel; в метаданных указан размер 432,2 млн параметров, контекст — до 512 токенов. Модель предназначена для дообучения под задачи биомедицинского NLP, включая классификацию текстов, ответы на вопросы и разметку токенов. Её также можно использовать для извлечения признаков и эмбеддингов. В README заявлены сильные результаты на биомедицинских бенчмарках, включая BLURB, PubMedQA и BioASQ; обучение на связях между документами особенно полезно для вопросов и задач, требующих объединения сведений из разных текстов. Модель принимает текст и выдаёт контекстные представления; для классификации требуется подходящая задача и настройка. Контекст ограничен 512 токенами, а исходное обучение и заявленные результаты ориентированы на английские биомедицинские тексты. Лицензия — Apache-2.0.
BioMatrix-1.7B-Base — базовая мультимодальная биологическая языковая модель, созданная авторами BioMatrix на основе Qwen3-1.7B-Base. Она продолжает предобучение исходной модели на текстах и данных о молекулах и белках: последовательностях SMILES и SELFIES, белковых последовательностях и 3D-структурах. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 1,8 млрд параметров; все модальности представлены в общем пространстве токенов и обучаются в рамках предсказания следующего токена. В README указан контекст 8 192 токена, тогда как метаданные указывают нативную длину 32 768 токенов. Модель предназначена для дальнейшего дообучения и продолжения предобучения на биологических задачах, исследований совместного представления последовательностей, структур и естественного языка, а также извлечения представлений для классификации и регрессии. Она принимает и генерирует текстовые и биомолекулярные представления, но не настроена на выполнение инструкций; для готового диалогового применения авторы рекомендуют вариант BioMatrix-1.7B-SFT. Модель охватывает малые молекулы и белки, но не нуклеиновые кислоты, углеводы и липиды; отдельные системы координат для 3D-молекул и белков не позволяют напрямую моделировать их комплексы. Указанная лицензия — Apache-2.0.
SuperCorrect-7B GGUF — квантизированная версия языковой модели SuperCorrect-7B, созданная Richard Erkhov на основе модели BitStarWalkin и базовой Qwen/Qwen2.5-Math-7B-Instruct. Оригинальная модель разработана исследователями из Peking University, Skywork AI, UC Berkeley и Stanford University, включая Ling Yang, Zhaochen Yu, Tianjun Zhang, Minkai Xu, Joseph E. Gonzalez, Bin Cui и Shuicheng Yan. Модель предназначена прежде всего для решения математических задач, рассуждений и самокоррекции ответов. Она обучена и оценивалась на наборах MATH и GSM8K; заявлено превосходство над DeepSeekMath-7B и Qwen2.5-Math-7B на этих бенчмарках среди моделей с 7B параметров. SuperCorrect использует двухэтапную тонкую настройку и иерархический шаблон рассуждений Buffer of Thought. Доступны варианты в формате GGUF с квантованием Q2_K–Q8_0 и размером примерно от 2,81 до 7,54 ГБ. Указана поддержка английского языка, архитектура на базе Qwen2.5-Math-7B-Instruct и текстовая модальность; размер контекста в README не приведён. Сильные стороны модели — математическое рассуждение и способность к самокоррекции, однако её специализация ограничивает применимость за пределами математических задач, а влияние степени квантования на точность может различаться. Модель распространяется по лицензии Apache-2.0.
CENO-P-300M — модель семейства CENO, разработанная CladeTeam для предсказания эффектов генетических вариантов по множественным выравниваниям последовательностей (MSA). Это постобученный для MSA вариант ДНК-модели CENO; он оценивает варианты сравнением log-likelihood последовательностей дикого типа и с вариантом. Модель принимает упакованные MSA-последовательности с индексами последовательностей и использует символьную токенизацию, кодирующую основания ДНК ASCII-кодами. Архитектура — гибрид Mamba, Attention и Mixture-of-Experts семейства Nemotron-H; README указывает 307,5 млн параметров, а метаданные Hugging Face — 151,5 млн. Нативный контекст составляет 1 048 576 токенов. Модель работает с последовательностями ДНК и не предназначена для обычной генерации естественного языка. Код модели включён в репозиторий, для загрузки через Transformers требуется trust_remote_code=True. Лицензия — Apache-2.0.
mrm8488/chEMBL_smiles_v1 — языковая модель RoBERTa, обученная с нуля разработчиком mrm8488 на молекулярных строках SMILES из набора примерно 438 тысяч очищенных записей. Модель использует архитектуру masked language modeling: по строке с замаскированными токенами она предсказывает пропущенные части. В метаданных указаны 29,7 млн параметров, контекст до 514 токенов и задача fill-mask. Модель предназначена для изучения закономерностей в представлении молекул и заполнения частей SMILES, что может помочь исследователям в генерации и разработке новых молекулярных структур. Она не выдаёт оценку биологической активности и сама по себе не подтверждает, что предложенная структура является лекарством. Карточка не сообщает лицензию, поэтому условия использования определить нельзя.
ChemLLM-7B-Chat-1.5-DPO — диалоговая языковая модель для химии и молекулярной науки, разработанная командой AI4Chem на основе InternLM-2. Она предназначена для ответов на вопросы и ведения диалога по химическим темам; в карточке авторы называют её открытой моделью для химии и молекулярной науки. Модель использует плотную архитектуру InternLM2ForCausalLM и содержит 7,4 млрд параметров. Она принимает текст и генерирует текст, поддерживает чат на английском и китайском языках и имеет контекст длиной до 32 768 токенов. Доступны веса в формате safetensors. Модель может помогать с химическими вопросами и задачами по молекулярной науке, однако её ответы могут быть ошибочными и требуют проверки. Лицензия указана как other; конкретные условия использования в предоставленных материалах не раскрыты.
ChemFIE Base — компактная модель BERT для работы с молекулами, разработанная автором репозитория gbyuvd. Она предобучена на последовательностях SELFIES, представляющих 2,7 млн уникальных молекул из COCONUTDB и ChemBL34; при обучении использовано 7,3 млн примеров с замаскированными токенами. Модель содержит 14,1 млн параметров по метаданным Hugging Face, а в README указано 11 млн; максимальная длина последовательности — 512 токенов. Основная задача модели — восстановление замаскированных элементов SELFIES. Её также предлагают дообучать для задач классификации и регрессии в химии и открытии лекарств. В README приведены отдельные дообученные варианты для оценки молекулярного сходства, предсказания доступности синтеза и прогнозирования белковых мишеней; эти возможности относятся к вариантам, а не непосредственно к базовой модели. Для SMILES перед подачей требуется преобразование в SELFIES. Модель работает с текстовым представлением SELFIES и выдаёт предсказания токенов. В README сообщается о точности MLM 88,83% при переменном маскировании и 90,55% при равномерном маскировании 15%. Ограничения: базовая модель ориентирована на молекулярные последовательности и сама по себе не является готовым классификатором или регрессионной моделью; качество downstream-задач зависит от дообучения. Лицензия CC-BY-NC-SA 4.0, а автор указывает академическое, образовательное и исследовательское применение без коммерческого использования.
Dayhoff-170M-GR-31000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная авторами, перечисленными в карточке модели. Это гибридная архитектура Jamba: слои Mamba и Transformer с механизмом Mixture-of-Experts. Модель имеет 23,6 млн параметров, работает с контекстом до 262 144 токенов и обучена на данных Dayhoff; лицензия — MIT. Модель предназначена для исследовательской работы с белками: генерации последовательностей, прогнозирования эффектов мутаций без дообучения и проектирования белковых каркасов с заданными структурными мотивами или эволюционным контекстом. Она принимает последовательности белков и может моделировать отдельные последовательности и развёрнутые множественные выравнивания. Модель не предназначена для обычного текста, ДНК или других биологических последовательностей. Сгенерированные последовательности не всегда реалистичны, а создание белков без сходства с природными последовательностями остаётся сложной задачей.
Dayhoff-170M-GRS-112000 — генеративная белковая языковая модель семейства Dayhoff, разработанная авторами, перечисленными в карточке Microsoft. Она предназначена для генерации белковых последовательностей и исследовательских задач белкового моделирования. Архитектура — гибрид Mamba и Transformer с механизмом Mixture-of-Experts; модель содержит 23,6 млн параметров, работает с контекстом до 262 144 токенов и распространяется в формате Safetensors. Лицензия — MIT. Модель поддерживает авторегрессионную генерацию последовательностей в обоих направлениях, что позволяет выполнять infilling без фиксированного порядка. Семейство Dayhoff предназначено для безусловного дизайна белков, оценки эффектов мутаций без дополнительного обучения и проектирования структурных мотивов; карточка описывает эти возможности на уровне семейства, а не отдельно данной версии. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей. Сгенерированные последовательности не гарантированно реалистичны, а получение белков без сходства с природными последовательностями остаётся сложной задачей.
Dayhoff-170M-GRS-SS-38000 — модель генерации белковых последовательностей семейства Dayhoff, разработанная командой авторов, перечисленных в карточке модели. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования белков с заданными структурными мотивами или эволюционным контекстом. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); модель обучена авторегрессионно в направлениях N→C и C→N и поддерживает заполнение пропусков. Метаданные указывают 23,6 млн параметров, контекст до 262 144 токенов и библиотеку Transformers. Модель работает с белковыми последовательностями, а не с обычным текстом, ДНК или другими биологическими последовательностями. Лицензия — MIT. Качество и реалистичность сгенерированных последовательностей не гарантированы; создание высококачественных последовательностей без сходства с известными природными белками остаётся сложной задачей. Для использования требуются PyTorch, mamba-ssm, causal-conv1d и flash-attn.
Dayhoff-170M-GRS-SS-62000 — генеративная белковая языковая модель, разработанная командой исследователей, перечисленной в карточке Dayhoff. Она предназначена для исследовательских задач проектирования белков и предсказания эффектов мутаций. По метаданным, это модель с архитектурой Jamba и классом JambaForCausalLM, содержащая 23,6 млн параметров; нативная длина контекста составляет 262 144 токена. Модель принимает белковые последовательности и генерирует последовательности белков. В карточке Dayhoff описана гибридная архитектура с Mamba, Transformer и слоями Mixture-of-Experts, однако не уточнено, какие детали относятся именно к этой версии на 170 млн в названии. Модель предназначена для безусловной генерации белковых последовательностей, оценки эффектов мутаций без дообучения и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Карточка предупреждает, что результаты не всегда реалистичны и что сложно создавать качественные последовательности без сходства с известными природными белками. Модель не предназначена для естественного языка или последовательностей ДНК. Лицензия — MIT.