II.8Инженерия данных и аналитика

NovoMolGen_157M_SMILES_AtomWise — авторегрессионная языковая модель семейства Llama, разработанная Chandar Lab для генерации молекулярных структур в формате SMILES. Модель содержит 157,3 млн параметров, обучена на 1,5 млрд молекул из ZINC-22 и использует FlashAttention. Контекст модели — до 2048 токенов. Модель предназначена для безусловной и целевой генерации молекул, в том числе в сценариях поиска кандидатов для разработки лекарств. Опубликован чекпойнт в формате PyTorch; также доступна Transformers-native версия, совместимая с генерацией через `.generate()`. Лицензия — MIT. Карточка сообщает о высоких результатах на задачах генерации молекул, но не приводит численных метрик или протокола сравнения; пригодность сгенерированных структур требует отдельной химической проверки.

NovoMolGen_300M_SMILES_BPE — языковая модель семейства NovoMolGen от chandar-lab для генерации молекул в формате SMILES. Модель основана на плотной архитектуре Llama, содержит 302,4 млн параметров и обучена в составе семейства на 1,5 млрд молекул из ZINC-22. Репозиторий предоставляет веса PyTorch; для загрузки указаны Transformers и FlashAttention, а контекст модели составляет 2048 токенов. Модель предназначена для безусловной и целевой генерации молекул, в том числе для сценариев поиска соединений с заданными свойствами. Карточка семейства заявляет высокие результаты на этих задачах, но не приводит отдельные метрики именно для этой версии. Выход представляет собой текстовую последовательность SMILES, поэтому её корректность и химическую пригодность следует проверять специализированными средствами. Лицензия — MIT.

ProtGPT3-MSA — авторегрессионная языковая модель белковых последовательностей из семейства ProtGPT3, разработанная AI4PD. Она предназначена для генерации новых последовательностей белков с учётом набора гомологов: пользователь задаёт до 15 родственных последовательностей, а модель продолжает их в семейно-согласованном стиле без дообучения под конкретную задачу. Поддерживаются выровненные MSA-последовательности с гэпами и невыровненные последовательности; также предусмотрены режимы генерации от N-конца к C-концу и в обратном направлении. Модель использует авторегрессионную архитектуру decoder-only со sparse Mixture-of-Experts в стиле Mixtral. В метаданных указаны 21 млн параметров и контекст до 16 384 токенов. Обучение проводилось примерно на 8,5 млн множественных выравниваний последовательностей из OpenProteinSet Uniclust30. Основной сценарий — few-shot генерация последовательностей, обусловленная белковым семейством. Качество результата зависит от релевантности, чистоты и разнообразия поданных гомологов; сгенерированные последовательности могут быть нефункциональными, нестабильными или биологически неправдоподобными и требуют вычислительной и экспериментальной проверки. Модель не предназначена для самостоятельного основания клинических, экологических или критически важных решений. README не сообщает условия лицензии.

Aurigene AI представляет зеркальную копию ReactionT5v2-retrosynthesis — модели на архитектуре T5, дообученной для предсказания реагентов по продукту реакции. Она принимает SMILES продукта и генерирует правдоподобные SMILES реагентов для одношагового ретросинтетического анализа; предложенный маршрут можно дополнительно оценить прямой моделью реакций. Модель предназначена для планирования химического синтеза и может быть дообучена на собственном наборе данных. В репозитории указаны 99,3 млн параметров и формат safetensors. В карточке приведены результаты сравнения на USPTO_50k, включая точность Top-1 37,4% и Top-5 57,0% для последовательной модели; качество для других данных и отдельных молекул может отличаться. Лицензия — MIT. В README указана исходная модель sagawa/ReactionT5v2-retrosynthesis, авторство принадлежит её авторам.

SynCodonLM-V2 — модель семейства DeBERTa-v2 от автора репозитория jheuschkel для работы с последовательностями кодирующей ДНК на уровне кодонов. В ней около 113,3 млн параметров, длина контекста — 1024 токена. Модель обучалась с ограничением маскирования: логиты для кодонов, не кодирующих ту же аминокислоту, подавлялись, чтобы выделять закономерности кодонов отдельно от семантики белка. Модель предназначена для предсказания замаскированных кодонов, получения представлений кодирующих ДНК-последовательностей и генерации биологически правдоподобных coding-DNA последовательностей. README приводит примеры organism-specific token type IDs, в том числе для E. coli, S. cerevisiae и C. elegans. Автор отмечает, что качество генерации пока не прошло строгую оценку. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она ориентирована на биологические последовательности, а не на обычный текст; указанная поддержка английского в карточке относится к языковым метаданным, а не к естественно-языковому диалогу.

ChemGPT-19M — модель генерации молекул на основе архитектуры GPT-Neo, представленная авторами работы «Neural Scaling of Deep Chemical Models». Она обучена на подмножестве молекул из PubChem10M: строки SMILES предварительно преобразовали в SELFIES. Модель предназначена для генерации молекулярных последовательностей и исследований влияния предварительного обучения и дообучения на последующие задачи. Это плотная авторегрессионная модель GPTNeoForCausalLM с 22,2 млн параметров и контекстом 2048 токенов; для работы используется PyTorch и библиотека Transformers. Карточка описывает химическую генерацию, а не поддержку обычного общения на естественных языках. Обучение на ограниченном подмножестве PubChem может ограничивать разнообразие и применимость генерируемых молекул. Модель преимущественно предназначена для исследований; перед практическим использованием результаты требуют химической проверки. Сведения о лицензии в предоставленных данных отсутствуют.

Clinical-BR-Mistral-7B-v0.2 — языковая модель, разработанная в рамках совместного проекта HAILab и Comsentimento для генерации клинических записей на португальском языке. Она предназначена для помощи медицинским специалистам при составлении клинической документации. Модель основана на Mistral-7B-v0.3 и дообучена на клинических текстах из бразильских больниц, записей о госпитализации и медицинских публикаций по неврологии. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. При дообучении применялся LoRA в 16-битной точности для проекций q_proj и v_proj; веса опубликованы в формате safetensors. Модель рассчитана на португальский язык, в том числе медицинскую лексику и клинический стиль. Модель может ускорить подготовку клинических записей, однако описание не приводит количественных оценок качества. Сгенерированный текст требует проверки медицинским специалистом. Лицензия — Apache-2.0.

CrystaLLM-pi_ft_alex_mp_20-text — авторегрессионная генеративная модель на архитектуре GPT-2, разработанная Bone et al. из University College London. Она создаёт текстовые представления CIF для неорганических кристаллических структур, обучившись на корпусе LeMat-Bulk и дообучившись на CIF из Alex_mp_20. Модель имеет около 25,9 млн параметров и контекстное окно 1024 токена. Модель предназначена для безусловной генерации структур и генерации с подсказкой состава или пространственной группы. Её также используют как начальную точку для дообучения на условную генерацию структур по заданным свойствам. Модель работает с текстом CIF, а не с изображениями или дифракционными данными; язык её текстового формата — CIF. Генерации отражают распределение Alex_mp_20, поэтому разнообразие новых структур ограничено. Прохождение структурных проверок не подтверждает термодинамическую стабильность; для оценки стабильности README рекомендует проверку энергетической моделью. Модель не предназначена для целевого задания свойств, плохо подходит для разупорядоченных систем и органических материалов, а большие ячейки могут не помещаться в контекст. Лицензия — MIT.

Dayhoff-170M-GRS-SS-38000 — модель генерации белковых последовательностей семейства Dayhoff, разработанная командой авторов, перечисленных в карточке модели. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования белков с заданными структурными мотивами или эволюционным контекстом. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); модель обучена авторегрессионно в направлениях N→C и C→N и поддерживает заполнение пропусков. Метаданные указывают 23,6 млн параметров, контекст до 262 144 токенов и библиотеку Transformers. Модель работает с белковыми последовательностями, а не с обычным текстом, ДНК или другими биологическими последовательностями. Лицензия — MIT. Качество и реалистичность сгенерированных последовательностей не гарантированы; создание высококачественных последовательностей без сходства с известными природными белками остаётся сложной задачей. Для использования требуются PyTorch, mamba-ssm, causal-conv1d и flash-attn.

Dayhoff-170M-GRS-SS-74000 — модель для генерации белковых последовательностей, относящаяся к ресурсу Dayhoff, разработанному указанной в карточке командой исследователей. Она предназначена для исследовательского моделирования белков: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Для этой версии метаданные указывают архитектуру Jamba с классом JambaForCausalLM, 23,6 млн параметров и контекст до 262 144 токенов; модель использует формат safetensors и библиотеку Transformers. Лицензия — MIT. Модель обучена на белковых последовательностях и поддерживает длинные контексты, в том числе представления множественных выравниваний последовательностей. Карточка предупреждает, что её не следует использовать для генерации обычного текста или последовательностей ДНК; реалистичность генерируемых белков не гарантируется, а генерация новых последовательностей без сходства с природными остаётся сложной задачей.

Dayhoff-170M-UR90-HL-38000 — модель для генерации белковых последовательностей из семейства Dayhoff, разработанного авторами, перечисленными в карточке модели. Она предназначена для исследовательских задач белкового языкового моделирования, включая безусловный дизайн последовательностей, оценку эффектов мутаций без дообучения и создание белковых каркасов для структурных мотивов. Модель построена на гибридной архитектуре Jamba: слои Mamba и Transformer сочетаются с механизмом смеси экспертов. По метаданным, она содержит 23,6 млн параметров и поддерживает контекст до 262 144 токенов; веса опубликованы в формате safetensors. Модель обучена на данных белковых последовательностей Dayhoff и рассчитана на работу с белковыми последовательностями, а также длинными контекстами, включая развёрнутые множественные выравнивания последовательностей. Она не предназначена для естественного языка или последовательностей ДНК; сгенерированные последовательности не всегда реалистичны, а создание новых последовательностей без сходства с природными остаётся сложной задачей. Лицензия — MIT.

DrugGen — модель на основе GPT-2, разработанная для генерации структур молекул в формате SMILES по аминокислотной последовательности белка или идентификатору UniProt. В карточке указано, что модель создана на базе liyuesen/druggpt и обучалась на парах одобренных препаратов и белковых мишеней с помощью supervised fine-tuning и PPO; метаданные классифицируют происхождение как слияние моделей. Архитектура — GPT2LMHeadModel, контекст составляет 1024 токена, реализация использует Transformers и веса SafeTensors. Модель предназначена для исследовательского поиска кандидатов в малые молекулы, связанных с заданной белковой мишенью. Обучение учитывало валидность SMILES, предсказание связывания белок–лиганд и штраф за совпадение с известными одобренными молекулами. Эти критерии не подтверждают безопасность, эффективность или пригодность сгенерированных соединений для применения: результаты требуют химической и экспериментальной проверки. Карточка не сообщает отдельного набора количественных оценок качества. Лицензия — GPL-3.0.

IvanHU/esmc-ar-371m-5b — плотная авторегрессионная языковая модель белковых последовательностей, разработанная автором репозитория и обученная с нуля на датасете QingWY/protein-pretraining-data. Она предсказывает следующий токен аминокислотной последовательности; обучение завершено на 5 млрд токенов. Модель использует архитектуру ESMC-AR с 32 слоями, скрытым размером 1024, grouped-query attention и частичным RoPE. Веса сохранены в safetensors в формате FP32; для инференса README также описывает загрузку в BF16. Контекст — до 2048 токенов. Модель предназначена для генерации белковых последовательностей по непустому аминокислотному префиксу и исследования авторегрессионного моделирования белков. Токенизатор использует совместимое с ESMC отображение аминокислот; обучающие фрагменты содержат 20 стандартных аминокислот. Биологическая функциональность и качество не проверялись бенчмарками или экспериментами, поэтому результаты не следует считать подтверждением функциональности белков. Обучение остановлено на базовом чекпойнте, а проверка реализации подтверждает лишь согласованность загрузки и генерации. Лицензия в предоставленных данных не указана.

ESMC-AR 846M PLE wide16 — авторская авторегрессионная языковая модель белков, представленная пользователем IvanHU. Это плотная Transformer-модель с 16 широкими блоками, PLE и gated attention; gated residual не используется. В README указано 845 824 000 параметров, тогда как метаданные каталога указывают 419,6 млн, поэтому точный размер требует уточнения. Модель обучена предсказывать следующий токен на 5 млрд токенов из выборки данных QingWY/protein-pretraining-data и предназначена для продолжения последовательностей белков и генерации белковых токенов. Контекст — 2048 токенов, используется токенизатор ESMC; автоматическая вставка BOS/EOS не выполняется. Веса представлены в формате FP32 safetensors, модель самодостаточна для Transformers и включает собственный код и токенизатор. README сообщает о проверке экспорта относительно исходного обучающего чекпойнта и приводит validation loss 2.115281, отмечая, что сравнение с моделями, обученными на смесях задач, некорректно. В качестве среды проверки названы PyTorch 2.5.1 и Transformers 4.51.0; FlashAttention необязателен. Сведения о лицензии в предоставленных данных отсутствуют.

GP-MoLFormer-Uniq — авторегрессионная языковая модель для генерации молекул, разработанная исследователями Ross и соавторами и опубликованная вместе с работой GP-MoLFormer: A Foundation Model For Molecular Generation. Модель использует декодерную архитектуру Transformer с линейным вниманием и rotary position embeddings, аналогичную MoLFormer-XL, и содержит 51,4 млн параметров. Она обучена на уникальных молекулах из ZINC и PubChem, представленных строками SMILES; при обучении удалялась стереохимическая информация, а строки длиннее 202 токенов исключались. Модель предназначена для безусловной генерации новых молекул, завершения и декорирования заданного молекулярного каркаса по частичной строке SMILES, а также может дообучаться для изменения распределения генерируемых молекул или оптимизации свойств. Лицензия — Apache-2.0. Модель не проверялась для классификации и молекул размером более примерно 200 атомов; некорректные или неканонические SMILES могут ухудшать результат.

Minerva-RiNALMo-giga — модель на базе RiNALMo, подготовленная для фреймворка Minerva и поиска коэволюционных закономерностей в РНК. Она предназначена для исследователей эукариотических РНК; авторы указывают, что RiNALMo может быть более подходящей базой, чем Minerva-MLM, обученная на геномах прокариот. По архитектуре это плотная модель RiNALMoMinervaForMaskedLM, работающая с заполнением масок. README описывает получение карт взаимодействий по последовательности: для входа длиной 72 нуклеотида карта имеет размер 72×72. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. Модель чувствительна к ориентации цепи, поэтому README рекомендует анализировать прямую последовательность и обратный комплемент. RiNALMo не обучалась на геномных окнах, и точность предсказания спаривания оснований может снижаться, когда РНК рассматривается в естественном геномном контексте; для геномных последовательностей могут помочь короткие окна.

ysuz/Mistral-Nemo-Base-2407-bandgap — дообученная модель на базе Mistral-Nemo-Base-2407, созданная для предсказания ширины запрещённой зоны материалов по данным Materials Project. Она предназначена для оценки этого свойства в задачах вычислительного материаловедения; модель представлена в рамках практических материалов DxMT AIMHack 2024. Архитектура — плотная MistralForCausalLM с 7,1 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. В README сообщается о MAE 0,33 на тестовой выборке из 12 618 примеров при обучении на 113 568 примерах Materials Project. Авторы описывают результаты как базовый ориентир для предсказания свойств материалов с помощью LLM; для сравнения приводится MAE около 0,20 эВ у CrystalFormer на другом объёме обучающих данных. Это узкоспециализированная экспериментальная модель, а приведённая оценка получена на случайном разбиении одного датасета и сама по себе не подтверждает качество на иных материалах или условиях. Лицензия — Apache-2.0.

Plant DNA LLM — семейство моделей, разработанное zhangtaolab для работы с последовательностями растительной ДНК. Эта версия построена на архитектуре Google Gemma с изменённой конфигурацией и специализированным токенизатором BPE для ДНК; модель содержит 106,4 млн параметров, а словарь токенизатора — 8000 единиц. В метаданных указан контекст 1024 токена, а при предобучении использовались последовательности длиной до 512 токенов. Модель обучена авторегрессионным методом CausalLM на эталонных геномах растений из набора zhangtaolab/plant_reference_genomes. Она предназначена для генерации продолжений последовательностей ДНК и исследовательских задач в области геномики растений. Для запуска README указывает библиотеку Transformers. Модель ориентирована на последовательности ДНК, поэтому её применение к обычному тексту не является целевым сценарием. Лицензия CC BY-NC-SA 4.0 требует атрибуции и распространяет производные материалы на тех же условиях; коммерческое использование ограничено условиями лицензии.

JuIm/ProGemma — экспериментальный вариант Gemma 2 от JuIm, настроенный для предобучения на последовательностях аминокислот длиной до 512 остатков. Модель предназначена для генерации белковых последовательностей и исследования отличий такой генерации от ProtGPT на базе GPT-2. В карточке описан промежуточный чекпойнт: на дату обновления он прошёл около 80% обучающего набора в первой эпохе; автор сообщает о потерях обучения около 2,6 и оценках perplexity и AlphaFold 3, в целом сопоставимых с ProtGPT для последовательностей длиной до 250 аминокислот. Для более надёжных выводов требуется дополнительное тестирование. Конфигурация основана на Gemma 2, имеет 132,1 млн параметров, контекст 512 токенов и сохранена в safetensors. Карточка рекомендует вместо неё использовать JuIm/ProGemma2. Лицензия в доступных данных не указана.

hugohrban/progen2-small-mix7 — однонаправленная авторегрессионная модель семейства ProGen, разработанная для генерации белковых последовательностей. Модель обучена на семи семействах белков: GPCR, глобинах, основных гистонах, белках, связывающих медь, дегидринах, кальретикулинах и P-loop ATPase. Она предназначена для генерации последовательностей в этих семействах и связанных с ними исследовательских сценариев.

ProteinForceGPT — авторегрессионная языковая модель белковых последовательностей от lamm-mit, основанная на архитектуре GPT-NeoX и дообученная для анализа и предсказания механических свойств белков. Модель поддерживает прямые задачи CalculateForce, CalculateEnergy, CalculateForceEnergy и CalculateForceHistory, а также обратные задачи генерации последовательностей с заданными механическими ограничениями. Модель содержит около 604,4 млн параметров по метаданным, использует 36 слоёв, 16 голов внимания, скрытый размер 1024, GeLU и RoPE. Она принимает текстовое представление аминокислотных последовательностей и генерирует текст — продолжение или новые последовательности. Контекст составляет 2048 токенов. Репозиторий использует формат Safetensors; лицензия Apache-2.0.

ProtGPT2 — авторегрессионная языковая модель для последовательностей белков, разработанная для генерации белковых последовательностей и их проектирования de novo. Модель создана на базе архитектуры GPT-2: это декодерный трансформер с 36 слоями и 738 млн параметров, предобученный на последовательностях UniRef50 версии 2021_04 без заголовков FASTA и аннотаций. В метаданных указаны формат PyTorch, контекст 1024 токена и лицензия Apache-2.0. Модель предсказывает следующий токен в последовательности и может применяться для исследования белкового пространства, генерации кандидатов и инженерии белков. По данным карточки, генерируемые последовательности сохраняют некоторые характерные свойства природных белков, включая предпочтения аминокислот, содержание вторичных структур и глобулярность; перплексия коррелирует с pLDDT AlphaFold2 и предлагается как способ отбора последовательностей. Разработчики сообщают о ProtGPT3 с более высокой производительностью и рекомендуют перейти на него, поэтому ProtGPT2 может уступать более новой версии.

AI4PD/ProtGPT3-1.3B-dpo — DPO-донастроенная модель семейства ProtGPT3 для генерации белковых последовательностей. Она обучена отдавать предпочтение последовательностям с более высокой предсказанной структурной уверенностью и меньшей долей низкосложных участков, сохраняя разнообразие. В метаданных указаны архитектура Mixtral с причинной языковой моделью и смесью экспертов, 205 млн параметров и контекст 16 384 токена; файлы представлены в формате safetensors, библиотека — Transformers. Модель предназначена для проектирования белков и генерации последовательностей, в том числе по промпту. README рекомендует DPO-версию вместо базовой для генерации. Обучение опирается на открытые наборы белковых последовательностей, поэтому модель может наследовать их смещения. Предсказанная структурная уверенность и фильтрация низкой сложности — лишь приближённые цели: полученные последовательности могут быть нефункциональными или небезопасными и требуют вычислительной и экспериментальной проверки. README не сообщает лицензию.

RFamLlama-base — условная языковая модель семейства Llama, предназначенная для генерации последовательностей РНК по заданному семейству. По карточке модели, RFamLlama обучена на последовательностях более чем 4 000 семейств Rfam с управляющими тегами семейства; идентификатор Rfam можно использовать как часть входного запроса для условной генерации. В метаданных указаны архитектура LlamaForCausalLM, 31,5 млн параметров, контекст 2 048 токенов и библиотека Transformers. Модель предназначена для генерации РНК-последовательностей и исследовательских сценариев, включая zero-shot оценку приспособленности молекул РНК. Карточка сообщает, что семейные теги улучшают такую оценку, но не приводит количественных результатов или подробностей оценки качества. Доступны веса в формате safetensors; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

optimum-intel-internal-testing/tiny-random-distilbert — небольшой тестовый чекпойнт, опубликованный организацией Optimum Intel Internal Testing на Hugging Face и являющийся зеркалом hf-internal-testing/tiny-random-distilbert. В карточке он обозначен как модель для классификации текста с поддержкой PyTorch и TensorFlow на основе архитектуры DistilBERT. Модель предназначена главным образом для внутренних интеграционных тестов, проверки совместимости библиотек и демонстрации загрузки или выполнения пайплайнов, а не для прикладного анализа текста. Она использует токенизатор DistilBertTokenizer с параметрами distilbert-base-uncased и максимальной длиной последовательности 512 токенов. Название tiny-random указывает на уменьшенный тестовый вариант со случайными весами; поэтому качество классификации и языковая содержательность не должны рассматриваться как пригодные для продуктивного использования. Поддерживаются текстовые входы; мультимодальные возможности не заявлены. Ключевые ограничения — тестовое назначение, случайная и уменьшенная конфигурация, отсутствие подтверждённых показателей качества и подробных сведений о задачах обучения. В найденной карточке лицензия явно не указана, поэтому условия лицензирования по доступным данным установить нельзя.

Uni-3DAR — авторегрессионная модель DP Technology для генерации и понимания 3D-структур. В опубликованном варианте представлены чекпойнт и конвейер обучения и вывода для молекул QM9; в описании также заявлена применимость подхода к белкам, кристаллам и макроскопическим 3D-объектам. Модель объединяет несколько задач работы с 3D-данными и использует октодерево с двухуровневым сжатием поддеревьев, чтобы представлять пространство сотнями токенов. Авторы сообщают о более быстром выводе по сравнению с диффузионными моделями и сохранении деталей структуры за счёт токенизации мелких 3D-фрагментов. Репозиторий содержит веса PyTorch; лицензия — MIT.

VHHBERT — языковая модель для последовательностей VHH-антител, разработанная COGNANO. Она основана на архитектуре RoBERTa и предварительно обучена на двух миллионах последовательностей из корпуса VHHCorpus-2M; размер модели составляет 113,3 млн параметров. Модель предназначена для работы с белковыми последовательностями, в частности для восстановления замаскированных участков последовательности с помощью задачи fill-mask. Модель имеет позиционные эмбеддинги длиной 185 токенов, что покрывает максимальную длину последовательности 179 токенов в обучающем корпусе. Для загрузки используются библиотека Transformers и соответствующий токенизатор. Распространяется по лицензии MIT. Это специализированная модель для биологических последовательностей, поэтому её применение к обычному тексту не является целевым.

Dayhoff-170M-UR90-HL-14000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная исследовательской группой, перечисленной в карточке модели. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования белковых каркасов по структурным мотивам или эволюционному контексту. Архитектура представляет собой гибрид Mamba и Transformer с механизмом смеси экспертов (MoE). Модель имеет 23,6 млн параметров и поддерживает контекст до 262 144 токенов; обучалась на данных Dayhoff, включая белковые последовательности. Лицензия — MIT. Модель принимает и генерирует белковые последовательности. Она не предназначена для естественного языка или последовательностей ДНК; генерируемые последовательности не всегда реалистичны, а создание качественных последовательностей без сходства с известными природными белками остаётся сложной задачей.

Dayhoff-170M-UR90-HL-18000 — модель для генерации белковых последовательностей из семейства Dayhoff, разработанного Kevin K. Yang и соавторами. Она предназначена для исследований в области моделирования белков и обучена на данных Dayhoff, включая последовательности белков и метагеномов. Архитектура — гибрид Mamba и Transformer с механизмом Mixture-of-Experts; модель использует авторегрессионную генерацию и поддерживает длинный контекст. Для этого варианта указаны 23,6 млн параметров и контекст до 262 144 токенов. Основной сценарий — генерация белковых последовательностей; семейство Dayhoff также применяется для предсказания эффектов мутаций и проектирования белковых каркасов, но эти возможности отдельно для данного чекпойнта не подтверждены. Модель не предназначена для естественного языка или генерации ДНК. Сгенерированные последовательности не гарантированно реалистичны, а создание белков без сходства с природными последовательностями остаётся сложной задачей. Лицензия — MIT.

ESMC-AR 846M PLE wide16 bidirectional NCBI mix — авторская модель IvanHU для продолжения и генерации белковых последовательностей. Она обучена как причинная языковая модель на белковых токенах ESMC, с двунаправленным обучением следующего токена: исходное и обратное направления смешивались примерно поровну. Архитектура включает 16 широких блоков Transformer, PLE и gated attention без gated residual. Веса представлены в формате FP32 safetensors; экспорт содержит около 845,8 млн параметров и предназначен для Transformers. Модель обучена на 10 млрд токенов, объединяющих белковые данные QingWY/protein-pretraining-data и ESMC-токенизированные данные NCBI. Длина контекста — 2048 токенов, используется токенизатор ESMC без автоматической вставки BOS/EOS. Подходит для генерации и продолжения белковых последовательностей и экспериментов с белковыми языковыми моделями. Карточка описывает обучающий корпус и конфигурацию, но не приводит оценок биологической функциональности или гарантий качества для конкретных задач. Лицензия в предоставленных данных не указана.