IV.6Научные исследования, математика и новые материалы
В разделе собраны самостоятельные задачи, где AI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 120 моделейREXzyme — разработанная AI4PD модель на архитектуре Efficient T5 для преобразования химических реакций в аминокислотные последовательности ферментов. На вход подаётся реакция в каноническом формате SMILES, а модель авторегрессионно генерирует последовательность белка. В README описано обучение на реакциях и парах «реакция — фермент» из базы RHEA; метаданные указывают архитектуру T5, 385,2 млн параметров, контекст 512 токенов и формат PyTorch. Модель предназначена для генерации кандидатов в ферменты, способные катализировать заданные реакции, включая исследование новых вариантов ферментов. Авторы отмечают, что способность генерировать ферменты для реакций, не встречавшихся в природе и обучающих данных, ещё не проверена в достаточной степени; разработка и экспериментальная проверка продолжаются. Модель опубликована под лицензией Apache-2.0.
SciBERT — предварительно обученная языковая модель на архитектуре BERT, разработанная исследователями Allen Institute for AI для научных текстов. Модель обучена на 1,14 млн научных статей из Semantic Scholar, содержащих около 3,1 млрд токенов; при обучении использовались полные тексты статей, а не только аннотации. Эта версия uncased не различает регистр и использует собственный WordPiece-словарь scivocab, адаптированный к научной лексике. Модель предназначена как языковая основа для задач обработки научного текста: её можно дообучать или использовать в системах классификации, извлечения сущностей и ответов на вопросы. Размер модели — 137,1 млн параметров, длина контекста — до 512 токенов. Доступны веса PyTorch и Flax; карточка указывает поддержку английского языка. SciBERT — базовая предобученная модель, а не готовая система для конкретной прикладной задачи: для многих сценариев потребуется дообучение. Модель ориентирована на научные тексты, поэтому её пригодность для других областей может быть ниже. В README лицензия не указана.
allenai-specter — преобразование модели AllenAI SPECTER в формат Sentence-Transformers. Это плотная модель на архитектуре BERT с 137,1 млн параметров; она кодирует заголовки и аннотации научных публикаций в векторы, располагая семантически близкие статьи рядом. Контекст ограничен 512 токенами. Модель предназначена для поиска и сопоставления научных работ по их заголовкам и аннотациям, включая поиск похожих публикаций и построение векторных индексов научной литературы. Работает с текстом на английском языке и предоставляет эмбеддинги для вычисления сходства. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Репозиторий содержит конверсию исходной AllenAI SPECTER для Sentence-Transformers, а не новую обученную модель. Лицензия — Apache-2.0. Модель ориентирована на научные публикации и не заявлена как универсальный эмбеддер для любых типов текстов.
ChemFM-1B — химическая foundation-модель с примерно 1 млрд параметров, предназначенная для работы с молекулярными данными и представлением SMILES. Модель связана с проектом или организацией ChemFM; точные сведения о разработчике в карточке не указаны. В качестве связанного набора данных указан UniChem, а тематические метки указывают на сценарии анализа химических структур и молекул. Из доступных данных нельзя определить архитектуру, поддерживаемые языки и модальности, размер контекста, конкретные задачи, в которых модель показывает наилучшие результаты, а также её сильные стороны и ограничения. Модель распространяется по лицензии MIT.
ChemGPT 1.2B — генеративная модель для молекулярного моделирования, основанная на GPT-Neo и представленная в работе Neural Scaling of Deep Chemical Models. Модель содержит 1,4 млрд параметров, построена на архитектуре GPT-Neo и принимает последовательности текста; для представления молекул при обучении использовались строки SELFIES, полученные из SMILES.
Aurigene AI разместила зеркальную копию GPT2 Zinc 87m — авторегрессионной модели в стиле GPT-2, обученной генерировать строки SMILES по примерно 480 млн молекул из базы ZINC. Исходная модель опубликована как entropy/gpt2_zinc_87m; в карточке указано около 87 млн параметров. Модель использует Transformers и PyTorch, а её контекст составляет 256 токенов. Модель предназначена для генерации структуроподобных лекарственных молекул de novo и получения эмбеддингов из SMILES. По описанию, она достаточно компактна для генерации тысяч структур на CPU ноутбука; тесты генерации показали высокую долю уникальных и корректных SMILES при нескольких значениях температуры. Для обработки SMILES важно учитывать, что токенизатор GPT2TokenizerFast не добавляет BOS и EOS автоматически, хотя модель обучалась с этими токенами вокруг строк. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.
MatTPUSciBERT — англоязычная модель BERT, разработанная Лукой Фоппиано и Педро Ортисом Суаресом для понимания текстов по материаловедению. Это дообученная на полных текстах научных статей модель SciBERT; при обучении в словарь добавили 100 специализированных терминов. Модель содержит 137,1 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors. Основной режим работы — восстановление замаскированных слов в научном тексте. Модель также проверяли в задачах распознавания именованных сущностей для сверхпроводников и физических величин; приведённые результаты показывают сопоставимое с SciBERT качество на этих наборах. Карточка помечена как незавершённая работа. Лицензия в предоставленных данных не указана.
MolDeBERTa-base-123M-mlm — молекулярный энкодер на архитектуре DeBERTaV2, разработанный авторами семейства MolDeBERTa. Эта версия предварительно обучена на SMILES-последовательностях молекул из PubChem с использованием цели masked language modeling (MLM); размер модели составляет 116,3 млн параметров, максимальный контекст — 128 токенов. Для токенизации применяется byte-level BPE. Модель предназначена для извлечения векторных представлений молекул и последующего дообучения для предсказания свойств, классификации последовательностей, оценки сходства, визуализации и скрининга молекул. В исследовании семейство оценивалось на задачах MoleculeNet; результаты этой версии не следует автоматически приравнивать к лучшим показателям других вариантов семейства. Модель принимает текстовые SMILES и выдаёт скрытые представления; сама по себе она не является готовым предиктором свойств или генератором молекул. Лицензия CC BY-NC-ND 4.0 ограничивает использование и распространение производных материалов, поэтому условия лицензии следует проверить перед практическим применением.
NPComposer — условная модель генерации природных продуктов, созданная дообучением GP-MoLFormer-Uniq на базе данных COCONUT, содержащей более 700 000 экспериментально подтверждённых природных соединений. Это авторегрессионный трансформер MolFormer с 51,5 млн параметров и контекстом 202 токена; модель работает со строковым представлением молекул SMILES и формирует текстовую последовательность молекулы. Генерацию можно направлять специальными токенами с указанием биосинтетического пути, надкласса природного продукта, наличия гликозида, числа ароматических колец, QED-показателя лекарственноподобия и оценки синтетической доступности. Это позволяет исследовать варианты молекул с заданными свойствами и структурными характеристиками. Модель распространяется по лицензии Apache-2.0. В карточке не приведены результаты оценки качества и подробности ограничений, поэтому пригодность сгенерированных соединений требует отдельной проверки.
MegaScience Qwen3-30B-A3B — языковая модель на архитектуре Qwen3 MoE, разработанная командой MegaScience. Она получена дообучением Qwen/Qwen3-30B-A3B-Base на датасете MegaScience для научных рассуждений и ответов на вопросы по естественным наукам. Модель предназначена для генерации текста и исследовательских сценариев, где нужны объяснения и рассуждения по научным темам. Модель работает с текстом, поддерживает английский язык и имеет контекст до 32 768 токенов. В репозитории указано 2,6 млрд параметров; веса доступны в формате safetensors, для запуска предлагается библиотека Transformers. Лицензия — Apache-2.0. Карточка не описывает ограничения качества или специальные меры безопасности.
SciThinker-30B — языковая модель команды OpenMOSS-Team для генерации идей продолжения научного исследования. По названию и аннотации исходной статьи она предлагает направление последующей работы; модель представлена в рамках статьи «AI Can Learn Scientific Taste». Это дообученная модель семейства Qwen3 с архитектурой MoE, загружается через Transformers и использует формат safetensors. Метаданные указывают 2,6 млрд параметров и контекст до 262 144 токенов. Модель предназначена для научной идеации: например, для подготовки гипотез и поиска возможных продолжений исследования по заданной публикации. Основной язык карточки — английский. Лицензия Apache-2.0. Описание не сообщает о проверке качества или ограничениях на конкретных научных дисциплинах; предложенные моделью идеи требуют экспертной оценки.
SMILES2IUPAC-canonical-base — модель Knowledgator Engineering для преобразования строк SMILES в канонические названия по номенклатуре IUPAC. Она основана на MT5: архитектура типа encoder-decoder с механизмом внимания и отдельными токенизаторами для кодировщика и декодировщика. В репозитории представлены веса PyTorch объёмом 29,4 млн параметров; лицензия — Apache 2.0. Модель предназначена для генерации названия химического соединения по его SMILES-представлению. В README указаны варианты стиля названия: наиболее употребительное, полностью систематическое или основанное на тривиальных названиях частей соединения. Для базовой версии заявлены точность 86,9% и BLEU-4 0,964 в приведённой оценке. Модель не поддерживает изомерные и изотопные варианты SMILES, а точность снижается для крупных молекул. В README описан английский язык названий IUPAC; SMILES является входной химической нотацией, а не естественным языком.
Starling oral-bioavailability transfer model — модель для оценки того, насколько данные об оральной биодоступности одной молекулы можно перенести на другую в заданном контексте исследования. Она принимает SMILES двух молекул, метаданные исследования для каждой и измеренное значение биодоступности молекулы A, а возвращает вероятность переноса поведения на молекулу B. Модель использует замороженный энкодер MolFormer-XL для SMILES и замороженный MiniLM для семи текстовых полей метаданных. Их представления объединяются попарной нейросетевой головой на основе остаточной SwiGLU MLP с 32 блоками; обучаемая часть содержит около 407 млн параметров. Пропущенные поля метаданных обрабатываются отдельными обучаемыми представлениями. В README приведены результаты валидации: AUROC около 0,87 на same_species_v2 и около 0,95 на кросс-датасетной проверке tianang. Модель предназначена для задач химии и прогнозирования свойств молекул, особенно для переноса оценок оральной биодоступности между молекулами. Это специализированная исследовательская модель, а приведённые результаты относятся к описанным наборам данных и протоколам проверки. Репозиторий распространяется по лицензии MIT.
TabPFN-2.5 — трансформерная модель для прогнозирования по структурированным таблицам, разработанная Prior Labs. Она использует обучение в контексте и выполняет предсказание одним прямым проходом. Репозиторий содержит классификационные и регрессионные контрольные точки; метаданные каталога указывают задачу tabular-classification. Архитектура основана на TabPFN v2 и использует чередующееся внимание в 18–24 слоях. Модель предназначена для классификации и регрессии на наборах до 50 000 строк и 2 000 признаков. Базовые контрольные точки обучены на синтетических табличных задачах; некоторые варианты дополнительно дообучены на реальных данных. Она не предназначена для неструктурированных текстов и изображений. В README указаны результаты на нескольких бенчмарках, однако подробности приведены в техническом отчёте. Лицензия tabpfn-2.5-license-v1.1 разрешает исследования, внутреннюю оценку и бенчмаркинг, но запрещает коммерческое и производственное использование весов, производных моделей и их результатов без отдельной коммерческой лицензии. Качество может снижаться за пределами указанных размеров таблиц; для задач высокого риска следует проверять обучающие метки на смещения.
maayans/all-mpnet-base-v2__ratio-specify — модель Sentence Transformers, созданная на основе sentence-transformers/all-mpnet-base-v2 и дообученная для операции SPECIFY в наборе RATIO. Она кодирует научные запросы и предложения-кандидаты в векторы, чтобы находить конкретизацию или более узкую формулировку исходного запроса. Для запросов используется префикс «query: », а для кандидатов — «document: ». Модель основана на MPNet, содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Она предназначена для семантического поиска по научной литературе; карточка указывает английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Результаты зависят от использования заданных префиксов и соответствия данных научному сценарию SPECIFY.
ChemBERTa-10M-MLM — молекулярная языковая модель, опубликованная проектом DeepChem. Она использует архитектуру RoBERTa и обучена предсказывать замаскированные токены в строках SMILES, которые кодируют химические структуры. Модель содержит около 3,6 млн параметров, имеет 3 слоя трансформера, 12 голов внимания и контекст до 515 токенов. Модель предназначена для восстановления пропущенных фрагментов SMILES и может служить предварительно обученным представлением для последующей настройки на задачи классификации и регрессии молекулярных свойств. Её область применения — химия и анализ малых молекул; это не универсальная модель для обычного текста. Карточка Hugging Face не сообщает лицензию, поэтому условия использования по доступным данным описать нельзя.
ChemBERTa-zinc250k-v1 — предобученная модель Seyone Chithrananda из семейства ChemBERTa, построенная на архитектуре RoBERTa. Она обучена методом masked language modeling на наборе молекул ZINC250k, представленных в формате SMILES, и предназначена для работы с химическими строковыми представлениями. Модель решает задачу fill-mask: по контексту SMILES восстанавливает замаскированные токены и формирует контекстные представления молекул. Эти представления можно использовать как основу для последующего дообучения и анализа химических свойств, включая задачи дизайна лекарств, моделирования молекул и предсказания свойств. Модель содержит около 96,6 млн параметров и поддерживает контекст до 514 токенов; доступны реализации для PyTorch и JAX. Её сильная сторона — специализированное предварительное обучение на химических SMILES вместо обычного текста. Модель не является готовым универсальным предиктором химических свойств: для прикладных задач обычно требуется дообучение на соответствующем размеченном наборе данных. Лицензия в доступных данных не подтверждена.
Dayhoff-170M-UR90-HL-26000 — белковая языковая модель семейства Dayhoff, разработанная командой исследователей, перечисленных в карточке Dayhoff. Она предназначена для генерации и анализа последовательностей белков, включая безусловный дизайн, оценку эффектов мутаций без дообучения и создание белковых последовательностей с заданными структурными мотивами или эволюционным контекстом. Модель построена на гибридной архитектуре Jamba: слои Mamba и Transformer с механизмом смеси экспертов; в метаданных указано 23,6 млн параметров и контекст до 262 144 токенов. Модель обучалась на белковых последовательностях и поддерживает моделирование длинных последовательностей и развёрнутых множественных выравниваний.
ESM-1v t33 650M UR90S вариант 5 — белковая языковая модель, разработанная исследовательской группой Meta AI. Модель основана на архитектуре ESM-1b и обучена на последовательностях белков UniRef90; она предназначена прежде всего для предсказания функциональных эффектов вариантов белковых последовательностей без дополнительного обучения. Указанный размер — около 865 млн параметров по метаданным Hugging Face; модель содержит 33 слоя, а её представления имеют размерность 1280. В Transformers она доступна для задачи fill-mask. Модель принимает аминокислотные последовательности с маскированными позициями и предсказывает вероятные аминокислоты; также из неё можно извлекать представления последовательностей. Это специализированная модель для белковой биологии, а не генератор обычного текста. Репозиторий Hugging Face не содержит карточки с условиями лицензии; поэтому условия использования нельзя надёжно указать по проверенным источникам.
Graph-PReFLexOR — дообученная диалоговая языковая модель для генерации текста и структурированного рассуждения с помощью графов знаний. Она создана для научного поиска: модель строит и расширяет граф понятий и связей по ходу ответа, формирует символические представления аргументов и использует их для логических выводов. В описанных примерах она генерирует научные гипотезы, исследует связи между дисциплинами и рассматривает задачи из материаловедения и инженерии, включая проектирование белковых биоматериалов. Модель основана на Meta-Llama-3.2-3B-Instruct, имеет 3,2 млрд параметров и контекст до 131 072 токенов. Она предназначена для текстового диалога и генерации ответов; в метаданных также указана поддержка интерфейса вызова инструментов. В README подход к обучению описан как вдохновлённый методами обучения с подкреплением. Модель распространяется по лицензии Apache-2.0. Графовое рассуждение может помогать выявлять междисциплинарные связи и представлять ход анализа в структурированной форме. README приводит демонстрационные примеры, но не сообщает количественных оценок качества или ограничений на области применения; результаты для конкретных научных задач требуют проверки.
Gravity-bio-16B-A3B — биологически ориентированная языковая модель Trillion Labs, полученная дополнительным midtraining базовой модели trillionlabs/Gravity-16B-A3B-Base на корпусе TheBioCollection. Она предназначена для генерации текста и задач в биологии, включая реконструкцию и дизайн молекул, предсказание синтеза и распознавание молекулярных свойств. Модель использует разреженную архитектуру Gravity-MoE в стиле DeepSeek: 64 маршрутизируемых эксперта с выбором восьми экспертов и одним общим, а также Multi-head Latent Attention для снижения затрат памяти на KV-кэш. В README указаны 16,24 млрд параметров всего и 3,16 млрд активных; метаданные каталога указывают 2,2 млрд. Контекст составляет до 8192 токенов. Модель принимает текст и генерирует текст; в метаданных указаны английский и корейский языки. По оценке TheBioCollection-Eval модель заметно превосходит базовый чекпойнт на биологических задачах. Это базовая, не дообученная на инструкции и не выровненная по безопасности модель, поэтому её ответы могут быть ошибочными или неполными и требуют независимой проверки, особенно для научных и медицинских решений. Лицензия — Apache-2.0; README указывает исследовательское назначение.
ZeroXClem разработал Llama3.1-BestMix-Chem-Einstein-8B — объединённую плотную авторегрессионную модель семейства Llama 3.1 примерно на 7,5 млрд параметров. Веса объединены методом TIES на основе bunnycore/Best-Mix-Llama-3.1-8B, химической модели Llama3-KALE-LM-Chem-1.5-8B и разговорной модели Einstein-v6.1-Llama3-8B. Репозиторий содержит веса Safetensors; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста по инструкциям, включая рассуждения, математические и химические вопросы, научные темы и длинные ответы. Заявленная лицензия — Apache-2.0.
PhysBERT cased — специализированная модель текстовых эмбеддингов на основе BERT, разработанная Thorsten Hellert, João Montenegro и Andrea Pollastro при поддержке Министерства энергетики США и Lawrence Berkeley National Laboratory. Модель дообучена методом SimCSE на корпусе из 1,2 миллиона публикаций по физике с arXiv и предназначена для поиска и анализа научной литературы в этой области. Модель формирует векторные представления текста для поиска релевантных публикаций, классификации цитирований и кластеризации документов. Она содержит 136,7 млн параметров, использует архитектуру BertModel и принимает последовательности длиной до 512 токенов. Основной язык — английский. Для общего NLP PhysBERT не специализируется; её сильная сторона — задачи, связанные с физической литературой. Лицензия в доступных данных не указана.
Qwen3-14B-MegaScience — языковая модель на 14 млрд параметров, разработанная проектом MegaScience и дообученная на наборе данных MegaScience для улучшения научных рассуждений. Она предназначена для генерации текста и диалоговых сценариев, связанных с научными вопросами. Модель построена на плотной архитектуре Qwen3ForCausalLM и работает через библиотеку Transformers. Контекст составляет до 32 768 токенов; в карточке указан английский язык. Для обучения использовались длина последовательности до 4 096 токенов, пакет размером 512 и три эпохи. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Sumen — трансформерная модель для преобразования изображений математических формул в последовательности LaTeX. Она предназначена для распознавания печатных и рукописных математических выражений, чтобы получать редактируемую разметку LaTeX из изображения. В метаданных указана архитектура vision-encoder-decoder и формат весов safetensors; модель связана с набором данных hoang-quoc-trung/fusion-image-to-latex-datasets. Модель опубликована под лицензией Apache-2.0. Карточка описывает её как сквозную модель image-to-LaTeX, обученную на большом наборе данных; сведения о поддерживаемых языках, размере модели и ограничениях качества не приводятся.
TSO Foundation Model v14 — модель для прогнозирования временных рядов, разработанная автором репозитория Sejibeji. Она учится представлять структуру динамических систем в латентном пространстве с помощью самоконтролируемого предобучения и оператора Кoopмана. Архитектура включает вложения Такенса, представления на нескольких масштабах и энкодер с латентной размерностью 256 и скрытым размером 768. Модель предназначена для переноса на новые временные ряды без градиентного дообучения: прогноз строится через замкнутую подгонку оператора Кoopмана на замороженном представлении. В README сообщается о результатах на рядах из энергетики, метеорологии, ЭКГ, финансов, эпидемиологии, экономики, солнечной физики и хаотических систем, включая преимущество над рядами GRU в 31 из 40 тестов и обнаружение солнечного цикла примерно в 11 лет. Репозиторий предоставляет веса PyTorch; лицензия — MIT. Ограничения включают слабую работу с рядами со скачками и почти единичным корнем, где простое сохранение последнего значения может быть лучше. Линейный пробник ограничен емкостью и широтой обучающего корпуса, а эффект предобучения проявляется после примерно 15 тысяч итераций. Модель ориентирована на числовые временные ряды; README не заявляет обработку естественного языка.
Репозиторий NeerajCodz содержит версионируемые артефакты модели для оценки текущего состояния здоровья аккумулятора (SOH) по наблюдаемой части разряда в диапазоне 4,0–3,6 В. Модель предназначена для воспроизводимых исследований старения аккумуляторов на лабораторных наборах данных NASA-PCoE, CALCE и Oxford Battery Degradation Dataset 1. Версия v3 использует 18 упорядоченных табличных признаков. README описывает проверку на батареях, не попадавших в обучение, внутридатасетную оценку и перенос моделей, обученных на NASA, на CALCE и Oxford. Репозиторий содержит несколько сериализованных табличных конвейеров; конкретный артефакт и метрики определяются манифестом v3/models.json. Лицензия — MIT. Это исследовательские артефакты, а не сертифицированное решение для системы управления батареей. Их не следует использовать для управления зарядкой, оценки безопасности, гарантийных решений или полевого внедрения без отдельной проверки. Модель не прогнозирует остаточный срок службы и не рекомендует причинно обоснованную стратегию зарядки; качество переноса на другую химию, производителя, набор датчиков или режим эксплуатации требует проверки.
AMPLIFY_120M — белковая языковая модель семейства AMPLIFY, опубликованная NVIDIA как оптимизированная версия модели Chandar Research Lab. Она предназначена для анализа и проектирования белков: может формировать эмбеддинги аминокислот и белковых последовательностей, предлагать мутации и помогать отличать неупорядоченные белки от последовательностей, не являющихся белками. Модель принимает строку с последовательностью канонических аминокислот и поддерживает контекст до 2048 остатков; заявленный размер — около 120 млн параметров, а метаданные указывают 157,3 млн. Архитектура основана на Transformer и ESM-2, класс модели — AMPLIFYForMaskedLM. Версия оптимизирована с помощью NVIDIA TransformerEngine; README сообщает, что её веса и выходы соответствуют исходной модели с точностью до численных различий. Помимо предсказаний для fill-mask, из модели можно получать числовые векторы для остатков и всей последовательности. Для работы заявлена интеграция с Hugging Face Transformers; оптимизация ориентирована на GPU NVIDIA Ampere, Hopper и Blackwell. Модель выпущена под лицензией MIT и заявлена как пригодная для коммерческого и некоммерческого использования. Перед внедрением результаты следует проверять на данных конкретной задачи; оптимизация может вызывать небольшие численные отличия от оригинала.
BertAIP — модель на основе BERT, разработанная Jianchao Ying и соавторами для предсказания противовоспалительной активности пептидов. Она классифицирует белковые последовательности и выдаёт оценочную вероятность того, что последовательность является противовоспалительным пептидом, вместе с результатом классификации. Модель использует архитектуру BERT для классификации текста, содержит 136,7 млн параметров и рассчитана на контекст до 512 токенов. Инструмент принимает последовательности в формате FASTA; согласно документации проекта, длина последовательности не должна превышать 54 аминокислот, а неоднозначные символы и символы-заполнители не допускаются. Модель ориентирована на анализ белковых последовательностей, а не на обычный текст. Hugging Face указывает формат PyTorch; сведения о лицензии в доступных источниках не установлены.
unikei/bert-base-smiles — двунаправленный трансформер BERT, предварительно обученный разработчиком unikei на строках SMILES, которые кодируют молекулярные структуры. В модели около 136,3 млн параметров, архитектура BertForPreTraining, формат весов safetensors; максимальная длина входа — 512 токенов. Обучение включало восстановление замаскированных фрагментов SMILES и предсказание валидности молекулярной формулы. Модель предназначена для дальнейшей настройки на классификацию молекул, сопоставление молекул с экспрессией генов и определение клеточных мишеней. В исследовательской работе на её основе различали классы нейромедиаторных лигандов по молекулярной структуре. Лицензия — bigscience-openrail-m; применимость конкретного сценария следует сверять с её условиями.