IV.6Научные исследования, математика и новые материалы

MoLFormer-c3-1.1B — модель семейства MoLFormer от DeepChem, описанная в статье ChemBERTa-3. Это предобученный трансформер для работы с последовательностями молекул: README указывает, что при обучении использовались наборы ZINC20 и PubChem, а метаданные определяют архитектуру как плотную модель masked language modeling с 51,4 млн параметров и контекстом до 202 токенов. Основной сценарий — заполнение пропусков в молекулярных последовательностях. Метаданные также указывают поддержку классификации текста, что позволяет использовать представления модели для задач cheminformatics. Модель загружается через Transformers как masked language model. Лицензия — MIT. Модель предназначена для последовательностей молекул; точные ограничения качества и область применимости результатов в предоставленных материалах не описаны.

laituan245/molt5-small-caption2smiles — модель семейства T5, разработанная для преобразования текстового описания молекулы в строку SMILES. Она предназначена для генерации представления химической структуры по подписи на естественном языке и связана с работой «Translation between Molecules and Natural Language» авторов Carl Edwards, Tuan Lai, Kevin Ros, Garrett Honke и Heng Ji. Модель содержит 45,8 млн параметров, использует архитектуру T5ForConditionalGeneration и доступна в формате PyTorch. Модель подходит для прототипирования преобразования описаний молекул в машиночитаемые структуры и для исследований по переводу между химическим языком и естественным языком. Указана лицензия Apache-2.0. В карточке не приведены сведения о поддерживаемых языках, длине контекста и ограничениях качества; генерацию SMILES следует проверять на синтаксическую корректность и химическую валидность.

NovoMolGen_32M_SMILES_BPE — компактная молекулярная генеративная модель от chandar-lab. Это плотная Llama-архитектура на 31,7 млн параметров, обученная на 1,5 млрд молекул из ZINC-22 с применением FlashAttention. Модель генерирует последовательности SMILES и предназначена для безусловной и целевой генерации молекул, в том числе в сценариях поиска кандидатов для разработки лекарств. Модель принимает текстовые последовательности и выдаёт текст; заявленный контекст составляет 2048 токенов. Для загрузки доступны варианты через Transformers, включая Transformers-native чекпойнт на ревизии hf-checkpoint. Лицензия — MIT. Карточка заявляет высокие результаты для безусловной и целевой генерации, но не приводит в предоставленных данных метрик или сведений о валидации химической корректности; сгенерированные структуры требуют проверки перед практическим применением.

OpenMath-Mistral-7B-v0.1-hf-imatrix-GGUF — это GGUF-квантизации модели OpenMath-Mistral-7B-v0.1-hf, опубликованные пользователем duyntnet. Исходная модель разработана NVIDIA и предназначена для решения математических задач с текстовым рассуждением и использованием блоков кода, выполняемых интерпретатором Python. Модель обучалась на наборе OpenMathInstruct-1, содержащем 1,8 млн пар «задача—решение», сгенерированных с помощью Mixtral-8x7B-v0.1. Модель относится к семейству Mistral и имеет размер 7B параметров; поддерживаемый язык — английский, основной сценарий применения — text generation для математических инструкций и задач, где полезна проверка или получение ответа через Python-код. Формат GGUF и imatrix-квантизация ориентированы на запуск в совместимых локальных средствах инференса, однако конкретный уровень квантизации, требования к ресурсам, размер контекста и доступные варианты точности в README не указаны. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.

OpenMed/OpenMed-ZeroShot-NER-Chemical-Tiny-60M — компактная модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе BC4CHEMD; размер модели — около 60 млн параметров. Модель принимает текст и возвращает найденные сущности с разметкой токенов. В карточке заявлена возможность zero-shot извлечения пользовательских типов сущностей, хотя основной обученный тип — CHEM. Модель предназначена для извлечения названий химических соединений, лекарств, реагентов и синонимов из аннотаций и полнотекстовых научных статей, а также для индексации соединений и подготовки данных для связывания с ChEBI или DrugBank. Для варианта Tiny в README указан F1 0,68 на тестовом наборе BC4CHEMD. Модель ориентирована на англоязычную биомедицинскую литературу; Apache-2.0 разрешает коммерческое и некоммерческое использование с соблюдением условий лицензии.

ProLLaMA — белковая языковая модель семейства LLaMA, предназначенная для многоцелевой обработки белковых последовательностей. По карточке, модель основана на Llama 2 7B и поддерживает сценарии генерации последовательности по суперсемейству и определения суперсемейства по последовательности. Репозиторий содержит модель на 6,6 млрд параметров для Transformers в форматах PyTorch и Safetensors; длина контекста — 4096 токенов. Модель ориентирована на задачи анализа и генерации белковых последовательностей, а не на обычный диалог. Для использования требуется соблюдать лицензию Llama 2, на которой она основана; метаданные репозитория указывают Apache-2.0.

Prot2Text-V2 — модель для предсказания функций белков, разработанная Xiao Fei и соавторами. Она принимает аминокислотную последовательность и генерирует на английском языке связное описание предполагаемой функции белка. Архитектура объединяет белковый энкодер ESM-2 (`facebook/esm2_t36_3B_UR50D`), адаптер между белковыми представлениями и языковой моделью и декодер на основе `meta-llama/Llama-3.1-8B-Instruct`. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии MIT. Модель предназначена для анализа белковых последовательностей и получения понятных текстовых описаний их функций. Сгенерированные предсказания следует рассматривать как гипотезы для последующей проверки: README не сообщает оценок качества или конкретных ограничений применения.

seyonec/SMILES_BPE_PubChem_100k_shard00 — модель разработчика Seyone Chithrananda, связанная с коллекцией ChemBERTa для работы с химическими структурами в представлении SMILES. Она предназначена для задачи fill-mask: по контексту SMILES-последовательности предсказывает замаскированные токены, что может использоваться при обучении и анализе химических представлений, а также как компонент последующих моделей для химического моделирования и предсказания свойств.

SMILES_tokenized_PubChem_shard00_160k — модель семейства RoBERTa, опубликованная Seyone Chithrananda под именем seyonec. Она обучена работать с токенизированными строками SMILES, представляющими химические структуры, и доступна через Transformers для задачи fill-mask с поддержкой PyTorch и JAX. Модель содержит около 96,6 млн параметров и поддерживает контекст до 514 токенов. Она предназначена для восстановления замаскированных фрагментов SMILES и получения химических представлений, которые можно использовать как основу для дообучения на задачах анализа молекул. Модель не является готовой системой генерации, синтеза или прогнозирования свойств без дополнительного дообучения. Лицензия в доступных данных не установлена.

Starling oral-bioavailability transfer model — модель для оценки того, насколько сходно две молекулы ведут себя по пероральной биодоступности в заданном исследовательском контексте. На вход она принимает SMILES и метаданные исследования для обеих молекул, а также измеренное значение пероральной биодоступности молекулы A; на выходе выдаёт вероятность переноса поведения от A к B. Модель разработана на базе Starling Transfer и использует общие для обеих молекул энкодеры и позиционно-зависимую голову классификации. Для представления структуры молекул используется замороженный MolFormer-XL с проекцией в вектор размерности 256; семь текстовых полей контекста кодируются замороженным MiniLM и проецируются в суммарный вектор размерности 224. Парная голова — остаточная MLP с SwiGLU из шести блоков — формирует один логит, который после сигмоиды интерпретируется как вероятность переноса. Обучаемая часть содержит около 8 млн параметров. Модель предназначена для химических и фармакокинетических исследований, а не для непосредственного медицинского решения. README приводит метрики на двух валидационных разбиениях: macro-F1 0,699 и 0,766, точность 0,734 и 0,796 соответственно. Репозиторий содержит веса в формате safetensors; карточка указывает библиотеку Transformers и лицензию MIT. Модель рассчитана на входные данные в виде SMILES и метаданных, а не на обычный диалоговый ввод. Её оценка зависит от корректного заполнения контекста исследования; пропущенные поля обрабатываются отдельными обучаемыми представлениями. Описанные результаты относятся к конкретному протоколу разделения данных и не гарантируют качество на иных наборах или контекстах.

WizardMath 7B V1.1 GGUF — это квантизированная версия языковой модели WizardMath 7B V1.1, разработанной командой WizardLM и подготовленной в формате GGUF пользователем TheBloke. Модель предназначена для генерации текста по инструкциям, прежде всего для решения математических задач и других сценариев, где требуется следовать заданному запросу. Указанный шаблон промпта основан на формате Alpaca. Модель имеет тип mistral и размер 7B параметров. Поддерживается английский язык; сведения о других языках, мультимодальности и размере контекстного окна в README не указаны. Формат GGUF предназначен для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать между требованиями к памяти и качеством генерации. Квантизация может снижать точность по сравнению с исходной моделью fp16. Исходная модель распространяется по Microsoft Research License; ссылка на текст лицензии указана в карточке. Конкретные разрешения и ограничения лицензии следует проверять в её полном тексте.

ABForge-Qwen3-8B-Task1-SFT — языковая модель, разработанная SlowGuess для определения целей абляции в научных статьях. Она дообучена методом supervised fine-tuning на базе Qwen/Qwen3-8B и принимает контекст статьи без результатов абляции, предлагая пары «целевой модуль — исследовательский вопрос», которые описывают компонент для исключения и цель такого эксперимента. Модель предназначена для поддержки проектирования и анализа абляционных экспериментов в научных исследованиях. Это плотная авторегрессионная модель семейства Qwen3 с 7,6 млрд параметров, работающая через Transformers; заявленный контекст — 40 960 токенов. Карточка указывает английский язык. Модель распространяется по лицензии Apache-2.0. Предложения модели следует проверять по исходной статье и исследовательскому замыслу: карточка описывает специализированную задачу и оценку на отложенной выборке AblationBench, но не приводит численных результатов. Модель не заменяет экспертную проверку научного дизайна эксперимента.

AMPLIFY_350M — оптимизированная NVIDIA версия белковой языковой модели AMPLIFY, разработанной Chandar Research Lab. Модель на архитектуре Transformer типа ESM-2 содержит около 350 млн параметров; метаданные Hugging Face указывают 471,9 млн параметров. Версия оптимизирована с помощью TransformerEngine и, с точностью до численных различий, сохраняет веса и выходы исходной модели. Модель принимает строки из канонических аминокислот длиной до 2048 остатков. Она предназначена для анализа белковых последовательностей: получения векторных представлений аминокислот и белка, предложения мутаций, различения неупорядоченных белков и непоследовательностей белка, а также задач проектирования белков и анализа их функций. В метаданных основная задача обозначена как fill-mask. Модель рассчитана на ускорение на GPU NVIDIA и интеграцию через Hugging Face Transformers. README указывает поддержку NVIDIA Ampere, Blackwell и Hopper, а также Linux. Среди ограничений — необходимость проверять качество на данных конкретного применения; оптимизация может вызывать небольшие численные отличия от исходной модели. Лицензия MIT; карточка указывает возможность коммерческого и некоммерческого использования.

ANIMA-Nectar — специализированная текстовая модель Severian для научных дисциплин, включая биомимикрию, биологию и экологию. Она предназначена для сопровождения пользователей в процессе биомиметического проектирования: помогает исследовать природные решения и применять их при разработке идей и стратегий решения задач. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом 32 768 токенов. По README, она создана как девятое последовательное дообучение ANIMA-Phi-Neptune-Mistral-7B с дополнительными 20 часами обучения на смешанном наборе данных по биомимикрии, STEM и Nectar. Модель ориентирована на длинные многоходовые рассуждения и склонна давать очень подробные ответы. Репозиторий содержит веса Safetensors; лицензия — MIT. Модель подходит для изучения биомиметических подходов, генерации идей и проработки научно-технических задач в диалоге. Среди известных ограничений — иногда модель продолжает диалог сама с собой, воспроизводя роли пользователя и ассистента. В README не указаны языки обучения или гарантии точности ответов.

Ares SoftMoE 4B L2 Consecutive 225K — белковая языковая модель примерно на 4,24 млрд параметров, разработанная авторами проекта Ares и представленная на GenBio Workshop при ICML 2026. Это двунаправленный энкодер, обученный с нуля на UniRef50 предсказывать замаскированные аминокислотные остатки. В архитектуре 20 слоёв: первые 10 используют плотные feed-forward блоки, последние 10 — MoE с 32 экспертами и мягкой маршрутизацией. В этой версии скрытые состояния и проекция маршрутизатора нормализуются по L2. Модель принимет последовательности аминокислот и выдаёт оценки для заполнения масок и векторные представления остатков и последовательностей. Контекст обучения — 1024 остатка. Модель подходит для анализа белковых последовательностей, извлечения эмбеддингов и экспериментальных оценок вариантов; README сообщает результат 0,341 на агрегированной метрике ProteinGym по 217 DMS-анализам. Модель не генерирует последовательности авторегрессионно и не принимает структуры, MSA, мультимеры или нуклеотидные последовательности. Качество на последовательностях длиннее 1024 остатков не проверено; результаты предсказания эффектов вариантов существенно меняются между анализами. Обучающие данные UniRef50 отражают смещения баз последовательностей. Модель не валидирована для клинических, диагностических или связанных с биобезопасностью решений. Веса опубликованы в формате safetensors, хранятся в float32 и занимают около 16,9 ГБ; для инференса рекомендуется bfloat16. Лицензия — MIT.

AssayLLM-Handoff-GRPO — модель Genentech для выбора генов-кандидатов в CRISPR-скринингах. Она дообучена на базе Qwen3.6-27B с помощью supervised fine-tuning и совместного обучения методом GRPO; использует архитектуру Qwen3.5 с плотной моделью и запускается через Transformers. По описанию скрининга и результатам уже проведённых раундов модель выдаёт ранжированный список из 100 символов генов HGNC для первых двух раундов, после чего работу продолжает отдельная модель AssayFormer. Модель предназначена для адаптивного поиска перспективных мишеней в CRISPR-скринингах и работы в связке с AssayFormer в AssayLoop. В README приведены результаты оценки на AssayBench-Loop, но они относятся к конкретной экспериментальной постановке и не гарантируют качество на других экранах. Для запуска описан сценарий с vLLM и форматированным чатом; лицензия — Apache-2.0.

Bioinspired-Llama-3-1-8B-128k-gamma — плотная авторегрессионная языковая модель семейства Llama 3.1, опубликованная lamm-mit. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста в диалоговом режиме; заявленное нативное окно контекста — 131 072 токена. В метаданных указаны области биологии, химии, биологических материалов, материаловедения, инженерии и научного ИИ. Модель подходит для диалога и генерации текста по научным темам, связанным с биологически вдохновлёнными материалами и материаловедением. Карточка показывает пример загрузки через Transformers и общения в несколько ходов. Данные не подтверждают конкретные языки, специализированную точность в отдельных научных задачах или отдельный обучающий набор; следует проверять ответы, особенно при использовании в исследовательских и инженерных решениях. Репозиторий содержит веса Safetensors. Лицензия в предоставленных источниках не указана.

ChemBERTa-100M-MLM — модель DeepChem на архитектуре RoBERTa, предварительно обученная методом masked language modeling на подмножестве из 100 млн молекул датасета ZINC20. Она содержит 119,3 млн параметров, принимает последовательности токенов и поддерживает контекст до 512 токенов. Модель предназначена для заполнения маскированных участков в молекулярных последовательностях и может служить основой для задач хемоинформатики. Модель доступна в формате safetensors и используется через Transformers с AutoTokenizer и AutoModelForMaskedLM. Лицензия — MIT. Карточка не описывает качество на прикладных задачах и не подтверждает поддержку языков естественной речи.

ChemBERTa-77M-MLM — модель DeepChem для работы с молекулярными структурами, представленными строками SMILES. Это RoBERTa-энкодер с архитектурой masked language model: он обучен предсказывать замаскированные токены и подходит для заполнения пропусков в SMILES, а также для получения представлений молекул и дообучения на задачах предсказания их свойств. Публикация о ChemBERTa описывает предварительное обучение на корпусе из 77 миллионов строк SMILES PubChem; в карточке этой версии указана архитектура RoBERTa, 3 слоя, 12 голов внимания, словарь из 600 токенов и максимальная длина последовательности 515 токенов. Модель предназначена для cheminformatics и исследований свойств молекул, в том числе как основа для последующего дообучения на конкретных наборах данных. Она принимает текстовые последовательности SMILES и предсказывает токены; обычные естественные языки для неё не являются целевыми. В опубликованной оценке ChemBERTa на некоторых задачах MoleculeNet результаты уступали сильным базовым методам, поэтому качество на конкретной задаче зависит от дообучения и проверки. Карточка Hugging Face не содержит сведений о лицензии модели.

Dayhoff-170M-UR90-31000 — модель Microsoft для генерации и анализа белковых последовательностей, предназначенная для исследований в области белкового языкового моделирования. Она обучена на данных Dayhoff и использует гибридную архитектуру Jamba: слои Mamba и Transformer с механизмом Mixture of Experts. По метаданным, размер модели составляет 23,6 млн параметров, а нативная длина контекста — 262 144 токена. Модель предназначена для безусловного конструирования белков и предсказания эффектов мутаций без дополнительного обучения; семейство Dayhoff также применяется для проектирования белковых каркасов и генерации последовательностей с заданным эволюционным или структурным контекстом. Модель работает с белковыми последовательностями, в том числе с длинными контекстами и развёрнутыми множественными выравниваниями последовательностей. Её не следует использовать для генерации естественного языка или последовательностей ДНК; реалистичность сгенерированных последовательностей не гарантируется, а создание белков без сходства с природными последовательностями остаётся сложной задачей. Лицензия — MIT.

facebook/esm-1b — белковая языковая модель семейства ESM, разработанная исследовательской группой FAIR при Facebook. Репозиторий устарел: актуальное имя модели — facebook/esm1b_t33_650M_UR50S. Модель построена на плотной архитектуре ESMForMaskedLM и содержит 865,1 млн параметров. Она принимает последовательности белков и предсказывает замаскированные аминокислоты, что позволяет использовать её для анализа белковых последовательностей и получения контекстных представлений. Максимальная длина контекста — 1026 токенов. Карточка не сообщает лицензию. Репозиторий помечен как устаревший и подлежащий удалению; для использования следует обращаться к актуальному репозиторию модели.

ESM-2 — белковая языковая модель, разработанная Meta AI и обученная на задаче предсказания замаскированных аминокислот в последовательностях белков. Чекпойнт esm2_t30_150M_UR50D использует плотную архитектуру ESM с 30 слоями и примерно 196,6 млн параметров; модель принимает последовательности белков длиной до 1026 токенов. Модель предназначена для дообучения и применения в задачах, где входом служит аминокислотная последовательность, включая предсказание скрытых остатков и получение представлений белков для последующих задач. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия MIT.

ESMC-300M — предварительно обученная белковая языковая модель из семейства ESM Cambrian, опубликованная командой MultiMolecule как неофициальная реализация модели Biohub. Это плотный encoder-only Transformer с rotary position embeddings, нормализацией QK и блоками SwiGLU; в карточке указано 331,8 млн параметров и контекст до 2048 токенов. Модель обучена на последовательностях белков из UniRef, MGnify и Joint Genome Institute с самоконтролируемой задачей предсказания замаскированных аминокислот. Она предназначена для восстановления пропусков в белковых последовательностях и получения векторных представлений белков, которые можно использовать как основу для последующего дообучения на задачах классификации или регрессии последовательностей и остатков. Она не дообучена для конкретной прикладной задачи, поэтому такие сценарии требуют дополнительной настройки. Реализация использует библиотеку MultiMolecule и опубликована в форматах PyTorch и Safetensors. Лицензия — AGPL-3.0.

EVA-RNA — трансформерная фундаментальная модель для транскриптомики, создающая эмбеддинги отдельных образцов и генов по профилям RNA-seq. Она предназначена для профилей экспрессии человека и мыши, включая bulk RNA-seq, микрочипы и псевдобалковые данные отдельных клеток; входные идентификаторы генов можно сопоставлять с NCBI GeneID встроенным преобразователем. Модель предоставляет интерфейс кодирования данных AnnData и предобученный детерминированный декодер, который восстанавливает предсказанные значения экспрессии по эмбеддингам. Для ускорения поддерживается автоматическая смешанная точность, а Flash Attention доступен на совместимых GPU Ampere и новее. Для работы с Flash Attention требуются CUDA и входы в половинной точности, поэтому этот режим ограничивает выполнение на CPU. В карточке указана лицензия other; конкретные условия следует сверить с файлами репозитория.

GB.Protein-16B — белковая языковая модель, разработанная GenBio AI для анализа последовательностей белков и построения моделей для биологических задач. Она обучена на последовательностях из UniRef90 и ColabFoldDB с общим объёмом данных свыше 1,3 трлн аминокислот и использует архитектуру Transformer encoder-only со разреженными MoE-слоями. В карточке указано 2,7 млрд параметров, а в названии и README модель обозначена как 16B; это расхождение не позволяет однозначно установить фактический размер. Контекст составляет 2048 токенов, токенизация выполняется на уровне отдельных аминокислот, а обучение использует masked language modeling. Модель предназначена для получения представлений белковых последовательностей и адаптации к задачам классификации на уровне последовательности или токена, регрессии и оценки функциональных свойств белков. README сообщает о результатах на задачах предсказания белковой приспособленности и бенчмарках, а также об адаптации модели для генерации последовательностей с учётом структуры. Для каталога основная задача — text-generation согласно pipeline_tag; fill-mask также указана среди поддерживаемых задач. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с файлами лицензии репозитория.

dbands/Gemma_ChemWiz_rdkit_16bit — дообученная модель семейства Gemma, разработанная dbands на основе dbands/Gemma_ChemWiz_16bit. Это плотная авторегрессионная языковая модель на 8,2 млрд параметров с контекстом 8192 токена, сохранённая в формате Safetensors. Модель предназначена для генерации текста; связка с химией и датасетом ChemistryCoder указывает на применение в задачах химического программирования и работы с RDKit. Модель обучалась с использованием Unsloth и библиотеки TRL. Доступна по лицензии Apache-2.0. Карточка не описывает конкретные ограничения качества или поддерживаемые языки; в метаданных указан английский язык.

InstaNovo-P — специализированная трансформерная модель, разработанная InstaDeep для de novo секвенирования пептидов по данным масс-спектрометрии фосфопротеомики. Она предсказывает последовательность пептида непосредственно по MS/MS-спектру и определяет сайты фосфорилирования, помогая анализировать посттрансляционные модификации и находить фосфорилированные пептиды. Модель предназначена для исследований фосфопротеомики и обнаружения посттрансляционных модификаций. Для работы используется библиотека PyTorch; репозиторий содержит веса в формате safetensors и распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий лицензии при распространении производных материалов.

BEST — Intern-S1-mini context-conditioned molecule transfer V10.3.0.2 — это дообученная языковая модель jiosephlee для переноса свойств молекул с учётом контекста анализа. Чекпойнт предназначен для задачи пероральной биодоступности и выбран по результатам валидации из серии смешанного непрерывного обучения. Основа — jiosephlee/Intern-S1-mini-lm; модель имеет архитектуру Qwen3ForCausalLM с 7,6 млрд параметров и принимает контекст до 65 536 токенов. Модель поставляется в формате Transformers с весами safetensors и токенизатором. В README приведены метрики Macro-F1@5, NDCG@5 и Spearman на валидационной и тестовой выборках; это результаты конкретного эксперимента, а не гарантия качества на новых данных. Сведения о лицензии и точном формате входных данных в карточке не приведены.

LipidOS — дообученная доменная модель на архитектуре Phi-3.5 Mini, разработанная для работы с литературой о липидах и спектроскопии Рамана/ИК. Она предназначена для генерации текста в составе RAG-системы: отвечает на вопросы по найденным научным публикациям, а проверяемые утверждения должны сопровождаться ссылками на извлечённые источники. Модель обучали на 64 000 аннотаций PubMed из корпусов по биохимии липидов, липидомике, мембранной биофизике и колебательной спектроскопии; цель обучения — предсказание следующего токена. По указанной оценке, на отложенной выборке perplexity снизилась с 4,911 у базовой модели до 3,955. Это плотная причинная языковая модель с 3,7 млрд параметров, принимающая текст и генерирующая текст; нативный контекст — 4096 токенов. Карточка сообщает об английских данных и языке модели. Репозиторий содержит объединённые веса базовой модели и QLoRA-адаптера в формате safetensors; для загрузки не требуется PEFT. Указана лицензия Apache-2.0. Модель рассчитана на использование вместе с поиском и проверкой цитат. README предостерегает от открытой генерации без приложенных извлечённых свидетельств; описанный результат по проверке цитирования ограничен небольшим набором примеров.

MaterialsBERT — англоязычная доменная модель на базе PubMedBERT, дообученная автором pranav-s на корпусе из 2,4 миллиона аннотаций по материаловедению. Это uncased-модель семейства BERT с архитектурой BertForMaskedLM, примерно 136,7 млн параметров и контекстом до 512 токенов. Модель предназначена для извлечения признаков текста и заполнения пропусков в аннотациях по материаловедению. Её также можно дополнительно дообучать для классификации последовательностей, разметки токенов и ответов на вопросы в этой области; в опубликованном сравнении такие дообученные варианты превзошли базовые языковые модели на трёх из пяти наборов данных. Для практического применения нужны библиотека Transformers и PyTorch. Карточка указывает лицензию «other», не уточняя её условия; перед использованием следует проверить файлы репозитория с лицензией. Модель ориентирована на английский научный текст и требует дополнительной настройки для большинства прикладных задач.