IV.6Научные исследования, математика и новые материалы
В разделе собраны самостоятельные задачи, где AI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 120 моделейkojima-lab/molcrawl-compounds-gpt2-large — языковая модель GPT-2 Large с 774 млн параметров, предварительно обученная разработчиками kojima-lab на строках SMILES соединений из набора MolCrawl. Она генерирует продолжения SMILES и подходит для экспериментов с генерацией молекулярных структур и автоматизированного создания кандидатов соединений. Токенизатор использует символьный BPE со словарём из 612 токенов; строки SMILES следует подавать без пробелов, а маркером конца последовательности служит [SEP]. Контекст модели — 1024 токена. Модель принимает и выдаёт текстовые строки SMILES; заявлена задача text-generation. Лицензия Apache-2.0.
NovoMolGen_157M_SMILES_AtomWise — авторегрессионная языковая модель семейства Llama, разработанная Chandar Lab для генерации молекулярных структур в формате SMILES. Модель содержит 157,3 млн параметров, обучена на 1,5 млрд молекул из ZINC-22 и использует FlashAttention. Контекст модели — до 2048 токенов. Модель предназначена для безусловной и целевой генерации молекул, в том числе в сценариях поиска кандидатов для разработки лекарств. Опубликован чекпойнт в формате PyTorch; также доступна Transformers-native версия, совместимая с генерацией через `.generate()`. Лицензия — MIT. Карточка сообщает о высоких результатах на задачах генерации молекул, но не приводит численных метрик или протокола сравнения; пригодность сгенерированных структур требует отдельной химической проверки.
OpenMed/OpenMed-NER-DNADetect-EuroMed-212M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученный EuroBERT с архитектурой EuroBertForTokenClassification, примерно 211,7 млн параметров и контекстом до 8192 токенов. Модель принимает токенизированный текст и выдаёт BIO-разметку для белков, ДНК, РНК, клеточных линий и типов клеток. Модель предназначена для извлечения сущностей из научной биомедицинской литературы и медицинских документов, включая анализ упоминаний генов и белков, поиск по корпусам публикаций и построение биомедицинских баз знаний. В README указаны результаты на JNLPBA: F1, точность и полнота 0,73, accuracy 0,92. Карточка заявляет английский язык и совместимость с Transformers; лицензия — Apache-2.0.
OpenMed-ZeroShot-NER-DNA-Base-220M — модель OpenMed для распознавания именованных сущностей в биомедицинских текстах. Она основана на архитектуре GLiNER и дообучена на корпусе JNLPBA, содержащем аннотации белков, ДНК, РНК, клеточных линий и типов клеток. Модель поддерживает zero-shot извлечение сущностей: пользователь может задавать типы сущностей при обработке текста без отдельного дообучения под каждую метку. Модель предназначена для анализа научной литературы и других биомедицинских текстов, включая извлечение молекулярных сущностей для курирования биологических путей и поиска взаимодействий. В README приведён результат F1 0,79 на тестовом наборе, исключённом из обучения. Метаданные указывают формат PyTorch и английский язык карточки; лицензия — Apache-2.0. Результаты для пользовательских типов сущностей могут зависеть от выбранного порога, а заявленная zero-shot гибкость не гарантирует одинакового качества для любых меток и текстов.
PinkPixel Crystal-Think-V2-GGUF — это квантованная GGUF-версия модели Crystal-Think-V2, разработанной PinkPixel и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста и ориентирована прежде всего на математическое рассуждение, решение задач и другие сценарии, требующие пошагового reasoning. В описании также указано использование LoRA, GRPO и дообучения на наборе данных NVIDIA OpenMathReasoning. Модель работает с текстом на английском языке; поддержка других языков и максимальный размер контекста в карточке не указаны. Архитектура и число параметров также не приведены. Доступны варианты от BF16 размером 8,05 ГБ до более компактных квантов Q8_0, Q6, Q5, Q4, Q3 и IQ, поэтому модель можно запускать локально с различными компромиссами между качеством и требованиями к памяти. Рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4, а для ограниченного объёма оперативной памяти предлагаются более лёгкие сборки с потенциально заметным снижением качества. Запуск поддерживается через llama.cpp, LM Studio и другие проекты на его основе. Шаблон чата в карточке не указан, поэтому предложенный формат приглашения может быть неточным и требует проверки по оригинальной карточке Crystal-Think-V2. Модель распространяется по лицензии Apache-2.0.
ProtGPT3-112M-dpo — модель генерации белковых последовательностей из семейства ProtGPT3, выпущенного AI4PD. Это версия ProtGPT3-112M, дополнительно выровненная методом Direct Preference Optimization (DPO). В метаданных указаны архитектура Mixtral с причинной языковой моделью и смесью экспертов, 21 млн параметров, библиотека Transformers, формат safetensors и контекст до 16 384 токенов. Модель предназначена для генерации последовательностей белков и поддержки задач белкового дизайна. DPO-настройка ориентирует генерацию на последовательности с более высокой предсказанной структурной уверенностью и меньшим содержанием низкосложных участков, сохраняя разнообразие. Авторы рекомендуют DPO-версию для генерации белков вместо базовой.
AI4PD/ProtGPT3-1.3B-dpo — DPO-донастроенная модель семейства ProtGPT3 для генерации белковых последовательностей. Она обучена отдавать предпочтение последовательностям с более высокой предсказанной структурной уверенностью и меньшей долей низкосложных участков, сохраняя разнообразие. В метаданных указаны архитектура Mixtral с причинной языковой моделью и смесью экспертов, 205 млн параметров и контекст 16 384 токена; файлы представлены в формате safetensors, библиотека — Transformers. Модель предназначена для проектирования белков и генерации последовательностей, в том числе по промпту. README рекомендует DPO-версию вместо базовой для генерации. Обучение опирается на открытые наборы белковых последовательностей, поэтому модель может наследовать их смещения. Предсказанная структурная уверенность и фильтрация низкой сложности — лишь приближённые цели: полученные последовательности могут быть нефункциональными или небезопасными и требуют вычислительной и экспериментальной проверки. README не сообщает лицензию.
ProtSent-V2.5-35M — контрастивно дообученная модель на базе ESM-2 для получения эмбеддингов белковых последовательностей. Разработчик описывает её как ProtSent-V2 35M с дополнительным проходом обучения на обновлённой выборке, включавшей данные Pfam, AFDB, STRING и DMS/ProteinGym; в README указан CoSENT-целевой сигнал для DMS и регуляризация Global Orthogonal Regularization. Модель использует mean pooling, формирует эмбеддинги размерности 480 и поддерживает Matryoshka-представления размером 64, 128 и 256. Её применяют для поиска структурно или функционально сходных белков и как представление последовательностей для downstream-задач. Карточка сообщает о результатах на структурном поиске SCOPe-40 и 23 задачах, но отмечает, что агрегированные результаты V2.5 близки к V2, а убедительное улучшение в SCOPe-40 относится к глубине ранжирования; профильное выравнивание HMMER сохраняет преимущество по R@1. Это производная модель: базовая модель — GrimSqueaker/ProtSent-V2-35M. Репозиторий использует Sentence Transformers и safetensors; лицензия — MIT. Контекстная длина по метаданным составляет 1026 токенов. При оценке downstream-результатов следует учитывать, что DMS-данные не были полностью очищены от пересечений с четырьмя DMS-производными задачами, проверялось только точное совпадение.
RNAElectra — модель представлений последовательностей РНК, разработанная для однонуклеотидного анализа. Это дискриминатор на базе архитектуры ModernBERT с 22 слоями, размером скрытого представления 512 и 16 головами внимания; глобальное внимание используется во всех слоях. Модель содержит 92,3 млн параметров, принимает последовательности РНК и выдаёт контекстные векторные представления. Её предварительно обучали 30 эпох на корпусе, созданном на основе RNAcentral, с помощью ELECTRA-подобной задачи обнаружения заменённых токенов; опубликованы веса дискриминатора. Модель предназначена для извлечения признаков и последующей настройки для задач анализа транскриптомов и регуляторных механизмов: предсказания функций РНК, связывания белков с РНК, стабильности последовательностей и анализа регуляторных элементов. Поддерживает контекст до 8192 токенов и ориентирована на биологические последовательности; в метаданных указан английский язык карточки, но это не определяет язык самой модели. Лицензия — Apache-2.0. Модель не предназначена для клинических решений и медицинской диагностики.
Модель разработал Miguelangel Leon: это версия RoBERTa, дообученная на наборе BBBP для бинарной классификации химических соединений по способности проникать через гематоэнцефалический барьер. На вход подаются молекулы в формате SMILES; для токенизации используется APE (Atom Pair Encoding), словарь которого находится в репозитории. Модель содержит 40,8 млн параметров, работает с контекстом до 512 токенов и предназначена для классификации последовательностей. Модель подходит для предварительного отбора соединений и исследовательского анализа молекул. Она может хуже обобщать на соединения, заметно отличающиеся от химического пространства датасета BBBP; перед применением на новых данных рекомендуется отдельная оценка качества. Лицензия — MIT.
SpecTUS_pretrained_only — предобученная модель команды MS-ML для восстановления молекулярных структур по масс-спектрам GC-EI-MS. Это трансформерная модель архитектуры BART с 201,6 млн параметров, обученная генерировать SMILES-представления молекул по спектрам. Входной контекст составляет до 1024 токенов. Модель предобучена 448 000 шагов на 17,2 млн синтетических спектров, созданных моделями NEIMS и RASSP. Чекпойнт предназначен как основа для последующего дообучения на экспериментальных данных, например NIST или Wiley. На этапе предобучения точность восстановления структур составила 38% для спектров RASSP, 29% для NEIMS и 3% для спектров NIST; валидность сгенерированных канонических SMILES для синтетических спектров была выше, чем точность восстановления структуры. Поэтому результаты на реальных спектрах ограничены, и авторы рекомендуют дополнительное дообучение. Модель распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.
Stoic — модель для быстрого предсказания стехиометрии белковых комплексов по аминокислотным последовательностям. Она определяет число копий каждого компонента комплекса и может формировать JSON для последующей подачи в AlphaFold 3 на основе наиболее вероятной стехиометрии. В карточке указано, что модель дообучена на базе белковой языковой модели ESM-2 facebook/esm2_t33_650M_UR50D; веса представлены в формате safetensors и помечены как 8-битные. Модель предназначена для анализа белковых комплексов: на вход можно передать список последовательностей, один FASTA-файл или каталог FASTA-файлов, где каждый файл представляет отдельный комплекс. CLI также позволяет сохранять предсказания на уровне остатков. Лицензия — MIT.
BatteryBERT-uncased-abstract — англоязычная модель на архитектуре BERT, разработанная Шу Хуаном и Жаклин Коул для классификации аннотаций научных работ о батареях. Она дообучена на базе batterybert-uncased и рассчитана на классификацию текста, в частности аннотаций из набора batterydata/paper-abstracts. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метки классов. Модель подходит для автоматической сортировки и тематической разметки аннотаций исследований в области батарей. Опубликована в формате PyTorch под лицензией Apache-2.0. Карточка приводит ссылки на оценку качества и примеры использования, но подробности результатов в доступном тексте отсутствуют.
ghadeermobasher/BC5CDR-Chemical-Disease-balanced-biobert-base-cased-v1.2 — модель BioBERT от ghadeermobasher для распознавания сущностей в научно-медицинских текстах. По названию и идентификатору она предназначена для выделения названий химических соединений и заболеваний; Hugging Face указывает задачу token-classification и архитектуру BERT с головой BertForTokenClassification. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. Она подходит для извлечения химических веществ и заболеваний из биомедицинских публикаций. Карточка модели не содержит описания, сведений о языках или лицензии, поэтому эти характеристики нельзя надёжно установить.
BulkFormer-127M — модель семейства BulkFormer для представления транскриптомов bulk RNA-seq; репозиторий публикует её в формате, совместимом с Transformers. Модель содержит 127 млн параметров и относится ко второй по размеру из пяти выпущенных версий BulkFormer. В метаданных указаны библиотека Transformers и формат весов safetensors. Модель предназначена для извлечения признаков на уровне генов или экспрессии из данных bulk RNA-seq, а также для последующего дообучения с классификационной головой, продолжения предобучения с masked imputation и объединения эмбеддингов с ESM2. Разработчик README ссылается на работу Kang, Fan et al. в Cell Systems (2026) и исходный репозиторий KangBoming/BulkFormer. Лицензия — MIT.
C2S-Scale-Pythia-1b — модель на базе EleutherAI Pythia-1b, дообученная командой Cell2Sentence с использованием фреймворка C2S для задач биологии одиночных клеток. Она преобразует профили экспрессии scRNA-seq в упорядоченные последовательности названий генов («предложения клеток») и использует их как текстовые последовательности для генерации и анализа данных.
CaLM — плотная BERT-подобная модель, разработанная Карлосом Оутейралом и Шарлоттой Дин и опубликованная MultiMolecule как неофициальная реализация оригинальной работы. Она предварительно обучена на кодирующих последовательностях ДНК с помощью masked language modeling и предназначена для заполнения масок в последовательности, извлечения признаков и использования в качестве основы для дообучения под задачи классификации или регрессии нуклеотидных последовательностей. Модель содержит 12 слоёв, 768 скрытых измерений и 12 голов внимания; карточка указывает 85,75 млн параметров, а метаданные — 113,3 млн. Максимальная длина входа составляет 1024 токена (в метаданных — 1026 токенов). Обучение проводилось на 9 858 385 последовательностях cDNA из European Nucleotide Archive. Модель принимает текстовые представления последовательностей ДНК и выдаёт предсказания для маскированных токенов или признаки последовательностей. В карточке отмечено, что предоставленные веса могут не воспроизводить промежуточные представления оригинальной реализации; для специализированной классификации и регрессии требуется дообучение. Лицензия — AGPL-3.0.
Derify/ChemBERTa_augmented_pubchem_13m — языковая модель для химических структур, разработанная Derify и обученная на наборе augmented_canonical_pubchem_13m. Это модель семейства RoBERTa с 57,1 млн параметров, предназначенная для предсказания замаскированных фрагментов последовательности SMILES; максимальная длина контекста составляет 514 токенов. В README приведены результаты дообучения ChemBERTa для классификации и регрессии молекулярных свойств на наборах BACE, BBBP, TOX21, HIV, SIDER, ClinTox, ESOL, FreeSolv, Lipo и Clearance. Эти показатели показывают применимость представлений модели к задачам хемоинформатики, но сами по себе не означают, что опубликованный чекпойнт напрямую выдаёт оценки свойств: указанная основная задача — заполнение маски. Модель распространяется под лицензией Apache-2.0.
CrystaLLM-pi_mp_20_base — авторегрессионная модель GPT-2, разработанная Bone et al. из University College London. Она обучена с нуля примерно на 25,9 млн параметров на текстах CIF из набора c-bone/mp_20_pxrd и служит безусловной базовой моделью LeMat-Bench для генерации кристаллических структур. Модель принимает текстовые последовательности CIF и генерирует CIF; также поддерживает генерацию с подсказкой. Контекст составляет 1024 токена. Обучающие структуры — результаты расчётов DFT с релаксацией, а не экспериментальные данные. Модель предназначена для генерации неорганических кристаллических структур и оценки базового качества на MP-20. Она воспроизводит распределение обучающего набора, поэтому разнообразие новых структур ограничено. Модель не позволяет задавать целевые свойства, не рассчитана на системы с разупорядочением, органические материалы и MOF; большие ячейки могут не поместиться в контекст. Структурная корректность CIF не гарантирует термодинамическую стабильность, для оценки которой требуется дополнительный энергетический скрининг. Лицензия — MIT.
Dayhoff-170m-UR90 — модель генерации белковых последовательностей, разработанная Кевином К. Янгом и соавторами. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования белковых каркасов с заданными структурными мотивами. Модель обучена на данных Dayhoff Atlas, включая белковые последовательности, и использует авторегрессионный подход. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); класс модели — JambaForCausalLM. По метаданным, модель содержит 23,6 млн параметров и поддерживает контекст до 262 144 токенов. Она обрабатывает белковые последовательности и выдает последовательности аминокислот; README также описывает работу с гомологичными последовательностями. Лицензия — MIT. Модель не предназначена для естественного языка, ДНК или других типов биологических последовательностей. Сгенерированные последовательности не всегда реалистичны, а генерация качественных белков без сходства с известными природными последовательностями остается сложной задачей.
Dayhoff-170M-UR-90-31000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанного исследовательской командой Kevin K. Yang и соавторов. Она предназначена для исследований в области белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций и проектирования белков с заданным структурным или эволюционным контекстом. Для этой версии карточка описывает архитектуру Jamba с чередованием слоёв Mamba и Transformer и модулей Mixture-of-Experts; метаданные указывают 23,6 млн параметров и контекст до 262 144 токенов. Модель обучена на данных Dayhoff и работает с белковыми последовательностями, включая развёрнутые множественные выравнивания последовательностей. Модель принимает текстовое представление белковой последовательности и генерирует последовательности белков. Она также может применяться для безреференсного предсказания эффекта мутаций и генерации с заданными мотивами или гомологичным контекстом. Не предназначена для обычного естественного языка или последовательностей ДНК; реалистичность и новизна сгенерированных белков не гарантируются. Лицензия — MIT.
Synthyra/ESM2-3B — публикация чекпойнта ESM-2 от Synthyra с runtime FastPLMs для Hugging Face Transformers. Модель содержит 3,8 млрд параметров и принимает аминокислотные последовательности, токенизированные в идентификаторы остатков; максимальная длина контекста — 1026 токенов. Основная задача — предсказание скрытых токенов в белковых последовательностях. Также доступны классы для классификации последовательностей и отдельных остатков, однако их классификационные головы инициализированы заново и требуют дообучения перед использованием. Чекпойнт предназначен для вычисления представлений белковых последовательностей, masked language modeling и последующей адаптации к задачам классификации. Доступны несколько бэкендов внимания, включая SDPA и Flash Attention. Заявленная лицензия — MIT. Для пути BF16 с SDPA описана численная калибровка относительно эталонного чекпойнта; биологическая корректность конкретных предсказаний не гарантируется.
Это зеркальная копия белковой языковой модели ESM-2, разработанной Meta; исходный чекпойнт — facebook/esm2_t33_650M_UR50D. Модель на основе трансформера обучена предсказывать замаскированные остатки в аминокислотных последовательностях. В этой версии 33 слоя и около 865 млн параметров, максимальная длина контекста — 1026 токенов; доступны веса PyTorch, Safetensors и TensorFlow. Модель предназначена для анализа белковых последовательностей и тонкой настройки под задачи биологии. Её поп residue-векторы можно использовать для предсказания участков связывания, оценки влияния вариантов и формирования признаков белковой мишени. Лицензия — MIT. Для крупных чекпойнтов ESM-2 требуются значительные вычислительные ресурсы; README отмечает, что больший размер обычно повышает точность, но требует больше памяти и времени.
ESM-2 — белковая языковая модель от Facebook, обученная предсказывать скрытые аминокислоты в последовательностях. Этот чекпойнт содержит 48 слоёв и около 20,1 млрд параметров по метаданным; README указывает размер 15 млрд параметров. Архитектура — плотная модель ESM с головой masked language modeling, доступная в формате PyTorch. Максимальная длина контекста — 1026 токенов. Модель предназначена для работы с белковыми последовательностями и может быть дообучена для различных задач, где на вход подаются последовательности белков. Большой размер чекпойнта может дать более высокую точность по сравнению с меньшими моделями ESM-2, но требует значительно больше памяти и времени на обучение. Лицензия — MIT.
ESMC-AR — авторегрессионная языковая модель для белковых последовательностей, опубликованная IvanHU. Это плотная Transformer-модель с 16 широкими блоками, PLE, gated attention и без gated residual; экспорт содержит 845,8 млн параметров в FP32 и работает через Transformers с токенизатором ESMC и встроенным пользовательским кодом. Модель обучена на 5 млрд токенов из набора белковых данных QingWY/protein-pretraining-data. Обучение сочетало предсказание следующего токена, предсказание токенов в обратных последовательностях и заполнение пропусков в формате PSM примерно в равных долях по числу выходных токенов. Контекст составляет 2048 токенов; репозиторий содержит веса safetensors. Модель предназначена для генерации и продолжения белковых последовательностей, в том числе заполнения пропусков и работы с последовательностями в обратном направлении. README описывает проверенный экспорт и совместимость с Transformers, однако не приводит лицензию, поэтому условия использования по имеющимся данным определить нельзя. Валидационная потеря относится к исходному потоку обучения, а из-за смеси задач её нельзя напрямую сопоставлять с результатами других моделей.
Taykhoom/Evo1-1.5-7B-8K — это порт на Hugging Face модели Evo 1.5, предназначенной для работы с последовательностями ДНК. Модель содержит 8,6 млрд параметров по метаданным и использует причинную архитектуру Evo1 на базе StripedHyena; в README указаны 32 гибридных слоя и контекст до 8 192 токенов. Она обучена предсказывать следующий токен на уровне байтов и принимает последовательности как сырые UTF-8 байты с алфавитом токенов 0–255. Модель подходит для генерации последовательностей ДНК с учётом геномного контекста, вычисления логитов и получения скрытых представлений для анализа. Evo 1.5 продолжает обучение Evo 1 на примерно 50% дополнительных данных, всего около 450 млрд токенов из геномных последовательностей, включая геномы прокариот, фагов и плазмид. Порт также поддерживает получение скрытых состояний и attention weights, доступ к backbone через AutoModel и выбор backend внимания; для побитового совпадения с исходной реализацией требуется flash_attention_2. Модель выпущена под лицензией Apache-2.0. Это специализированная биологическая модель: она не предназначена для обычного текста, а различия вычислительных backend могут влиять на точность промежуточных активаций.
nyamuda/extractive-summarization — модель T5-small, дообученная на датасете PubMed для суммаризации научных и медицинских текстов. Она предназначена для создания кратких изложений исследовательских статей, научных публикаций и технических аннотаций, помогая быстро выделять основное содержание для учёбы и исследований. В карточке заявлена экстрактивная суммаризация: итоговое изложение составляется из ключевых предложений исходного текста. Архитектура — T5 с 38,5 млн параметров; максимальный контекст — 512 токенов. Указаны английский язык и лицензия MIT. Компактный размер подходит для локального применения, однако небольшой контекст ограничивает обработку длинных документов: их может потребоваться разбивать на фрагменты. Модель ориентирована на научные и биомедицинские тексты; качество на других жанрах и языках не подтверждено.
Intern-S1-mini Oral Bioavailability Assay Transfer v27 L2 — модель на основе Qwen3ForCausalLM, разработанная jiosephlee и дообученная от jiosephlee/Intern-S1-mini-lm для переноса данных между анализами пероральной биодоступности. Она предназначена для работы с записями химических анализов и прогнозирования относительной активности соединений в задачах поиска ближайших примеров и ранжирования по биодоступности. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 65 536 токенов. Для обучения использовался датасет assay-transfer-record-level-v27-bioavailability-ma-l2-intern; выбран чекпойнт на шаге 500 по совместной метрике MAE@3 для распределений ID и OOD. На тестовой панели из 500 запросов ID модель показала MAE@3 0,7043 и превзошла базовые варианты с Morgan fingerprints по MAE@3. Модель рассчитана на специализированные задачи химической биоинформатики и не является универсальным предиктором биодоступности за пределами описанного сценария. Результаты зависят от состава анализов и представительности обучающих данных; README не содержит сведений о лицензии.
MiniCPM4-Survey — открытая языковая модель-агент, совместно разработанная THUNLP, Народным университетом Китая и ModelBest. Она основана на MiniCPM4-8B и содержит 7,9 млрд параметров; это плотная авторегрессионная модель семейства MiniCPM для генерации текста, доступная в формате safetensors и рассчитанная на работу через Transformers. Указанная длина контекста — 32 768 токенов. Модель предназначена для автономного создания длинных обзорных научных работ по запросу пользователя. В описанном авторами процессе она планирует структуру обзора, формирует поисковые запросы, а затем синтезирует найденные материалы в связный текст с цитатами. Для работы этого сценария README также описывает подготовку базы научных статей и рекомендует отдельную модель эмбеддингов. Карточка заявляет поддержку китайского и английского языков. К сильным сторонам относятся специализация на длинных обзорах, многоэтапная схема генерации и обучение с оценкой структуры, содержания и цитирования. Модель может выдавать неточные утверждения или ссылки, поэтому результаты требуют проверки; README прямо возлагает ответственность за их оценку на пользователя. Лицензия — Apache-2.0.
maayans/modernbert-embed-large__ratio-broaden — модель текстовых эмбеддингов, созданная дообучением lightonai/modernbert-embed-large для операции BROADEN в наборе RATIO (Retrieval Across Typed Ideation Operations). Она предназначена для поиска научной формулировки, которая выражает запрос шире или на более общем уровне. Модель кодирует запросы и предложения-кандидаты, позволяя сравнивать их по смысловой близости; для корректной работы используются префиксы `search_query: ` и `search_document: ` соответственно. Модель основана на ModernBERT-large, содержит около 394,7 млн параметров, принимает текст с контекстом до 8192 токенов и формирует плотные эмбеддинги. Обучение выполнялось контрастивным методом на обучающей части RATIO для отношения broaden; карточка указывает английский язык. Модель распространяется по лицензии Apache 2.0. Она специализируется на поиске обобщённых формулировок научных запросов, поэтому её не следует считать универсальным эмбеддером для любых отношений или областей; доступные сведения не содержат результатов оценки качества.