IV.6Научные исследования, математика и новые материалы

Intern-S1-mini context-conditioned molecule transfer V10.3.1 — DILI — это дообученная модель jiosephlee на базе jiosephlee/Intern-S1-mini-lm для переноса свойств между молекулами с учётом контекста, связанного с лекарственным поражением печени (DILI). Она принимает текстовые запросы и выдаёт текст; модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для контекстно-зависимого сопоставления молекул и оценки релевантности кандидатов в сценариях переноса данных между анализами. В README указано, что контрольная точка выбрана по validation knn_binary_macro_f1_at_5; на тестовой выборке из 402 запросов получены Macro-F1@5 0,6144 и NDCG@5 0,6324. Обучение остановлено на шаге 219, выбран шаг оптимизатора 140, поэтому метрики описывают конкретный экспериментальный чекпойнт, а не гарантируют качество в иных условиях. Репозиторий содержит checkpoint и tokenizer для Transformers в формате safetensors. Данных о лицензии в предоставленных источниках нет, поэтому условия использования установить нельзя. Модель разработана для химических задач; результаты для DILI требуют проверки в целевом наборе данных и не должны трактоваться как самостоятельное медицинское заключение.

Isoformer — модель InstaDeep для предсказания дифференциальной экспрессии транскриптов по последовательностям ДНК, РНК и белка. Архитектура семейства Isoformer использует знания трёх предварительно обученных энкодеров: Enformer для ДНК, Nucleotide Transformer v2 для РНК и ESM2 для белков. Модель предназначена для анализа экспрессии транскриптов в разных тканях и объединяет несколько биологических модальностей. Она обучалась на данных GTEx: измерениях TPM для 30 тканей, охватывающих более 5000 человек и около 170 тысяч транскриптов, включая примерно 90 тысяч белок-кодирующих транскриптов. В карточке заявлено, что Isoformer точно предсказывает дифференциальную экспрессию и превосходит существующие методы; количественные результаты в предоставленном описании не приведены. Метаданные указывают задачу fill-mask, но README описывает получение эмбеддингов и предсказаний экспрессии. Лицензия и подробные условия использования в предоставленных данных отсутствуют.

Janus-first2last — специализированная условная модель диффузии DDPM/DDIM на основе UNet, разработанная для прогнозирования поля плотности av_density в данных HEAT-PLI. Она принимает первое поле симуляции при времени 0,0 и генерирует прогноз последнего поля при времени 25,0. Модель работает непосредственно с полями, без латентного VAE, и использует пользовательский код Transformers, загружаемый через AutoModel с trust_remote_code=True. Модель предназначена для исследовательского суррогатного моделирования, быстрой предварительной оценки результатов физической симуляции и получения ансамбля прогнозов повторными стохастическими запусками DDIM. Входное поле масштабируется до разрешения 560×200 и нормализуется отдельно для каждого примера; результат возвращается к исходному пространственному разрешению. Для воспроизводимости можно задать фиксированное случайное зерно. Прогнозы ограничены полем av_density и сценарием перехода от первого к последнему кадру HEAT-PLI. Карточка указывает лицензию как other, не уточняя её условия. Модель не предназначена для решений по безопасности, управления оборудованием или экстраполяции на не представленные в обучающих данных конфигурации и параметры; перед научным или инженерным использованием прогнозы требуют проверки.

linkerv2 — дообученная модель GPT-2 Medium, разработанная на основе jarod0411/zinc10M_gpt2-medium_SMILES_step1. Она предназначена для генерации текста; название базовой модели связывает её с последовательностями молекул в формате SMILES, поэтому модель может быть полезна для их продолжения и генерации. Архитектура — GPT-2 с плотными слоями, веса сохранены в формате Safetensors, длина контекста — 1024 токена. В README приведены результаты оценки: loss 0,3096 и accuracy 0,8994, однако описание набора данных, методики оценки и предполагаемых сценариев применения отсутствует. Модель распространяется по лицензии MIT.

MarinDNA v0.5 scaling ladder — 1B — это одношаговая авторегрессионная языковая модель для последовательностей ДНК, разработанная совместно с Marin. В репозитории опубликован финальный чекпойнт обучения; модель имеет около 1,12 млрд параметров и использует декодерный Transformer, совместимый с Qwen3. Веса сохранены в формате safetensors, токенизатор включён в репозиторий. Модель принимает сырые последовательности ДНК из оснований A, C, G и T без пробелов и предсказывает продолжение последовательности. Токенизатор нечувствителен к регистру и кодирует одно основание одним токеном; при контексте 256 токенов вход ограничен 255 основаниями, поскольку одну позицию занимает BOS. Обучение использовало смесь кодирующих, upstream- и downstream-последовательностей с пониженным весом потерь для soft-masked позиций. Модель предназначена для геномных экспериментов, включая исследование последовательностей и предсказание эффектов вариантов. Лицензия — Apache-2.0. README также заявляет сопоставление с Evo 2 40B для предсказания эффектов вариантов, но подробности результата в доступном описании отсутствуют.

MetaMath Cybertron Starling — языковая модель для генерации текста, ориентированная прежде всего на математические задачи. Исходную модель разработал Talha Rüzgar Akkuş, а данный репозиторий подготовлен TheBloke и содержит её квантизированные версии в формате GGUF. Модель обучалась с использованием набора данных MetaMathQA и предназначена для англоязычных сценариев. Архитектура модели — Mistral, однако её размер, длина контекста и точный набор поддерживаемых возможностей в README не указаны. Модель работает в режиме text-generation и использует шаблон запросов ChatML с ролями system, user и assistant. Формат GGUF подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python; доступны варианты квантизации с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Основные сильные стороны — специализация на математике, возможность локального запуска на CPU и GPU и выбор между несколькими уровнями квантизации. Ограничения включают англоязычную направленность, отсутствие заявленной мультимодальности и недостаток сведений о точности, размере и длине контекста. Для репозитория указана лицензия Apache-2.0.

Molexar-1-10M-IT — авторегрессионная языковая модель для генерации молекул, разработанная командой Molexar. Это instruction-tuned дообучение Molexar-1-10M-PT с архитектурой декодера в стиле Gemma2 и примерно 10,5 млн параметров. Модель генерирует молекулы в формате Fragment-SELFIES, принимая условия в виде свойств молекулы, фармакофорного отпечатка, последовательности белка или структуры его кармана связывания. Максимальная длина последовательности — 256 токенов. Модель предназначена для исследовательских рабочих процессов проектирования лекарств: генерации молекул с заданными свойствами, поиска молекул под белковую мишень и создания библиотек кандидатов с несколькими условиями. В README приводятся результаты оценок химической валидности и разнообразия для разных режимов генерации, однако эти показатели не подтверждают биологическую активность или пригодность молекул. Ограничения включают зависимость от качества подготовки белковых данных, неполную поддержку токена йода, отсутствие управления стереохимией и явной трёхмерной структурой; сгенерированные молекулы требуют экспертной оценки и экспериментальной проверки. Лицензия — MIT.

MolMetaLM-small — компактная плотная языковая модель семейства Llama, опубликованная пользователем wudejian789 на Hugging Face. В репозитории указано 25,6 млн параметров, контекст до 4096 токенов и формат весов safetensors. Модель предназначена для получения молекулярных представлений из строк SMILES и генерации текста. Метаданные связывают её с молекулярным языковым моделированием и физико-химическими знаниями; пример использования показывает загрузку через Transformers и получение молекулярных представлений. Поддерживаемый язык естественного текста не установлен. Лицензия и подробная оценка качества в предоставленных данных не указаны. README отсылает за дополнительными сведениями, поэтому практические возможности модели и условия её применения описаны ограниченно.

NucEL — геномная модель, разработанная для получения представлений последовательностей ДНК. Она использует ELECTRA-предобучение с дискриминатором на базе ModernBERT: небольшой генератор предлагает замены отдельных нуклеотидов, а дискриминатор учится определять заменённые позиции. При использовании модели загружается дискриминатор; размер составляет около 92,3 млн параметров, длина контекста — до 8192 токенов. Модель предназначена для извлечения эмбеддингов и дообучения на задачах анализа генома человека, включая классификацию регуляторных элементов, связывание факторов транскрипции, поиск сайтов сплайсинга и промоторов, а также анализ профилей гистоновых меток. В README также описан перенос на последовательности мыши, дрожжей и вирусов. Модель поддерживает работу с последовательностями ДНК; неоднозначный нуклеотид N отображается в [UNK], а качество на микробных последовательностях, повторах и сильно отличающихся эволюционных линиях может быть ограничено. Распространяется по лицензии Apache-2.0.

FreakingPotato/NucEngram — геномная языковая модель для анализа последовательностей ДНК, разработанная автором репозитория FreakingPotato. Это символьная модель на основе энкодера ModernBERT, обученная предсказывать замаскированные нуклеотиды. Она принимает последовательности из символов A, C, G, T и N и формирует контекстные векторные представления для каждого нуклеотида. Контекстное окно составляет до 8192 нуклеотидов; доступны варианты разного размера, включая mini (~150 млн параметров), base (~229 млн) и pro (~364 млн). Модель подходит для заполнения масок и извлечения признаков для классификации промоторов, сайтов сплайсинга, энхансеров и других регуляторных элементов, а также для предсказания свойств последовательностей; извлечённые представления можно использовать замороженными или дообучать. Для загрузки пользовательской архитектуры требуется trust_remote_code=True. Лицензия — Apache-2.0.

OpenMath-Nemotron-1.5B-GGUF — языковая модель для генерации текста, ориентированная прежде всего на математические задачи. Модель разработана на базе Qwen/Qwen2.5-Math-1.5B с использованием набора данных NVIDIA OpenMathReasoning и опубликована в формате GGUF. В README указана английская языковая поддержка и совместимость с библиотекой Transformers и инструментами llama.cpp. Модель содержит около 1,5 млрд параметров и предназначена для локального инференса, включая запуск на CPU и устройствах с ограниченными объёмами памяти. Доступны варианты BF16 и F16, а также квантованные версии Q8_0 и другие форматы с разной степенью сжатия. Квантование уменьшает требования к памяти, но может снижать точность; BF16 и F16 обеспечивают более высокую точность при наличии соответствующей аппаратной поддержки. Длина контекста и мультимодальные возможности в README не указаны. Сильной стороной модели является сочетание математической специализации, компактного размера и широкого выбора форматов для локального запуска. Ограничениями являются заявленная ориентация на английский язык, возможная потеря качества в низкобитных квантованных версиях и отсутствие данных о результатах тестирования. Лицензия — CC BY 4.0.

OpenMed/OpenMed-ZeroShot-NER-Genome-Small-166M — модель OpenMed для распознавания упоминаний генов и белков в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе BC2GM, содержащем аннотированные упоминания генов и белков в научных текстах. По карточке модели, размер составляет 166 млн параметров; формат весов — PyTorch. Модель принимает текст и возвращает найденные сущности с метками. Основные сценарии — извлечение генов и белков из научной литературы, геномная курация и поиск связей между генами, вариантами и заболеваниями. Архитектура GLiNER позволяет задавать типы сущностей при запросе, однако карточка описывает обучение на BC2GM и сообщает F1 0,71 для тестового набора; универсальное распознавание произвольных типов сущностей этими данными не подтверждено. Поддерживаемый язык по метаданным — английский. Лицензия Apache-2.0.

Plant DNA LLM — модель для анализа последовательностей ДНК растений, разработанная zhangtaolab. Она предварительно обучена на референсных геномах растений с помощью причинного языкового моделирования и основана на архитектуре Mamba; для последовательностей ДНК используется BPE-токенизатор со словарём из 8000 токенов. Вариант plant-dnamamba-BPE содержит 119,4 млн параметров. Модель предназначена для генерации продолжений ДНК-последовательностей и задач анализа геномов растений. Каталог также указывает поддержку классификации текста и токенов. Максимальная длина последовательности при обучении составляла 512 токенов. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.

PlasmidLM-kmer6-MoE — авторегрессионная языковая модель семейства PlasmidLM для генерации последовательностей плазмидной ДНК. Она обучена на примерно 100 тысячах последовательностей Addgene, представленных перекрывающимися k-mer-токенами длины 6 со сдвигом 3, и генерирует ДНК по функциональным аннотациям в промпте, например маркерам устойчивости к антибиотикам и точкам начала репликации. Модель использует декодер Transformer с MoE-слоями: в каждом из них маршрутизатор выбирает двух экспертов из шести. В README указаны 78,3 млн параметров всего и 31,1 млн активных; метаданные указывают 25,2 млн параметров. Для модели заявлен контекст 16 384 токена. Данные описывают генерацию биологических последовательностей, а не обычного текста; язык английский указан в метаданных карточки. Модель предназначена для исследовательского и экспериментального проектирования плазмидных последовательностей по заданным функциональным признакам. README сообщает eval loss 0,190 и точность токенов 98,4%, но эти показатели сами по себе не подтверждают функциональность или безопасность сгенерированных последовательностей. Лицензия — Apache-2.0.

Synthyra/Profluent-E1-600M — публикация чекпойнта Profluent-Bio/E1-600m с runtime FastPLMs для использования через Hugging Face Transformers. Это плотная модель семейства E1 примерно на 639 млн параметров, обученная для работы с белковыми последовательностями. Она принимает исходные аминокислотные последовательности через специальный адаптер E1; токенизатор не используется. Основная задача — восстановление замаскированных участков последовательности. Представления модели также можно применять в последующих биологических задачах классификации.

ProteinLM — экспериментальная языковая модель на архитектуре Gemma 2, разработанная для генерации аминокислотных последовательностей. В README указано, что модель содержит 336 млн параметров и предварительно обучается на последовательностях длиной до 512 аминокислот; метаданные Hugging Face указывают 268,5 млн параметров и нативный контекст 512 токенов. В качестве основы использована JuIm/ProGemma2, модель дообучена с целью сравнить генерацию последовательностей в ProGemma и ProtGPT на базе GPT-2. Модель предназначена для генерации белковых последовательностей и исследовательского сравнения качества генерации. В карточке приведены значение training loss около 1,6 и результаты perplexity и метрик AlphaFold 3 ptm, pLDDT и iptm, в целом сопоставимые с ProtGPT для последовательностей длиной до 250 аминокислот; для более надёжных выводов нужны дополнительные тесты. Доступны веса в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

ProtGPT3-10B — авторегрессионная языковая модель белковых последовательностей из семейства ProtGPT3, разработанного AI4PD. Она генерирует последовательности аминокислот по заданному префиксу или промпту и предназначена для вычислительного исследования и проектирования белков. Модель использует причинную архитектуру Mixtral с mixture-of-experts и обучена предсказывать следующий элемент в белковых последовательностях. В метаданных указаны 1,5 млрд параметров и контекст до 1025 токенов; веса опубликованы в формате safetensors для библиотеки Transformers. Модель может помогать создавать кандидаты белковых последовательностей для последующей вычислительной оценки и экспериментальной проверки. Она обучена на общедоступных наборах белковых последовательностей, поэтому может наследовать их смещения. Сгенерированные последовательности могут быть нефункциональными, нестабильными, нерастворимыми или биологически неправдоподобными; модель не гарантирует безопасность, функциональность или возможность синтеза. Её не следует использовать как единственное основание для клинических, экологических, экспериментальных или критически важных решений. Условия лицензии в предоставленных данных не указаны.

lllyx/Qwen3-1.7B-SFT — языковая модель, разработанная на основе Qwen3-1.7B-Base и дообученная методом полного supervised fine-tuning. В README не указана отдельная организация-разработчик; модель связана с исследовательской работой «Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe», авторами которой являются Yaxuan Li и соавторы. Модель предназначена прежде всего для математического рассуждения, решения задач и следования инструкциям в математическом домене. Она обучена на датасете lllyx/OpenThought3-Qwen3-4B, содержащем математические запросы и ответы, сгенерированные Qwen3-4B в режиме без рассуждений; данные были очищены от дубликатов, повторяющихся и вырожденных ответов. Во время обучения режим thinking был отключён. Ключевые характеристики: архитектура и точное число параметров унаследованы от Qwen3-1.7B-Base, размер модели составляет около 1,7 млрд параметров, поддерживаются английский и китайский языки, заявлена длина контекста до 20 480 токенов. Модель относится к классу text-generation и ориентирована на текстовую модальность. Сильной стороной является специализация на математических задачах и reasoning после SFT, однако README не содержит количественных результатов оценки, поэтому превосходство над базовой моделью подтвердить нельзя. Лицензия указана как other; её конкретные условия не раскрыты.

SeongryongJung/Qwen3-4B-Materials-SRPO-TR — экспериментальный чекпойнт Qwen3-4B, обученный методом SRPO-TR на задаче Materials с размером обучающего батча 32. В репозитории размещён лучший по валидационному показателю mean@16 чекпойнт global_step_20; также доступен финальный чекпойнт после 100 шагов. Модель предназначена для генерации текста и рассуждений в сценариях материаловедческой задачи Materials. В README приведён лучший валидационный mean@16 76,46% и финальный 68,75%. Это результаты конкретного запуска, а не гарантия качества на других данных. Модель основана на Qwen3-4B, содержит около 3,7 млрд параметров, принимает текст и имеет контекст до 40 960 токенов. Для загрузки указан Transformers; лицензия — Apache-2.0.

RNAErnie — модель семейства BERT–ERNIE, разработанная Ning Wang и соавторами; репозиторий multimolecule/rnaernie содержит неофициальную реализацию и веса. Модель предварительно обучена на последовательностях некодирующих РНК из RNAcentral с многоэтапным маскированием нуклеотидов, подпоследовательностей и мотивов. Она предназначена прежде всего для восстановления замаскированных участков последовательности и получения признаковых представлений РНК. Архитектура включает 12 слоёв, размер скрытого представления 768 и 12 голов внимания. В карточке указано 86,06 млн параметров и контекст до 512 токенов; метаданные репозитория сообщают 113,3 млн параметров и 513 токенов. Поддерживается работа с последовательностями РНК; токенизатор может преобразовывать T в U. Модель не дообучена для конкретной классификации или регрессии, поэтому для таких задач её требуется адаптировать на целевых данных. Веса опубликованы в форматах PyTorch и safetensors, библиотека для использования — multimolecule. Лицензия — AGPL-3.0. Авторы реализации предупреждают, что не могут подтвердить совпадение промежуточных представлений с оригинальной реализацией RNAErnie.

RNA-TorsionBERT — модель на основе BERT, разработанная для предсказания торсионных и псевдоторсионных углов РНК по последовательности нуклеотидов. Она дообучена на базе zhihan1996/DNA_bert_3 и предварительно обучена на данных примерно 4200 структур РНК. Модель предназначена для анализа структурных свойств РНК и рассчитана на последовательности длиной до 512 нуклеотидов. В README сообщается об улучшении метрики MCQ относительно SPOT-RNA-1D и углов, полученных существующими методами, на тестовом наборе RNA-Puzzles и CASP-RNA. Репозиторий содержит веса PyTorch и Safetensors. Модель опубликована под лицензией other; конкретные условия этой лицензии следует проверять у автора.

RoBERTpep — модель на основе RoBERTa, опубликованная авторами исследования о том, как supervised fine-tuning улучшает обучение на последовательностях TCR и пептидов. Она дообучена на данных о пептидных последовательностях и предназначена для извлечения признаков из таких последовательностей; архитектура — RobertaForMaskedLM, размер — 100,7 млн параметров, контекст — до 64 токенов. Модель подходит для исследовательских задач анализа белковых последовательностей и может использоваться через Transformers. Модель принимает текстовое представление последовательности и выдаёт векторные признаки; также в метаданных указана поддержка восстановления скрытых токенов. Язык последовательностей в карточке не задан. Репозиторий распространяется по лицензии MIT. Короткий контекст ограничивает обработку длинных последовательностей, а карточка не приводит количественных оценок качества или подробных рекомендаций по применению.

KISTI-AI/scideberta-cs — языковая модель SciDeBERTa, разработанная исследовательской группой Корейского института науки и технологий информации (KISTI). Это модель архитектуры DeBERTa с 151,8 млн параметров, предназначенная для работы с англоязычными научно-техническими текстами и публикациями. Модель использует задачу заполнения пропусков и доступна через библиотеку Transformers как masked language model. Модель обучалась на корпусе научно-технических публикаций S2ORC и ориентирована на последующее дообучение для задач понимания научного текста, включая распознавание именованных сущностей, извлечение отношений и разрешение кореференции. Максимальная длина входной последовательности составляет 512 токенов. Вариант scideberta-cs опубликован в форматах PyTorch и Safetensors. Сильной стороной модели является специализация на научной лексике и терминологии английских публикаций по сравнению с универсальными языковыми моделями. Она не предназначена для генерации длинных связных текстов, диалогов или прямого решения прикладных задач без дополнительного дообучения на соответствующем наборе данных. Сведения о лицензии для этого варианта в доступных источниках не установлены.

SpliceBERT — BERT-подобная модель, разработанная Кеном Ченом и коллегами и неофициально реализованная командой MultiMolecule. Она предварительно обучена на последовательностях пре-мРНК из 72 видов позвоночных с помощью маскированного языкового моделирования; обучающий корпус включает около 2 млн последовательностей общей длиной 65 млрд нуклеотидов. Модель содержит 25,2 млн параметров и принимает последовательности РНК длиной до 1026 токенов. Основная задача модели — восстановление замаскированных нуклеотидов. Её также можно использовать для извлечения признаков последовательностей и как основу для дообучения под задачи классификации или регрессии на уровне последовательности либо нуклеотидов. Это предварительно обученная модель, а не готовый специализированный предиктор сплайсинга; для downstream-задач требуется дообучение. Модель распространяется по лицензии AGPL-3.0.

wukevin/tcr-bert-mlm-only — модель семейства BERT, разработанная для предсказания замаскированных аминокислот в белковых последовательностях. Она обучена методом masked amino acid modeling и подходит для восстановления пропущенных остатков в последовательностях T-клеточных рецепторов и анализа вариантов последовательностей. Модель содержит 70,8 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности с контекстом до 64 токенов. Модель предназначена для работы с аминокислотными последовательностями, а не с естественным языком. В карточке указаны PyTorch и задача fill-mask. Лицензия в предоставленных данных не указана.

Trias — компактная модель LaReau Lab на архитектуре BART, предназначенная для обратной трансляции белковых последовательностей в синтетические кодирующие последовательности эукариотической мРНК. Она обучена на 10 миллионах мРНК-последовательностей из 640 видов позвоночных и генерирует кодоны с учётом усвоенных закономерностей их использования, без необходимости задавать правила вручную. Модель принимает последовательность белка и генерирует соответствующую последовательность кодонов. Доступны жадное декодирование и поиск по лучу: первое быстрее и детерминировано, второе исследует несколько вариантов и может быть полезнее для длинных или сложных белков, но работает медленнее. Размер модели — 25,5 млн параметров, длина контекста — 2048 токенов; доступны веса в формате safetensors. Модель поддерживает запуск на CPU и GPU. Trias предназначена для задач биоинформатики и проектирования мРНК. В README указано, что модель генерирует синтетические последовательности, но не приведены оценки качества и подробности валидации; результатам может потребоваться дополнительная проверка. Лицензия — MIT.

AgroNT — языковая модель ДНК, разработанная InstaDeep и обученная преимущественно на геномах съедобных растений. Она использует архитектуру Transformer с self-attention и задачей masked language modeling; в каталоге указана архитектура ESM с 1,3 млрд параметров. Для преобразования последовательностей нуклеотидов применяется неперекрывающийся токенизатор 6-меров с отдельными токенами для A, T, C, G и N. Контекст составляет 1026 токенов по метаданным, что в README округлено до 1024 токенов, или примерно 6144 пар оснований. Модель обучена на примерно 10,5 млн геномных последовательностей 48 видов растений из Ensembl Plants. Она предназначена для анализа последовательностей ДНК и предсказания замаскированных нуклеотидных токенов; выученные представления могут служить основой для задач геномики растений. В репозитории указаны веса PyTorch и задача fill-mask. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных работ на тех же условиях и ограничивает коммерческое использование.

Aido-rna-1.6b-drope — модель семейства RNABert на 1,6 млрд параметров, опубликованная под аккаунтом afg1. Она дообучена для задачи заполнения пропусков в последовательностях РНК: принимает последовательность с замаскированными позициями и предсказывает подходящие токены на их месте. Модель построена на плотной архитектуре RNABertForMaskedLM, работает с библиотекой Transformers и имеет контекстное окно 1024 токена. Модель может применяться для анализа и восстановления последовательностей РНК в исследовательских биоинформатических сценариях. В карточке не приведены сведения о датасете, оценках качества, поддерживаемых форматах последовательностей и условиях лицензии, поэтому применимость и права использования следует сверять с дополнительной документацией репозитория.

AntiBERTy — специализированная белковая языковая модель семейства BERT, разработанная для последовательностей антител. Она предобучена на 558 млн природных последовательностей антител из Observed Antibody Space и предназначена для анализа вариабельных доменов, в том числе заполнения замаскированных аминокислот и получения признаков последовательности для прогнозирования структуры антител, например с IgFold. Модель использует 8-слойный BERT-энкодер с 512 скрытыми измерениями и 8 головами внимания; в метаданных указано 33,6 млн параметров. В словаре 25 токенов: специальные маркеры и 20 аминокислот. Контекст ограничен 512 токенами. Обучение включало masked language modeling, а также классификационные задачи по виду организма и типу цепи. Веса представлены в формате safetensors; лицензия — MIT. AntiBERTy ожидает последовательности вариабельных доменов антител длиной примерно 100–130 остатков на цепь, максимум 510. Она обучалась на репертуарах человека, мыши, крысы, кролика, макаки-резуса и верблюдовых; результаты для других белков и полноразмерных цепей антител не являются осмысленными. Языки здесь — биологические последовательности, а не естественный язык.

AXELIDEA-QUON-14B-Japanese-v01 — языковая модель Axelidea Inc. для творческого мышления и генерации идей на японском и английском языках. Она содержит 14,1 млрд параметров, использует архитектуру Llama и предназначена для генерации текста и диалогов. Контекст модели — до 16 384 токенов. Модель создана на основе shisa-ai/shisa-v2.1-unphi4-14b и объединяет 60 экспертных LoRA, обученных на японских патентных документах для дивергентного мышления, аналогий, смены перспективы и генерации идей с ограничениями. Разработчик заявляет о применении модели для мозговых штурмов, межотраслевых инноваций, анализа патентного ландшафта, подготовки раскрытий изобретений и исследовательской работы. В сравнительной оценке, приведённой в карточке, модель заняла первое место среди перечисленных моделей класса 14B на японском наборе задач; результат не гарантирует аналогичного качества в других сценариях. Карточка предупреждает, что модель может ненадёжно выполнять сложные или строго структурированные инструкции: обучение было ориентировано на творческую генерацию. Репозиторий распространяется по лицензии MIT.