II.8Инженерия данных и аналитика

Mistral-DNA-v1-422M-hg38 — предварительно обученная генеративная модель последовательностей ДНК, опубликованная Raphael Mourad. Она предназначена для работы с геномными последовательностями человека из сборки hg38 и обучена на фрагментах ДНК длиной 10 кб. Модель основана на Mixtral-8x7B-v0.1, но упрощена: уменьшены число слоёв и размер скрытого представления. Архитектура — трансформер с mixture of experts, grouped-query attention, скользящим окном внимания и BPE-токенизатором с обработкой байтов вне словаря. Модель принимает текстовое представление последовательности и генерирует текст, в частности продолжения последовательностей ДНК. Её контекст составляет 512 токенов. Карточка также приводит пример вычисления эмбеддингов белковых последовательностей, однако заявленное предобучение и основное назначение модели относятся к ДНК. Лицензия — Apache-2.0. Это базовая предварительно обученная модель; карточка не описывает конкретные гарантии качества или клиническое применение.

kojima-lab/molcrawl-compounds-gpt2-large — языковая модель GPT-2 Large с 774 млн параметров, предварительно обученная разработчиками koji­ma-lab на строках SMILES соединений из набора MolCrawl. Она генерирует продолжения SMILES и подходит для экспериментов с генерацией молекулярных структур и автоматизированного создания кандидатов соединений. Токенизатор использует символьный BPE со словарём из 612 токенов; строки SMILES следует подавать без пробелов, а маркером конца последовательности служит [SEP]. Контекст модели — 1024 токена. Модель принимает и выдаёт текстовые строки SMILES; заявлена задача text-generation. Лицензия Apache-2.0.

PlantPLM-150M — модель Meta ESM-2, адаптированная автором репозитория к белковым последовательностям растений царства Viridiplantae. Это плотная трансформерная архитектура ESM-2 с 30 слоями, размером 196,6 млн параметров и контекстом до 1026 токенов; обучение продолжено на сокращённом по сходству наборе UniProt TrEMBL с примерно 4,37 млн последовательностей растений. Модель предназначена для предсказания функции растительных белков, получения их эмбеддингов и дальнейшего дообучения на небольших размеченных наборах. Она поддерживает задачу fill-mask, то есть предсказание замаскированных аминокислот в белковых последовательностях. Лицензия — MIT. Адаптация к растительным белкам полезна для аннотации функций, поиска сходных последовательностей, кластеризации и переноса обучения на задачи для растений. Модель не предназначена для белков других организмов и предсказания структуры; для этих сценариев README рекомендует исходную ESM-2 или ESMFold соответственно. Для этого чекпойнта не проводилась оценка на downstream-бенчмарках.

RNA-MSM — языковая модель для РНК, разработанная Zhang et al.; порт на Hugging Face поддерживает Taykhoom Dalal. Модель обучена на выравниваниях гомологичных последовательностей РНК из конвейера RNAcmap и предсказывает замаскированные токены в таком выравнивании. Её можно применять для получения представлений последовательностей и последующей настройки на задачи анализа РНК. Архитектура — плотный трансформер с осевым вниманием: на каждом из 10 слоёв выполняются внимание по позициям последовательности и внимание между строками выравнивания. Размер эмбеддинга — 768, число голов внимания — 12. Вход — MSA равной длины, представленный тензором формы (batch, num_alignments, seqlen); для одной последовательности используется выравнивание из одной строки. Выходные скрытые состояния сохраняют структуру MSA и имеют четыре измерения. Модель предназначена для заполнения масок в выравниваниях РНК и извлечения признаков для задач вроде предсказания доступности растворителю или вторичной структуры. Она рассчитана на вход из нескольких гомологичных последовательностей, хотя поддерживает и одиночную последовательность. Реализация требует eager attention и несовместима с SDPA и Flash Attention 2. Веса доступны по лицензии MIT.

RNA-TorsionBERT — модель на основе BERT, разработанная для предсказания торсионных и псевдоторсионных углов РНК по последовательности нуклеотидов. Она дообучена на базе zhihan1996/DNA_bert_3 и предварительно обучена на данных примерно 4200 структур РНК. Модель предназначена для анализа структурных свойств РНК и рассчитана на последовательности длиной до 512 нуклеотидов. В README сообщается об улучшении метрики MCQ относительно SPOT-RNA-1D и углов, полученных существующими методами, на тестовом наборе RNA-Puzzles и CASP-RNA. Репозиторий содержит веса PyTorch и Safetensors. Модель опубликована под лицензией other; конкретные условия этой лицензии следует проверять у автора.

gdiamos разработал базовую авторегрессионную языковую модель для предсказания следующего токена. Она обучена с нуля на одном CPU-ядре Intel Emerald Rapids с использованием bf16 через AMX; обучение охватило около 1,75 млрд токенов. В модели 6 слоёв, размер скрытого представления d_model равен 256, а число активных параметров на токен — около 3,32 млн при 30,03 млн параметров в хранилище. Архитектура сочетает скользящее оконное и линейное внимание, а также блочно маршрутизируемые эксперты. Модель предназначена прежде всего как отправная точка для дальнейшего дообучения и экспериментов с компактными языковыми моделями и эффективным обучением на CPU. Это базовая модель без инструкционного дообучения; README указывает, что при свободной генерации она впадает в повторения примерно через пять токенов, поэтому для обычной генерации текста она непригодна. Для загрузки нужны исходный код архитектуры из репозитория и указанные автором зависимости; стандартный AutoModelForCausalLM её не поддерживает. Лицензия — Apache-2.0.

AntiBERTa2 — специализированная языковая модель Alchemab для аминокислотных последовательностей антител. Она построена на архитектуре RoFormer и предварительно обучена методом masked language modeling; в карточке указаны 202 млн параметров и конфигурация из 16 слоёв, 16 голов внимания и размерности 1024. Модель принимает последовательность антител и предсказывает замаскированные в ней элементы; задача в метаданных — fill-mask, а максимальный контекст составляет 256 токенов. Модель предназначена для работы с последовательностями антител, включая заполнение пропусков в последовательности. README также упоминает мультимодальный вариант AntiBERTa2-CSSP, но этот репозиторий содержит AntiBERTa2, поэтому характеристики CSSP к нему не относятся. Лицензия обозначена как other; README устанавливает некоммерческие условия использования модели и сгенерированных последовательностей антител, а для коммерческого использования предлагает связаться с разработчиком.

ApexTrack AI Track Condition Classifier V2 — модель компьютерного зрения для классификации состояния гоночного покрытия по изображениям. Её разработал проект ApexTrack AI; модель предназначена для гоночных инженеров и гоночных симуляторов, где она помогает выбирать стратегию по состоянию трассы. Это Vision Transformer ViT-Base с 113,2 млн параметров, принимающий цветные изображения размером 224×224 пикселя. Модель относит покрытие к одному из трёх классов: сухое, влажное или мокрое; состояние высыхания отдельным классом не является и определяется серверной системой по последовательности прогнозов. Для обучения использован набор Weather Whiplash Surfaces: 190 размеченных исходных изображений, а обучающая часть была расширена аугментацией. На тестовой выборке точность составила 43,75%, а макро F1 — 40,78%, поэтому качество распознавания ограничено. Это образовательный прототип, обученный на небольшом наборе данных; прогнозы предназначены для справочной поддержки решений и требуют проверки человеком, особенно перед любыми действиями, влияющими на безопасность. Лицензия — MIT.

Ares softmoe 4b l2 consecutive 150K — белковая языковая модель примерно на 4,24 млрд параметров, разработанная авторами проекта Ares. Это двунаправленный энкодер на архитектуре Mixture-of-Experts, обученный с нуля на UniRef50 с задачей восстановления замаскированных аминокислотных остатков. В 20-блочном энкодере первые 10 слоёв плотные, а последние 10 используют 32 эксперта с мягкой маршрутизацией и L2-нормализацией маршрутизатора; чекпойнт соответствует 150 000 шагов обучения. Модель предназначена для заполнения масок в белковых последовательностях, получения представлений остатков и последовательностей, а также для исследований свойств белков и эффектов мутаций. README приводит результаты downstream-оценок, включая ProteinGym, вторичную структуру и локализацию, но для таких применений требуются отдельные оценочные или дообучающие процедуры. Модель принимает аминокислотные последовательности и выдаёт оценки токенов либо скрытые представления; авторегрессивно генерировать последовательности она не умеет. Обучающий контекст составляет 1024 остатка; более длинные входы технически возможны, но их качество не проверено. Веса хранятся в формате safetensors в float32 и занимают около 16,9 ГБ; для вывода авторы рекомендуют bfloat16. Модель рассчитана на одиночные белковые цепи и не принимает структуры, MSA, мультимеры или нуклеотидные последовательности. Качество зависит от типа оценки, а база UniRef50 может смещать результаты в пользу хорошо представленных организмов и семейств. Лицензия — MIT; модель не валидирована для клинических, диагностических или биобезопасностных решений.

weights-and-wires/audio8-tts-from-scratch — экспериментальная модель синтеза речи по тексту семейства DualAR, обученная авторами проекта с нуля на 440 фрагментах LibriSpeech общей длительностью 72,6 минуты и четырьмя дикторами. Медленная и быстрая авторегрессионные трансформерные части были случайно инициализированы и обучены на 280 шагах; замороженный нейрокодек взят из Audio8/Audio8-TTS-Preview-0.6b. В метаданных указаны архитектура Arktts, 497,4 млн параметров, контекст 2048 токенов, формат safetensors и библиотека Transformers. Модель предназначена для экспериментального синтеза английской речи из текста. Обучалась только с шаблоном без референсного аудио, поэтому клонирование голоса не поддерживается. Авторы предупреждают, что модель недообучена и речь может быть частично неразборчивой; исходные записи LibriSpeech с частотой 16 кГц были повышены до 44,1 кГц, что ограничивает качество. Лицензия — Apache-2.0.

buetnlpbio разработала BPE-only RNA-BERT — модель-энкодер семейства BERT с 116,4 млн параметров, предназначенную для работы с последовательностями РНК. Эта версия обучена только на токенах BPE как вариант для абляционного исследования; авторы рекомендуют вместо неё использовать buetnlpbio/birna-bert. Модель можно применять для заполнения замаскированных токенов в последовательностях и получения представлений последовательностей РНК. Она реализована на PyTorch с библиотекой Transformers и поддерживает контекст до 128 токенов. Доступная карточка описывает работу с РНК, но не сообщает отдельные языки естественного языка. Это специализированная биологическая модель, поэтому её применимость ограничена последовательностями РНК и токенизацией BPE. Лицензия в предоставленных данных не указана.

CENO Rice CDS — причинная языковая модель команды CladeTeam, дообученная на последовательностях кодирующих участков генов риса Oryza sativa. Она предназначена для воспроизведения экспериментов по оценке последовательностей HTT/polyQ: модель генерирует продолжения последовательностей и позволяет сравнивать их по средней логарифмической вероятности. Модель основана на CENO-base-1b-preview; карточка описывает одноэпоховое дообучение с максимальной длиной обучающих последовательностей 8192 токена. Архитектура использует реализацию CENOForCausalLM, переименованную из Nemotron-H; для токенизации применяется символьный токенизатор CENOCharLevelTokenizer. Модель специализирована на последовательностях CDS риса и сценариях исследовательского скоринга, а не на обычном текстовом диалоге. Значения вероятности отражают правдоподобие последовательности с точки зрения модели и не являются оценкой биологической пригодности или патогенности. Для загрузки через Transformers требуется включить trust_remote_code=True; лицензия — Apache-2.0.

ChemBERTaLM — модель генерации молекул, разработанная Gökçe Uludoğan и представленная в работе о применении предварительно обученных биохимических языковых моделей для целевого дизайна лекарств. Это модель семейства RoBERTa, дообученная от чекпойнта ChemBERTa на датасете MOSES с лекарственно-подобными соединениями. Она генерирует молекулярные строки, например SMILES, с помощью авторегрессионной генерации текста; размер модели — 62,7 млн параметров, контекст — до 512 токенов. Модель предназначена для генерации кандидатов молекул и исследовательских сценариев химического дизайна. Для работы используется библиотека Transformers и формат PyTorch. Модель выпущена под лицензией MIT. Генерация сама по себе не подтверждает химическую валидность, синтезируемость, безопасность или терапевтическую эффективность полученных соединений.

Baiming123/DuplexFM_RNA-FM — снимок чекпойнта RNA-FM, использованного в исследовании DuplexFM. Репозиторий содержит версию весов, применявшуюся в опубликованных экспериментах; она немного отличается от версии в публичном репозитории RNA-FM и предназначена для воспроизводимости результатов и совместимости с выпущенными для DuplexFM адаптерами LoRA. Модель разработана для работы с последовательностями РНК и задач предобучения с восстановлением замаскированных токенов; для запуска используется библиотека multimolecule. Модель имеет плотную архитектуру RNA-FM и 137,6 млн параметров. Нативная длина контекста — 1026 токенов, веса опубликованы в формате safetensors. Лицензия AGPL-3.0. Это специализированный исследовательский чекпойнт; практическое применение зависит от совместимого кода и адаптеров, а его версия отличается от текущей публичной версии RNA-FM.

Модель AmelieSchreiber/esm2_t6_8M_UR50D_rna_binding_site_predictor предназначена для предсказания участков связывания РНК в белковых последовательностях. Она построена на базе ESM-2 facebook/esm2_t6_8M_UR50D и дообучена на наборе S1 из коллекции данных об участках связывания белков с РНК. Модель использует архитектуру ESM для классификации токенов; содержит 9,8 млн параметров и принимает последовательности длиной до 1026 токенов. Модель подходит для разметки белковой последовательности по позициям, чтобы выявлять предполагаемые участки взаимодействия с РНК. В карточке указан validation loss 0,1274. Репозиторий распространяется по лицензии MIT; файлы представлены в форматах PyTorch и safetensors.

GPT2 Zinc 87m — авторегрессионная языковая модель в стиле GPT-2 от entropy, обученная на примерно 480 млн SMILES-строк из базы ZINC. Модель содержит около 87 млн параметров и предназначена для генерации молекул с лекарствоподобными свойствами, а также получения представлений SMILES. Модель принимает текстовые последовательности SMILES и продолжает их генерацию; контекст составляет 256 токенов. В опубликованных испытаниях авторы оценивали уникальность и структурную валидность сгенерированных соединений при разных значениях температуры. Для работы с токенизатором нужно учитывать, что он автоматически не добавляет BOS и EOS токены, поэтому их может потребоваться добавлять вручную. Модель распространяется по лицензии MIT.

HELM-BERT — языковая модель пептидов от Flansma, построенная на архитектуре DeBERTa и обученная на нотации HELM. Модель содержит 56,7 млн параметров, 6 слоёв и поддерживает контекст до 512 токенов. Она предварительно обучена методом masked language modeling на примерно 75 тысячах пептидов из ChEMBL, CREMP, CycPeptMPDB и Propedia. Модель предназначена для заполнения маскированных участков пептидных последовательностей и может служить основой для классификации, включая прогнозирование проницаемости пептидов и классификацию взаимодействий пептид-белок. В карточке описаны результаты на случайных и структурных разбиениях; качество заметно зависит от способа разбиения, поэтому показатели на случайных выборках не гарантируют перенос на новые семейства или каркасы. Модель работает с текстовой нотацией HELM, а не с изображениями или непосредственно с лабораторными измерениями. Лицензия — MIT.

MarinDNA m5.1 — авторегрессионная языковая модель для последовательностей ДНК, разработанная командой Marin. Это базовая модель на 1,12 млрд параметров с архитектурой decoder-only Transformer, совместимой с Qwen3ForCausalLM. Она обучалась продолжением предобучения на нуклеотидных последовательностях из областей CDS, upstream, downstream, энхансеров и ncRNA; перечисленные в карточке наборы использовались на разных этапах обучения, а отдельные matched-наборы — для валидации. Модель предназначена для генерации продолжений ДНК и исследований геномных последовательностей, в том числе задач прогнозирования эффектов вариантов, упомянутых в публикации разработчиков. Токенизатор регистронезависимый, работает на уровне отдельных нуклеотидов и принимает строки ДНК из символов A, C, G и T. Контекст составляет 256 токенов, включая обязательный BOS, поэтому вход ограничен 255 основаниями; другие символы преобразуются в UNK. Модель не имеет токена EOS. Репозиторий содержит веса safetensors; в README указан размер исходного checkpoint около 4,18 GiB в float32. Лицензия — Apache-2.0. Карточка не приводит количественных оценок качества или подробных инструкций по применению для конкретных биологических задач.

MarinDNA v0.5 scaling ladder — 1B — это одношаговая авторегрессионная языковая модель для последовательностей ДНК, разработанная совместно с Marin. В репозитории опубликован финальный чекпойнт обучения; модель имеет около 1,12 млрд параметров и использует декодерный Transformer, совместимый с Qwen3. Веса сохранены в формате safetensors, токенизатор включён в репозиторий. Модель принимает сырые последовательности ДНК из оснований A, C, G и T без пробелов и предсказывает продолжение последовательности. Токенизатор нечувствителен к регистру и кодирует одно основание одним токеном; при контексте 256 токенов вход ограничен 255 основаниями, поскольку одну позицию занимает BOS. Обучение использовало смесь кодирующих, upstream- и downstream-последовательностей с пониженным весом потерь для soft-masked позиций. Модель предназначена для геномных экспериментов, включая исследование последовательностей и предсказание эффектов вариантов. Лицензия — Apache-2.0. README также заявляет сопоставление с Evo 2 40B для предсказания эффектов вариантов, но подробности результата в доступном описании отсутствуют.

Это плотная авторегрессионная языковая модель на архитектуре OLMo с 6,7 млрд параметров, созданная полным дообучением Codemaster67/Olmo-7b-spe. Модель обучалась на химических строках SMILES из набора Codemaster67/Causal_lm_chemistry_1M_rows; токенизатор расширен примерно 300 токенами SPE для кодирования фрагментов SMILES, а эмбеддинги и выходной слой адаптированы к новым токенам. Модель предназначена для генерации и продолжения SMILES, химического языкового моделирования и последующего дообучения для предсказания свойств молекул. Она принимает и генерирует текст, включая записи SMILES; базовый контекст составляет 2048 токенов. В README приведены итоговые eval loss 0,918 и perplexity 2,505. Модель опубликована harindhar10 под лицензией Apache-2.0. Она обучена преимущественно на SMILES, поэтому способность следовать инструкциям на естественном языке может быть ниже, чем у базовой модели; аугментация данных в этом обучении не применялась.

PeptideCLM-23M-all — языковая модель для химических последовательностей, обученная разработчиком aaronfeller на 10,8 млн пептидов и 12,6 млн малых молекул. Это плотная RoFormer-модель класса RoFormerForMaskedLM с 57,1 млн параметров и контекстом 768 токенов, предназначенная для предобучения по задаче masked language modeling и заполнения замаскированных участков последовательности. Модель можно применять для предсказания вероятных фрагментов пептидных и молекулярных последовательностей, а также как основу для исследований химических языковых моделей. Репозиторий содержит веса PyTorch. Токенизатор нельзя загрузить стандартным способом через Transformers: требуется собственный SMILES_SPE_Tokenizer из папки tokenizer. Лицензия — MIT. Карточка не приводит оценок качества или конкретных ограничений применимости, поэтому результаты для научных и практических задач требуют отдельной проверки.

MLsquare pico_seshu_test — тестовая модель генерации следующего символа на базе архитектуры Mamba, опубликованная в формате safetensors для Transformers. Модель обучалась на отдельных предложениях и переводах из датасета AI4Bharat Samanantar: исходный текст преобразовывали в последовательности символов UTF-8, а обучение проверяли по кросс-энтропии. В карточке указано 52,4 тыс. параметров и лицензия MIT. Модель предназначена для проверки конвейера Seshu и экспериментов с посимвольной генерацией на многоязычных данных Samanantar. Карточка не приводит подтверждений пригодности для практического перевода или других пользовательских задач, поэтому качество и применимость модели ограничены демонстрационной целью.

SYNTERACT — модель лаборатории Gleghorn Lab при Университете Делавэра для оценки возможного физического взаимодействия двух белков. Это дообученная версия ProtBERT: она принимает две аминокислотные последовательности, разделённые токеном [SEP], и относит пару к классу взаимодействующих или невзаимодействующих. Число параметров — 503,3 млн; архитектура относится к семейству BERT, длина контекста — до 40 000 токенов. Модель предназначена для поиска кандидатов во взаимодействия белков, в том числе при предварительном скрининге мишеней лекарств и разработке пептидных терапевтических средств. В обучении использованы данные BIOGRID, Negatome и синтетические отрицательные примеры. В README заявлена точность 92–96% на реальных невиденных примерах, однако модель может давать ложноположительные предсказания, а предполагаемое взаимодействие не обязательно имеет функциональное значение. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

AgentFEM T4 Modal Neural State-Space — модель на PyTorch для прогнозирования переходных перемещений в семействе демпфированных консольных конструкций. Она предназначена для исправленного бенчмарка структурной динамики AgentFEM T4 и принимает геометрические и физические параметры конструкции, коэффициент демпфирования, амплитуду нагрузки, первые четыре модальные частоты и историю нагрузки с шагом времени. Модель сочетает POD-представление конечно-элементного поля и нейронный модуль, который оценивает геометрически зависимое участие четырёх устойчивых модальных осцилляторов. Динамика, затухание, масштабирование нагрузки и массы, причинность и рекуррентное обновление состояния заданы явно. На выходе — временной ряд двухкомпонентных перемещений в 245 узлах; его также можно считывать в пяти виртуальных датчиках T4. Для трёх опубликованных когорт ошибка полного поля составляет 0,68–1,43% по относительной норме L2. Модель является ограниченным суррогатом для заявленного семейства линейных консольных конструкций, а не универсальной моделью структурной динамики. Для прогноза требуются первые четыре модальные частоты; обучение допускается на данных T4 схемы 1.1.0 или новее с соответствующей отметкой целостности. Лицензия Apache-2.0.

AntiBERTy — специализированная белковая языковая модель семейства BERT, разработанная для последовательностей антител. Она предобучена на 558 млн природных последовательностей антител из Observed Antibody Space и предназначена для анализа вариабельных доменов, в том числе заполнения замаскированных аминокислот и получения признаков последовательности для прогнозирования структуры антител, например с IgFold. Модель использует 8-слойный BERT-энкодер с 512 скрытыми измерениями и 8 головами внимания; в метаданных указано 33,6 млн параметров. В словаре 25 токенов: специальные маркеры и 20 аминокислот. Контекст ограничен 512 токенами. Обучение включало masked language modeling, а также классификационные задачи по виду организма и типу цепи. Веса представлены в формате safetensors; лицензия — MIT. AntiBERTy ожидает последовательности вариабельных доменов антител длиной примерно 100–130 остатков на цепь, максимум 510. Она обучалась на репертуарах человека, мыши, крысы, кролика, макаки-резуса и верблюдовых; результаты для других белков и полноразмерных цепей антител не являются осмысленными. Языки здесь — биологические последовательности, а не естественный язык.

Ares expert-choice 4B interleaved 150K — белковая языковая модель HazemLab, обученная с нуля на UniRef50 для предсказания замаскированных аминокислотных остатков и получения представлений белковых последовательностей. Это двунаправленный энкодер с разреженной архитектурой Mixture-of-Experts: около 4,22 млрд параметров, 20 блоков, 32 эксперта, MoE-слои чередуются с плотными; на токен приходится около 0,44 млрд активных параметров. Обучение завершено на 150 000 шагах с masked language modeling. Модель предназначена для заполнения масок в последовательностях белков, извлечения представлений остатков и последовательностей, а также экспериментальных оценок свойств белков и эффектов вариантов. Она принимает одноцепочечные аминокислотные последовательности; контекст обучения — 1024 остатка. Модель не генерирует последовательности авторегрессионно и не принимает структуры, MSA, мультимеры или нуклеотидные последовательности. Это исследовательский артефакт: у варианта expert-choice известен дефект маршрутизации, токены могут не попасть ни к одному эксперту, а результат ProteinGym заметно ниже, чем у варианта с мягкой маршрутизацией. Качество на последовательностях длиннее 1024 остатков не проверено; результаты прогнозирования эффектов вариантов сильно различаются между тестами. Модель не валидирована для клинических, диагностических или связанных с биобезопасностью решений. Лицензия — MIT.

Ares SoftMoE 4B L2 Consecutive 225K — белковая языковая модель примерно на 4,24 млрд параметров, разработанная авторами проекта Ares и представленная на GenBio Workshop при ICML 2026. Это двунаправленный энкодер, обученный с нуля на UniRef50 предсказывать замаскированные аминокислотные остатки. В архитектуре 20 слоёв: первые 10 используют плотные feed-forward блоки, последние 10 — MoE с 32 экспертами и мягкой маршрутизацией. В этой версии скрытые состояния и проекция маршрутизатора нормализуются по L2. Модель принимет последовательности аминокислот и выдаёт оценки для заполнения масок и векторные представления остатков и последовательностей. Контекст обучения — 1024 остатка. Модель подходит для анализа белковых последовательностей, извлечения эмбеддингов и экспериментальных оценок вариантов; README сообщает результат 0,341 на агрегированной метрике ProteinGym по 217 DMS-анализам. Модель не генерирует последовательности авторегрессионно и не принимает структуры, MSA, мультимеры или нуклеотидные последовательности. Качество на последовательностях длиннее 1024 остатков не проверено; результаты предсказания эффектов вариантов существенно меняются между анализами. Обучающие данные UniRef50 отражают смещения баз последовательностей. Модель не валидирована для клинических, диагностических или связанных с биобезопасностью решений. Веса опубликованы в формате safetensors, хранятся в float32 и занимают около 16,9 ГБ; для инференса рекомендуется bfloat16. Лицензия — MIT.

ASTRA Initial LUMO Predictor — регрессионная BERT-модель из проекта ASTRA (Advanced Solvation Transformer for Rational Additives). Она дообучена на базе `wkdghdus23/astra-bert-mlm` и предназначена для предсказания уровней Lowest Unoccupied Molecular Orbital (LUMO) молекул добавок с учётом их структуры сольватации по строкам SMILES. Это начальная версия предиктора, обученная на базовом наборе данных до запуска цикла активного обучения ASTRA. Модель имеет архитектуру BERT и около 113,3 млн параметров; максимальный контекст — 512 токенов. Репозиторий содержит веса в формате Safetensors, лицензия — MIT. Модель подходит для оценки молекулярных свойств в задачах химической информатики и материаловедения. Она предсказывает конкретное свойство LUMO и обучена на исходном наборе данных ASTRA; README не приводит метрики качества или подробности о диапазоне применимости.

ChemGPT 4.7M — компактная генеративная модель для молекулярного моделирования, основанная на GPT-Neo. В карточке указаны 5,6 млн параметров и контекст 2048 токенов. Модель разработана для генерации молекул и предварительно обучена на строках SELFIES, полученных из SMILES соединений PubChem10M. Модель предназначена для исследований молекулярной генерации и изучения влияния предварительного обучения и дообучения на последующие задачи. Она использует архитектуру GPTNeoForCausalLM и распространяется в формате PyTorch для запуска через Transformers. Карточка не указывает отдельную лицензию.

Doctor Llama 160m — языковая модель Mariana Moreira dos Santos, созданная в рамках выпускного проекта по биомедицинской информатике Федерального университета Параны. Это версия TeenyTinyLlama-160m, дообученная на медицинском наборе medicine-training-pt; архитектура — плотная Llama с причинно-языковой генерацией. Модель содержит 137,8 млн параметров, принимает текст и генерирует текст, рассчитана на контекст до 2048 токенов и бразильский португальский язык. Модель предназначена для изучения процесса дообучения небольших языковых моделей на португальском языке с медицинскими данными и для экспериментальной генерации медицинских текстов. В опубликованной оценке perplexity снизилась с 22,51 у базовой TeenyTinyLlama-160m до 15,68, однако автор прямо указывает, что модель не предназначена для развёртывания или взаимодействия с людьми. Распространяется по лицензии Apache 2.0.