II.8Инженерия данных и аналитика

DumbMath Preview 1 0722 — экспериментальная компактная языковая модель от Small56.AI для решения арифметических задач. Это плотная авторская архитектура DumbMathForCausalLM с 665 тыс. параметров; модель обучали на 0,52 млрд токенов менее двух часов на Colab T4. Файлы опубликованы в формате safetensors, лицензия — Apache-2.0. Модель отвечает на арифметические вопросы в пределах поддерживаемого ею набора задач. В тесте ArithMark 2.0 она набрала 62,5%, близко к указанному в карточке результату Qwen2.5-0.5B. Карточка описывает выпуск как preview и предупреждает, что модель не предназначена для диалога, сложной математики и арифметики за пределами её области поддержки.

Evo2-1B-Base — неофициальный перенос базовой модели Evo 2 1B в Transformers, разработанной командой Evo 2 из Arc Institute и её партнёрами. Веса конвертированы из официального чекпойнта Vortex без дополнительного обучения; архитектура заново реализована на PyTorch. Модель предназначена для генерации и продолжения последовательностей ДНК на уровне отдельных нуклеотидов, используя побайтовый токенизатор с одним токеном на нуклеотид. Модель содержит около 1,5 млрд параметров по метаданным каталога и имеет контекст 8192 токена. Архитектура Evo2 сочетает свёртки Hyena с групповым attention и RoPE; указанная в README конфигурация включает 25 слоёв, из них 4 attention и 21 Hyena. В карточке приведён результат исходной статьи: среднее восстановление аминокислот 64,9 для панели завершения генов прокариот; для этого переноса отдельная оценка не проводилась. Перенос работает через Transformers и AutoModelForCausalLM, но менее эффективен, чем исходная реализация Vortex: отсутствуют FlashAttention, FP8 и объединённые ядра. Для корректной загрузки требуется trust_remote_code=True и Transformers версии 5 или новее для кэша декодирования. Лицензия — Apache-2.0.

EvoNB_1 — дообученная белковая языковая модель, созданная на основе facebook/esm2_t33_650M_UR50D. Разработчик обучал её на наборе примерно из 7,66 млн последовательностей нанотел; это одна из пяти полученных моделей EvoNB. Архитектура — ESM с классом EsmForMaskedLM, размер — 865,1 млн параметров, максимальный контекст — 1026 токенов. Модель предназначена для предсказания скрытых позиций в последовательностях нанотел и поддержки анализа белковых последовательностей. Она использует задачу fill-mask и распространяется в формате safetensors через Transformers. Лицензия — MIT. README не приводит сравнительных оценок качества или результатов практической проверки.

GENERator-v2-eukaryote-1.2b-base — базовая генеративная модель для геномных последовательностей эукариот, опубликованная GenerTeam. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров, предназначенная для генерации последовательностей ДНК; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Контекст модели составляет 16 384 токена, а токенизатор разбивает последовательность на 6-меры. Модель может служить основой для генерации и анализа эукариотических геномных последовательностей. Для осмысленной генерации длина входной последовательности должна быть кратна шести: иначе токенизатор добавляет токен вне словаря, что может привести к повторению «AAAAAA». Модель распространяется по лицензии MIT.

GENERator-v2-eukaryote-3b-base — базовая генеративная модель для геномных последовательностей эукариот, разработанная GenerTeam. Она предназначена для генерации последовательностей ДНК и последующего применения в геномных исследованиях. Модель построена на плотной архитектуре семейства Llama и содержит 3 млрд параметров; для работы с последовательностями использует токенизатор 6-меров и поддерживает контекст до 16 384 токенов. Для генерации длина каждой входной последовательности должна быть кратна шести: её можно дополнить слева символами A или усечь слева. Иначе токенизатор добавляет токен вне словаря, что может приводить к повторяющимся и малоинформативным продолжениям, например AAAAAA. Модель распространяется по лицензии MIT.

GENERator-v2-prokaryote-1.2b-base — генеративная геномная модель семейства Llama, разработанная GenerTeam. Это базовая версия модели с 1,2 млрд параметров, предназначенная для генерации геномных последовательностей прокариот. Модель работает с последовательностями ДНК и поддерживает контекст до 16 384 токенов. Для генерации длина каждой входной последовательности должна быть кратна шести: README рекомендует дополнять последовательность слева символами A или обрезать её слева. Модель опубликована в формате Safetensors и распространяется по лицензии MIT.

Модель 0rn0/llama2-15m-tinystories — небольшая языковая модель на 15,2 млн параметров, созданная Андреем Карпатым и опубликованная для удобной загрузки и дообучения. Это причинная Llama 2 с RoPE, RMSNorm, SwiGLU и групповым запросным вниманием; она состоит из шести блоков трансформера и использует словарь SentencePiece на 32 000 токенов. Веса доступны в формате safetensors, лицензия — MIT. Модель обучена с нуля на англоязычном наборе TinyStories и предназначена для генерации простых детских историй. Её можно использовать для экспериментов с небольшими языковыми моделями и как основу для дообучения на похожих текстах. Это не модель для общего общения: она не проходила настройку инструкциями, плохо подходит для ответов на вопросы и имеет ограниченную связность длинных текстов.

MIST-1.8B-iwqj2cld-freesolv — молекулярная модель Electrochemical Energy Group Мичиганского университета, дообученная для предсказания гидратационной свободной энергии молекул по строкам SMILES. Она принимает Kekulized SMILES и выдаёт регрессионную оценку в ккал/моль; обучена на наборе FreeSolv из 642 нейтральных молекул с экспериментальными и расчётными значениями энергии гидратации. Модель использует энкодер RoBERTa-PreLayerNorm с 24 слоями, размером скрытого состояния 1536, 24 головами внимания и максимальной длиной последовательности 2048; к нему добавлена двухслойная MLP-голова с GELU и dropout. Веса сохранены в Safetensors. Лицензия Apache 2.0; карточка дополнительно ограничивает использование исследованиями и запрещает коммерческое применение без отдельного соглашения.

PeptideESM2_650M — модель семейства ESM, опубликованная группой ShuklaGroupIllinois. Она предназначена для предсказания субстратов ферментов биосинтеза RiPP с помощью masked language modeling и transfer learning. Модель принимает последовательности белков и предсказывает замаскированные аминокислоты; архитектура — плотная ESM-модель для задачи fill-mask, объём — 865,1 млн параметров, длина контекста — 1026 токенов. Работа описана в статье «Substrate Prediction for RiPP Biosynthetic Enzymes via Masked Language Modeling and Transfer Learning» (2024). Это специализированная модель для анализа белковых последовательностей в исследованиях биосинтеза RiPP. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не приведены.

Plant-DNAGPT-BPE — модель семейства GPT-2, разработанная zhangtaolab для работы с последовательностями ДНК растений. Она предварительно обучена методом CausalLM на референсных геномах растений; для токенизации используется специализированный BPE-токенизатор со словарём из 8000 токенов. В репозитории доступны веса в формате Safetensors, а размер моделей этой серии составляет примерно 90–150 МБ. Модель предназначена для генерации продолжений последовательностей ДНК и исследовательских задач по анализу геномов растений. README указывает максимальную длину обучающих последовательностей 512 токенов, а метаданные — контекст 1024 токена. Это специализированная геномная модель, поэтому её результаты не следует трактовать как биологически подтверждённые без проверки. Лицензия CC BY-NC-SA 4.0 требует указания авторства и ограничивает коммерческое использование.

hugohrban/progen2-oas — зеркало базовой модели ProGen2-OAS, представленной Nijkamp и соавторами. В README отмечены небольшие изменения конфигурации и прямого прохода модели, а также пример её дообучения в связанном репозитории автора. Модель использует архитектуру ProGen с плотной сетью и авторегрессионной языковой моделью ProGenForCausalLM. Она предназначена для генерации последовательностей; семейство OAS ориентировано на последовательности антител. Контекст модели составляет 1024 токена. Репозиторий содержит веса в формате safetensors и распространяется по лицензии BSD 3-Clause.

ProteinLM — экспериментальная языковая модель на архитектуре Gemma 2, разработанная для генерации аминокислотных последовательностей. В README указано, что модель содержит 336 млн параметров и предварительно обучается на последовательностях длиной до 512 аминокислот; метаданные Hugging Face указывают 268,5 млн параметров и нативный контекст 512 токенов. В качестве основы использована JuIm/ProGemma2, модель дообучена с целью сравнить генерацию последовательностей в ProGemma и ProtGPT на базе GPT-2. Модель предназначена для генерации белковых последовательностей и исследовательского сравнения качества генерации. В карточке приведены значение training loss около 1,6 и результаты perplexity и метрик AlphaFold 3 ptm, pLDDT и iptm, в целом сопоставимые с ProtGPT для последовательностей длиной до 250 аминокислот; для более надёжных выводов нужны дополнительные тесты. Доступны веса в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

ProtGPT3-112M — авторегрессионная языковая модель для генерации белковых последовательностей, разработанная командой AI4PD. Это самая компактная модель семейства ProtGPT3. Она принимает одну белковую последовательность или затравку и продолжает её, предсказывая последовательность токен за токеном. Архитектура — причинная Mixtral-подобная смесь экспертов; модель содержит 21 млн параметров и рассчитана на контекст до 1025 токенов. Модель подходит для генерации и исследования вариантов белковых последовательностей. Она обучена на общедоступных данных о белках и может наследовать их смещения. Результаты могут быть нефункциональными, нестабильными, нерастворимыми или биологически неправдоподобными; функциональность, безопасность и возможность синтеза не гарантируются. Сгенерированные последовательности требуют вычислительной и экспериментальной проверки, а модель не должна быть единственным основанием для клинических, экологических или критически важных решений. Лицензия в предоставленных данных не указана.

Qwen2.5-VL-3B-gearbox — модель cbrpnkrd, полученная дообучением Qwen2.5-VL-3B на наборе gearbox-dataset. Это мультимодальная модель с архитектурой Qwen2.5-VL для диалога по изображениям и тексту; она предназначена прежде всего для визуальных вопросов и ответов при идентификации деталей коробки передач по изображению. В README указана точность 97,70% на тестовой части gearbox-dataset против 55,47% у базовой модели. Модель содержит 3,1 млрд параметров, поддерживает контекст до 128 000 токенов и распространяется в формате safetensors через Transformers. Модель подходит для определения деталей коробки передач на изображениях и ответов на вопросы об их идентичности. Метаданные указывают английский язык. Условия лицензии в предоставленных данных не приведены.

alfredplpl опубликовал заготовку на основе Stable Diffusion XL для тех, кто хочет самостоятельно обучать модель генерации изображений с нуля. В репозитории есть варианты, где веса U-Net заменены случайными значениями с малым масштабом или нулями; README рекомендует полное дообучение через sd-scripts и также предлагает обучать текстовые энкодеры. Модель предназначена для конвейера text-to-image и используется в формате Diffusers с файлами Safetensors. Лицензия — OpenRAIL++. Это не готовая модель для генерации качественных изображений: U-Net намеренно обнулён или случайно инициализирован, поэтому перед практическим применением требуется обучение. README не приводит сведений о контексте, размере и поддерживаемых языках.

SpecTUS_pretrained_only — предобученная модель команды MS-ML для восстановления молекулярных структур по масс-спектрам GC-EI-MS. Это трансформерная модель архитектуры BART с 201,6 млн параметров, обученная генерировать SMILES-представления молекул по спектрам. Входной контекст составляет до 1024 токенов. Модель предобучена 448 000 шагов на 17,2 млн синтетических спектров, созданных моделями NEIMS и RASSP. Чекпойнт предназначен как основа для последующего дообучения на экспериментальных данных, например NIST или Wiley. На этапе предобучения точность восстановления структур составила 38% для спектров RASSP, 29% для NEIMS и 3% для спектров NIST; валидность сгенерированных канонических SMILES для синтетических спектров была выше, чем точность восстановления структуры. Поэтому результаты на реальных спектрах ограничены, и авторы рекомендуют дополнительное дообучение. Модель распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

TM-Vec 2 — модель семейства TM-Vec, разработанная scikit-bio для поиска удалённой гомологии белков. Это дообученная трансформерная языковая модель для белковых последовательностей, использующая оценку TM-score при сопоставлении структур. Модель предназначена для выявления сходства между белками, даже если их последовательности заметно различаются. Модель ориентирована на биоинформатические исследования, поиск структурно родственных белков и структурное выравнивание. В карточке Hugging Face указан pipeline fill-mask; репозиторий содержит веса PyTorch. Лицензия — BSD 3-Clause. Размер модели, длина контекста и поддержка естественных языков в предоставленных данных не описаны.

Карточка модели ICML2022/Tranception на Hugging Face совпадает с карточкой OATML-Markslab/Tranception_Large, поэтому описание составлено по ней. Tranception Large — модель для оценки приспособленности белковых последовательностей, созданная в совместном проекте Marks lab и OATML и представленная в работе о предсказании эффектов вариантов белков. Она использует авторегрессионную трансформерную архитектуру и при выводе может извлекать сведения о гомологичных последовательностях. Модель предназначена для оценки влияния мутаций, включая множественные замены и вставки или делеции, а также для анализа вариантов белков и проектирования биотерапевтических белков. По карточке модели Tranception показывает высокое качество на нескольких мутациях, устойчивость к неглубоким выравниваниям и возможность оценивать вставки и делеции. Метаданные указывают архитектуру Tranception, библиотеку PyTorch и контекст до 1024 токенов. Репозиторий содержит веса в формате PyTorch. Сведения о лицензии в предоставленных материалах отсутствуют.

UDLM-QM9 — предобученная модель семейства Uniform Diffusion Language Models от kuleshov-group, разработанная для заполнения маскированных токенов. Она обучена на наборе QM9 с использованием уточнённой целевой функции ELBO для дискретной диффузии с равномерным шумом и непрерывным временем. Архитектура основана на Diffusion Transformer и включает 12 блоков многоголового внимания с 12 головами, скрытое измерение 768 и adaLN-кондиционирование по временному шагу диффузии. Модель содержит 92 млн параметров, принимает контекст до 32 токенов и доступна в формате Safetensors для библиотеки Transformers. Лицензия — Apache-2.0. Модель предназначена для экспериментов с диффузионным языковым моделированием на данных QM9 и заполнения пропущенных токенов в соответствующем домене. Короткий контекст и обучение на специализированном наборе ограничивают её применение за пределами этих данных.

jarod0411/zinc10M_gpt2-medium_SMILES_step1 — дообученная модель генерации текста на архитектуре GPT-2 Medium, созданная на основе openai-community/gpt2-medium. По названию репозитория модель связана с последовательностями SMILES; README сообщает о дообучении на наборе данных, название которого не указано, и приводит результаты оценки: loss 0,5598 и accuracy 0,8151. Модель предназначена для продолжения текстовой последовательности в пределах контекста 1024 токена; вероятный сценарий применения — генерация строк SMILES. В репозитории указаны веса в формате safetensors. Лицензия — MIT. README не раскрывает подробности обучения и предполагаемого использования, поэтому приведённые результаты не позволяют судить о качестве химически корректных или валидных молекулярных структур.

Ankh3-large — белковая языковая модель лаборатории ElnaggarLab, описанная в статье «Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations». Это плотная модель архитектуры T5 на 1,6 млрд параметров, обученная на последовательностях белков из UniRef50 с двумя целями: восстановление замаскированных аминокислот и продолжение последовательности по её начальной части. Модель предназначена для извлечения векторных представлений белковых последовательностей и их последующего использования в задачах биоинформатики, включая предсказание вторичной структуры, флуоресценции, приспособленности вариантов GB1 и контактов между остатками. Многоцелевое предобучение помогает получать представления, применимые к разным свойствам белков; модель также обучена генерировать продолжение аминокислотной последовательности. Модель распространяется в формате PyTorch по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов. Она предназначена для белковых последовательностей и не является универсальной языковой моделью; качество зависит от конкретной последующей задачи и требует отдельной оценки.

Chemlactica-125M — дообученная на химических данных причинная языковая модель, разработанная для генерации и оптимизации малых молекул, предсказания их свойств и генерации с заданными свойствами. Она продолжает предобучение facebook/galactica-125m на 40 млрд токенов из PubChemForLM, охватывающих более 110 млн молекул, вычисленные свойства и сходства. Модель построена на архитектуре OPTForCausalLM, содержит 151,7 млн параметров и использует контекст длиной до 2048 токенов. Модель работает со структурированными химическими префиксами и SMILES. Поддерживаемые теги свойств включают SAS, QED, молекулярную массу, TPSA, CLogP, формулу, число колец и сходство. Карточка описывает обучение и данные на английском языке; модель предназначена для химического моделирования, а не для свободного диалога. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерируемые строки могут быть некорректными или дублирующимися, а молекулы — химически неправдоподобными, трудно синтезируемыми или небезопасными. Предсказания свойств не являются экспериментальными измерениями; данные PubChem могут содержать ошибки и смещения, а актуальность модели ограничена датой среза обучающих данных — 26 января 2023 года. Модель предназначена для исследований и не заменяет экспертную проверку или эксперименты.

Clinical-BR-LlaMA-2-7B — языковая модель на 6,6 млрд параметров, разработанная проектом MED-LLM-BR при участии HAILab и Comsentimento. Она дообучена на базе meta-llama/Llama-2-7b для генерации клинических записей на португальском языке, с учётом медицинской терминологии и практики документирования в Бразилии. При дообучении применялась LoRA с 16-битной точностью и адаптацией проекций q_proj и v_proj. Модель принимает текст и генерирует текст; размер контекста — 4096 токенов. Для обучения использовались клинические тексты из бразильских больниц, записи о госпитализации и медицинские публикации на европейском португальском языке. Модель предназначена для поддержки медицинских специалистов при подготовке клинической документации. Сгенерированные записи требуют проверки специалистом и не заменяют медицинское решение. Лицензия — Apache-2.0.

Antibody Generator — специализированная модель генерации белковых последовательностей для разработки терапевтических антител. Её разработали Joseph Roberts, David Noble, Rahul Suresh и Neel Patel на архитектуре ProGen2 от Salesforce; вариант small содержит 151 млн параметров. Модель дообучена на примерно 5 000 экспериментально разрешённых кристаллических структурах антител и их антигенов. Контекст составляет 1 024 токена. Модель предназначена для исследователей и специалистов в биоинформатике и молекулярной биологии: она генерирует последовательности кандидатов антител для задач иммунологии, разработки вакцин и медицинских исследований. Качество последовательностей можно предварительно анализировать, в частности, с помощью ANARCI и оценки разнообразия. Модель выдаёт кандидатов, а не подтверждённые функциональные антитела; результаты необходимо проверять экспериментально. Лицензия — Apache 2.0. README предупреждает о возможности вредоносного использования генерируемых последовательностей.

GENERator-eukaryote-1.2b-base — генеративная модель геномной последовательности, разработанная командой GenerTeam. Это плотная авторегрессионная модель семейства LLaMA с 1,2 млрд параметров, обученная на 386 млрд пар оснований эукариотической ДНК. Она предназначена для генерации ДНК-последовательностей и исследовательских задач геномики, включая оптимизацию последовательностей регуляторных элементов, таких как энхансеры. В README заявлена длина контекста 98 тыс. пар оснований, тогда как метаданные Hugging Face указывают нативный контекст 16 384 токена. Модель использует токенизатор 6-меров. Для генерации длина входной последовательности должна быть кратна шести: README рекомендует дополнять её слева символами A или обрезать слева. Иначе в конце может появиться токен вне словаря, после чего генерация способна выродиться, например, в повторение AAAAAA. В README также заявлена способность создавать белок-кодирующие последовательности и перспективность для оптимизации энхансеров; эти утверждения не заменяют независимую проверку пригодности для конкретного эксперимента. Репозиторий распространяется по лицензии MIT.

GPepT — авторская языковая модель для генерации последовательностей пептидов и пептидомиметиков, предназначенная для исследователей в области дизайна молекул и разработки пептидных терапевтических кандидатов. Она основана на архитектуре GPT-2 и содержит 738 млн параметров; модель представляет собой декодерный трансформер с 36 слоями и размерностью 1280. Предобучение выполнено на последовательностях пептидов и пептидомиметиков из ChEMBL без явной разметки.

linkerv2 — дообученная модель GPT-2 Medium, разработанная на основе jarod0411/zinc10M_gpt2-medium_SMILES_step1. Она предназначена для генерации текста; название базовой модели связывает её с последовательностями молекул в формате SMILES, поэтому модель может быть полезна для их продолжения и генерации. Архитектура — GPT-2 с плотными слоями, веса сохранены в формате Safetensors, длина контекста — 1024 токена. В README приведены результаты оценки: loss 0,3096 и accuracy 0,8994, однако описание набора данных, методики оценки и предполагаемых сценариев применения отсутствует. Модель распространяется по лицензии MIT.

M4CXR — мультимодальная языковая модель Deepnoid для интерпретации рентгенограмм грудной клетки. Она обучена следовать визуальным инструкциям и объединяет несколько задач в диалоговом формате. Модель генерирует медицинские отчёты по одному или нескольким снимкам, а также по текущему исследованию с учётом предыдущих снимков и отчёта. Она отвечает на вопросы о рентгенограммах и локализует описанные текстом анатомические области или находки, возвращая ограничивающие рамки. Для генерации отчётов применяется пошаговая стратегия: сначала модель определяет находки, затем формирует текст отчёта. Модель ориентирована на медицинские сценарии с рентгенограммами грудной клетки; README не приводит размер модели, длину контекста или список поддерживаемых языков. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

MarinDNA v0.5 scaling ladder — 128M — это причинная языковая модель для генерации нуклеотидных последовательностей, разработанная Marin. Модель содержит около 128,5 млн параметров и построена на декодерном Transformer, совместимом с Qwen3; в репозитории опубликованы финальный чекпойнт обучения и токенизатор. Модель принимает строки ДНК из символов A, C, G и T без пробелов и предсказывает продолжение последовательности. Токенизатор нечувствителен к регистру и кодирует один нуклеотид одним токеном; контекст составляет 256 токенов, включая начальный токен, поэтому вход ограничен 255 основаниями. Обучение использовало смесь кодирующих, upstream- и downstream-последовательностей. Репозиторий сопровождает исследовательскую серию по масштабированию моделей ДНК; конкретные задачи вроде предсказания эффекта вариантов в README представлены как контекст сравнения, а не как заявленная специализированная функция этой модели. Модель распространяется под лицензией Apache-2.0. Токенизатор рассчитан на A/C/G/T: прочие символы преобразуются в UNK, а EOS-токен отсутствует; короткий контекст ограничивает работу с длинными последовательностями.

NaviKinase 1.0 — специализированная белковая языковая модель, разработанная Navitra Technologies. Это созданный с нуля авторегрессионный трансформер с 18 слоями, RMSNorm, RoPE и связанными эмбеддингами; модель содержит около 149,6 млн параметров и обучалась на Apple Silicon с помощью MLX. Она предназначена для генерации и продолжения аминокислотных последовательностей белков суперсемейства фосфотрансфераз EC 2.7.-, включая протеинкиназы и киназы сахаров, липидов и нуклеотидов. Генерацию можно обусловить одним из подклассов EC; модель работает с последовательностями в формате, подобном FASTA, а не с обычным текстом. Контекст обучения составлял 1024 токена. Обучение проводилось на 2,45 млн последовательностей UniProtKB, разделённых на уровне кластеров UniRef90; автор приводит тестовую потерю 1,4633 и качественную проверку наличия мотивов, которая не является подтверждённым тестом функциональной или структурной корректности. Модель не использует информацию о структуре, множественном выравнивании или гомологии и не обучалась как классификатор. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Для генерации требуется поставляемый с моделью токенизатор.