IV.6Научные исследования, математика и новые материалы

CENO-80M-base — базовый чекпойнт предварительного обучения ДНК-модели семейства CENO, разработанной CladeTeam. Это авторегрессионная языковая модель для геномных последовательностей с гибридной архитектурой Nemotron-H, объединяющей Mamba, attention и mixture of experts. В README указано 79,3 млн параметров; метаданные каталога указывают 38 млн. Модель использует посимвольный токенизатор, кодирующий основания ДНК ASCII-байтами, и не требует входов MSA. Модель предназначена для генерации геномных последовательностей, извлечения эмбеддингов и адаптации к прикладным геномным задачам с помощью дообучения или probing. Заявленная длина контекста в метаданных — 1 048 576 токенов. Чекпойнт загружается через Transformers с включением trust_remote_code; код модели включён в репозиторий. Распространяется по лицензии Apache-2.0.

Карточка модели deepseek-ai/DeepSeek-Prover-V1.5-SFT на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-Prover-V1.5-RL, поэтому описание составлено по ней. DeepSeek-Prover-V1.5-RL — языковая модель DeepSeek AI для автоматического доказательства теорем в Lean 4. Это плотная авторегрессионная модель семейства Llama с 6,5 млрд параметров и контекстом 4096 токенов. Модель дообучена с подкреплением на основе обратной связи от proof assistant после этапа supervised fine-tuning; для поиска доказательств авторы также предлагают метод RMaxTS на основе Monte Carlo tree search. Модель предназначена для генерации формальных доказательств и поиска путей доказательства математических утверждений в Lean 4. В README указаны результаты 63,5% на тестовой части miniF2F и 25,3% на ProofNet. Репозиторий содержит веса safetensors и поддерживает генерацию текста. Указана лицензия other; конкретные условия следует проверять в файлах лицензии репозитория.

GENA-LM BigBird Base Sparse T2T — открытая модель AIRI Institute для работы с длинными последовательностями человеческой ДНК. Это трансформерная masked language model на архитектуре BigBird с разреженным вниманием; модель содержит 137,8 млн параметров и принимает до 4096 BPE-токенов, что соответствует примерно 36 000 нуклеотидам. Токенизатор обучен на ДНК, а предобучение выполнено на сборке человеческого генома T2T с аугментацией SNP-вариантами из gnomAD. Основной сценарий — восстановление замаскированных участков ДНК и получение контекстных представлений последовательностей для последующей адаптации к задачам геномной классификации. По сравнению с DNABERT модель использует BPE вместо k-меров и поддерживает более длинный контекст. Для разреженного внимания требуется DeepSpeed; README указывает поддержку GPU с compute capability не ниже 7.0. Лицензия в предоставленных данных не указана.

GENERator-eukaryote-1.2b-base — генеративная модель геномной последовательности, разработанная командой GenerTeam. Это плотная авторегрессионная модель семейства LLaMA с 1,2 млрд параметров, обученная на 386 млрд пар оснований эукариотической ДНК. Она предназначена для генерации ДНК-последовательностей и исследовательских задач геномики, включая оптимизацию последовательностей регуляторных элементов, таких как энхансеры. В README заявлена длина контекста 98 тыс. пар оснований, тогда как метаданные Hugging Face указывают нативный контекст 16 384 токена. Модель использует токенизатор 6-меров. Для генерации длина входной последовательности должна быть кратна шести: README рекомендует дополнять её слева символами A или обрезать слева. Иначе в конце может появиться токен вне словаря, после чего генерация способна выродиться, например, в повторение AAAAAA. В README также заявлена способность создавать белок-кодирующие последовательности и перспективность для оптимизации энхансеров; эти утверждения не заменяют независимую проверку пригодности для конкретного эксперимента. Репозиторий распространяется по лицензии MIT.

GenomeOcean MoE 8x2.4B — модель DOE Joint Genome Institute для генерации и анализа последовательностей микробных геномов. Это авторегрессионный декодерный трансформер с разреженной архитектурой Mixtral Mixture-of-Experts: в репозитории заявлено 15,13 млрд параметров всего, около 4,25 млрд активных на токен. Модель создана на основе DOEJGI/GenomeOcean-4B: полносвязные слои исходной модели преобразовали в набор экспертов, после чего все веса обучались дальше. Используется формат safetensors и библиотека Transformers; контекст — до 10 240 токенов. Модель предназначена для исследовательского моделирования микробных геномных последовательностей: оценки правдоподобия, генерации последовательностей и адаптации к задачам геномики. Токенизатор рассчитан на последовательности ДНК в верхнем регистре и штатно обрабатывает A, C, G, T и N; U нормализуется в T, а неоднозначные коды IUPAC не несут специфической информации и превращаются в неизвестный токен. В README отмечено, что качество на непрерывных длинных контигах, специализированные биологические бенчмарки и биологическая функция сгенерированных последовательностей не установлены; контексты длиннее 10 240 токенов не проверены. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Это диалоговая модель для ответов на вопросы о каротажных данных скважин в области петрофизики. Она разработана на основе IFM/K2-Horizon-7B и дообучена методом DPO с нормализацией предпочтений по длине ответа и дополнительным обучением на правдоподобие выбранных ответов (RPO). LoRA-адаптер объединён с базовыми весами; опубликована версия в формате bf16. Модель предназначена для диалогового анализа вопросов и ответов по каротажным данным. В описанном эксперименте использован набор предпочтений из 8 055 обучающих и 81 проверочной пары, с последовательностями до 65 536 токенов. По README, на проверочной выборке для шага 300 точность предпочтений составила 100%; это результат конкретной выборки, а не гарантия качества в других условиях. Модель использует архитектуру K2-Horizon и шаблон чата базовой модели, а контекстное окно составляет до 524 288 токенов. Модель построена на 8-миллиардной плотной языковой архитектуре, поддерживает генерацию текста и распространяется по лицензии Apache-2.0. Для работы с ней README указывает Transformers версии 5.13 или выше и загрузку удалённого кода модели.

LEAD_B — дообученная модель BERT для заполнения пропусков в научных текстах по материаловедению. Она основана на pranav-s/MaterialsBERT и использует архитектуру BertForMaskedLM; размер составляет 136,7 млн параметров, контекст — до 512 токенов. Модель принимает текст с маскированными фрагментами и предсказывает подходящие слова или токены. Карточка приводит результаты оценки на неизвестном наборе данных: loss 1,2020 и accuracy 0,7271. Набор данных, подробные сценарии применения и ограничения в README не раскрыты. Модель опубликована в формате safetensors под лицензией other; условия этой лицензии следует проверить перед использованием.

Mistral-DNA-v1-138M-hg38 — предварительно обученная генеративная модель ДНК, опубликованная Raphael Mourad. Она предназначена для продолжения и моделирования последовательностей ДНК человека на основе сборки генома hg38. Для обучения использовались фрагменты длиной 10 кб. Модель построена на архитектуре трансформера с Mixture of Experts, Grouped-Query Attention и Sliding-Window Attention; токенизатор использует Byte-fallback BPE. В README указано 138 млн параметров, тогда как метаданные Hugging Face сообщают 36,2 млн; размер следует считать противоречивым. Метаданные указывают контекст 512 токенов. Модель основана на Mixtral-8x7B-v0.1, архитектура которой была упрощена для работы с ДНК. Это базовая модель, а не готовая система для клинической интерпретации или диагностики. Лицензия Apache-2.0. Для загрузки README рекомендует Transformers версии 4.34.0 или новее.

ysuz/Mistral-Nemo-Base-2407-bandgap — дообученная модель на базе Mistral-Nemo-Base-2407, созданная для предсказания ширины запрещённой зоны материалов по данным Materials Project. Она предназначена для оценки этого свойства в задачах вычислительного материаловедения; модель представлена в рамках практических материалов DxMT AIMHack 2024. Архитектура — плотная MistralForCausalLM с 7,1 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. В README сообщается о MAE 0,33 на тестовой выборке из 12 618 примеров при обучении на 113 568 примерах Materials Project. Авторы описывают результаты как базовый ориентир для предсказания свойств материалов с помощью LLM; для сравнения приводится MAE около 0,20 эВ у CrystalFormer на другом объёме обучающих данных. Это узкоспециализированная экспериментальная модель, а приведённая оценка получена на случайном разбиении одного датасета и сама по себе не подтверждает качество на иных материалах или условиях. Лицензия — Apache-2.0.

NFT-7B-GGUF — версия модели NFT-7B в формате GGUF, разработанная NVIDIA, Университетом Цинхуа и Стэнфордским университетом. Это авторегрессионная Transformer-модель с архитектурой Qwen2.5 и примерно 7 млрд параметров, дообученная на базе Qwen2.5-Math-7B с использованием метода Negative-aware Fine-Tuning (NFT), который учитывает как правильные, так и ошибочные ответы для улучшения рассуждений. Модель работает с текстом на английском языке, поддерживает математические выражения в LaTeX, контекст до 32 768 токенов и генерацию до 8 192 токенов. Модель предназначена прежде всего для математического решения задач и пошагового вывода, включая конкурсную математику уровня AIME, AMC и олимпиад, а также общие математические тесты. Она не рекомендуется для общего диалога и нематематических сценариев. К сильным сторонам относятся специализированная оптимизация математических рассуждений и обучение на данных DAPO-Math-17k объёмом около 17 тысяч задач; ограничения включают узкую предметную специализацию и заявленное назначение только для исследований и разработки. Указана NVIDIA Non-Commercial License, поэтому коммерческое использование не предусмотрено условиями лицензии.

InstaDeepAI/NTv3_8M_pre_8kb — небольшая предварительно обученная masked language model из семейства геномных моделей NTv3, разработанного InstaDeep. Она предназначена для исследования и заполнения замаскированных участков последовательностей ДНК; авторы отдельно предупреждают, что эта версия обучена только на последовательностях длиной 8 кб и не рекомендуется как основная модель NTv3 для получения результатов. Модель использует архитектуру в стиле U-Net: свёрточную башню, блоки Transformer, деконволюционную башню и языковую голову. Токенизатор работает на уровне символов с нуклеотидами A, T, C, G и N. Длина входной последовательности должна быть кратна 128. Для загрузки нужны Transformers версии 4.55.0 или выше и доверие пользовательскому коду репозитория. Модель преобразована из JAX в Torch; веса загружаются в fp32, также доступен bf16 с возможными небольшими численными расхождениями. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

emarro/pcad2-200M-cnet-baseline — базовая модель PlantCAD2, опубликованная Edgar Marroquin на Hugging Face и используемая как компонент GeneCAD для аннотации геномов растений. Репозиторий предоставляет модель на базе архитектуры HNetForCausalLM; в метаданных Hugging Face для неё указана задача feature-extraction и формат safetensors. Модель предназначена для извлечения признаков из последовательностей и работы в паре с соответствующей головой GeneCAD для предсказания аннотаций у покрытосеменных растений. Код GeneCAD указывает, что эта база и голова не взаимозаменяемы с вариантами для животных. Данных о размере контекста, поддерживаемых языках и лицензии в доступных источниках нет.

Карточка модели ShuaiAnwo/pore-codec-rsq742c12a-516 на Hugging Face совпадает с карточкой ShuaiAnwo/pore-codec-rsq742c12a-514, поэтому описание составлено по ней. PoreCodec-RSQ742C12A — нейронный кодек для электрических сигналов нанопорового секвенирования. Модель преобразует непрерывные измерения ионного тока в компактные иерархические последовательности дискретных токенов и может восстанавливать сигнал по этим представлениям. Архитектура включает одномерный свёрточный кодировщик, 512-мерное латентное представление и детерминированную Residual Finite Scalar Quantization с двумя этапами квантования; коэффициент понижения временного разрешения — 4. Модель доступна через Transformers и хранится в формате Safetensors. Кодек предназначен для токенизации и сжатия сигналов нанопор, построения представлений для моделей последовательностей, а также для поиска и индексирования чтений. FeatureExtractor выполняет предобработку сигнала, включая удаление выбросов и нормализацию. По данным карточки, конечные кодовые книги хранятся в контрольной точке, а детерминированное скалярное квантование избегает коллапса кодовой книги, характерного для некоторых VQ-VAE. Модель не предназначена для basecalling или предсказания последовательности ДНК; она рассчитана на предварительно обработанные сигналы нанопорового тока. Лицензия — Apache-2.0.

PoreCodec-RSQF42C12A — нейронный кодек для электрических сигналов нанопорового секвенирования, опубликованный ShuaiAnwo. Сверточный энкодер Conv1D с двумя этапами понижения разрешения уменьшает сигнал в 4 раза и формирует признаки размерности 512; Residual Finite Scalar Quantization (Residual FSQ) преобразует их в иерархические дискретные токены, а сверточный декодер восстанавливает нормализованный сигнал. Указаны уровни FSQ 15/15/15/15, два квантизатора и размер кодовой книги 50 625. Модель предназначена для токенизации и сжатия сырых токов нанопоровых измерений, а также для получения дискретных представлений для последующей обработки языковыми и последовательностными моделями, поисковыми системами и биоинформатическими приложениями. Встроенный экстрактор признаков выполняет коррекцию границ, удаление выбросов и нормализацию; доступны два варианта предобработки. README также описывает восстановление сигнала из токенов и сквозной режим кодирования и декодирования. Модель принимает одномерный массив измерений тока и выдает признаки и дискретные индексы; язык входных данных неприменим. В репозитории указаны веса safetensors и лицензия Apache-2.0. README не приводит количественных результатов точности или сжатия, поэтому качество на конкретных типах сигналов следует оценивать отдельно; восстановленный сигнал описан как нормализованный.

SeongryongJung/qwen3-8b-material-srpo-ema005 — дообученная модель на базе Qwen/Qwen3-8B, опубликованная в формате Transformers. Это последний чекпойнт обучения SRPO для набора данных material; в карточке приведена лучшая валидационная метрика mean@16 — 75% на шаге 20, тогда как для опубликованного чекпойнта global_step_100 указано итоговое значение 69,81%. Лучшая метрика относится к промежуточному шагу и не характеризует напрямую доступные веса. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и имеет контекст длиной 40 960 токенов. Она предназначена для генерации текста в сценариях, связанных с материалами; исходная Qwen3-8B поддерживает многоязычный диалог, следование инструкциям, рассуждения, код и вызов инструментов, однако README не подтверждает качество этих возможностей после данного дообучения. Лицензия — Apache-2.0.

SciCore-Omics — биомедицинская мультимодальная модель компании OpenBMB для совместного анализа гистологических изображений, пространственных транскриптомных профилей и биологического текста. Она предназначена для рассуждений в задачах пространственной биологии и патологии, а также для интерпретации биомедицинских данных на естественном языке. Модель основана на архитектуре MiniCPMV и содержит 7,1 млрд параметров. Для кодирования транскриптомных данных используется ветвь NicheFormer, Gene Q-Former и Gene Projector, выравнивающая представления генов с токенами языковой модели. Поддерживаются анализ изображений или генов по отдельности и совместное рассуждение по изображениям и профилям генов; контекст составляет до 32 768 токенов. Модель работает с изображениями, биологическими данными и текстом на английском и китайском языках. SciCore-Omics подходит для биомедицинской интерпретации, но может выдавать неточные или неполные выводы. Её нельзя использовать как самостоятельную систему клинической диагностики или рекомендаций по лечению. Веса распространяются по лицензии Apache-2.0; авторы указывают исследовательское назначение.

varcoder/segformer-b4-crack-segmentation-dataset — модель семантической сегментации изображений на архитектуре SegFormer, дообученная на основе nvidia/mit-b0 для выделения трещин. Она предназначена для получения пиксельной маски трещин на изображениях; в README приведены результаты на оценочном наборе: mean IoU 0,3346 и mean accuracy 0,6691. Модель использует Transformers и веса PyTorch. Лицензия указана как other, поэтому условия её использования следует уточнить в репозитории.

SegFormer-B5 от EPFL-ECEO — модель семантической сегментации изображений коралловых рифов. Она основана на архитектуре SegFormer с энкодером MiT-B5, предварительно обученным на ImageNet, и дообучена на наборе данных Coralscapes для распознавания сцен рифов. Модель принимает изображения и присваивает пиксели семантическим классам Coralscapes. Обучение проводилось с усиленными аугментациями; оценка выполнялась скользящими окнами размером 1024×1024. На тестовой выборке указаны точность 82,761 и средний IoU 57,8. Модель предназначена для анализа подводных изображений в задачах экологического мониторинга и исследования коралловых рифов. Она дообучена от nvidia/mit-b5 и распространяется по лицензии Apache-2.0; качество за пределами данных и классов Coralscapes не описано.

Waypoint-6m — модель на архитектуре GPT-2, разработанная outpost-bio для моделирования последовательностей таксономических меток из данных микробиома. Она обучалась как авторегрессионная языковая модель на строках с таксономическими последовательностями, разделёнными переводами строк, и использует специализированный TaxonomicTokenizer с удалённым кодом токенизатора. Модель предназначена для исследовательских экспериментов и прототипирования: генерации таксономических последовательностей и изучения структуры последовательностей и совместной встречаемости таксонов. Это специализированная модель для текстовой генерации, а не диагностический или клинический инструмент; она не проверена для регулируемых и критически важных решений. Репозиторий закрытый (gated): для доступа требуется авторизация в Hugging Face. Лицензия — Apache-2.0.

WhisperSeg-base-animal-vad — модель на базе WhisperSeg, разработанная исследователями из Университета Цюриха и ETH Zurich. Чекпойнт Whisper Transformer дообучен для сегментации голосовой активности животных и предназначен для обнаружения вокализаций и определения их временных границ в аудиозаписях. В README приведён пример разметки с временными отметками начала и конца фрагментов и метками кластеров; модель обучена на наборах сегментации вокализаций пяти видов. Модель содержит 51,7 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате PyTorch. Она ориентирована на анализ голосов животных; её пригодность для других видов, условий записи и человеческой речи отдельно не описана. Лицензия — Apache-2.0.

Это кодировщик изображений zoobot-encoder-greyscale-convnext_nano из проекта Zoobot, предназначенный для использования как визуальная основа при работе с изображениями. Модель построена на архитектуре ConvNeXt Nano и доступна через библиотеку timm; README показывает загрузку кодировщика с отключённой классификационной головой для дальнейшей настройки или извлечения признаков. Карточка относит модель к image-classification и описывает её как encoder, который можно загружать и дообучать по инструкциям Zoobot. Название указывает на обработку изображений в градациях серого; сведений о конкретных задачах Zoobot, разрешении входа и результатах оценки в карточке нет. Модель распространяется по лицензии Apache-2.0.

BALM-paired — языковая модель антител, разработанная Briney Lab. Модель на архитектуре RoBERTa предварительно обучена на примерно 1,6 млн парных последовательностей антител из набора Jaffe et al. Веса доступны в формате safetensors; размер модели — 402,7 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для работы с парными последовательностями тяжёлой и лёгкой цепей антител, записанными подряд в формате HEAVY_CHAINLIGHT_CHAIN. Она поддерживает задачу fill-mask: предсказание замаскированных токенов в последовательности. Для загрузки используются Transformers и RobertaTokenizer/RobertaForMaskedLM. Специализация на антителах позволяет применять модель для анализа и исследования последовательностей в иммунологии и биоинформатике. Лицензия — MIT. README не описывает результаты бенчмарков или гарантии качества; длина контекста ограничена 512 токенами.

BioBART-v2-large — англоязычная биомедицинская генеративная языковая модель семейства BART, разработанная авторами работы BioBART. Версия V2 использует новый словарь биомедицинской лексики; модель содержит 288,8 млн параметров и имеет контекст до 1024 токенов. Модель предназначена для генерации и преобразования текста в биомедицинских задачах. Архитектура encoder-decoder позволяет использовать её для текстовых задач формата text-to-text, однако карточка не перечисляет отдельные сценарии и результаты оценки качества. Доступны веса PyTorch и Safetensors. Модель работает с английским текстом. Репозиторий распространяется по лицензии Apache-2.0. Ограничение контекста составляет 1024 токена; качество для конкретной задачи следует оценивать отдельно.

BioDistilBERT-cased — языковая модель семейства DistilBERT, разработанная путём продолжительного обучения исходной DistilBERT-cased на корпусе PubMed. Она предназначена для восстановления скрытых токенов в биомедицинских текстах и может применяться для дополнения фраз и анализа контекста публикаций. Модель имеет 6 трансформерных слоёв, размер скрытого представления 768, словарь из 28 996 токенов и около 65 млн параметров; максимальная длина контекста — 512 токенов. Поддерживает регистр исходного текста и поставляется в формате PyTorch. Модель рассчитана на биомедицинские тексты, в частности научные публикации PubMed. Лицензия MIT допускает широкое использование. Карточка не сообщает результаты оценки качества или ограничения применения; выходы модели следует проверять в целевом контексте.

BiomedCLIP-PubMedBERT_256-vit_base_patch16_224 — мультимодальная модель Microsoft для биомедицинских изображений и текстов. Она обучена контрастивным методом на 15 млн пар «рисунок — подпись» из научных статей PubMed Central (PMC-15M); текстовый энкодер основан на PubMedBERT, а визуальный — на Vision Transformer с патчами 16×16 и входным разрешением 224×224. Модель предназначена для исследовательских задач визуально-языковой обработки в биомедицине, включая классификацию изображений без обучения на целевых классах, поиск соответствий между изображениями и текстом, а также визуальные вопросы и ответы. Модель подходит для анализа микроскопических, рентгенологических, гистологических и других биомедицинских изображений в исследовательских экспериментах и воспроизведении результатов статьи. Она обучена на англоязычных данных и рассчитана на английский язык. Авторы прямо указывают, что любое внедрение в рабочие системы, коммерческое или иное, не входит в предполагаемую область применения. Лицензия репозитория — MIT.

C2S-Pythia-410m-diverse-single-and-multi-cell-tasks — модель Vandijklab на архитектуре GPT-NeoX, созданная дообучением EleutherAI/pythia-410m методом Cell2Sentence. Она преобразует данные scRNA-seq в последовательности названий генов («предложения клеток») и предназначена для анализа отдельных клеток и групп клеток. Модель обучалась на более чем 57 миллионах клеток человека и мыши из более чем 800 наборов данных CellxGene и Human Cell Atlas. Модель генерирует последовательности генов, предсказывает типы клеток и ткань происхождения, а также поддерживает генерацию, обусловленную типом клетки или ткани. Другие сценарии включают преобразование описаний мультиклеточных образцов в аннотации и обратно, а также сопоставление названий наборов генов со списками генов. Размер модели — 454,2 млн параметров, контекст — до 8192 токенов. Для работы с моделью нужны данные в текстовом представлении Cell2Sentence; она не принимает матрицы экспрессии напрямую. Веса доступны по лицензии CC-BY-4.0. Модель специализирована на данных человека и мыши, поэтому перенос её результатов на другие виды или биологические задачи вне обучающих сценариев не подтверждён.

HuggingFaceBio выпустила Carbon-500M — авторегрессионную модель для генерации последовательностей ДНК на 511,8 млн параметров с плотной decoder-only архитектурой семейства Llama. Модель загружается как стандартный causal LM для Transformers. Её гибридный токенизатор использует 6-меры для ДНК и Qwen3 BPE для английского текста; один токен ДНК соответствует примерно шести парам оснований. Предобучение охватывает 600 млрд токенов, а штатный контекст составляет 8192 токена, или около 49 тысяч пар оснований. Модель предназначена для генерации и оценки геномных последовательностей. В ветке FNS доступны управление генерацией на уровне отдельных нуклеотидов, маски по позициям, а также оценка вероятности наблюдаемых оснований. Обучение использовало смесь эукариотических генов, зрелой и обогащённой сплайсингом мРНК и бактериальных геномов; модель ориентирована на спекулятивное декодирование, поэтому её качество в задачах работы с ДНК ограничено. Данные генетических последовательностей чувствительны, а порядок их обработки зависит от выбранного сервиса или провайдера. Лицензия — Apache-2.0.

CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask — англоязычная модель BERT для предсказания замаскированных слов, дообученная Mardiyyah на наборе Mardiyyah/TAPT_CeLLaTe2.0. Она основана на microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext и предназначена для задачи fill-mask в биомедицинских текстах. Модель содержит 138,2 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности текста длиной до 512 токенов. На указанном в карточке наборе оценки достигла loss 1,2144, accuracy 0,7569 и perplexity 3,3682. Доступна в формате safetensors; лицензия — Apache-2.0.

CompactBioBERT — компактная дистиллированная модель семейства BioBERT, опубликованная nlpie. Она обучена на корпусе PubMed в течение 100 тысяч шагов с общим размером пакета 192; при дистилляции объединены подходы DistilBioBERT и TinyBioBERT. Модель использует архитектуру BERT с шестью слоями трансформера, скрытым размером и размером эмбеддингов 768 и словарём из 28 996 токенов. В метаданных указано 78,9 млн параметров и контекст до 512 токенов. Модель предназначена для предсказания замаскированных токенов в биомедицинских текстах, например для заполнения пропусков в предложениях и анализа терминологии PubMed. Доступна в формате PyTorch и распространяется по лицензии MIT. Она не является чат-моделью и не предназначена для генерации длинных ответов или клинических рекомендаций.

EEG-DINO Medium — это предварительно обученный энкодер ЭЭГ примерно с 33 млн параметров, основанный на архитектуре braindecode.models.EEGDINO. Чекпойнт подготовлен для проекта OpenEEG-Bench и обучен методом иерархической self-distillation по подходу DINO-v2; для загрузки используется библиотека braindecode. Модель предназначена для извлечения признаков из сигналов ЭЭГ и последующего дообучения под задачи классификации или другие downstream-задачи. Она рассчитана на 19 каналов по системе 10–20 с частотой дискретизации 200 Гц и обучалась на корпусе Temple University Hospital EEG Corpus объёмом более 9000 часов. При загрузке классификационная голова инициализируется заново. Качество может снижаться при отличии расположения электродов от обучающего монтажа; входные данные следует привести к 200 Гц. Лицензия репозитория — BSD-3-Clause, однако README рекомендует проверить лицензию обучающего корпуса перед коммерческим использованием.