II.8Инженерия данных и аналитика

BLASt3R Matcher — модель сопоставления изображений для метода BLASt3R, разработанного Naver. Она входит в систему реконструкции 3D-сцен с bundle adjustment и визуальной SLAM по коллекциям изображений или видео. Для работы BLASt3R нужны два чекпойнта: эта модель сопоставления и отдельная модель глубины naver/blast3r-depth. Репозиторий содержит веса в формате safetensors и настройки извлечения изображений; для реконструкции требуется код BLASt3R. Модель предназначена для нахождения соответствий между изображениями как этапа многовидовой реконструкции. Указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

BLUM Finance 4B — специализированная языковая модель для финансовых рассуждений, разработанная Italianhype на основе Qwen/Qwen3-4B. Она анализирует предоставленные данные, актуальные на заданный момент, и формирует сбалансированные бычьи и медвежьи сценарии, риски, условия пересмотра вывода, мониторинга и воздержания от ответа. Модель предназначена для инвестиционных исследований и анализа рисков, а не для прогнозирования цен или исполнения сделок. Модель имеет плотную авторегрессионную архитектуру Qwen3ForCausalLM и около 3,7 млрд параметров. Она принимает текст и генерирует текст; карточка указывает английский и итальянский языки, а длина контекста составляет 40 960 токенов. Релиз для Transformers содержит объединённые веса LoRA, дообученные на финансовом наборе рассуждений; веса доступны в формате safetensors и BF16. Авторская оценка на 53 примерах проверяла соблюдение формата и привязку к данным, а не общие способности или доходность торговли; конвертированный релиз прошёл лишь небольшой тест на пяти примерах. Задокументирована ошибка, при которой модель перепутала компанию при недостатке доказательств. Факты и идентичность компаний необходимо сверять с надёжными источниками; уверенность не откалибрована на зрелых торговых результатах. Лицензия — Apache-2.0.

Это детектор объектов YOLO11n, дообученный на наборе Brackish Underwater в рамках DetectionBench. Он предназначен для обнаружения подводных животных на изображениях: крабов, рыб, медуз, креветок, мелких рыб и морских звёзд. Модель использует архитектуру Ultralytics YOLO11 и библиотеку Ultralytics; опубликованные веса представлены в формате PyTorch. В тестировании на Brackish Underwater модель показала mAP@50 98,87% и mAP@50–95 83,27%. Эти результаты относятся к тестовой выборке указанного набора данных и не гарантируют аналогичного качества в других условиях. Обучающие данные несбалансированы: крабы и мелкие рыбы составляют большую часть разметки, а креветки и медузы встречаются редко. Съёмка велась одной камерой в одном месте, поэтому перенос на другие камеры, водоёмы и типы воды не проверен. Лицензия модели — AGPL-3.0.

anum231/cancer_classifier_100 — дообученная модель классификации изображений на архитектуре Vision Transformer (ViT), разработанная пользователем anum231. Модель содержит 113,2 млн параметров и доступна в формате TensorFlow. В карточке указана классификация изображений, связанных с раком; подробности о классах и наборе данных не приведены. Модель можно применять для экспериментальной классификации изображений в сценариях, связанных с выявлением рака. В README приведены результаты обучения: точность на обучающей выборке 67,24%, ошибка на обучающей выборке 0,5354 и ошибка на валидационной выборке 0,8077 после 22 эпох. Лицензия — Apache-2.0. Эти сведения не подтверждают пригодность модели для клинической диагностики.

Модель gfichetdc/casting-defect-vit — дообученная модель ViT-B/16 на базе google/vit-base-patch16-224 для визуального контроля литых деталей. Она классифицирует изображения поверхности крыльчаток погружных насосов по двум классам: «дефектная» и «годная». Для запуска доступна через pipeline image-classification в Transformers; модель содержит 113,2 млн параметров и распространяется в формате safetensors. В README сообщается об обучении на 6 633 изображениях и точности 99,6% с macro F1 0,995. Эти показатели относятся к описанному автором эксперименту и не гарантируют качество на новых изделиях, условиях съёмки или производственных линиях. Обучение выполнено на изображениях отливок, поэтому применение к другим типам деталей требует отдельной проверки. Лицензия — MIT.

CENO-600M-131k — базовая модель семейства CENO для работы с геномными последовательностями ДНК, разработанная CladeTeam. Это причинная языковая модель на гибридной архитектуре Nemotron-H, объединяющей Mamba, механизм внимания и смесь экспертов (MoE); входы MSA ей не требуются. Модель содержит 336,1 млн параметров, использует посимвольную токенизацию оснований ДНК и обучалась на последовательностях длиной 131 072 токена. В метаданных указан нативный контекст 1 048 576 токенов. Модель предназначена для генерации геномных последовательностей, извлечения эмбеддингов и последующей адаптации к задачам геномики. Контрольная точка опубликована в формате safetensors для Transformers, а лицензия — Apache-2.0. Для загрузки через Transformers README указывает необходимость включить trust_remote_code, поскольку код модели включён в репозиторий.

CENO-P-1B — модель семейства CENO для предсказания эффектов генетических вариантов по множественным выравниваниям последовательностей (MSA). Она разработана для геномных задач и использует специальный путь оценки MSA: упакованные выравнивания передаются с индексом последовательности seq_idx, а эффект варианта оценивается сравнением логарифмических правдоподобий последовательностей дикого типа и мутантного варианта. По архитектуре это гибрид Mamba, Attention и Mixture-of-Experts на базе Nemotron-H; токенизатор посимвольный и сопоставляет основания ДНК их ASCII-кодам. В README размер указан как 1,3 млрд параметров, тогда как метаданные каталога указывают 638,1 млн. Контекст — до 1 048 576 токенов, формат весов — safetensors. Модель загружается через Transformers с trust_remote_code=True; код модели включён в репозиторий. Лицензия — Apache-2.0. Модель предназначена для оценки влияния вариантов в генетических последовательностях и сценариев VEP на основе MSA; она также поддерживает генерацию последовательностей и извлечение эмбеддингов как возможности базового семейства CENO. Для запуска VEP README отсылает к примеру TraitGym в сопровождающем репозитории CENO. Результаты следует интерпретировать как оценки модели, а не как самостоятельное клиническое заключение.

Компактная сверточная нейросеть VGG-подобной архитектуры, созданная AI-агентом Claude и обученная с нуля на наборе CIFAR-10. Модель предназначена для классификации небольших изображений по десяти категориям CIFAR-10: самолёт, автомобиль, птица, кошка, олень, собака, лягушка, лошадь, корабль и грузовик. Архитектура включает три сверточных блока с 64, 128 и 256 каналами, пакетной нормализацией, ReLU и пулингом, затем глобальное усреднение, dropout и линейный классификатор на 10 классов. В README указана точность 91,52% на тестовой выборке. Модель принимает изображения и выдаёт метки классов; она обучена на CIFAR-10 и не предназначена для универсальной классификации произвольных изображений. Распространяется по лицензии MIT.

matteot11 выпустил дообученный визуальный энкодер DINOv3 ViT-S/16 для поиска изображений карт Magic: The Gathering по визуальному сходству. Модель содержит 28,3 млн параметров, принимает изображения размером 224 × 224 пикселя и извлекает нормализуемые эмбеддинги для поиска ближайших соседей в отдельно подготовленном локальном каталоге карт. Для обработки используется библиотека Hugging Face Transformers. Модель дообучена на парах синтетически изменённых изображений одних и тех же карт с оптимизацией InfoNCE. Она подходит для поиска похожих изображений и вариантов карт в каталоге, но сама по себе не классифицирует карту и не подтверждает конкретное издание. Качество может снижаться из-за бликов, смаза, перекрытий, низкого разрешения, сильной обрезки, редких вариантов печати или отсутствия нужной карты в справочном каталоге; найденный результат следует проверять. В метаданных указана лицензия «other», поэтому конкретные условия использования нужно сверить с карточкой модели.

alkzar90 разработал эту модель как дообученную версию ViT Base с патчами 16×16 и входным разрешением 224 пикселя из google/vit-base-patch16-224-in21k. Модель содержит 113,2 млн параметров и классифицирует изображения существ из набора croupier-mtg-dataset, связанного с карточной игрой Magic: The Gathering. Модель подходит для определения класса существа на изображении в сценариях, связанных с этим набором данных. На указанной в карточке оценочной выборке точность составила 0,7471, а loss — 0,7583. Лицензия — Apache-2.0.

rabbitarii/densenet121-brain-tumor-detection — модель классификации МРТ-снимков головного мозга, дообученная на базе DenseNet121 с предобучением ImageNet из torchvision. Она распределяет изображения по четырём классам: глиома, менингиома, отсутствие опухоли и опухоль гипофиза. Для обучения использованы 5 249 изображений из Brain Tumor Detection Dataset; ограничивающие рамки разметки не применялись, использовались только метки классов для всего изображения. В README указана точность 0,9738 и функция потерь 0,0783 на тестовой выборке. Веса сохранены в формате safetensors как PyTorch state_dict; это не модель формата Transformers. Модель предназначена для исследовательских и учебных экспериментов с классификацией медицинских изображений. Лицензия в предоставленных данных не указана. Модель не является медицинским изделием и не предназначена для клинической диагностики или принятия решений о лечении. Результаты на тестовой выборке сами по себе не подтверждают качество на иных данных или в клинической практике.

DERETFound_AMD_AREDS — модель классификации изображений для анализа OCT-снимков сетчатки. Это дообученная на наборе данных AREDS модель DERETFound, разработанная для медицинских изображений. В карточке она представлена как вариант семейства DERETFound, посвящённый возрастной макулярной дегенерации (AMD). Модель предназначена для задач классификации OCT-изображений в офтальмологии. Репозиторий содержит веса PyTorch, модель доступна через библиотеку timm. Лицензия — Apache-2.0. Карточка не описывает конкретные классы классификации, метрики качества или клинические условия применения.

ESM-2 — белковая языковая модель, разработанная Meta AI и обученная на задаче предсказания замаскированных аминокислот в последовательностях белков. Чекпойнт esm2_t30_150M_UR50D использует плотную архитектуру ESM с 30 слоями и примерно 196,6 млн параметров; модель принимает последовательности белков длиной до 1026 токенов. Модель предназначена для дообучения и применения в задачах, где входом служит аминокислотная последовательность, включая предсказание скрытых остатков и получение представлений белков для последующих задач. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия MIT.

nvidia/esm2_t36_3B_UR50D — оптимизированная NVIDIA версия белковой языковой модели ESM-2, исходно разработанной Facebook Research. Это трансформер с 36 слоями и примерно 3 млрд параметров, обученный на последовательностях белков UniRef90 и UniRef50 методом masked language modeling. Модель принимает строку аминокислотной последовательности длиной до 1022 остатков и выдаёт векторные представления для каждого остатка и последовательности в целом; контекст по метаданным составляет 1026 токенов. Модель предназначена для получения белковых эмбеддингов и тонкой настройки на задачи, принимающие аминокислотные последовательности, включая предсказание структуры белка и классификацию токенов. README описывает структурное предсказание как сценарий применения, однако непосредственно заявленный pipeline tag — fill-mask. Оптимизация выполнена с помощью NVIDIA TransformerEngine; README отмечает возможные небольшие численные отличия от исходной версии. Для длинных последовательностей вход автоматически усекается до 1022 аминокислот. Модель распространяется под лицензией MIT и заявлена как пригодная для коммерческого и некоммерческого использования. В README указана ориентация на ускорение на GPU NVIDIA; также модель доступна через Transformers.

ESM-2 — белковая языковая модель от Facebook, обученная предсказывать скрытые аминокислоты в последовательностях. Этот чекпойнт содержит 48 слоёв и около 20,1 млрд параметров по метаданным; README указывает размер 15 млрд параметров. Архитектура — плотная модель ESM с головой masked language modeling, доступная в формате PyTorch. Максимальная длина контекста — 1026 токенов. Модель предназначена для работы с белковыми последовательностями и может быть дообучена для различных задач, где на вход подаются последовательности белков. Большой размер чекпойнта может дать более высокую точность по сравнению с меньшими моделями ESM-2, но требует значительно больше памяти и времени на обучение. Лицензия — MIT.

multimolecule/esmc-600m — неофициальная реализация ESM Cambrian (ESMC), белковой языковой модели, разработанной авторами работы «Language Modeling Materializes a World Model of Protein Biology» и выпущенной командой MultiMolecule. Это предварительно обученный энкодерный Transformer с 573,4 млн параметров, rotary position embeddings, нормализацией QK и блоками SwiGLU. Модель принимает последовательности аминокислот и обучена предсказывать замаскированные токены по окружающему контексту; максимальный контекст — 2048 токенов. Модель предназначена для восстановления пропущенных аминокислот, получения представлений белковых последовательностей и использования в качестве основы для последующего дообучения на задачах классификации или регрессии последовательностей и отдельных остатков. Обучение проводилось на данных UniRef, MGnify и Joint Genome Institute; карточка указывает, что upstream-модель обучалась примерно на 2,8 млрд белковых последовательностей. Реализация использует библиотеку multimolecule и распространяется в форматах PyTorch и safetensors. Лицензия — AGPL-3.0. Реализация обозначена как неофициальная; команда MultiMolecule сообщает о совпадении промежуточных представлений с оригинальной реализацией. Модель не дообучена для конкретной downstream-задачи, поэтому для классификации или регрессии требуется дополнительное дообучение.

Synthyra/ESMFold2-Experimental-Cutoff2025 — это опубликованная Synthyra упаковка контрольной точки biohub/ESMFold2-Experimental-Cutoff2025 для запуска через FastPLMs и Hugging Face Transformers. Модель семейства ESMFold2 предназначена для предсказания трёхмерной структуры белков по аминокислотной последовательности; поддерживает одиночные последовательности, входы с множественным выравниванием и типизированные комплексы с белками и другими молекулами. Контрольная точка содержит 48 блоков, а её обученное представление остатков имеет размерность 256. Интерфейс также предоставляет извлечение представлений, но классификационные головы создаются заново и не обучены: их выходы нельзя трактовать как предсказания без дообучения. Модель умеет выдавать координаты и оценки уверенности, которые сами по себе не подтверждают биохимическую активность. Карточка описывает экспериментальные режимы точности и ускорения, включая FP8 только для инференса и оконное внимание, меняющее численный результат. Для структурной подготовки нужен ресурс CCD из biohub/ESMFold2. Лицензия — MIT.

Synthyra/ESMplusplus_small — версия контрольной точки Biohub ESMC-300M, упакованная разработчиками FastPLMs для работы через Hugging Face Transformers. Это плотная белковая языковая модель с 442,4 млн параметров и головой masked language modeling; она принимает аминокислотные последовательности, преобразованные в идентификаторы остатков. Основная задача модели — предсказывать замаскированные остатки в белковой последовательности. Репозиторий также предоставляет интерфейсы для получения эмбеддингов и downstream-классификации последовательностей и остатков. Модель подходит для векторизации белковых последовательностей и подготовки признаков для биологических анализов. Головы классификации в этом артефакте инициализированы заново и требуют дообучения, прежде чем их выходы можно интерпретировать как предсказания. Поддерживаются несколько attention-бэкендов; численные результаты BF16 в Flex Attention и FlashAttention 3 могут отличаться от SDPA. Лицензия — MIT.

gLM2_650M — геномная языковая модель tattabio на 650 млн параметров, обученная на наборе данных OMG. Это трансформер-энкодер с целью masked language modeling: он обрабатывает геномный контиг как последовательность кодирующих белок участков CDS и межгенных участков IGS. CDS кодируются токенами аминокислот, IGS — токенами отдельных нуклеотидов; специальные токены обозначают положительную или отрицательную цепь. В обновлённой версии контекст увеличен до 4096 токенов. Модель предназначена для анализа геномных последовательностей, в частности для восстановления замаскированных токенов и получения представлений геномных участков. При подготовке входа аминокислоты должны быть в верхнем регистре, а нуклеотиды — в нижнем, чтобы избежать неоднозначности токенов. Данные OMG были очищены от близких дубликатов методом SemDedup. Репозиторий распространяется по лицензии Apache-2.0.

HViLM-base — геномная фундаментальная модель для анализа вирусных последовательностей, разработанная Pratik Dutta и соавторами. Она получена продолженным предобучением DNABERT-2 на примерно 5 млн фрагментов вирусных последовательностей из ресурса VIRION, представляющих около 9 000 видов вирусов из более чем 45 семейств. Модель сохраняет архитектуру и BPE-токенизатор DNABERT-2; её размер составляет около 116,4 млн параметров, а контекст — 512 токенов. HViLM-base предназначена для извлечения представлений последовательностей и адаптации к задачам вирусной геномики. На её основе выпущены отдельные дообученные модели для классификации патогенности, трансмиссивности и тропизма к человеку; сама базовая модель не является готовым классификатором для этих задач. Для актуальной оценки авторы рекомендуют бенчмарк HVUE v2, сформированный с кластеризацией исходных последовательностей до разделения на выборки и проверками утечки сходных последовательностей. Модель доступна в формате PyTorch через Transformers по лицензии Apache-2.0. Её прогнозы являются исследовательскими результатами и не заменяют экспериментальную, клиническую, эпидемиологическую или санитарно-эпидемиологическую оценку. Биологическая близость последовательностей может сохраняться между выборками, а оценки трансмиссивности и тропизма опираются на упрощённые бинарные метки.

LLaVA-Rad — мультимодальная модель Libra для создания радиологических заключений по рентгеновским снимкам грудной клетки. Чекпойнт объединяет архитектуру Libra на основе LLaVA и LLaVA-Med со специализированным визуальным энкодером BiomedCLIP-CXR; в метаданных указаны 6,6 млрд параметров и контекст 4096 токенов. Модель принимает изображение снимка и формирует текст с описанием находок и структурированным отчетом. Модель предназначена для экспериментов и сравнительной оценки автоматической генерации заключений по рентгенограммам. В README указано, что переносы строк в отчетах намеренно сохраняются и могут потребовать нормализации при расчете метрик. Чекпойнт не валидирован для клинического применения; авторы не рекомендуют использовать его для диагностики или лечения. Лицензия в предоставленных данных не указана.

Ling 3.0 Flash Fin — финансовая модель семейства Ling 3.0 от InclusionAI, созданная на основе Ling 3.0 Flash. Это смесь экспертов с 5,1 млрд активных параметров из 124 млрд общих. Модель предназначена для практических инвестиционных сценариев.

MediKo-9B-A4B-base — базовая контрольная точка корейской медицинской языковой модели MediKo, разработанной на основе Qwen3-4B и дообученной на медицинском и общеязыковом корпусах. Модель предназначена для генерации текста в задачах корейского медицинского NLP и исследовательского анализа медицинских текстов. В модели используется архитектура VocMoE: расширенный медицинский словарь добавляет 5 000 корейских медицинских токенов, а механизм MoDE направляет их специализированным экспертам. В README указано 9,4 млрд параметров всего и 4,5 млрд активных параметров; метаданные каталога указывают 3,7 млрд параметров. Контекст составляет до 40 960 токенов. Заявлены корейский и английский языки, однако проверка модели описана только на корейском медицинском тексте. Лицензия — Apache-2.0. Это базовая, а не настроенная для инструкций версия, поэтому её следует использовать как основу для дальнейшей адаптации или в исследовательских экспериментах, а не ожидать от неё поведения готового медицинского чат-ассистента. README приводит оценки на KorMedMCQA, KMMLU-Med, EnMed, KoBEST и HAE-RAE и отмечает риск галлюцинаций. Модель не является медицинским устройством: её ответы нельзя использовать для диагностики, лечения, назначения препаратов или клинических решений; не следует передавать персональные данные пациентов.

MicroGlot — специализированная языковая модель ДНК для микробной геномики, разработанная Athan Z. Li и соавторами. Это 23-слойный декодерный трансформер с разреженной архитектурой mixture-of-experts, обученный предсказывать следующий нуклеотид на корпусе из 378,3 млрд нуклеотидов и 3,70 млн последовательностей от 99 700 видов микроорганизмов. В карточке указано 2,98 млрд параметров, из которых активно используются 479 млн на токен; метаданные репозитория указывают 255,6 млн параметров. Модель принимает последовательности ДНК и, в основной версии, сведения о виде организма. Таксономия представлена гиперболическими вложениями и используется для управления маршрутизацией экспертов. Она предназначена для извлечения признаков и генерации последовательностей ДНК в задачах микробной геномики. Для последовательностей без известного вида предусмотрена версия MicroGlot-plain; при таксономической классификации рекомендуется использовать её, чтобы не передавать модели целевую метку как условие. Для работы требуются Transformers, NVIDIA GPU и FlashAttention-2; README сообщает о тестировании на Linux. Лицензия — CC BY 4.0. Размер параметров в README расходится с метаданными репозитория, а описание не приводит результаты конкретных бенчмарков.

MIST — Molecular Insight SMILES Transformers — это молекулярный энкодер, разработанный Electrochemical Energy Group Мичиганского университета. Модель на 1,8 млрд параметров предварительно обучена на примерно 116 млрд токенов SMILES из набора Enamine REAL Space с помощью masked language modeling; архитектура в метаданных — RoBERTa PreLayerNorm для заполнения маски. Метаданные указывают 2,4 млрд параметров и контекст 2048 токенов. Модель предназначена для представления молекул по строкам SMILES и последующего дообучения для прогноза молекулярных свойств. Её можно использовать для получения эмбеддингов и оценки структурного сходства молекул, а также как основу для supervised-предсказаний свойств. Карточка демонстрирует токенизацию кекулизованных SMILES; задачей Hugging Face указано заполнение маски. Модель принимает текстовые SMILES и выдаёт текстовые предсказания маски или векторные представления. Веса распространяются по лицензии Apache-2.0, однако README отдельно запрещает перераспределение без разрешения и коммерческое использование без лицензионного соглашения и указывает на исследовательское применение без гарантий корректности. Перед использованием следует учитывать эти условия и проверять точность прогнозов на целевой задаче.

Это англоязычная модель ModernBERT-Small для восстановления замаскированных токенов в тексте. Модель с 31,8 млн параметров обучена с нуля автором репозитория на корпусе BabyLM 2026 Strict-Small объёмом около 10 млн слов. Она предназначена для экспериментов с предобучением языковых моделей на ограниченных объёмах данных и сравнения способов представления токенов в эмбеддинг-слое. Архитектура включает 16 слоёв, скрытый размер 384, 6 голов внимания, RoPE, GeGLU и чередование локального и глобального внимания. Входные эмбеддинги используют линейную факторизацию через 128-мерное пространство; выходной декодер не связан весами с входными эмбеддингами. Модель работает с английским текстом и byte-level BPE-токенизатором на 30 522 токена. Указанная лицензия — MIT. Модель подходит для заполнения пропусков и оценки влияния факторизации эмбеддингов в экспериментах BabyLM. В README описана оценка на задачах языкового понимания и последующая настройка на GLUE/SuperGLUE, но сама модель является masked language model, а не готовым чат-ассистентом или генератором текста. Результаты качества в карточке не приведены.

Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с архитектурой PinyinCodeForCausalLM. Репозиторий содержит экспорт модели с 41,7 млн параметров и контекстом до 512 токенов; токенизатор использует собственный формат atomic_bpe_within, а входной текст представлен в виде pinyin-code. Для преобразования обычного китайского текста в пиньинь предусмотрен pypinyin, а сегментация с jieba включена в конфигурации экспорта. Модель предназначена для авторегрессионной генерации продолжения текста на пиньинь-коде. Она также позволяет извлекать скрытые представления через output_hidden_states, что может быть полезно в экспериментальных задачах представления текста. Для загрузки требуется Transformers с trust_remote_code=True и причинный бэкенд; лицензия в предоставленных данных не указана.

Nucleotide Transformer 2.5B 1000G — модель семейства Nucleotide Transformers, разработанная InstaDeep, NVIDIA и TUM для анализа последовательностей ДНК. Это плотный трансформер с архитектурой ESM и задачей masked language modeling: модель восстанавливает скрытые токены в последовательности и может служить основой для прогнозирования молекулярных фенотипов и других задач геномики. Модель содержит 3,4 млрд параметров по метаданным каталога; в README для варианта указано 2,5 млрд. Она предобучена на последовательностях из 3202 генетически разнообразных геномов людей проекта 1000 Genomes, включая данные 27 популяций. Токенизатор использует 6-меры, а длина входа достигает 1000 токенов; модель принимает токенизированные последовательности ДНК и предсказывает токены, включая замаскированные. Репозиторий предоставляет веса PyTorch, а README также упоминает TensorFlow. Модель подходит для заполнения масок в ДНК и как основа для задач геномного прогнозирования. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные материалы на тех же условиях и запрещает коммерческое использование. Предобучение отражает набор данных человеческих геномов, поэтому применение к другим видам и популяциям требует отдельной оценки; максимальная последовательность ограничена примерно 1000 токенами.

Nucleotide Transformer 500M 1000G — трансформерная языковая модель для анализа последовательностей ДНК, разработанная InstaDeep, NVIDIA и TUM. Она обучена предсказывать замаскированные участки последовательности и служит основой для задач геномики, включая оценку молекулярных фенотипов. Модель содержит 634,4 млн параметров и использует архитектуру ESM с плотными слоями. Для предобучения использованы 3202 генетически разнообразных генома человека из 27 популяций проекта 1000 Genomes; обучение охватило 300 млрд токенов. Последовательности кодируются токенизатором 6-меров, а максимальная длина составляет около 1000 токенов. Доступны версии для PyTorch и TensorFlow. Модель предназначена для научных и прикладных задач геномики, где требуется извлекать закономерности из ДНК и получать представления последовательностей для последующего анализа. Это не модель для обычного текста: входом служат последовательности ДНК, выходом — предсказанные токены или оценки для задачи заполнения маски. Лицензия CC BY-NC-SA 4.0 требует указания авторства и ограничивает коммерческое использование.

Nucleotide Transformer v2 500M Multi-Species — трансформер InstaDeep, NVIDIA и TUM для анализа последовательностей ДНК. Модель содержит 490,7 млн параметров и предварительно обучена на 850 геномах модельных и немодельных организмов, представляющих около 174 млрд нуклеотидов. В неё входят rotary positional embeddings и Gated Linear Units; для токенизации используются преимущественно 6-меры, а максимальная длина последовательности составляет 2 048 токенов. Модель подходит для восстановления замаскированных участков ДНК и как основа для классификации последовательностей и разметки нуклеотидов. В исследовательских оценках семейство показало высокую точность предсказания молекулярных фенотипов. В README указано, что для использования моделей до следующего релиза требуется установить Transformers из исходного кода. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные работы на тех же условиях; коммерческое использование не разрешено.