II.8Инженерия данных и аналитика

Waypoint-170m — авторская GPT-2-подобная причинная языковая модель от outpost-bio, обученная на строках таксономических меток из данных микробиома. Она предназначена для исследовательского моделирования последовательностей таксонов: изучения совместной встречаемости таксонов, получения представлений и экспериментов с генерацией. Модель принимает текстовые последовательности, разделённые переводами строк, использует специальный таксономический токенизатор и требует удалённый код из репозитория. Модель подходит для прототипирования и исследований последовательностей таксонов, но не является диагностическим или клиническим инструментом и не проверена для регулируемых или критически важных решений. Указана лицензия Apache-2.0; доступ к репозиторию ограничен и требует аутентификации на Hugging Face.

Waypoint-45m — GPT-2-подобная авторегрессионная языковая модель, разработанная авторами репозитория outpost-bio и обученная на строках таксономических меток из микробиомных данных. Она предназначена для исследовательских экспериментов с моделированием таксономических последовательностей, генерацией и получением представлений о совместной встречаемости таксонов и структуре последовательностей. Модель принимает текстовые последовательности, где таксономические строки разделены символами новой строки; для токенизации используется специальный TaxonomicTokenizer из репозитория. Данные обучения взяты из набора Atlas, а веса опубликованы в формате safetensors. Лицензия — Apache-2.0; доступ к репозиторию ограничен и требует авторизации на Hugging Face. Модель не предназначена для диагностики и не валидирована для клинических, регулируемых или критически важных решений.

Waypoint-6m — модель на архитектуре GPT-2, разработанная outpost-bio для моделирования последовательностей таксономических меток из данных микробиома. Она обучалась как авторегрессионная языковая модель на строках с таксономическими последовательностями, разделёнными переводами строк, и использует специализированный TaxonomicTokenizer с удалённым кодом токенизатора. Модель предназначена для исследовательских экспериментов и прототипирования: генерации таксономических последовательностей и изучения структуры последовательностей и совместной встречаемости таксонов. Это специализированная модель для текстовой генерации, а не диагностический или клинический инструмент; она не проверена для регулируемых и критически важных решений. Репозиторий закрытый (gated): для доступа требуется авторизация в Hugging Face. Лицензия — Apache-2.0.

Модель keremberke/yolov8s-pcb-defect-segmentation — компактная модель сегментации изображений на базе YOLOv8, опубликованная пользователем keremberke и предназначенная для обнаружения дефектов печатных плат. Она принимает изображения плат и выделяет области с сухими пайками, неправильной установкой компонентов, повреждениями платы и короткими замыканиями. Репозиторий содержит веса PyTorch и использует библиотеку Ultralytics; модель связана с датасетом keremberke/pcb-defect-segmentation. Она подходит для визуальной проверки плат и предварительной разметки дефектов, но карточка не сообщает метрики качества и условия лицензии.

Ab-RoBERTa — предобученная модель masked language modeling на архитектуре RoBERTa, разработанная Eunna Huh, Hyeonsu Lee и Hyunjin Shin при поддержке Mogam Institute for Biomedical Research. Модель дообучена на последовательностях антител из базы Observed Antibody Space (OAS) и содержит 113,3 млн параметров. Она принимает аминокислотные последовательности в верхнем регистре, записанные слитно, без пробелов; длина контекста — 152 токена. Модель предназначена для извлечения признаков из последовательностей антител и может дообучаться для прикладных задач анализа этих последовательностей. Как masked language model, она также восстанавливает замаскированные фрагменты последовательности. Поддерживается библиотекой Transformers. Лицензия — MIT.

AION-base — энкодер-декодерная омнимодальная модель Polymathic AI для анализа астрономических обзоров. Модель содержит 300 млн параметров и обучена методом мультимодального masked modeling на данных астрономических обзоров. AION-base обрабатывает 39 типов астрономических данных, включая изображения, спектры, каталоги и фотометрию. Она предназначена для адаптации к различным задачам астрономического анализа; в карточке приведены примеры данных Legacy Survey, HSC, SDSS и DESI. Метаданные указывают задачу any-to-any и библиотеку aion. Репозиторий распространяется под лицензией MIT. Карточка не приводит явных ограничений качества или длины контекста; применение требует соответствующих астрономических данных и адаптации под конкретную задачу.

ChemBERTa-77M-MLM — модель DeepChem для работы с молекулярными структурами, представленными строками SMILES. Это RoBERTa-энкодер с архитектурой masked language model: он обучен предсказывать замаскированные токены и подходит для заполнения пропусков в SMILES, а также для получения представлений молекул и дообучения на задачах предсказания их свойств. Публикация о ChemBERTa описывает предварительное обучение на корпусе из 77 миллионов строк SMILES PubChem; в карточке этой версии указана архитектура RoBERTa, 3 слоя, 12 голов внимания, словарь из 600 токенов и максимальная длина последовательности 515 токенов. Модель предназначена для cheminformatics и исследований свойств молекул, в том числе как основа для последующего дообучения на конкретных наборах данных. Она принимает текстовые последовательности SMILES и предсказывает токены; обычные естественные языки для неё не являются целевыми. В опубликованной оценке ChemBERTa на некоторых задачах MoleculeNet результаты уступали сильным базовым методам, поэтому качество на конкретной задаче зависит от дообучения и проверки. Карточка Hugging Face не содержит сведений о лицензии модели.

Карточка модели joggwr/crop_leaf_diseases_vit на Hugging Face совпадает с карточкой wambugu71/crop_leaf_diseases_vit, поэтому описание составлено по ней. Модель Wambugu Kinyua — дообученная версия Vision Transformer ViT-Tiny для классификации изображений листьев сельскохозяйственных культур по состоянию и типу болезни. Она принимает RGB-изображения и выдаёт метку класса, включая здоровые растения и заболевания кукурузы, картофеля, риса и пшеницы: ржавчину, пятнистость, ожог листьев и другие категории. Компактная архитектура содержит 7,1 млн параметров и предназначена для раннего выявления болезней в точном земледелии; её можно встроить в системы мониторинга посевов или дообучить на данных конкретного региона и культуры. В карточке заявлены метрики проверки на отложенной части датасета: accuracy 98%, precision 97%, recall 97% и F1 96%. Результаты могут быть хуже на культурах, болезнях и условиях съёмки, отсутствующих в обучающих данных; ошибки классификации способны привести к пропуску заболевания или ненужным мерам. Для данной версии метаданные указывают формат safetensors, а README также упоминает веса ONNX. Лицензия в метаданных Hugging Face — MIT.

DNABERT-2-117M-fish20-adapted — модель на архитектуре BERT, дообученная на геномном корпусе FishNALM, включающем геномы 20 видов рыб. Это адаптация DNABERT-2 с 116,4 млн параметров для masked language modeling; используется BPE-токенизация, а контекст составляет 512 токенов. Модель предназначена для восстановления замаскированных участков последовательностей ДНК и связанных задач классификации последовательностей. Карточка также указывает на наличие собственного кода модели для загрузки через Transformers с параметром trust_remote_code=True.

vojtam/DNAGPT2_1024 — авторегрессионная языковая модель для геномных последовательностей ДНК, разработанная на архитектуре GPT-2 Small и обученная авторами с нуля на последовательностях разных видов. Модель содержит около 86 млн параметров, 12 слоёв и контекстное окно 1 024 токена. Она принимает последовательности из символов A, C, G и T и предсказывает вероятности следующего токена. Модель предназначена для моделирования последовательностей ДНК и сжатия геномных данных совместно с арифметическим кодированием. Обучение проводилось на наборе из 135 геномов, предоставленном авторами DNABERT-2; неоднозначный символ N исключался. В README приведены результаты оценки сжатия для варианта DNAGPT2_32, поэтому они не подтверждают такие же показатели для варианта с размером словаря 1024. Модель распространяется по лицензии Apache-2.0.

EnCodon-80M — предобученная плотная модель семейства EnCodon от goodarzilab для работы с кодирующими последовательностями. Она предназначена для извлечения эмбеддингов последовательностей и предсказания замаскированных участков; каталог также относит её к задачам классификации текста. Модель содержит около 100,7 млн параметров, работает с кодонами и поддерживает контекст до 2048 токенов по метаданным. В README указано, что обучение охватывает последовательности длиной до 2048 кодонов, или 6144 нуклеотидов. EnCodon представляет собой одну из моделей пакета cdsFM; README также описывает DeCodon для генерации кодирующих последовательностей, но это отдельная модель. Для EnCodon перечислены извлечение эмбеддингов и предобученный чекпойнт. Доступны веса в формате safetensors, библиотека Transformers. Сведения о лицензии в предоставленных материалах отсутствуют.

ESM Cambrian (ESMC) — белковая языковая модель, представленная командой MultiMolecule как неофициальная реализация оригинальной модели Biohub. Это энкодерный Transformer с 6,3 млрд параметров, rotary position embeddings, нормализацией QK и блоками SwiGLU. Модель обучена на последовательностях белков из UniRef, MGnify и Joint Genome Institute с помощью предобучения masked language modeling и принимает белковые последовательности длиной до 2048 токенов. ESMC-6B подходит для предсказания замаскированных аминокислот, извлечения векторных представлений белковых последовательностей и использования в качестве основы для последующего дообучения под задачи классификации или регрессии на уровне последовательности либо остатков. Она не дообучена для конкретных downstream-задач. Реализация использует библиотеку multimolecule и форматы PyTorch/Safetensors. Лицензия — AGPL-3.0.

Набор предварительно обученных моделей проекта Galaxy Image Simplification using Generative AI, предназначенный для упрощения изображений галактик перед количественным анализом морфологии. В состав входят классификатор на ResNet для отбора спиральных галактик и две условные GAN-модели: первая выделяет спиральные рукава на изображении, вторая сглаживает и соединяет фрагменты полученной маски. Модели принимают оптическое RGB-изображение галактики размером 256×256 пикселей и формируют изображение с упрощённым представлением спиральных рукавов. Их можно применять для отбора спиральных галактик в обзорах неба, построения каталогов упрощённых изображений и измерения геометрии рукавов, включая углы закрутки. Модели построены на ResNet и conditional GAN, реализованы с Keras и TensorFlow и обучены на изображениях DESI Legacy Survey с ручной разметкой спиральных рукавов. Набор предназначен для астрономических изображений, а не для генерации изображений общего назначения или точного фотометрического восстановления. Финальные бинарные маски могут требовать дополнительной обработки, например пороговой фильтрации и скелетизации. Лицензия репозитория — MIT.

Helix-mRNA-v0 — модель компании Helical AI для извлечения признаковых представлений из последовательностей мРНК. Она сочетает архитектуру Mamba2 с пространством состояний и механизм внимания Transformer, чтобы обрабатывать длинные последовательности и учитывать контекст. Нуклеотиды A, C, U, G и неоднозначный символ N токенизируются по одному; специальный символ E отмечает начало кодона. Модель предназначена для анализа полноразмерных транскриптов, вариантов сплайсинга и структурных элементов мРНК. Её эмбеддинги можно использовать как основу для последующей классификации и других задач анализа последовательностей. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC-SA 4.0; для коммерческого использования разработчик предлагает связаться с Helical AI.

QuixiAI публикует MaleCNS v1.0 — lossless-представление полной схемы связей центральной нервной системы взрослой самки? Нет, взрослого самца Drosophila melanogaster: мозга, зрительных долей и брюшного нервного канатика. Репозиторий упаковывает исходные таблицы Janelia в формате safetensors для загрузки как PyTorch-тензоров через Transformers; модельная архитектура обозначена как MaleCNSConnectome. Данные содержат идентификаторы нейронов, направленные рёбра и исходные анатомические количества синаптических контактов, а также отдельные аннотации нейронов и прогнозы нейромедиаторов. Связи не превращены в физиологические веса: к ним не применены знак, нормализация, масштабирование или инициализация. Набор предназначен как исходный граф для графового машинного обучения, симуляций и построения собственных моделей, а не как готовая языковая модель. Указанная лицензия — CC BY 4.0.

nextvalueup/Meta-Llama-3.1-8B — дообученная языковая модель компании NextValueUp на основе Meta-Llama-3-8b. Модель предназначена для генерации текста; в карточке указано дообучение на наборе инструкций amphora/krx-sample-instructions, связанном с корейским фондовым рынком и финансами. Модель имеет плотную архитектуру семейства Llama с примерно 7,5 млрд параметров, принимает текст и генерирует текст. Метаданные указывают контекст до 131 072 токенов, формат весов PyTorch и лицензию Apache 2.0. В карточке нет результатов оценки качества или подробностей о поведении модели, поэтому её пригодность для финансовых решений следует проверять на целевых данных.

Motius TMR-G1 Evaluator — оценщик на основе архитектуры TMR, разработанный Motius и обученный с нуля для движений робота Unitree G1. Модель кодирует текст и движение в представления, пригодные для извлечения признаков и сопоставления текстовых описаний с движениями. Вход движения представлен канонизированным форматом G1-38D с частотой 30 кадров в секунду: скоростью и высотой корневого узла, его 6D-поворотом и углами 29 суставов. В комплект входят энкодер движений, текстовый энкодер и декодер реконструкции. Публичный чекпойнт соответствует эпохе 139 и обучен на 344 966 движениях из материала HYMotion Data G1. Модель предназначена для оценки и извлечения признаков в сценариях поиска и сопоставления текста с движениями Unitree G1. Распространяется по лицензии MIT.

Карточка модели timorobrecht/nk_babylm_zho_gpt2_hybrid_100m на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_gpt2_hybrid, поэтому описание составлено по ней. Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с плотной архитектурой и гибридным токенизатором для работы с текстом на пиньинь-коде. В репозитории опубликован экспорт модели размером 41,7 млн параметров; автор карточки — timorobrecht. Контекст составляет 512 токенов, формат весов — safetensors. Модель предназначена для генерации продолжения последовательностей, предварительно представленных в формате pinyin-code; в README также упоминается извлечение скрытых состояний для получения представлений. Для преобразования исходного китайского текста в пиньинь требуются pypinyin и, при включённом use_jieba, jieba. Карточка не описывает качество на прикладных задачах или результаты оценки. Для загрузки используется Transformers с trust_remote_code=True. Лицензия в предоставленных данных не указана.

InstaDeepAI/NTv3_100M_post — постобученная модель семейства NTv3 от InstaDeepAI для анализа геномных последовательностей и предсказания функциональных признаков. Она построена на условной архитектуре U-Net с адаптивными нормами слоёв, стеком Transformer и отдельными головами предсказания для разных видов и сборок генома. Модель принимает последовательности ДНК на уровне нуклеотидов; для выбора вида или сборки используются условия. Длина входа должна быть кратна 128. Модель предсказывает замаскированные нуклеотиды, функциональные геномные треки в формате BigWig и геномные элементы в формате BED; также доступны эмбеддинги и промежуточные состояния. NTv3 обучалась на последовательностях 24 видов животных и растений и поддерживает контекст длиной до 1 Мб. Репозиторий предоставляет веса в форматах Flax и safetensors; для загрузки требуется Transformers версии 4.55.0 или выше и пользовательский код модели. Модель подходит для функциональной аннотации генома, анализа регуляторных и других геномных признаков, а также получения представлений последовательностей для последующего анализа. Карточка указывает лицензию «other», поэтому конкретные условия использования следует проверять в файлах репозитория. При инференсе по умолчанию используется fp32; bf16 может ускорить вычисления на совместимом оборудовании, но способен внести небольшие численные расхождения.

Nucleotide Transformer v2 50M 3mer Multi-Species — трансформерная языковая модель InstaDeep для анализа последовательностей ДНК. Она предварительно обучена на 850 геномах разных видов, включая модельные и немодельные организмы; обучающая выборка охватывает около 174 млрд нуклеотидов. Модель содержит 50,4 млн параметров и использует семейство архитектур ESM с rotary positional embeddings и Gated Linear Units. Модель предназначена для предсказания молекулярных и белковых признаков по геномным последовательностям и для переноса на downstream-задачи биоинформатики. В каталоге основная задача обозначена как fill-mask; архитектура также поддерживает классификацию последовательностей и токенов. Вход — последовательности ДНК, представленные токенами; доступный контекст в метаданных составляет 2050 токенов, а при предобучении использовалась длина последовательности 1000 токенов. Предобучение охватывает широкий набор видов, но в него не включены растения и вирусы. Для использования README указывает на необходимость устанавливать Transformers из исходного кода до следующего выпуска. Лицензия CC BY-NC-SA 4.0 требует атрибуции, ограничивает коммерческое использование и предусматривает распространение производных материалов на тех же условиях.

zhangtaolab/plant-nucleotide-transformer-BPE — модель семейства ESM, разработанная zhangtaolab для работы с последовательностями ДНК растений. Это вариант InstaDeepAI/nucleotide-transformer-v2-100m-multi-species с токенизатором BPE вместо k-mer; модель содержит 96,4 млн параметров и обучена методом masked language modeling на растительных референсных геномах. Словарь токенизатора включает 8000 элементов, а в карточке Hugging Face указан контекст 2050 токенов; при описании обучения README указывает максимальную длину последовательности 512 токенов. Модель предназначена для предсказания скрытых участков нуклеотидных последовательностей и может использоваться в задачах классификации текста и токенов на геномных данных. Вход — текстовая последовательность ДНК, выход — предсказанные токены или метки в зависимости от задачи. Модель опубликована в формате safetensors и распространяется по лицензии CC BY-NC-SA 4.0, предусматривающей некоммерческое использование и распространение производных на тех же условиях.

Synthyra/Profluent-E1-150M — публикация чекпойнта Profluent-Bio/E1-150m с runtime FastPLMs для Hugging Face Transformers. Это плотная модель семейства E1 примерно на 153,4 млн параметров, обученная для работы с аминокислотными последовательностями. Она принимает исходные последовательности белков, подготовленные встроенным адаптером E1; токенизатор не используется. Основная задача — восстановление замаскированных аминокислотных токенов. Представления модели также можно применять как основу для классификации последовательностей и отдельных остатков. Классификационные головы в этой публикации созданы заново и не обучены, поэтому их выходы нельзя интерпретировать как готовые предсказания без дообучения. Модель поддерживает интерфейсы Transformers и PEFT, а также механизмы извлечения эмбеддингов; README описывает варианты attention sdpa и flex_attention. Язык входа — последовательности аминокислот, а не естественный язык. В метаданных указана лицензия other; README сообщает, что статус лицензии весов разрешён и веса допускают распространение, но не называет конкретный тип лицензии. Для использования требуется подготовка входов адаптером E1; README также отмечает, что test-time training увеличивает задержку и расход памяти и может ухудшить результат. Биологическую корректность выводов необходимо проверять отдельно.

ProtSent-V2.5-35M — контрастивно дообученная модель на базе ESM-2 для получения эмбеддингов белковых последовательностей. Разработчик описывает её как ProtSent-V2 35M с дополнительным проходом обучения на обновлённой выборке, включавшей данные Pfam, AFDB, STRING и DMS/ProteinGym; в README указан CoSENT-целевой сигнал для DMS и регуляризация Global Orthogonal Regularization. Модель использует mean pooling, формирует эмбеддинги размерности 480 и поддерживает Matryoshka-представления размером 64, 128 и 256. Её применяют для поиска структурно или функционально сходных белков и как представление последовательностей для downstream-задач. Карточка сообщает о результатах на структурном поиске SCOPe-40 и 23 задачах, но отмечает, что агрегированные результаты V2.5 близки к V2, а убедительное улучшение в SCOPe-40 относится к глубине ранжирования; профильное выравнивание HMMER сохраняет преимущество по R@1. Это производная модель: базовая модель — GrimSqueaker/ProtSent-V2-35M. Репозиторий использует Sentence Transformers и safetensors; лицензия — MIT. Контекстная длина по метаданным составляет 1026 токенов. При оценке downstream-результатов следует учитывать, что DMS-данные не были полностью очищены от пересечений с четырьмя DMS-производными задачами, проверялось только точное совпадение.

ProtSent-V2-ESMC-300M — модель GrimSqueaker на базе белкового языкового представления ESM-C 300M, дообученная контрастивным обучением. Она преобразует аминокислотные последовательности в векторы фиксированной длины, в которых близость векторных представлений призвана отражать биологическое сходство белков. Модель предназначена для поиска похожих последовательностей, кластеризации и переноса аннотаций по ближайшим соседям. В README описано обучение на данных семейств Pfam, AlphaFold DB, STRING-DB и DMS; для части источников последовательности очищались от пересечения с тестовыми наборами. Карточка приводит результаты оценки на наборе из 23 задач, включая структурный поиск, kNN и линейный перенос, и отмечает преимущество над исходным необученным бэкбоном в ряде задач. Архитектура — ESMplusplus, класс ESMplusplusForMaskedLM; метаданные указывают 442,4 млн параметров. Модель работает с белковыми последовательностями и выдаёт эмбеддинги; карточка помечает английский язык, хотя основное содержимое — последовательности аминокислот. Лицензия — MIT. README предупреждает, что данные DMS не очищались от пересечения с тестовыми последовательностями. Приведённые результаты зависят от бенчмарка и не означают превосходства над специализированными средствами: в тесте SCOPe-40 HMMER показал более высокие значения, чем модель. Для загрузки через SentenceTransformer в примере включён trust_remote_code.

Это объединённый BF16-чекпойнт LISA 7B, адаптированный для семантической сегментации железнодорожных сцен. Модель создана на основе LISA-7B-v1; согласно README, её линия базовых моделей проходит через LLaVA-Lightning-7B-v1-1 к LLaMA/Vicuna. В архитектуре используются LLaVA, сегментационный компонент Segment Anything и визуальный энкодер CLIP ViT-L/14. Размер модели — 6,6 млрд параметров, контекст — 2048 токенов. Модель предназначена для выделения железнодорожного полотна и активного маршрута по изображению, в том числе в сценах со стрелками. Она обучалась на железнодорожных изображениях и семантической разметке RailSem19 и служит вариантом сравнения с моделью, которая также формирует рассуждения о стрелках. Репозиторий содержит веса и результаты оценки, но не распространяет материалы RailSem19. Для инференса требуются весь каталог модели, включая vision_tower, проектный репозиторий, предоставленный контейнер и NVIDIA GPU; поддерживаемый сценарий запуска использует chat_batch.py и Transformers 4.31. Это исследовательский артефакт, не предназначенный для работы через стандартные интерфейсы Hugging Face pipeline или AutoModel. Модель может ошибаться при плохой видимости, необычной геометрии путей, перекрытиях и вне обученного домена; её результаты нельзя применять для управления железнодорожным движением или других критичных решений. Лицензия указана как other; условия исходных компонентов и RailSem19 требуют отдельной проверки.

multimolecule/rinalmo-micro — компактная версия RiNALMo, модели семейства RiNALMo для анализа некодирующих РНК. Это неофициальная реализация, выпущенная командой MultiMolecule по работе Rafael Josip Penić и соавторов; команда сообщает, что промежуточные представления совпадают с оригинальной реализацией. Модель представляет собой плотную BERT-подобную архитектуру RiNALMo с 44,3 млн параметров и контекстом до 1024 токенов. Она принимает последовательности РНК и обучена предсказывать замаскированные нуклеотиды. Модель подходит для восстановления скрытых нуклеотидов и извлечения признаков последовательностей ncRNA, в том числе как основы для дообучения под задачи классификации или регрессии на уровне последовательности либо нуклеотида. Предобучение проводилось на 36 млн уникальных последовательностей из RNAcentral, Rfam, Ensembl Genome Browser и Nucleotide. При предобработке U заменялась на T; токенизатор RiNALMo умеет выполнять обратное преобразование T в U. Это базовая предобученная модель, не настроенная под конкретные downstream-задачи, поэтому для классификации и регрессии требуется дообучение. Репозиторий распространяется по лицензии AGPL-3.0.

SpliceBERT-1024nt — перенос модели SpliceBERT на Hugging Face, подготовленный Taykhoom Dalal на основе оригинальной работы Chen et al. Это языковая модель BERT для последовательностей РНК, обученная предсказывать замаскированные нуклеотиды. Она принимает фрагменты длиной от 64 до 1024 нуклеотидов, представленные отдельными токенами; символ U нормализуется в T. Контекст модели составляет 1026 токенов с учётом специальных токенов, размер — 25,2 млн параметров. Модель обучена на более чем двух миллионах первичных последовательностей РНК 72 видов позвоночных. Её можно использовать для заполнения пропусков и получения представлений последовательностей РНК, а также дообучать для задач классификации последовательностей. Архитектура включает 6 слоёв BERT, 16 голов внимания и размерность эмбеддингов 512. Лицензия — CC BY 4.0. Пуллер модели не имеет обученных весов: его выход не следует использовать без дообучения. Для задач уровня последовательности в README рекомендуется усреднять скрытые состояния обычных нуклеотидных позиций.

Theia Base Patch16-224-CDIV — модель визуального представления для робототехники, разработанная The AI Institute. Она использует backbone DeiT-Base и объединяет знания CLIP, DINOv2 и ViT, дистиллируя их представления, полученные на разных задачах компьютерного зрения. Модель предназначена для извлечения визуальных признаков, которые можно использовать в последующем обучении робототехнических систем. В статье Theia сообщается, что такие представления улучшают результаты обучения роботов по сравнению с моделями-учителями и предшествующими робототехническими моделями, требуя меньше обучающих данных и моделей меньшего размера. Для весов и кода действует лицензия The AI Institute License; её условия следует проверить перед использованием.

Theia Small Patch16 224 CDIV — модель визуального представления для обучения роботов, разработанная The AI Institute. Она использует DeiT-Small как основу и одновременно дистиллирует представления CLIP, DINOv2 и ViT, объединяя знания моделей, обученных на разных зрительных задачах. Репозиторий содержит веса в формате safetensors и предназначен для извлечения признаков изображения в сценариях робототехники и последующего обучения роботизированных систем. В опубликованной работе авторы сообщают, что Theia превосходит модели-учителя и более ранние модели для обучения роботов при меньшем объёме обучающих данных и меньшем размере модели. Для использования весов и кода действует лицензия The AI Institute License; её конкретные условия следует сверить с текстом лицензии в репозитории.

UTRBERT-3mer — перенос на Hugging Face модели UTRBERT от Yang и соавторов, подготовленный Taykhoom Dalal. Это BERT-base с 12 слоями, 12 головами внимания и размерностью эмбеддингов 768, предварительно обученный на последовательностях человеческих 3′-нетранслируемых областей мРНК. Модель использует токенизацию перекрывающимися 3-мерами: входную РНК или ДНК переводят в формат РНК, затем разбивают на триплеты с шагом 1; словарь содержит 69 токенов, а контекст ограничен 512 токенами. Основная задача — предсказание замаскированных 3-меров. Модель подходит для анализа последовательностей 3′-UTR, получения контекстных представлений и использования этих представлений как входа для дополнительных предсказательных голов. Карточка указывает на проверку соответствия представлений и логитов исходным весам. Для загрузки требуется Transformers и доверенная загрузка кода из репозитория; доступен формат safetensors. Лицензия — CC BY 4.0. README не описывает готовые специализированные головы для задач классификации.