II.8Инженерия данных и аналитика

Карточка модели timorobrecht/nk_babylm_zho_qwen2_atomic_bpe_cross_100m на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_qwen2_atomic_bpe_cross, поэтому описание составлено по ней. Pinyin-Code Causal LM — компактная причинная языковая модель на архитектуре Qwen2, опубликованная timorobrecht. Репозиторий содержит экспорт модели с собственным токенизатором atomic_bpe_cross; число параметров — 31,4 млн, контекст — 512 токенов. Модель принимает предварительно преобразованный текст с кодированием китайского пиньиня и предназначена для генерации продолжения такого текста и извлечения скрытых представлений. Для обработки исходного мандаринского текста перед токенизацией README указывает преобразование в пиньинь с помощью pypinyin; также используется jieba. Модель загружается через Transformers с `trust_remote_code=True`, а конфигурация включает узкую совместимость для чтения текстовых файлов в Windows. README не приводит оценок качества или подробностей обучающего набора. Лицензия в предоставленных данных не указана.

Nucleotide Transformer v2 — трансформер InstaDeep, NVIDIA и TUM, предварительно обученный на последовательностях ДНК из 850 геномов разных видов. Модель содержит 229,6 млн параметров и использует архитектуру ESM с rotary positional embeddings и Gated Linear Units; в качестве основного задания в Hugging Face указано восстановление замаскированных токенов (fill-mask). Также её архитектура поддерживает классификацию последовательностей и токенов. Модель предназначена для анализа геномных последовательностей, в том числе для предсказания молекулярных фенотипов и переноса представлений на биологические задачи. ДНК разбивается токенизатором на 6-меры, где это возможно, а иначе — на отдельные нуклеотиды; в README указана максимальная длина последовательности 1000 токенов, метаданные указывают контекст 2050 токенов. Данные обучения охватывают около 174 млрд нуклеотидов; растения и вирусы исключены. Модель принимает последовательности ДНК и предсказывает токены или метки для задач классификации. Для использования требуется библиотека Transformers, причём README предупреждает, что на момент публикации для поддержки модели её нужно было устанавливать из исходного кода. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и на условиях распространения производных материалов, но запрещает коммерческое использование.

ProcVLM-2B — мультимодальная модель ce-amtic для оценки прогресса выполнения манипуляционных задач роботом по визуальным наблюдениям. Она дообучена на основе Qwen/Qwen3-VL-2B-Instruct и использует архитектуру Qwen3-VL с генерацией текста по изображениям и текстовому описанию задачи. Модель принимает RGB-кадры из недавнего фрагмента траектории робота вместе с инструкцией и выдаёт рассуждение и оценку выполнения в процентах. Модель предназначена для исследований в области обучения роботов, оценки выполнения действий и понимания процедур по видео. Её можно использовать для получения плотных сигналов прогресса из демонстраций и адаптировать к новой среде с помощью LoRA на одной успешной демонстрации. Репозиторий опубликован по лицензии CC BY 4.0. Оценка является предсказанием модели, а не калиброванным физическим измерением. Надёжность может снижаться при сильном сдвиге домена, закрытых объектах, необычных ракурсах, неоднозначных инструкциях и неудачном выборе кадров для длинных видео. Перед использованием оценки как сигнала награды или в робототехническом развертывании её следует проверить в целевой среде.

Synthyra/Profluent-E1-300M — опубликованная Synthyra версия чекпойнта Profluent-Bio/E1-300m, подключённая к FastPLMs и интерфейсу Hugging Face Transformers. Это плотная белковая языковая модель архитектуры E1 примерно с 272,7 млн параметров, предназначенная для работы с аминокислотными последовательностями. Токенизатор не используется: последовательности подготавливаются нативным адаптером E1. Основная задача модели — восстановление замаскированных участков белковой последовательности. Представления модели также можно применять в задачах классификации последовательностей и отдельных аминокислотных позиций. Однако классификационные головы в этом репозитории инициализированы заново, поэтому перед использованием их предсказаний для этих задач требуется дообучение. Модель поддерживает Transformers и бэкенды внимания sdpa и flex_attention. README указывает на retrieval-augmented context behavior, но не приводит численный размер контекста. Лицензия в метаданных обозначена как other; README сообщает о разрешённой публикации весов и их распространении, но не уточняет условия лицензии.

ProkBERT-mini-c — модель семейства ProkBERT, разработанная Neural Bioinformatics Research Group для анализа последовательностей ДНК, в частности в задачах микробиомной биоинформатики. Это плотная модель на базе MegatronBert с архитектурой masked language model и символьной токенизацией 1-mer со сдвигом 1. В README указано 24,9 млн параметров и контекст до 1022 пар оснований; метаданные каталога указывают 31,9 млн параметров и 2048 токенов контекста. Модель предварительно обучена на геномных последовательностях с задачей восстановления замаскированных участков. Её можно применять для предсказания пропущенных нуклеотидов, получения признаков последовательностей и последующей классификации геномных фрагментов, включая анализ промоторов и фагов. Для длинных последовательностей нужны сегментация и токенизация; предел контекста не позволяет подавать целый бактериальный геном как один фрагмент. Модель распространяется по лицензии CC BY-NC 4.0, которая допускает использование с указанием авторства, но запрещает коммерческое применение. README предупреждает, что проверка охватывает лишь отдельные геномные контексты, поэтому результаты для других сценариев требуют самостоятельной оценки.

ProkBERT-mini-long — геномная языковая модель группы Neural Bioinformatics Research Group для анализа микробиомных и других геномных последовательностей. Она предназначена для восстановления замаскированных участков ДНК и может служить основой для классификации последовательностей и исследования геномных паттернов. Модель относится к семейству ProkBERT и использует плотную архитектуру BERT для masked language modeling. В README указаны 26,6 млн параметров, представления размерности 384, контекст до 4096 пар оснований и токенизатор 6-меров со сдвигом 2; метаданные указывают 33,5 млн параметров и контекст 2048 токенов. Модель обучалась на геномных последовательностях с задачей восстановления перекрывающихся k-меров. Вход — последовательности ДНК; модель выдаёт предсказания замаскированных токенов и может использоваться для классификации. Для подготовки данных последовательности обычно загружают из FASTA, сегментируют на фрагменты подходящей длины и токенизируют. Модель предназначена для геномного анализа, но её результаты за пределами проверенных геномных контекстов не гарантированы и требуют отдельной оценки. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

ProteinBERT — языковая модель белковых последовательностей, разработанная Надaвом Брандесом и соавторами; этот неофициальный чекпойнт опубликован командой MultiMolecule и, по данным карточки, воспроизводит промежуточные представления оригинальной реализации. Модель предварительно обучена на последовательностях UniRef90 и аннотациях Gene Ontology с совместной целью языкового моделирования последовательностей и восстановления функциональных аннотаций. В метаданных указано 1,6 млн параметров, а в README — 15,98 млн; эти значения расходятся. Архитектура использует свёрточные локальные ветви и слои глобального внимания вместо квадратичного self-attention, поддерживает последовательности переменной длины и имеет заявленный предел в 1024 токена. Основная задача опубликованного чекпойнта — заполнение маскированных участков белковых последовательностей; его также можно использовать для извлечения признаков и как основу для дообучения на задачах классификации или регрессии последовательностей и остатков. Сам чекпойнт не дообучен под конкретную прикладную задачу. Репозиторий распространяется по лицензии AGPL-3.0.

ProtT5-XL-BFD — модель семейства T5 от Rostlab, предварительно обученная на последовательностях белков из набора BFD с помощью самоконтролируемого masked language modeling. В карточке указана основа t5-3b и архитектура encoder-decoder; метаданные каталога указывают 352,5 млн параметров, а README — около 3 млрд, поэтому размер по источникам расходится. Обучающие последовательности содержали заглавные однобуквенные обозначения аминокислот; редкие символы U, Z, O и B заменялись на X. Максимальная длина входа при обучении составляла 512 токенов. Модель предназначена для извлечения признаков белковых последовательностей и дообучения для последующих задач биоинформатики, включая предсказание вторичной структуры и локализации. Для извлечения признаков авторы рекомендуют использовать представления энкодера. Метаданные Hugging Face помечают её как text-generation, однако основное назначение из README — моделирование белковых последовательностей и получение их представлений. README не приводит условия лицензии.

Это вспомогательная голова Multi-Token Prediction (MTP) для ускорения генерации текста целевой моделью Qwen3.8-27B в среде MLX и mlx-vlm. Репозиторий содержит только MTP-драфтер: у него нет токенных эмбеддингов и lm_head, поэтому самостоятельно генерировать текст он не может. Драфтер предлагает до трёх токенов за шаг, а целевая модель проверяет предложения; для работы нужны совместимые драфтер и целевая модель из одного чекпойнта. Модель разработана vvsotnikov на основе MTP-головы Qwen/Qwen3.8-27B. Веса представлены в формате Safetensors, хранятся в точности bfloat16 без квантизации; указаны архитектура qwen3_5_mtp и блок MTP размером 3. Для использования предназначена связка с mlx-vlm на Apple MLX. Лицензия репозитория — Apache-2.0. Качество итогового текста определяется целевой моделью, а не драфтером; ожидаемая польза этой головы — ускорение генерации при совместном запуске. Критическое ограничение — необходимость использовать её только с соответствующей целевой моделью и её эмбеддингами: несовпадающая пара может не пройти проверку размерностей или работать плохо. Самостоятельные ответы, генерация текста и отдельная мультимодальная обработка этим репозиторием не поддерживаются.

RNA-FM — языковая модель последовательностей РНК, созданная Chen et al.; порт для Hugging Face поддерживает Taykhoom Dalal. Это плотный 12-слойный трансформер в стиле BERT с 20 головами внимания и размерностью эмбеддингов 640. Модель предварительно обучена методом masked language modeling на 23,7 млн некодирующих последовательностей РНК из RNAcentral100 и принимает последовательности в обозначениях РНК, где используется U вместо T. Модель предсказывает замаскированные нуклеотиды и формирует контекстные представления последовательностей, которые можно использовать для классификации и регрессии после дообучения. Проверка реализации показала совпадение скрытых представлений с исходной моделью. Порт поддерживает Transformers и форматы вычислений SDPA и Flash Attention 2. Лицензия — MIT.

RoBERTpep — модель на основе RoBERTa, опубликованная авторами исследования о том, как supervised fine-tuning улучшает обучение на последовательностях TCR и пептидов. Она дообучена на данных о пептидных последовательностях и предназначена для извлечения признаков из таких последовательностей; архитектура — RobertaForMaskedLM, размер — 100,7 млн параметров, контекст — до 64 токенов. Модель подходит для исследовательских задач анализа белковых последовательностей и может использоваться через Transformers. Модель принимает текстовое представление последовательности и выдаёт векторные признаки; также в метаданных указана поддержка восстановления скрытых токенов. Язык последовательностей в карточке не задан. Репозиторий распространяется по лицензии MIT. Короткий контекст ограничивает обработку длинных последовательностей, а карточка не приводит количественных оценок качества или подробных рекомендаций по применению.

RVQ-AT — компактный токенизатор действий для робототехники, представленный проектом RDT 2. Он преобразует непрерывные управляющие траектории в короткие последовательности дискретных токенов действий, которые можно использовать в авторегрессионных моделях vision-language-action. Архитектура применяет остаточную векторную квантизацию с несколькими кодовыми книгами, последовательной квантизацией остатков и механизмами обновления кодовых книг через EMA и восстановления неиспользуемых кодов. Модель предназначена для сжатого представления траекторий манипуляции и управления роботом. Авторы сообщают о высокой точности реконструкции при заданном битрейте, коротких последовательностях токенов и обобщении на данные телеоперации. Токенизатор обучен на разнообразных данных UMI; для работы с пользовательскими данными предусмотрены API для обучения собственного токенизатора. Рекомендуется разбивать действия на окна около 0,8 секунды при частоте 30 кадров в секунду и нормировать каждую размерность действий в диапазон [-1, 1]. RVQ-AT — компонент представления действий, а не готовая система безопасного управления роботом. Перед применением на оборудовании нужны проверка sim-to-real, ограничения диапазонов и скорости действий, мониторинг задач и аварийная остановка; перед дообучением рекомендуется проверить статистики данных и ошибку реконструкции. Репозиторий распространяется по лицензии Apache-2.0.

SaProt_650M_AF2 — белковая языковая модель семейства ESM, опубликованная пользователем Takagi-san. Репозиторий содержит веса PyTorch и вариант для загрузчика esm; модель можно использовать для заполнения маскированных участков белковых последовательностей. Размер модели составляет 865,6 млн параметров, контекст — до 1026 токенов. Лицензия — MIT. Модель предназначена для работы с белковыми последовательностями, в том числе для предсказания аминокислот в замаскированных позициях. README описывает варианты загрузки через Hugging Face Transformers и esm. Карточка не приводит оценок качества или специальных ограничений применения.

Модель marcmarais-ru/seaturtle_reid_mobilenetv2-quadruplet-random-combined_datasets разработана для повторной идентификации отдельных морских черепах по фотографиям. Она извлекает 512-мерный вектор признаков, который сравнивают с векторами размеченной галереи по косинусному или евклидову расстоянию; типичный сценарий — поиск ближайшего совпадения в закрытом наборе известных особей. Архитектура включает полностью дообученный MobileNetV2, обучаемый GeM-пулинг, линейный слой, LayerNorm, ReLU и Dropout. Модель обучена с quadruplet loss на головных кропах SeaTurtleID2022 и данных популяций Амвракикоса и Реюньона. Для оценки указаны вход 384×384 и аугментация из десяти кропов. Репозиторий использует PyTorch и формат safetensors; лицензия — MIT. По опубликованной оценке на случайном закрытом разбиении средний Recall@1 составил 0,7166, а Recall@5 — 0,7722; результаты относятся к заданному протоколу и трём сиду обучения. Модель предназначена для исследований и бенчмарков повторной идентификации животных. Она обучена только на трёх популяциях морских черепах, не предназначена для открытого поиска незнакомых особей или идентификации людей; качество на других видах и условиях съёмки не проверено. Закрытый протокол предполагает, что особь из запроса присутствует в галерее.

Это сверточная нейросеть Single-view CNN с Fourier pooling от tbhugging для локализации частицы по одному рентгеновскому проекционному изображению. Модель принимает изображение размером 128×128 из набора gummybear-tomography и предсказывает координаты particle_x, particle_y и particle_z. Она предназначена для сценария томографической реконструкции M8 Step 3 и не рассчитана на обработку нескольких видов проекции или разных схем освещения. В README приведены результаты по евклидовой RMSE координат: 2,275541 на validation и 1,491224 на test. Модель опубликована в формате PyTorch по лицензии Apache-2.0. Ее применение связано с датасетом gummybear-tomography и указанным протоколом предобработки; перенос на другие изображения и условия в README не подтвержден.

Surgical SAM 3.1 V2 — модель компьютерного зрения, разработанная Mehmet Kerem Turkcan, Soham Samal и Zoran Kostic из AIDL Lab Колумбийского университета и IPAL Lab. Это дообученный на хирургических изображениях детектор с открытым словарём и сегментатор экземпляров на базе SAM 3.1 от Meta. Текстовая подсказка задаёт инструмент, его часть, орган или тип ткани; схема датасета включает 33 категории, из них 29 представлены положительными обучающими аннотациями. Модель обучена на 34 316 изображениях из SAM3 Joint Surgical Dataset. Детектор на изображениях и встроенный мультиплексный трекер SAM 3.1 позволяют находить объекты по текстовому запросу и отслеживать их идентичность в видео. В README приведены результаты оценки на хирургических данных; качество заметно различается между группами категорий, в частности сегментация инструментов показала лучшие результаты, чем анатомии и тканей. Модель предназначена для исследований в хирургическом компьютерном зрении и робототехнике и не валидирована для клинических решений или ухода за пациентами. Лицензия в метаданных указана как other; конкретные условия использования следует проверять в репозитории модели.

shanover/symps_disease_bert_v3_c41 — модель классификации текста на базе BERT, разработанная для чат-бота, который сопоставляет описания симптомов с одним из 41 класса заболеваний. Например, по сообщению о рвоте, одышке и потливости модель может предсказать класс «сердечный приступ». Архитектура — BertForSequenceClassification, размер — 136,7 млн параметров; модель принимает текст и выдаёт метку класса. Контекст ограничен 512 токенами, язык карточки — английский. Модель предназначена для предварительной классификации описанных пользователем симптомов в диалоге. Среди классов — астма, диабет, малярия, пневмония, инфекции и сердечный приступ. Она не заменяет медицинское обследование или заключение специалиста; README не описывает точность, обучающие данные или протокол валидации. Лицензия — MIT.

hf-tiny-model-private/tiny-random-BertModel — небольшая модель семейства BERT, опубликованная организацией hf-tiny-model-private на Hugging Face для внутреннего или тестового использования. В карточке она классифицирована как модель для извлечения признаков и предназначена для работы через библиотеку Transformers. Модель поддерживает PyTorch и TensorFlow; для загрузки предлагаются AutoTokenizer и AutoModel. Судя по названию и назначению, это тестовая версия BertModel со случайными или непредобученными весами, поэтому она подходит главным образом для проверки интеграций, API, конвейеров обработки текста и получения демонстрационных представлений, но не для качественных прикладных задач без дополнительного обучения. В доступной карточке отсутствуют надежные сведения о точном размере, архитектурных параметрах, максимальной длине контекста, языках, обучающих данных, результатах оценки и лицензии. Провайдеры инференса модель не размещают.

UniPhysGen-1.7B-Physics — модель для физического и семантического описания частей 3D-объектов, разработанная в проекте UniPhysGen. Она объединяет языковую основу Qwen3-1.7B, кодировщик облаков точек Sonata и лёгкий MLP-проектор. Модель принимает облако точек всего объекта и облако целевой части и формирует структурированный результат с идентичностью детали, её функцией и движением, а также предполагаемыми физическими свойствами. Модель предназначена для исследований физического grounding 3D-частей, подготовки параметров для симуляции и как начальная точка для дообучения специализированных моделей UniPhysGen. Результаты могут включать материал, плотность, модуль Юнга, твёрдость, коэффициент Пуассона, трение, пригодность к захвату и affordance. Контекст языковой основы — 40 960 токенов; размер модели — 1,7 млрд параметров. Карточка указывает английский язык. Лицензия CC BY-NC 4.0 разрешает использование с некоммерческими ограничениями. Это не физический симулятор: предсказанные свойства являются оценками, а не результатами измерений. Точность может снижаться на неполных, разреженных или шумных облаках точек, незнакомых материалах, неоднозначно выделенных частях и объектах вне обучающего распределения; результаты следует проверять перед инженерным или робототехническим применением.

chaymans/vit-beans-demo — модель классификации изображений на основе Vision Transformer (ViT), дообученная на базе google/vit-base-patch16-224-in21k. Число параметров — 113,2 млн; доступны веса в форматах Safetensors и ONNX. Автор README сообщает точность 0,9688 и значение loss 0,1454 на оценочном наборе, но не описывает датасет и классы. По названию репозитория модель, вероятно, предназначена для демонстрации классификации изображений бобов. Модель принимает изображения и выдаёт метки классов. Она подходит для экспериментов и демонстрации классификации изображений; пригодность для других наборов данных и производственных сценариев не подтверждена. Лицензия — Apache-2.0.

aldiiii-mln/wav2vec2-mms-bugis-authentic-only — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная с обучением с нуля. Она предназначена для преобразования аудио в текст. В карточке указаны 1,3 млрд параметров, формат весов Safetensors и библиотека Transformers. На наборе оценки модель получила loss 3,74 и WER 1,0, то есть в приведённой оценке частота ошибок слов составила 100%. Название указывает на связь с языком бугис, однако README не подтверждает поддерживаемый язык или описывает обучающие данные; метаданные также не содержат языковых кодов. Лицензия и условия использования в доступных данных не указаны.

Kuongan/xlm-roberta-base-vmw-finetuned — модель классификации текста на базе XLM-RoBERTa Base, дообученная автором репозитория Kuongan. Она предназначена для классификации текстовых последовательностей; конкретные классы и прикладной сценарий в карточке не описаны. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации последовательностей и принимает контекст длиной до 514 токенов. Репозиторий содержит веса в формате safetensors, библиотека для работы — Transformers. В карточке приведены результаты оценки: loss 0,2947, F1 0,0, ROC AUC 0,5 и accuracy 0,4612. Эти показатели не подтверждают полезное качество классификации; кроме того, обучающий датасет указан как None, а сведения о данных и назначении отсутствуют. Лицензия модели — MIT.

XPhoneBERT — модель VinAI для получения фонемных представлений, предназначенная прежде всего для использования в качестве входного фонемного энкодера в системах синтеза речи. Она предобучена на 330 млн предложений, записанных фонемами, почти для 100 языков и локалей; архитектура основана на BERT-base и использует подход предобучения RoBERTa. В репозитории указаны 114,8 млн параметров и контекст до 514 токенов. Представления XPhoneBERT могут улучшать естественность и просодию нейросетевого синтеза речи, а также помогать получать качественную речь при ограниченных обучающих данных. Модель принимает текстовые последовательности фонем и предсказывает замаскированные токены; для непосредственного синтеза аудио требуется отдельная TTS-система. Реализация доступна в формате PyTorch, лицензия — MIT.

AMPLIFY 120M — белковая языковая модель лаборатории FLAIR, основанная на архитектуре AMPLIFY. Это плотный BERT-подобный трансформер-энкодер с 24 слоями, скрытым размером 640 и 10 головами внимания; в метаданных указано 118,2 млн параметров. Модель обучена на последовательностях аминокислот методом masked language modeling, использует токенизацию по аминокислотам с алфавитом из 32 токенов и поддерживает контекст до 2 048 токенов. Модель предназначена для получения представлений отдельных остатков и целых белковых последовательностей, оценки эффектов вариантов по псевдоправдоподобию, а также дообучения для задач оценки стабильности, связывания, функциональной аннотации и белкового фитнеса. Для эмбеддингов и предсказаний на основе маскированных последовательностей применяется библиотека Transformers. Модель выпущена под лицензией MIT.

Ankh3-XL — белковая языковая модель лаборатории ElnaggarLab на архитектуре T5 с 4,4 млрд параметров. Она обучена на последовательностях белков из UniRef50 и оптимизирована для восстановления скрытых аминокислот и продолжения последовательности по её начальной части. Модель подходит для извлечения представлений белковых последовательностей и их продолжения. Такие представления можно использовать как признаки в последующих вычислительных задачах анализа белков. Репозиторий содержит веса PyTorch; для использования модели предусмотрена библиотека Transformers. Модель работает с последовательностями аминокислот, а не с естественным языком или изображениями. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные работы на тех же условиях, с ограничением на коммерческое использование.

EvoLenTokenizer/base-100k — BERT-base-модель EvoLen для анализа последовательностей человеческой ДНК. Она разработана в рамках исследования EvoLen: Evolution-Guided Tokenization for DNA Language Model и обучена предсказывать замаскированные токены в геномных последовательностях. Архитектура включает 12 слоёв, 768 скрытых единиц, 12 голов внимания и словарь из 5 120 токенов; контекст составляет 512 токенов. Модель предназначена для извлечения признаков и дообучения для задач анализа генома, включая классификацию регуляторных элементов и задачи ATAC-seq. Предобучение выполнено на референсном геноме человека hg38; оценка на отложенной части того же корпуса показала loss 5,0825, accuracy 0,2308 и perplexity 161,17. Модель принимает токенизированные последовательности ДНК и выдаёт контекстные представления или предсказания замаскированных токенов. Перенос на другие организмы и неконсервативные последовательности может требовать дополнительной адаптации. Лицензия — MIT.

unikei/bert-base-smiles — двунаправленный трансформер BERT, предварительно обученный разработчиком unikei на строках SMILES, которые кодируют молекулярные структуры. В модели около 136,3 млн параметров, архитектура BertForPreTraining, формат весов safetensors; максимальная длина входа — 512 токенов. Обучение включало восстановление замаскированных фрагментов SMILES и предсказание валидности молекулярной формулы. Модель предназначена для дальнейшей настройки на классификацию молекул, сопоставление молекул с экспрессией генов и определение клеточных мишеней. В исследовательской работе на её основе различали классы нейромедиаторных лигандов по молекулярной структуре. Лицензия — bigscience-openrail-m; применимость конкретного сценария следует сверять с её условиями.

aajrami/bert-rand-small — небольшая языковая модель семейства BERT с архитектурой RoBERTa, содержащая 42,5 млн параметров. В карточке она описана как модель с предварительным обучением на случайной цели; подробности о цели и гиперпараметрах отсылают к исследованию о влиянии целей предобучения на усвоение языковых свойств. Модель предназначена для извлечения признаков из текста и может служить экспериментальным чекпойнтом для изучения того, как цель предобучения влияет на языковые представления. Максимальная длина контекста — 514 токенов. Доступны веса PyTorch и Safetensors. Лицензия — CC BY 4.0. Случайная цель предобучения ограничивает основания ожидать от модели качественных готовых эмбеддингов или прикладной языковой системы; карточка не описывает конкретные прикладные сценарии или поддерживаемые естественные языки.

Модель Cristian Untaru из академического проекта SortMed — классификатор медицинских описаний симптомов на базе BioMedBERT с обучаемыми bottleneck-адаптерами и классификационной головой; базовый энкодер заморожен. На вход подаётся краткое описание симптомов на английском языке, на выходе — одна из трёх категорий предварительной оценки срочности: self_monitor, consult_gp или urgent. Модель предназначена для исследовательских и учебных прототипов медицинской предсортировки, а также для сравнения полного дообучения трансформеров с параметрически эффективным дообучением. Она содержит 136,7 млн параметров и рассчитана на контекст до 512 токенов. В тестировании на небольшом наборе SymCAT-derived с разметкой по правиловым критериям указаны accuracy 0,8491, macro precision 0,8530 и macro recall 0,8490. Эти результаты не подтверждают клиническую надёжность: метки не проверены медицинскими специалистами, а модель не учитывает возраст, анамнез, лекарства, показатели жизненных функций и другие важные данные. Лицензия — MIT. Модель не предназначена для диагностики, экстренных решений или самостоятельного применения в клинической сортировке; поддерживается только английский текст.

C2S-Scale-Gemma-2-27B — языковая модель van Dijk Lab при Yale, разработанная совместно с Google Research и Google DeepMind для анализа данных одноклеточного секвенирования РНК (scRNA-seq). Она дообучена на основе Gemma 2 27B в рамках подхода Cell2Sentence: профили экспрессии генов представляются как упорядоченные текстовые последовательности генов, по которым модель генерирует ответы.