IV.6Научные исследования, математика и новые материалы

GR00T N1.7 — flattentshirt — это дообученная модель vision-language-action из семейства GR00T N1.7-3B, опубликованная deformable-bench. Она управляет двумя манипуляторами Piper в задаче расправления смятой футболки на столе; обучение проводилось в симуляции с физическим моделированием ткани и фотореалистичными наблюдениями. Модель предназначена для управления роботизированной манипуляцией деформируемыми объектами в бимануальных сценариях. Репозиторий содержит веса дообученной политики в формате safetensors и точности bfloat16. Для загрузки также требуется доступ к закрытой базовой модели nvidia/Cosmos-Reason2-2B; её веса в этом репозитории не распространяются. Использование распространяется по лицензии Apache-2.0. Чекпойнт не прошёл замкнутую оценку бенчмарка, поэтому его успешность в выполнении задачи пока не подтверждена.

Haltere — модель управления квадрокоптером, разработанная на основе подграфа коннектома мужской центральной нервной системы плодовой мушки. Это рекуррентная сеть примерно из 30 000 нейронов с ограничениями на структуру и знаки связей по коннектому; веса связей, динамика нейронов, сенсорные кодировщики и моторное считывание обучаются. Модель реализована на PyTorch и распространяется под лицензией MIT. Контроллер получает сенсорные входы, рассчитанные по телеметрии, и предназначен для управления полётом в симуляторе Liftoff: отработки движения и прохождения трасс с препятствиями. Визуальные сценарии используют отдельный детектор ворот и пилот с заданными правилами, поэтому наблюдаемое поведение зависит не только от нейросети. Обучение сочетает имитационное обучение и обратное распространение ошибки через дифференцируемый симулятор; метка reinforcement-learning в каталоге обозначает широкую категорию задач. Опубликованные результаты относятся к конкретным конфигурациям симулятора и трассам: экспериментальные версии показывали отдельные успешные прохождения, но актуальный кандидат fast-brain11 не завершил гонку. Модель не является полной биологической симуляцией мушки, а перенос управления на реальные дроны и обобщение на неизвестные трассы не подтверждены.

Hemg/heartbeat-detection — модель Hemg для классификации аудио, дообученная на базе ntu-spml/distilhubert. Она использует архитектуру HuBERT и содержит 18,9 млн параметров. Модель предназначена для обнаружения сердцебиения по аудиозаписям; README сообщает точность 1,0 и loss 0,6877 на оценочном наборе. Карточка указывает лицензию Apache-2.0. Состав и условия записи данных, методика оценки и ограничения применения не описаны, поэтому приведённый результат сам по себе не подтверждает надёжность в клинических условиях.

liruiw/hpt-base — базовая модель проекта Heterogenous Pre-trained Transformers (HPT), разработанного Лируи Вангом, Синьлеем Ченом, Цзялян Чжао и Каймином Хе и представленного на NeurIPS 2024. Модель предназначена для обучения робототехнических политик: она помогает согласовать данные от разных воплощений роботов в общем латентном пространстве и исследует масштабирование обучения таких политик. В архитектуре политики HPT использует масштабируемый трансформер как промежуточный компонент, чтобы не обучать всю систему с нуля. Репозиторий содержит веса в формате safetensors; карточка не сообщает число параметров, контекст или лицензию. Описание сфокусировано на исследовательской робототехнике и не указывает языковые входы или выходы.

Это обученный чекпойнт политики pi0.5 для LeRobot, опубликованный в репозитории binomialdist. Модель предназначена для управления двуручной манипуляцией на установке ALOHA и обучена на наборе данных binomialdist/lerobot-aloha-dataset; указаны 20 000 шагов обучения и размерность состояния и действия 14. Политика использует изображения с трёх камер — верхней и двух камер на запястьях — и формирует последовательности действий длиной 50 шагов для роботизированной системы. В репозитории находятся веса safetensors, конфигурации политики и обучения, а также файлы пред- и постобработки. Чекпойнт предоставлен для проверки в рамках курса; условия лицензии и подробности использования в доступной карточке не приведены.

MedGemma-4B ECGInstruct — мультимодальная модель ConvAI Innovations для интерпретации электрокардиограмм. Она дообучена на базе google/medgemma-4b-it на наборе PULSE-ECG/ECGInstruct из 1,15 млн примеров «изображение ЭКГ — текстовая инструкция»; LoRA-адаптер объединён с базовой моделью. Архитектура — плотная Gemma 3 с поддержкой изображений и текста. Модель принимает изображения 12-канальных ЭКГ и текстовые вопросы, а выдаёт текстовые ответы и отчёты на английском языке. Модель предназначена для исследовательских и учебных экспериментов, прототипов поддержки принятия решений и сравнительной оценки алгоритмов анализа ЭКГ. Она может описывать нарушения ритма и проводимости, ишемические изменения, гипертрофию, частоту и ось сердца, а также изменения сегмента ST и зубца T. В README приведены точность токенов при обучении 86,83% и размер около 8,5 ГБ; эти показатели не подтверждают клиническую точность. Ограничения включают преимущественно взрослые данные обучения, возможное снижение качества на детских ЭКГ и редких паттернах, а также зависимость результата от качества изображения и наличия клинического контекста. Модель не валидирована для клинического применения и не должна использоваться для принятия решений о лечении без проверки специалистом. Лицензия — Apache-2.0.

genshiai-daichi разработала японскую медицинскую модель эмбеддингов на базе ModernBERT-Ja и ruri-v3. Это дообученная версия genshiai-daichi/med-ruri-v3-70m, предназначенная для семантического поиска по медицинским текстам и сопоставления поисковых запросов с документами. Модель содержит 70 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. Внутридоменная оценка поиска nDCG@10 на отложенных запросах из того же распределения составила 0,5117; авторы отмечают, что эта метрика не показывает качество на данных из других распределений или периодов. Для работы с Sentence Transformers нужны префиксы «検索クエリ: » для запросов и «検索文書: » для документов, а также та же предварительная обработка, что и при обучении: нормализация NFKC и удаление года из заголовка. В README указан промежуточный checkpoint, загружаемый по revision step-6159; main может обновляться. Лицензия Apache-2.0.

Модель pravsels/molmoact2_block_stack_so101_quantile_12k — промежуточный чекпойнт MolmoAct2, дообученный на задаче складывания блоков для манипулятора SO-100/101. Она предназначена для управления роботом по изображениям, состоянию робота и текстовым инструкциям; модель инициализирована из allenai/MolmoAct2-SO100_101 и обучена на наборе villekuosmanen/armnetbench_block_stack. Это вариант action-expert-only с нормализацией действий по квантилям q01/q99. В репозитории находится чекпойнт шага 12 000; обучение до 30 000 шагов продолжалось на Isambard. Для загрузки используется библиотека LeRobot. Лицензия в предоставленных данных не указана.

MolmoAct2-DROID — открытая модель vision-language-action для управления роботом, разработанная Allen Institute for AI. Она построена на Molmo2-ER и объединяет зрительно-языковую модель с экспертом непрерывных действий на основе flow matching, который использует KV-кэш VLM через послойные связи. Чекпойнт дообучен на отфильтрованной смеси Franka из DROID с абсолютным управлением позой суставов. Модель принимает изображения с камер и текстовую инструкцию вместе с исходным состоянием робота, а выдаёт непрерывные действия в масштабе робота. Она предназначена для вывода политик в стиле DROID и дальнейшего дообучения; основной режим — непрерывное предсказание действий. Для инференса доступны реализации на Transformers. Глубинное рассуждение в этом чекпойнте отключено. Карточка не указывает лицензию, число параметров, длину контекста или языки. Для приведённых экспериментов требуется около 24–26 ГБ видеопамяти в float32; bfloat16 может работать менее чем на 16 ГБ с небольшим влиянием на качество. Поведение следует проверять в симуляции и на конкретной аппаратной конфигурации, а при работе с физическим роботом применять ограничения действий и надзор оператора.

MolmoAct 7B-D LIBERO-Goal — модель рассуждения о действиях для роботизированных манипуляций, разработанная Allen Institute for AI. Она предназначена для воспроизведения результатов на бенчмарке LIBERO-Goal и управляет одноруким роботом Franka в задачах манипуляции предметами в домашних условиях и на столе. Модель объединяет языковую основу Qwen2.5-7B и визуальный энкодер SigLIP 2. Она обучалась в несколько этапов: на смеси предварительного обучения MolmoAct, затем на данных MolmoAct и с последующим дообучением на LIBERO-Long. Данные MolmoAct включают 10 тысяч траекторий для 93 задач манипуляции. Модель принимает изображения и текстовые инструкции и выдаёт действия робота; в карточке также заявлена возможность просматривать визуальную трассу предполагаемых действий. Это предварительная версия семейства MolmoAct, опубликованная для воспроизведения результатов; артефакты обучения и оценки на момент публикации обещаны позднее. README описывает открытую разработку, а метаданные указывают лицензию Apache-2.0. Перед запуском на физическом роботе следует проверять предполагаемые действия и соблюдать требования безопасности оборудования.

MolmoAct 7B-D LIBERO-Object — модель рассуждения о действиях для роботизированных манипуляций, разработанная Allen Institute for AI. Она предназначена для воспроизведения результатов на бенчмарке LIBERO-Object и принимает визуальные данные и текстовые инструкции, чтобы планировать действия робота.

Motus — модель Vision-Language-Action и world model, разработанная авторами проекта Motus. Этот чекпойнт дообучен для бенчмарка RoboTwin 2.0 и предназначен для управления роботами при выполнении более 50 задач манипуляции, включая бимануальные сценарии. Модель объединяет экспертов понимания, действий и генерации видео в архитектуре Mixture-of-Transformers и поддерживает несколько режимов моделирования. Для представления действий используются чанки по 48 шагов с частотой управления 30 Гц и 14 измерениями для двух рук. В описании компонентов указаны WAN 2.2 примерно на 5 млрд параметров, Qwen3-VL-2B примерно на 2,13 млрд и эксперт действий примерно на 641,5 млн параметров. На RoboTwin 2.0 авторы сообщают среднюю успешность 87,02% в рандомизированном режиме. Чекпойнт распространяется в формате PyTorch по лицензии Apache-2.0; для инференса требуется около 24 ГБ VRAM с предварительно закодированным T5 или около 41 ГБ без него.

Модель разработана командой NLP4BIA Барселонского суперкомпьютерного центра для распознавания упоминаний заболеваний в клинических текстах на румынском языке. Это дообученная для токенной классификации модель BERT с 151,6 млн параметров и контекстом до 512 токенов, основанная на dumitrescustefan/bert-base-romanian-cased-v1. Она помечает слова по схеме BIO: O, B-DISEASE и I-DISEASE. Модель предназначена для извлечения названий заболеваний из клинических записей и документов, в том числе для задач распознавания медицинских сущностей. Для соответствия опубликованным результатам при обработке нужно воспроизводить токенизацию, использованную при обучении; в карточке также рекомендуется шаг перекрытия 128 токенов для длинных документов. На румынском тестовом наборе MultiClinNER строгий F1 составил 0,6394, а символьный F1 — 0,7728. Модель выпущена под лицензией CC BY 4.0. Авторы предупреждают о возможных смещениях: оценка систематических предубеждений не проводилась. Результаты тестирования относятся к конкретному набору данных и задаче; модель не заменяет клиническую проверку.

Карточка модели seanTO/octo-small на Hugging Face совпадает с карточкой rail-berkeley/octo-small, поэтому описание составлено по ней. Octo Small — компактная модель управления роботами, разработанная командой Octo при Berkeley. Это Transformer с 27 млн параметров, сопоставимый по размеру с ViT-S. Модель обрабатывает изображения с основной и запястной камер, а также текстовое описание задачи: изображения кодируются свёрточным энкодером и группируются в патчи 16×16, для текста используются токенизатор T5 и энкодер T5-Base. Модель обучена на смеси наборов данных Open X-Embodiment. При окне истории до двух шагов она предсказывает последовательность 7-мерных действий на четыре шага вперёд с помощью diffusion policy. Это позволяет применять её для управления манипулятором по визуальным наблюдениям и текстовой задаче. Репозиторий содержит веса Flax и распространяется по лицензии MIT.

opd-teacher-Q2.5I-DiscreteLogarithm-step149 — плотная авторегрессионная языковая модель семейства Qwen2.5, дообученная David Heineman на базе Qwen/Qwen2.5-1.5B-Instruct методом GRPO с использованием RLVE в среде DiscreteLogarithm с уровнем сложности 0. Это финальный чекпойнт после 150 обновлений, предназначенный для эксперимента по on-policy-дистилляции с 32 средами. Модель содержит 1,5 млрд параметров, принимает текст и генерирует текст; карточка указывает контекст до 32 768 токенов и английский язык. Она подходит для генерации ответов и проверки поведения модели на задачах дискретного логарифмирования в рамках описанного эксперимента. Веса сохранены в формате safetensors и проверены на соответствие именам и формам тензоров базовой модели. Модель распространяется по лицензии Apache-2.0, унаследованной от Qwen. Карточка описывает экспериментальное назначение: обучение ограничено конкретной средой и уровнем сложности, поэтому она не подтверждена как универсальный помощник или решатель задач иных уровней сложности.

Это полноразмерная версия модели pi0, дообученная командой KIRO на объединённом наборе данных из 11 этапов `_14D`. Обучение проведено на базе `lerobot/pi0_base`: 30 000 шагов с размером пакета 32 и точностью bf16; использовалась градиентная контрольная точка. Репозиторий содержит веса в формате safetensors. Модель предназначена для управления роботом по данным обучающих траекторий KIRO. В наборе было 1 741 эпизод и 645 077 кадров; конкретные поддерживаемые роботом действия и условия применения в карточке не описаны. Для использования и адаптации модели применяется лицензия Apache-2.0.

Это контрольная точка обучения SmolVLA для управления роботом SO-101 при выполнении задачи pick-and-place с двумя дисками. Модель разработана автором репозитория и обучалась 90 000 шагов на данных zwan1003/pickplace_skills_v3_2; файлы весов представлены в формате safetensors, библиотека — LeRobot. Эта версия предназначена для воспроизведения сравнения контрольных точек. По карточке, качество достигало пика на 60 000 шагах, после чего ухудшилось из-за переобучения; для результатов, опубликованных автором, следует использовать zwan1003/pickplace_skills_vla_v3_2_ckpt060k. Лицензия — Apache-2.0.

Это обученный агент Proximal Policy Optimization (PPO) для среды Walker2d-v3, опубликованный организацией sb3 и подготовленный с помощью Stable-Baselines3 и RL Zoo. Модель предназначена для управления двуногим персонажем в симуляции Walker2d-v3: по наблюдениям среды агент выбирает действия, чтобы персонаж передвигался и сохранял равновесие. Агент относится к глубокому обучению с подкреплением и распространяется в формате PyTorch для использования с инструментами Stable-Baselines3 и RL Zoo. Это специализированная модель для одной симуляционной среды, а не языковая модель; естественные языки и контекстное окно к ней неприменимы. Лицензия в предоставленных данных не указана.

Модель ahmedesmail16/Psoriasis-Project-Aug-M2-swinv2-base-patch4-window12-192-22k — дообученная Ahmed Esmail модель Microsoft Swin Transformer V2 Base для классификации изображений. Она содержит 58,7 млн параметров и предназначена для распознавания классов псориаза по изображениям; в отчёте оценки указаны классы Erythromelal, Guttate и Inverse, а также девять дополнительных строк таблицы. В README сообщается об accuracy 1,0 и loss 0,0088 на тестовой выборке, но её размер и состав обучающих данных не раскрыты. Эти результаты сами по себе не подтверждают пригодность для клинической диагностики. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Qwen2.5-VL-7B-Instruct-MRPO — медицинская мультимодальная модель для ответов на вопросы по изображениям. Она разработана на базе Qwen2.5-VL-7B-Instruct с применением метода обучения с подкреплением MRPO, который использует вознаграждения за итоговый ответ и отдельные шаги рассуждения, усиливая штраф за ранние ошибки. Модель предназначена для медицинских визуальных вопросов и ответов (VQA) и улучшения точности медицинских рассуждений. Модель построена на плотной архитектуре Qwen2.5-VL и содержит 7,1 млрд параметров. Она принимает изображения и текстовые запросы, генерирует текст и поддерживает контекст до 128 000 токенов. В метаданных указан английский язык. Репозиторий использует формат safetensors; лицензия — Apache-2.0.

Это объединённый BF16-чекпойнт LISA 7B, адаптированный для семантической сегментации железнодорожных сцен. Модель создана на основе LISA-7B-v1; согласно README, её линия базовых моделей проходит через LLaVA-Lightning-7B-v1-1 к LLaMA/Vicuna. В архитектуре используются LLaVA, сегментационный компонент Segment Anything и визуальный энкодер CLIP ViT-L/14. Размер модели — 6,6 млрд параметров, контекст — 2048 токенов. Модель предназначена для выделения железнодорожного полотна и активного маршрута по изображению, в том числе в сценах со стрелками. Она обучалась на железнодорожных изображениях и семантической разметке RailSem19 и служит вариантом сравнения с моделью, которая также формирует рассуждения о стрелках. Репозиторий содержит веса и результаты оценки, но не распространяет материалы RailSem19. Для инференса требуются весь каталог модели, включая vision_tower, проектный репозиторий, предоставленный контейнер и NVIDIA GPU; поддерживаемый сценарий запуска использует chat_batch.py и Transformers 4.31. Это исследовательский артефакт, не предназначенный для работы через стандартные интерфейсы Hugging Face pipeline или AutoModel. Модель может ошибаться при плохой видимости, необычной геометрии путей, перекрытиях и вне обученного домена; её результаты нельзя применять для управления железнодорожным движением или других критичных решений. Лицензия указана как other; условия исходных компонентов и RailSem19 требуют отдельной проверки.

RLDX-1-FT-RC365 — модель управления роботизированной манипуляцией, разработанная RLWRLD и дообученная на наборе RoboCasa-365 для обобщения между 365 задачами. Она использует архитектуру Multi-Stream Action Transformer (MSAT) на основе Qwen3-VL-8B-Instruct: отдельные потоки обрабатывают восприятие, физические сигналы и действия, объединяя их совместным вниманием. Модель имеет 6,9 млрд параметров и обучена методом flow matching. На вход подаются RGB-видео (по умолчанию четыре кадра), проприоцептивное состояние робота и текстовая инструкция; на выходе — последовательности действий длиной 16 шагов. Модуль движения учитывает изменения между кадрами, а модуль памяти использует историю наблюдений. На RoboCasa-365 модель показала средний успех 31,5% по 365 задачам. Модель предназначена для исследований роботизированной манипуляции, изучения обобщения на RoboCasa-365 и некоммерческого применения на реальных роботах при соблюдении условий RLWRLD Model License v1.0. Она специально обучена для RoboCasa-365; для RoboCasa Kitchen README рекомендует другой чекпойнт, а для иных роботов и наборов данных — дообучение базовой RLDX-1-PT. Коммерческое применение исключено; лицензия также ограничивает ряд других видов использования.

Модель IDEAS-Lab-Northwestern — дообученная версия LeRobot SmolVLA для манипуляций в задаче clutter на симуляции робота Franka Panda. Она принимает изображения с двух камер: обзорной верхней и камеры на запястье, а также состояние суставов робота; языковая инструкция может быть необязательной. В основе — визуально-языковой модуль SmolVLM2 и эксперт действий с flow matching; визуальный энкодер заморожен, обучался эксперт действий без LoRA. Модель выдаёт последовательности из 50 абсолютных целевых значений для 7 суставов руки и захвата. Состояние и действия размерности 8 дополняются до 32 измерений, предусмотренных SmolVLA. Чекпойнт рассчитан на использование через LeRobot и включает статистику нормализации. Обучение проведено на данных ManiGuard clutter; лицензия Apache-2.0.

SmolVLA Lid — модель управления роботом, разработанная IDEAS-Lab-Northwestern на основе lerobot/smolvla_base и дообученная для задачи ManiGuard lid в симуляции с роботом Franka Panda. Она принимает изображения с двух камер и состояние суставов; архитектура использует визуально-языковой backbone SmolVLM2 и эксперт действий на основе flow matching. Модель выдаёт последовательности из 50 целевых значений суставов для 7 суставов руки и захвата; состояние и действия размерности 8 дополняются до 32 измерений для формата SmolVLA. Модель предназначена для манипуляции крышкой в заданной симуляционной среде. При обучении использовались данные IDEAS-Lab-Northwestern/datagen-lid-v1-joint-5cam, преобразованные в двухкамерный формат; визуальный энкодер был заморожен, обучался эксперт действий без LoRA. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Это модель управления роботом IDEAS-Lab-Northwestern, созданная дообучением LeRobot SmolVLA для задачи укладки объектов в симуляции с роботом Franka Panda. Она принимает изображения с двух камер, состояние суставов и языковую инструкцию, а выдаёт последовательности непрерывных целевых значений суставов. Модель основана на визуально-языковом кодировщике SmolVLM2 и эксперте действий с flow matching; визуальный кодировщик заморожен, дообучался эксперт действий. Входное и выходное состояние охватывают 7 суставов руки и захват, дополненные до 32 измерений; действия выдаются блоками по 50 шагов. Чекпойнт обучен на данных ManiGuard для задачи stack и предназначен для оценки управления в среде Franka Panda. Распространяется по лицензии Apache-2.0.

τ₀-World Model (τ₀-WM) — модель мира для роботизированных манипуляций, разработанная исследовательской группой SII Research. Она объединяет обучение политики, предсказание видео и оценку действий в одной предсказательной системе на общей видеодиффузионной основе Wan-2.2. В репозитории опубликованы две части: Video Action Model совместно предсказывает будущие визуальные представления и непрерывные последовательности действий, а симулятор прогнозирует многокамерное будущее при заданных действиях и оценивает прогресс выполнения задачи. Модель принимает изображения с нескольких камер, текстовые инструкции и состояние робота; рассчитана на манипуляции двумя руками. Выход включает прогнозы будущих визуальных представлений, позы двух манипуляторов и состояние захватов; симулятор также выдаёт оценки прогресса. Обучение проводилось примерно на 27 300 часах разнородных данных, включая телоуправление реальными роботами, взаимодействия в стиле UMI и видео от первого лица. В метаданных указаны архитектурное семейство TI2V, формат PyTorch и английский язык. Репозиторий распространяется по лицензии Apache-2.0; README отсылает к GitHub за инструкциями по развёртыванию.

Это обученный агент TQC для среды PandaPickAndPlace-v3. Модель создана с использованием Stable-Baselines3 и RL Zoo — инструментария для обучения и настройки агентов обучения с подкреплением. Она предназначена для управления роботом Panda при выполнении задачи захвата и перемещения объектов в симуляции. Агент принимает состояние среды и выдаёт действия для взаимодействия с ней; модель использует PyTorch. Карточка не сообщает размер модели, языки или условия лицензии, поэтому эти характеристики не приводятся.

Это дообученная политика VLA-JEPA от автора Helen9975 для управления бимануальным роботом в сценарии MolmoAct2-BimanualYAM с блоками blocks_v2. Модель основана на lerobot/VLA-JEPA-Pretrain и предназначена для предсказания действий робота по изображениям с трёх камер, расположенных в порядке top, left, right. Контрольная точка обучена до шага 100000; выход содержит 14 абсолютных значений суставов и команд для захватов. В рецепте обучения использовались размороженная VLM и функция потерь world model. Для загрузки и запуска требуется библиотека LeRobot. В README приведён результат open-loop smoke-проверки на двух отложенных эпизодах: MSE 0,00672 и MAE 0,0596; эта небольшая проверка не характеризует надёжность на других роботах и сценариях. Лицензия — Apache-2.0.

3D HAMSTER — модель-планировщик для робототехники, разработанная авторами проекта 3D HAMSTER и представленная на IROS 2026. Она принимает одно наблюдение RGB-D и текстовую инструкцию, а затем предсказывает метрически привязанную траекторию конечного звена манипулятора в 3D. Модель объединяет Qwen3-VL-8B, визуальный энкодер и геометрический энкодер LingBot-Depth на базе DINOv2 ViT-L/14; веса геометрического энкодера заморожены. Чекпойнт содержит около 9 млрд параметров в формате bf16 и использует пользовательскую архитектуру Qwen3VLGeometryForConditionalGeneration. Модель предназначена для планирования манипуляций по RGB-D-данным и языковым командам. Выходную 3D-траекторию можно передавать низкоуровневой политике, работающей с облаком точек. Для запуска требуется пакет hamster3d. Модель дообучена на базе Qwen/Qwen3-VL-8B-Instruct и распространяется по лицензии Apache-2.0. README не приводит конкретных языков инструкций, размера контекста или результатов бенчмарков.

Clinical-Longformer — клинически адаптированная языковая модель Longformer, опубликованная автором yikuan8. Модель дополнительно предварительно обучена на клинических записях MIMIC-III и предназначена для работы с длинными медицинскими текстами. Это плотная трансформерная модель с архитектурой LongformerForMaskedLM, примерно 151,8 млн параметров и контекстом до 4 098 токенов; доступный формат — PyTorch. Основной режим работы — предсказание замаскированных токенов. В README также описаны результаты экспериментов на задачах распознавания медицинских сущностей, ответов на вопросы, вывода по тексту и классификации: модель превосходила ClinicalBERT как минимум на 2% на десяти наборах данных. Её можно применять как основу для анализа клинических заметок и последующей адаптации под профильные задачи. Модель ориентирована на английский язык и клинические тексты; условия лицензирования в предоставленных данных не описаны.