IV.4Клиническая медицина и общественное здоровье

Carbon-8B — авторегрессионная плотная языковая модель семейства Llama, разработанная HuggingFaceBio для работы с последовательностями ДНК и РНК, прежде всего эукариот. Модель содержит 7,6 млрд параметров и распространяется как causal LM для Transformers. Гибридный токенизатор использует неперекрывающиеся 6-меры для ДНК и Qwen3 BPE для английского текста; каждый токен ДНК соответствует шести парам оснований. Модель предназначена для генерации геномных последовательностей, оценки их правдоподобия, предсказания эффектов вариантов, анализа возмущений мотивов и поиска информации в длинных последовательностях. Штатное контекстное окно составляет 32 768 токенов, или примерно 196 тысяч пар оснований; с YaRN модель можно экстраполировать до 128 тысяч токенов. В ветке fns доступны генерация с контролем на уровне отдельных нуклеотидов и оценивание вероятностей по позициям. Модель предварительно обучена на корпусе HuggingFaceBio/carbon-pretraining-corpus с данными ДНК и РНК. В описанных нулевых оценках Carbon-8B улучшает ряд результатов Carbon-3B, включая восстановление последовательностей и предсказание эффектов вариантов; для поиска в длинном контексте качество снижается за пределами штатной длины и частично восстанавливается с YaRN. Лицензия — Apache-2.0. Генетические входные и выходные данные могут быть чувствительными; порядок их обработки зависит от способа и провайдера использования.

Модель shindevaishnavi304/dinov2-finetuned-skin-disease — дообученная для классификации изображений версия визуального трансформера DINOv2 Base, разработанного Meta и представленная пользователем shindevaishnavi304. Она предназначена для отнесения изображений к классам заболеваний кожи и может применяться для предварительной сортировки изображений в учебных или исследовательских сценариях. Модель содержит 113,2 млн параметров, использует архитектуру Dinov2ForImageClassification и сохранена в формате safetensors; обучение проводилось на наборе imagefolder. В README приведена точность 0,7162 на оценочной выборке, однако оценивание выполнено после 3 шагов обучения, поэтому результат не подтверждает клиническую надёжность. Модель не следует использовать как самостоятельный инструмент диагностики. Лицензия — Apache 2.0.

ESM-1v t33 650M UR90S_1 — белковая языковая модель, разработанная Meta AI (Facebook Research). Она предназначена прежде всего для предсказания функциональных эффектов вариантов белковых последовательностей, в том числе без дополнительного обучения, по оценке различий правдоподобия последовательностей. Модель использует 33-слойный трансформер ESM-1b и обучена на последовательностях UniRef90; это первая из пяти моделей ансамбля ESM-1v. Метаданные Hugging Face указывают около 865 млн параметров и контекст до 1026 токенов; репозиторий содержит веса PyTorch и TensorFlow. Модель принимает аминокислотные последовательности с замаскированными токенами и предсказывает вероятности аминокислот для заполнения маски. Её можно применять для ранжирования мутаций по ожидаемому влиянию на функцию белка и для вычисления представлений белковых последовательностей. Она не генерирует структуру белка напрямую: для этого нужны другие модели или отдельные методы. Модель выпущена как предобученная исследовательская модель; доступность лицензии следует проверять в карточке репозитория перед использованием.

Amod/falcon7b-fine-tuned-therapy-merged — разговорная языковая модель для генерации ответов в сценариях психологического консультирования. Она основана на архитектуре RefinedWebModel и дообучена на наборе диалогов Amod/mental_health_counseling_conversations. Модель принимает текст и генерирует текстовые ответы; карточка обозначает английский язык. В репозитории указаны веса PyTorch, библиотека Transformers и лицензия Apache-2.0. Модель подходит для прототипирования чат-интерфейсов, которые отвечают на запросы о психологическом благополучии, и для экспериментов с консультативными диалогами. Размер указан как 10,9 млрд параметров. Карточка README не содержит дополнительной информации об оценке качества, контекстном окне или безопасном применении; ответы модели не следует считать профессиональной диагностикой или заменой помощи специалиста.

GENA-LM — семейство открытых предварительно обученных моделей AIRI Institute для анализа длинных последовательностей ДНК. Эта версия представляет собой BERT-подобную плотную трансформерную модель с 137,8 млн параметров, обученную предсказывать замаскированные токены в последовательностях генома человека и нескольких видов. Модель использует BPE-токенизацию вместо k-меров и принимает до 512 токенов, что соответствует примерно 4500 нуклеотидам. Архитектура включает 12 слоёв, 12 голов внимания, скрытый размер 768 и словарь из 32 тысяч токенов. Предобучение проводилось на сборке человеческого генома T2T, последовательностях других видов и вариантах, полученных на основе данных gnomAD. Модель подходит для восстановления замаскированных участков ДНК и как основа для дообучения на задачах классификации геномных последовательностей. Её специализация — биологические последовательности, а не обычный текст. Лицензия в предоставленных данных не описана.

Geneformer — трансформерная модель семейства BERT, разработанная для анализа сетей биологических взаимодействий на основе данных экспрессии генов в отдельных клетках. В карточке указано, что исходная модель обучалась на крупном корпусе одноклеточных транскриптомов; этот репозиторий является её дообученной версией. Архитектура — BertForMaskedLM, размер — 178,7 млн параметров, длина контекста — 4096 токенов. Модель предназначена для контекстно-зависимых предсказаний в сетевой биологии и переноса обучения на задачи с небольшим объёмом специализированных данных. В описании исходной модели приведены примеры применения для изучения динамики хроматина и биологических сетей, моделирования заболеваний и поиска потенциальных терапевтических мишеней. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Gravity-bio-16B-A3B — биологически ориентированная языковая модель Trillion Labs, полученная дополнительным midtraining базовой модели trillionlabs/Gravity-16B-A3B-Base на корпусе TheBioCollection. Она предназначена для генерации текста и задач в биологии, включая реконструкцию и дизайн молекул, предсказание синтеза и распознавание молекулярных свойств. Модель использует разреженную архитектуру Gravity-MoE в стиле DeepSeek: 64 маршрутизируемых эксперта с выбором восьми экспертов и одним общим, а также Multi-head Latent Attention для снижения затрат памяти на KV-кэш. В README указаны 16,24 млрд параметров всего и 3,16 млрд активных; метаданные каталога указывают 2,2 млрд. Контекст составляет до 8192 токенов. Модель принимает текст и генерирует текст; в метаданных указаны английский и корейский языки. По оценке TheBioCollection-Eval модель заметно превосходит базовый чекпойнт на биологических задачах. Это базовая, не дообученная на инструкции и не выровненная по безопасности модель, поэтому её ответы могут быть ошибочными или неполными и требуют независимой проверки, особенно для научных и медицинских решений. Лицензия — Apache-2.0; README указывает исследовательское назначение.

HFO-eHFO — модель классификации изображений из набора моделей HFO Classification Models, разработанного Roychowdhury Research для выявления эпилептических высокочастотных осцилляций (eHFO). Такие осцилляции изучаются как биомаркеры эпилепсии и областей мозга, связанных с возникновением приступов. Модель предназначена для анализа HFO в исследовательских и клинических рабочих процессах. В карточке описан конвейер классификации артефактов, spike-associated HFO и eHFO; этот репозиторий посвящён варианту eHFO. Архитектура указана как ResNet, задача в метаданных — классификация изображений. Модель можно загружать через библиотеку Transformers. Репозиторий содержит файлы ONNX и Safetensors и распространяется по лицензии MIT. Карточка заявляет высокую точность и устойчивость, но не приводит численных оценок, состав обучающих данных или клинической валидации. Практическое применение требует проверки на данных целевой популяции и оборудования.

HIV-BERT — модель семейства BERT, разработанная damlab как специализированное продолжение предварительного обучения ProtBert-BFD для задач, связанных с ВИЧ. Модель использует архитектуру BertForMaskedLM и кодирует каждую аминокислоту отдельным токеном; объём составляет 503,3 млн параметров, формат весов — PyTorch. В метаданных указан контекст длиной до 40 000 токенов. Модель обучена предсказывать замаскированные аминокислоты и может применяться для поиска вероятных замен в последовательностях ВИЧ, выявления необычных мутаций и артефактов секвенирования, а также как основа для дообучения классификаторов, специфичных для ВИЧ. Для дополнительного предварительного обучения использованы 1 790 полных геномов ВИЧ из базы Los Alamos, представленные примерно 3,9 млн аминокислотных токенов; обучение проводилось на фрагментах по 256 аминокислот с маскированием 15% токенов. Лицензия — MIT. Модель работает с аминокислотными последовательностями, а не с обычным текстом.

MeChat — китайскоязычный чат-бот для поддержки в вопросах психического здоровья, созданный авторами проекта на основе ChatGLM2-6B и дообученный методом LoRA на диалогах поддержки. Модель предназначена для многоходового общения, имитирующего беседу человека, ищущего помощь, со сторонником или консультантом. Для расширения обучающих данных авторы разработали SMILE: преобразовали однократные диалоги PsyQA в многоходовые с помощью ChatGPT и автоматической фильтрации. В README заявлено, что набор данных содержит около 55 тысяч диалогов; также описан процесс преобразования, дающий 310 087 обучающих примеров. Модель построена на архитектуре ChatGLM, содержит 7,8 млрд параметров и имеет контекст до 32 768 токенов. Она принимает текст и генерирует текст на китайском языке; репозиторий содержит веса PyTorch. Лицензия — MIT. Авторы предупреждают, что бот не является медицинским специалистом, не заменяет диагностику и лечение, а его ответы могут быть неточными или неподходящими; отдельно отмечены необходимость улучшать безопасность при кризисных ситуациях, работе с чувствительной информацией и предотвращении ошибочных советов.

MediKo-9B-A4B-base — базовая контрольная точка корейской медицинской языковой модели MediKo, разработанной на основе Qwen3-4B и дообученной на медицинском и общеязыковом корпусах. Модель предназначена для генерации текста в задачах корейского медицинского NLP и исследовательского анализа медицинских текстов. В модели используется архитектура VocMoE: расширенный медицинский словарь добавляет 5 000 корейских медицинских токенов, а механизм MoDE направляет их специализированным экспертам. В README указано 9,4 млрд параметров всего и 4,5 млрд активных параметров; метаданные каталога указывают 3,7 млрд параметров. Контекст составляет до 40 960 токенов. Заявлены корейский и английский языки, однако проверка модели описана только на корейском медицинском тексте. Лицензия — Apache-2.0. Это базовая, а не настроенная для инструкций версия, поэтому её следует использовать как основу для дальнейшей адаптации или в исследовательских экспериментах, а не ожидать от неё поведения готового медицинского чат-ассистента. README приводит оценки на KorMedMCQA, KMMLU-Med, EnMed, KoBEST и HAE-RAE и отмечает риск галлюцинаций. Модель не является медицинским устройством: её ответы нельзя использовать для диагностики, лечения, назначения препаратов или клинических решений; не следует передавать персональные данные пациентов.

NTv3_100M_pre — предварительно обученная модель InstaDeepAI для анализа геномных последовательностей. Это masked language model с U-Net-подобной архитектурой: сверточный блок, стек Transformer и деконволюционный блок с языковой головой. Модель работает на уровне нуклеотидов, используя символы A, T, C, G и N, и принимает последовательности длиной, кратной 128. Для загрузки требуется Transformers версии 4.55.0 или выше и пользовательский код репозитория. Модель предназначена для восстановления замаскированных нуклеотидов и получения представлений геномных последовательностей, которые можно использовать в задачах геномной аннотации и функционального анализа. Семейство NTv3 обучалось на 9 триллионах пар оснований и рассчитано на моделирование дальних зависимостей вплоть до 1 Мб контекста; конкретная карточка сообщает, что этот репозиторий содержит предварительно обученные MLM-веса. Модель портирована из JAX в Torch; при использовании bf16 возможны небольшие численные расхождения и нестабильность. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

Nucleotide Transformer v2 50M Multi-Species — трансформерная модель InstaDeep, NVIDIA и TUM для анализа последовательностей ДНК. Она предобучена на 850 геномах разных видов, охватывающих около 174 млрд нуклеотидов, и предназначена для задач геномики и молекулярного фенотипирования. Модель содержит 52,4 млн параметров и использует архитектуру второго поколения Nucleotide Transformers с rotary positional embeddings и Gated Linear Units. Последовательности токенизируются преимущественно в 6-меры; длина последовательности при обучении составляла 1000 токенов. Доступные задачи включают заполнение маскированных участков, классификацию последовательностей и разметку токенов. Метаданные указывают контекст до 2050 токенов. Модель подходит для представления и анализа геномных последовательностей, в том числе для прогнозирования молекулярных признаков. Обучающие геномы не включают растения и вирусы; качество для этих групп не подтверждено. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и ограничивает коммерческое использование.

HYU-NLP-EVAL разработала плотный чекпойнт Qwen3-4B для этапа RaR-Medicine OnlineRubrics-Every dense, шаг 13. Это дообученная модель на базе Qwen/Qwen3-4B-Instruct-2507 с 3,7 млрд параметров; репозиторий содержит веса BF16 и исходные файлы чекпойнта veRL. Модель предназначена для генерации текста в диалоговом формате и медицинских экспериментов с онлайн-рубриками. Заявленное окно контекста — 262 144 токена. Модель распространяется по лицензии Apache-2.0. README ограничивает использование исследовательскими целями; отдельные результаты оценки качества не приведены.

Это плотный чекпойнт Qwen3-4B, дообученный HYU-NLP-EVAL на медицинском наборе OnlineRubrics. Он предназначен для генерации текста в медицинских сценариях; карточка обозначает его как промежуточный чекпойнт на шаге 35 обучения. Модель основана на Qwen/Qwen3-4B-Instruct-2507, содержит 3,7 млрд параметров и принимает текстовый ввод, формируя текстовый ответ. Для инференса предоставлены веса BF16 в формате safetensors; заявленное контекстное окно — 262 144 токена. Модель может использоваться для исследовательских экспериментов с генерацией и оцениванием ответов по медицинским рубрикам. README ограничивает использование исследованиями. Лицензия Apache-2.0 указана в метаданных; качество и клиническая надёжность ответов в карточке не подтверждены.

Shaddyyy/SmolLM2-mental-health — дообученная с помощью TRL компактная языковая модель HuggingFaceTB/SmolLM2-135M с архитектурой LlamaForCausalLM. Она предназначена для генерации текста в диалоговом формате; в карточке приведён пример запуска через Transformers pipeline. Модель содержит 134,5 млн параметров и поддерживает контекст до 8192 токенов. Базовая SmolLM2-135M описана как англоязычная модель для генерации текста и локального запуска на устройствах с ограниченными ресурсами. Название указывает на тематику психического здоровья, однако карточка не описывает специализированные функции, обучающие данные или проверку качества в этой области. Лицензия в доступных данных не приведена.

Thai GPT-2 Fine-Tuned — генеративная языковая модель семейства GPT-2, дообученная пользователем Tewin330 для вопросов и ответов на тайском языке по набору данных disease_3000, содержащему 3 000 пар о заболеваниях. Модель предназначена для генерации ответов на медицинские вопросы на тайском языке и использует задачу text-generation. Модель поддерживает тайский язык, имеет контекстное окно 1 024 токена и распространяется по лицензии MIT. Она может применяться как основа для исследовательских прототипов и простых систем ответов на вопросы о заболеваниях, однако README не содержит сведений о размере модели, процедуре обучения, результатах оценки или подробностях архитектуры сверх принадлежности к семейству GPT-2. Модель не следует использовать как самостоятельный источник медицинских рекомендаций или для принятия клинических решений. Отсутствуют опубликованные результаты тестирования, описание качества, анализ рисков и рекомендации по безопасному применению, поэтому ответы требуют проверки специалистом.

WhyLesionCLIP — модель CLIP для сопоставления изображений поражений кожи с текстовыми описаниями, разработанная авторами проекта WhyLesionCLIP. Она дообучена на базе OpenCLIP ViT-L/14 и предназначена для классификации поражений кожи без обучения на целевых классах: модель сравнивает изображение с текстовыми описаниями и оценивает их сходство. Её также можно использовать как извлекатель признаков для последующих задач. Для обучения использованы 438 тысяч пар «изображение — текст», составленных на основе 56 590 изображений ISIC и клинических описаний, сгенерированных GPT-4V. В README сообщается о результатах zero-shot-классификации и линейного зондирования на пяти наборах данных поражений кожи. Модель принимает изображения и текст, формирует представления для сопоставления; библиотека загрузки — open_clip, формат файлов — PyTorch. Модель предназначена для исследований и не подходит для клинической диагностики, лечения или принятия медицинских решений. Авторы отмечают риск смещения и недостаточную устойчивость контрастивного обучения, в том числе возможность того, что модель опирается на различия между пациентами вместо признаков заболеваний. Лицензия — MIT.

DentVLM — мультимодальная модель зрения и языка для анализа стоматологических изображений и ответов на вопросы о них. Она разработана на основе Qwen/Qwen2-VL-7B-Instruct и дообучена для распознавания нарушений прикуса, стоматологических заболеваний и анализа отдельных областей изображения. Модель принимает изображения вместе с вопросами и формирует текстовые ответы; в метаданных указаны английский и китайский языки. Модель предназначена для академических и некоммерческих исследований, оценки стоматологических ИИ-систем и воспроизведения или развития исследовательских конвейеров. Она не предназначена для самостоятельной клинической диагностики, планирования лечения или принятия решений о пациенте. Качество ответов может зависеть от качества и типа изображения, условий получения данных, популяции, разметки и формулировки запроса; перед использованием в новых сценариях требуется валидация и профессиональный контроль. Веса распространяются по лицензии CC BY-NC 4.0, допускающей использование на некоммерческих условиях с указанием авторства; исходный код выпущен по Apache 2.0.

DNA2Vec — трансформерная модель roy chowdhury research для представления последовательностей ДНК в виде векторов. Она предназначена для поиска похожих последовательностей и выравнивания коротких прочтений без привязки к заранее заданному референсному геному, а также может применяться для классификации и других геномных задач. Архитектура включает 6 слоёв энкодера, 12 голов внимания и размерность эмбеддинга 1020; для сопоставления используется косинусное сходство. Модель обучалась на геномных данных с контрастивной функцией потерь и охватом около 2% генома человека. В README заявлены полнота выравнивания свыше 99% для качественных прочтений и перенос на последовательности других видов. Репозиторий содержит веса safetensors для Transformers, контекст — 1024 токена. Лицензия — MIT.

ESM-1v — белковая языковая модель, разработанная Facebook AI Research (ныне Meta AI) для оценки эффектов генетических вариантов по аминокислотным последовательностям. Этот чекпойнт — один из пяти вариантов ESM-1v с архитектурой Transformer: 33 слоя, около 865 млн параметров и максимальная длина входа 1026 токенов. Он предсказывает пропущенные аминокислотные токены и может использоваться в методах оценки вариантов, основанных на вероятностях модели. Модель работает с последовательностями белков, а не с естественными языками. Репозиторий содержит веса PyTorch и TensorFlow и размечен задачей fill-mask. Карточка Hugging Face не содержит сведений о лицензии; ESM-1v опубликована как исследовательская модель для предсказания эффектов вариантов. Модель сама по себе не выдаёт клинический диагноз и её оценки требуют интерпретации в исследовательском контексте.

ESM-1v — белковая языковая модель, разработанная исследовательской группой Meta AI (facebookresearch/esm). Этот чекпойнт входит в серию из пяти моделей, обученных предсказывать эффекты аминокислотных вариантов по белковым последовательностям. Он предназначен для оценки вариантов белка и анализа их вероятного влияния на функцию. Модель использует архитектуру трансформера ESM с маскированным языковым моделированием: 33 слоя, около 865 млн параметров по метаданным Hugging Face и контекст до 1026 токенов. На вход подаются последовательности аминокислот; модель предсказывает вероятности аминокислот для замаскированных позиций. Это специализированная модель для белковых последовательностей, а не обычный текстовый чат-бот. Репозиторий предоставляет веса PyTorch и TensorFlow. Лицензия в доступных источниках не подтверждена.

ESM-1v t33 650M UR90S вариант 5 — белковая языковая модель, разработанная исследовательской группой Meta AI. Модель основана на архитектуре ESM-1b и обучена на последовательностях белков UniRef90; она предназначена прежде всего для предсказания функциональных эффектов вариантов белковых последовательностей без дополнительного обучения. Указанный размер — около 865 млн параметров по метаданным Hugging Face; модель содержит 33 слоя, а её представления имеют размерность 1280. В Transformers она доступна для задачи fill-mask. Модель принимает аминокислотные последовательности с маскированными позициями и предсказывает вероятные аминокислоты; также из неё можно извлекать представления последовательностей. Это специализированная модель для белковой биологии, а не генератор обычного текста. Репозиторий Hugging Face не содержит карточки с условиями лицензии; поэтому условия использования нельзя надёжно указать по проверенным источникам.

GENA-LM (gena-lm-bert-base) — базовая модель AIRI-Institute для анализа длинных последовательностей ДНК человека. Это трансформер BERT, обученный в режиме masked language modeling на сборке генома T2T. Токенизатор использует BPE вместо k-mer-разбиения, поэтому при контексте 512 токенов модель обрабатывает около 4500 нуклеотидов. Архитектура включает 12 слоёв, 12 голов внимания, скрытый размер 768 и словарь из 32 тысяч токенов; число параметров — 137,8 млн. Модель предназначена для продолжения предобучения и дообучения на задачах классификации последовательностей ДНК, а также для извлечения представлений геномных фрагментов. Она принимает последовательности ДНК как текстовые токены и предсказывает замаскированные токены. В карточке приведены инструкции по загрузке через Transformers и оценочные результаты отнесены к публикации проекта. Условия лицензии в предоставленных данных не указаны.

GENA-LM — семейство открытых фундаментальных моделей AIRI Institute для анализа длинных последовательностей ДНК. Эта версия представляет собой трансформер BERT с 137,8 млн параметров, обученный предсказывать замаскированные фрагменты последовательности человеческого генома; для неё указан pipeline fill-mask. Модель обучена на сборке человеческого генома T2T с аугментацией вариантами из набора gnomAD. Используется токенизация BPE: контекст составляет 512 токенов, что соответствует примерно 4500 нуклеотидам. Архитектура близка к BERT-base: 12 слоёв, 12 голов внимания, размер скрытого состояния 768 и словарь из 32 тысяч токенов. Модель можно использовать как основу для дообучения на задачах геномной классификации и аннотации последовательностей. Она предназначена для анализа последовательностей человеческой ДНК, а не для обычного текста. В README не приведены результаты оценки и условия лицензии, поэтому качество на конкретных задачах и права использования следует проверять отдельно.

GENA-LM-t2t-lastln-base — перенос на Hugging Face модели GENA-LM, разработанной Fishman, Kuratov и коллегами из AIRI Institute; порт поддерживает Taykhoom Dalal. Это плотная трансформерная модель типа BERT для маскированного языкового моделирования последовательностей ДНК человека и других видов. Модель содержит 137,8 млн параметров, 12 слоёв и 12 голов внимания, использует BPE-токенизатор на 32 000 токенов и принимает последовательности длиной до 512 токенов. Модель обучалась на сборке генома человека T2T с добавлением вариантов из 1000 Genomes и gnomAD. Она предназначена для предсказания замаскированных участков ДНК, получения представлений последовательностей и дальнейшей тонкой настройки под задачи анализа геномных последовательностей. Порт воспроизводит исходные веса и результаты побитно в режиме eager и также поддерживает SDPA и FlashAttention 2. Распространяется по лицензии MIT. Это не генеративная модель для свободного текста: основной интерфейс предсказывает токены в масках. Для задач классификации или других задач на уровне последовательности потребуется дополнительная предсказательная голова и соответствующая настройка; исходные NSP-голова и pooler не включены.

Taykhoom Dalal поддерживает порт gLM2-650M для Transformers: плотную геномную языковую модель на 650 млн параметров, изначально разработанную Cornman et al. из Tatta Bio. Модель обучена на датасете OMG с помощью masked language modeling и сочетает токены аминокислот и ДНК в одной последовательности; регистр букв различает эти алфавиты. Порт сохраняет веса исходной модели и поддерживает генерацию эмбеддингов и предсказание замаскированных токенов. Модель предназначена для анализа геномных последовательностей и белковых последовательностей, в том числе для восстановления замаскированных фрагментов и получения контекстных представлений для последующей тонкой настройки. Архитектура gLM2 включает 33 трансформерных слоя, 20 голов внимания и размерность эмбеддингов 1280; длина контекста — 4096 токенов. Лицензия — Apache-2.0. Токенизатор чувствителен к регистру, не добавляет автоматически CLS или EOS и требует корректно подготовить последовательности с учётом соглашений модели. Для задач классификации последовательностей необходимо самостоятельно объединять представления непустых позиций и добавлять предсказательную голову.

GROVER — предварительно обученная языковая модель генома, разработанная PoetschLab. Она использует архитектуру BERT и предсказывает замаскированные токены в последовательностях ДНК, учитывая их контекст; модель предназначена для анализа геномных последовательностей. Чекпойнт содержит 113,7 млн параметров, работает в PyTorch и принимает контекст длиной до 512 токенов. При токенизации BPE представление последовательности может заметно меняться на участках короче 50 нуклеотидов; на более длинных участках также следует учитывать края последовательности. Авторы рекомендуют добавлять по 100 нуклеотидов с обоих концов, чтобы повысить соответствие исходной токенизации. Модель распространяется под лицензией, которая в предоставленных данных не указана.

MedAlpaca-13B — языковая модель на архитектуре LLaMA, дообученная для медицинских задач. Она содержит 12,9 млрд параметров и предназначена прежде всего для ответов на медицинские вопросы и ведения медицинского диалога. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. Для обучения использованы медицинские флеш-карточки Anki, материалы Wikidoc, пары вопросов и ответов из StackExchange и набор ChatDoctor. Авторы оценивают фактическую точность примерно 70% сгенерированных пар из Wikidoc; это оценка данных, а не гарантия точности ответов модели. Модель может быть полезна для учебных медицинских вопросов и диалоговых экспериментов. Она может ошибаться, хуже работать за пределами медицинской тематики и не рассчитана на уровень потребностей сертифицированных врачей. Авторы сообщают, что модель не проверялась в реальных приложениях, и предостерегают от использования вместо консультации врача. Лицензия в метаданных указана как CC.

MediKo-4B-A1B-inst — корейская медицинская разговорная модель с настройкой на выполнение инструкций, разработанная на базе Qwen3-1.7B. В ней используется архитектура VocMoE: расширенный медицинский словарь из 5 000 корейских токенов и восемь специализированных экспертов, из которых для каждого токена активируются два. Общее число параметров — 3,49 млрд, активно используется около 1,69 млрд; контекст — до 40 960 токенов. Модель предназначена для диалогов и генерации текста по темам корейской медицины, а также для исследовательских и учебных сценариев обработки медицинского языка. В README приведены результаты тестирования на корейских медицинских и языковых наборах данных; заявленная проверка ограничена корейским медицинским текстом. Лицензия — Apache-2.0. Модель может галлюцинировать и не предназначена для диагностики, лечения, назначения лекарств или клинических решений. Не следует передавать ей персональные данные пациентов. Mixture-of-Experts требует больше памяти, чем сопоставимая плотная модель.