IV.4Клиническая медицина и общественное здоровье

Nucleotide Transformer 500M 1000G — трансформерная языковая модель для анализа последовательностей ДНК, разработанная InstaDeep, NVIDIA и TUM. Она обучена предсказывать замаскированные участки последовательности и служит основой для задач геномики, включая оценку молекулярных фенотипов. Модель содержит 634,4 млн параметров и использует архитектуру ESM с плотными слоями. Для предобучения использованы 3202 генетически разнообразных генома человека из 27 популяций проекта 1000 Genomes; обучение охватило 300 млрд токенов. Последовательности кодируются токенизатором 6-меров, а максимальная длина составляет около 1000 токенов. Доступны версии для PyTorch и TensorFlow. Модель предназначена для научных и прикладных задач геномики, где требуется извлекать закономерности из ДНК и получать представления последовательностей для последующего анализа. Это не модель для обычного текста: входом служат последовательности ДНК, выходом — предсказанные токены или оценки для задачи заполнения маски. Лицензия CC BY-NC-SA 4.0 требует указания авторства и ограничивает коммерческое использование.

PetBERT — англоязычная masked language model на архитектуре BERT, разработанная Small Animal Veterinary Surveillance Network (SAVSNET). Модель дообучена на более чем 500 млн слов из 5,1 млн ветеринарных электронных медицинских записей, собранных в клиниках Великобритании. Это вариант BERT для заполнения пропусков в тексте; размер модели — 135,5 млн параметров, максимальная длина контекста — 512 токенов. PetBERT предназначена для работы с англоязычными клиническими записями о домашних животных, например для восстановления пропущенных слов и анализа ветеринарных текстов в исследовательских и надзорных сценариях. В README также описана отдельная производная модель PetBERT-ICD для автоматического присвоения кодов заболеваний и выявления вспышек, однако эти возможности не относятся к указанной здесь модели fill-mask. Модель основана на google-bert/bert-base-uncased и распространяется под лицензией OpenRAIL. Обучающие записи охватывают преимущественно собак и кошек; исходный набор данных не опубликован из-за требований конфиденциальности владельцев животных.

RaR-Medicine static R0 matched dense — экспериментальный чекпойнт на базе Qwen3-4B-Instruct-2507, подготовленный HYU-NLP-EVAL. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; карточка указывает контекст до 262 144 токенов и поддержку диалогового режима. В репозитории есть веса BF16 для инференса и исходные файлы чекпойнта veRL. Модель предназначена для генерации текста и диалоговых сценариев в медицинской тематике; название и карточка указывают на статический matched dense чекпойнт RaR-Medicine с шагом обучения 0. Она дообучена от Qwen/Qwen3-4B-Instruct-2507. README ограничивает применение исследовательскими целями. Лицензия — Apache-2.0.

Это плотная языковая модель Qwen3 с 3,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Instruct-2507 и представленная как контрольный чекпойнт RaR-Medicine static R0 на шаге 17. Она предназначена для генерации текста в медицинском контексте. Модель поддерживает диалоговый режим и контекст до 262 144 токенов; веса доступны в формате BF16 и Safetensors, исходный каталог содержит файлы чекпойнта veRL с параметрами модели. Лицензия — Apache-2.0. Карточка указывает исследовательское использование; конкретные медицинские задачи и языки обучения не описаны, поэтому пригодность для клинических решений по этим сведениям установить нельзя.

Thai GPT-2 Fine-Tuned — генеративная модель семейства GPT-2, дообученная студентом Akarawut для ответов на вопросы на тайском языке. Модель обучалась на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов о заболеваниях, и предназначена для текстовой генерации в сценариях вопросов и ответов в медицинской тематике. Модель поддерживает тайский язык (th), использует архитектуру GPT-2 и имеет нативную длину контекста 1 024 токена. В метаданных указаны формат safetensors, библиотека или экосистема GPT-2, задача text-generation и метрика perplexity. Лицензия — MIT, поэтому модель допускает использование в соответствии с условиями этой лицензии. Модель может быть полезна для прототипирования тайскоязычных чат-ботов и генерации предварительных ответов о заболеваниях. README не содержит результатов оценки, подробностей обучения и рекомендаций по безопасному применению; ответы не следует рассматривать как медицинскую диагностику или профессиональную консультацию.

Thai GPT-2 Fine-Tuned — генеративная языковая модель семейства GPT-2, дообученная пользователем Thanandon для вопросов и ответов на тайском языке по тематике заболеваний. Модель обучена на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов, и предназначена для генерации текстовых ответов в задачах медицинского вопросно-ответного взаимодействия. Модель поддерживает тайский язык, относится к архитектуре GPT-2 и использует контекст длиной до 1 024 токенов. В качестве основной задачи Hugging Face указана генерация текста. Модель может применяться как компонент прототипов медицинских чат-ботов, систем предварительной навигации по вопросам о заболеваниях и исследовательских проектов по тайскому NLP. Лицензия MIT разрешает использование, модификацию и распространение с соблюдением её условий. Модель разработана студентом Thanandon и не содержит опубликованных сведений о размере, точной конфигурации, процедуре обучения или результатах оценки. Из-за медицинской тематики и отсутствия подробной валидации её ответы нельзя считать профессиональными медицинскими рекомендациями; перед практическим использованием необходимы проверка специалистами и контроль качества.

TraceMed 是基于 Qwen3 架构的 3.7B 参数稠密文本生成聊天模型，使用 BF16 精度和 Safetensors 权重，可通过 Hugging Face Transformers 加载； для работы модель поддерживает контекст до 32 768 токенов. Модель предназначена для задач традиционной китайской медицины: она может связывать симптомы с синдромом и патогенезом, предлагать принципы лечения и формулы, а также сравнивать формулы и медицинские понятия по составу, действию и показаниям. В демонстрациях заявлены ответы с цитатами, ведущими к исходным фрагментам учебных материалов. Карточка указывает китайский и английский языки; модель ориентирована прежде всего на китайский язык. Базовая модель, обучающие данные, результаты оценки и лицензия в карточке не приведены, поэтому происхождение модели и условия её распространения установить нельзя. Приведённые примеры не заменяют медицинскую оценку специалиста.

Модель spycoder/vit-base-patch16-224-in21k-enhanced-ham10000 — дообученная версия Vision Transformer google/vit-base-patch16-224-in21k, разработанная для классификации изображений. Она содержит 113,2 млн параметров и предназначена для распознавания классов на изображениях дерматологических поражений; обучение проводилось на наборе ahishamm/HAM_db_enhanced_balanced_reduced_50_20_20_50. На указанном в карточке наборе оценки модель показала accuracy 0,8451 и loss 0,5305. Модель принимает изображения и выдаёт метки классов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает классы, методику оценки и ограничения применения, поэтому результаты не подтверждают пригодность для клинической диагностики.

CENO-P-600M — вариант ДНК-модели семейства CENO, разработанный для предсказания эффектов генетических вариантов по множественным выравниваниям последовательностей (MSA). Чекпойнт прошёл дополнительное обучение на MSA и оценивает варианты сравнением правдоподобия последовательностей дикого типа и мутантных вариантов. Для запуска VEP авторы предлагают пример TraitGym в сопутствующем репозитории CENO. Архитектура сочетает Mamba, attention и Mixture-of-Experts; токенизатор посимвольно кодирует основания ДНК. Метаданные указывают 336,1 млн параметров и контекст до 1 048 576 токенов, тогда как README приводит размер 630,8 млн параметров. Модель загружается через Transformers с пользовательским кодом и распространяется в формате safetensors. Лицензия — Apache-2.0.

Claria 14b — экспериментальная разговорная языковая модель автора Dr. Alexandru Lupoi для поддержки психологических и психиатрических сценариев. По README, она основана на Qwen3 14B и дообучена на отобранных психотерапевтических данных; метаданные Hugging Face указывают базовую модель unsloth/qwen3-14b и архитектуру Qwen3ForCausalLM. Модель имеет 14 млрд параметров, контекст до 40 960 токенов и лицензию Apache 2.0. Claria предназначена для диалоговой поддержки с участием специалиста, обучения и ролевых симуляций в сфере психического здоровья, а также исследований эмоционально ориентированного взаимодействия с ИИ. Она рассчитана на рефлексивные подсказки, мягкие вопросы и многошаговый разговор. Репозиторий содержит safetensors; README также описывает варианты GGUF Q4, Q8 и BF16 и запуск через Ollama или LM Studio. Модель не заменяет специалиста и не предназначена для самостоятельной терапии, постановки диагноза или кризисной помощи. Она может уверенно выдавать ошибочную информацию, лучше работает со структурированными подсказками и, согласно карточке, не рассчитана на свободный разговор общего назначения.

DentaInstruct-1.2B — дообученная инструкционная языковая модель для ответов на вопросы по стоматологии и здоровью полости рта. Её разработал автор репозитория yasserrmd на базе LiquidAI/LFM2-1.2B; модель имеет плотную decoder-only архитектуру LFM2 и содержит около 1,5 млрд параметров. Она обучалась на отфильтрованной стоматологической подвыборке MIRIAD с использованием Unsloth и настроена на диалоговый формат. Модель предназначена для образовательных вопросов и ответов, чат-ботов по здоровью полости рта и исследований дообучения языковых моделей для клинических областей. Карточка отмечает уверенную работу со стоматологической терминологией и следование инструкциям, но также сообщает о редких фактических ошибках. Доступный контекст составляет 32 768 токенов, основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. Данные обучения не проходили ручную проверку медицинскими экспертами, поэтому модель не следует использовать для диагностики или принятия решений о лечении; она предназначена для образовательного и исследовательского применения.

DermAI ViT Base Patch16 224 — модель классификации изображений, созданная дообучением google/vit-base-patch16-224 для распознавания семи классов кожных поражений в наборе HAM10000. Она использует архитектуру Vision Transformer с 113,2 млн параметров и принимает изображения для отнесения к одному из классов поражений кожи. Модель разработана как часть проекта DermAI по исследованию объяснимости и сравнению объяснений свёрточных сетей и Vision Transformer. Модель предназначена для классификации изображений кожных поражений и исследовательского сравнения методов объяснения решений моделей. Репозиторий содержит веса в формате safetensors; библиотека для работы — Transformers. Лицензия Apache-2.0. Карточка не сообщает метрики качества и конкретные методы объяснения, поэтому пригодность для клинической диагностики не подтверждена.

OpenMed Community разработала Granite 4.0 Micro OpenMed — дообученную и объединённую с исходной IBM Granite 4.0 Micro компактную инструкционную языковую модель с архитектурой GraniteMoeHybridForCausalLM и 3,4 млрд параметров. Модель предназначена для медицинского образования и следования инструкциям; она принимает текст и генерирует текст. Контекстное окно составляет до 131 072 токенов. Модель обучали на задачах MedMCQA-Hard с помощью JEPA-LLM SFT и GRPO, добавляя данные для следования инструкциям и затем сливая результат с базовой моделью через Arcee Fusion. Она подходит для разбора медицинских понятий, учебных вопросов в формате экзамена и исследовательских демонстраций, в том числе с инструментами. В карточке указаны улучшения на тестах MMLU и IFEval относительно базовой модели, но они умеренные. Модель распространяется по лицензии Apache-2.0. Она может ошибаться и не предназначена для постановки диагнозов, назначения лечения или автономных клинических решений; ответы в медицинских сценариях требуют проверки специалистом. Для актуальных рекомендаций карточка советует использовать поиск по источникам.

47ag925/kormed-mcqa-klue-roberta — модель на основе klue/roberta-base, дообученная на конфигурации doctor набора sean0042/KorMedMCQA. Она предназначена для ответов на медицинские вопросы в формате теста с пятью вариантами выбора на корейском языке. Модель содержит 137,8 млн параметров, использует архитектуру RoBERTa и поддерживает контекст до 514 токенов. Модель подходит для решения вопросов в стиле экзамена на получение лицензии врача в Корее. Обучение на 1 890 примерах ограничивает усвоение медицинских знаний, а качество может снижаться на общих медицинских вопросах вне домена корейского государственного экзамена. Лицензия — CC BY 4.0.

Mascaret — модель Waiv для извлечения признаков из гистологических изображений в вычислительной патологии. Она создана как версия Midnight-12k, дообученная по рецепту, который повышает устойчивость к различиям в сканерах и лабораториях. Модель использует энкодер DINOv2 и предназначена для получения визуальных признаков, которые можно применять в последующих задачах анализа патологических изображений и онкологических исследований. Waiv делится моделью для бенчмаркинга и исследовательского использования. Для загрузки весов требуется доступ к gated-репозиторию; лицензия обозначена как other, поэтому условия использования следует уточнить на странице модели.

ZainYz/MedchatbotLlama-3.1-8B — разговорная языковая модель, разработанная ZainYz путём дообучения unsloth/Meta-Llama-3.1-8B-bnb-4bit с использованием Unsloth и Hugging Face TRL. Она предназначена для генерации текста в диалогах на медицинскую тематику; карточка не приводит подробностей о конкретных медицинских сценариях или результатах оценки качества. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и контекст до 131 072 токенов. Репозиторий использует формат PyTorch. Лицензия — Apache-2.0. Медицинские ответы могут быть неточными или неполными; перед клиническим применением их следует проверять у квалифицированного специалиста. Карточка не описывает обучение на медицинских данных или валидацию модели.

Minbyul/meditron-7b-wo-kqa_golden-iter-sft-step1 — дообученная модель генерации текста на архитектуре Llama, созданная на основе epfl-llm/meditron-7b и датасета HuggingFaceH4/deita-10k-v0-sft. Модель содержит 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Базовая Meditron-7B описана как англоязычная медицинская языковая модель для экспериментов с ответами на медицинские вопросы; этот чекпойнт дополнительно дообучен на наборе инструкционных данных Deita. Его можно применять для генерации текста и исследовательских экспериментов с медицинскими запросами, однако README не приводит оценки качества для конкретных задач, а указанный loss сам по себе не подтверждает клиническую надёжность. Лицензия модели — Llama 2 License.

mlm-baseline-hg38 — маскированная языковая модель нуклеотидных последовательностей генома человека hg38, опубликованная Songlab. Она принимает закодированные последовательности ДНК и для замаскированных позиций предсказывает распределение вероятностей по нуклеотидам A, C, G и T. Модель использует сверточную нейронную сеть, обученную методом masked language modeling; архитектура устроена так, чтобы согласованно обрабатывать последовательность и её обратный комплемент. Модель подходит для оценки того, насколько вариант последовательности неожиданен в контексте генома, и для извлечения признаков последовательности. В README указано, что это частичный чекпойнт, выпущенный примерно на половине запланированного цикла обучения до снижения learning rate; для воспроизводимых экспериментов следует закрепить ревизию. Веса опубликованы в формате safetensors, лицензия — MIT.

MONET — модель компьютерного зрения и языка на основе CLIP ViT-L/14, обученная исследователями на 105 550 дерматологических изображениях, сопоставленных с текстовыми описаниями из медицинской литературы. Репозиторий содержит вариант с Vision Transformer в качестве кодировщика изображений и Transformer с masked self-attention в качестве кодировщика текста; модель обучалась сопоставлять изображения и текст по контрастивной функции потерь. Модель предназначена прежде всего для исследователей: она позволяет проверять классификацию дерматологических изображений по текстовым описаниям без специального обучения под каждый класс, а также изучать обобщение, устойчивость, смещения и ограничения моделей. Авторы сообщают, что MONET может размечать дерматологические концепции с точностью, сопоставимой с контролируемыми моделями, обученными на клинических наборах с разметкой понятий. Модель рассчитана на английские текстовые запросы. Авторы не рекомендуют применение в развернутых системах и поиск изображений без тщательного тестирования на конкретной фиксированной таксономии классов; распознавание лиц и наблюдение исключены из допустимых сценариев. Лицензия в предоставленных данных не указана.

Elfrino/PsyMedNethena-20B — текстовая авторегрессионная модель семейства Llama, созданная слиянием двух предварительно обученных моделей: NeverSleep/Nethena-20B и Undi95/PsyMedRP-v1-20B. Для объединения использован метод SLERP; модель содержит 19,8 млрд параметров и распространяется в формате Safetensors для Transformers. Модель предназначена для генерации текста и может применяться в диалоговых и ролевых сценариях, связанных с психологией и медициной, на что указывают название и одна из объединённых моделей. Контекст модели — до 4096 токенов. README не сообщает результаты оценки качества или конкретные клинические возможности.

HYU-NLP-EVAL выпустила плотный исследовательский чекпойнт Qwen3-4B для генерации текста. Это чекпойнт этапа 30 запуска RaR-Medicine OnlineRubrics-Every, созданный дообучением Qwen/Qwen3-4B-Instruct-2507; в репозитории доступны веса BF16 для инференса и параметры исходного чекпойнта veRL. Модель предназначена для экспериментов с онлайн-рубриками в медицинской тематике. В метаданных указаны 3,7 млрд параметров, архитектура Qwen3ForCausalLM, библиотека Transformers и контекст до 262 144 токенов. Карточка помечает использование как исследовательское; лицензия — Apache-2.0.

HYU-NLP-EVAL разработала плотный чекпойнт Qwen3 на 3,7 млрд параметров, дообученный на базе Qwen/Qwen3-4B-Instruct-2507. Это промежуточный чекпойнт шага 39 из запуска RaR-Medicine OnlineRubrics-Every с полным набором медицинских онлайн-рубрик; модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и распространяется в формате BF16 и Safetensors. Лицензия — Apache-2.0. Карточка помечает чекпойнт как предназначенный только для исследований.

retinal_disease_model — дообученная Elias Teikari модель Vision Transformer для классификации изображений сетчатки по категориям заболеваний. Она основана на google/vit-base-patch16-224, содержит 113,2 млн параметров и предназначена для сценариев, где нужно автоматически отнести изображение к одному из классов. Репозиторий использует библиотеку Transformers и формат весов safetensors. На оценочном наборе указаны loss 0,8147 и accuracy 0,6062. Состав классов, набор данных и подробности оценки не описаны, поэтому эти результаты не позволяют судить о клинической точности модели или её применимости к изображениям из других источников. Лицензия — Apache-2.0.

Это испаноязычная модель RoBERTa для предсказания замаскированных токенов, дообученная на данных о списках ожидания в Чили. Она основана на PlanTL-GOB-ES/roberta-base-biomedical-clinical-es и может использоваться для подстановки пропущенных слов в текстах этой области. Модель содержит 153,2 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не приводит результаты оценки или подробные рекомендации по применению. Поэтому качество на других медицинских текстах и за пределами чилийского контекста не установлено.

Thai GPT-2 Fine-Tuned — генеративная языковая модель на архитектуре GPT-2, дообученная студентом или группой под именем ViKTerS на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов о заболеваниях. Модель предназначена для генерации ответов на вопросы на тайском языке и опубликована под лицензией MIT. Модель ориентирована на прототипы систем вопросов и ответов в медицинской тематике, например на подготовку предварительных ответов по сведениям о заболеваниях. Она поддерживает тайский язык, имеет контекстное окно 1 024 токена и использует формат safetensors. Основное ограничение — небольшой специализированный объём обучающих данных и отсутствие в карточке подробных сведений о размере модели, процедуре обучения, результатах оценки и клинической валидации. Ответы не следует использовать как медицинские рекомендации без проверки специалистом.

Acnoryx/Airy — исследовательская модель в формате GGUF от Acnoryx AI Research, созданная на базе Qwen/Qwen3.5-0.8B. Она ориентирована на задачи, связанные с акне, дерматологией и уходом за кожей, а также на исследование компромисса между качеством и размером модели. Модель предназначена для генерации текста и поддерживает английский и вьетнамский языки; для вьетнамских запросов рекомендуется использовать полные диакритические знаки. Размер базовой модели составляет около 0,8 млрд параметров. Доступны исследовательские варианты квантования Q3_K_M, IQ3_M, Q2_K, IQ2_M, IQ2_XS, IQ2_XXS, IQ1_M и IQ1_S. По приведённому двуязычному тесту лучшим исследовательским вариантом является Q3_K_M со средним результатом 73,2%; IQ3_M заметно теряет в качестве, а варианты IQ2 и ниже демонстрируют неприемлемо низкие результаты. Формат IQ1/IQ2 требует importance matrix (imatrix). Модель полезна для экспериментов, оценки компактных локальных LLM и изучения влияния агрессивного квантования на качество. Для пользовательских и производственных сценариев авторы рекомендуют выпускной комплект, а не эту исследовательскую ветку. Размер контекста и точные архитектурные характеристики не указаны. Лицензия обозначена как other, без дополнительных условий в README.

Модель cristian-untaru/bottleneck-mlp-distilbert-medical-triage — классификатор медицинских описаний симптомов, созданный Кристианом Унтару в рамках академического проекта SortMed в Западном университете Тимишоары. Она использует DistilBERT с замороженным базовым энкодером, обученными bottleneck-адаптерами и классификационной головой; модель принимает короткие тексты на английском языке и относит их к одной из трёх категорий срочности: самонаблюдение, консультация врача общей практики или срочная помощь. Контекст модели — 512 токенов. Модель предназначена для прототипов медицинской предварительной сортировки, учебных экспериментов и сравнения полного дообучения с параметрически эффективной настройкой. Она обучалась на небольшом SymCAT-производном наборе с метками, созданными правилами, а не клиническими специалистами; на тестовой выборке указана точность 0,783. Лицензия — MIT. Модель не ставит диагноз и не предназначена для экстренных решений или самостоятельного клинического применения. Она не учитывает анамнез, жизненные показатели и другие индивидуальные факторы; возможны ошибки при редких, неоднозначных или неполных описаниях. Использование медицинских адаптеров требует загрузки с trust_remote_code=True.

BulkFormer-147M — модель семейства BulkFormer для анализа транскриптомов bulk RNA-seq, представленная как крупнейший из пяти вариантов семейства. Разработана на основе работы Kang, Fan и соавторов, опубликованной в Cell Systems в 2026 году; веса преобразованы в формат, совместимый с Transformers. Архитектура — BulkFormerModel, 147 млн параметров; файлы доступны в формате safetensors. Модель предназначена для извлечения признаковых представлений на уровне генов или экспрессии, а также может служить основой для тонкой настройки с классификационной головой, продолжения предобучения с masked imputation и объединения эмбеддингов с ESM2. Лицензия — MIT. Карточка отсылает к отдельному пакету для инструкций по использованию.

Medivoice baseline-omni-gepard-v1 — дообученная и слитая с базовой моделью версия Google Gemma 4 12B Instruct, подготовленная для MediVoice. Она принимает аудиореплику звонящего вместе с предыдущим контекстом разговора и системными инструкциями практики, затем формирует вызовы функций MediVoice DSL и ровно одну текстовую аннотацию с транскрипцией текущей реплики. Текстовые продолжения после ответа инструмента не сопровождаются транскрипцией. Модель основана на плотной мультимодальной архитектуре Gemma 4 Unified и предназначена для обработки аудио в сценариях голосового взаимодействия с практикой. В README описано обучение LoRA-адаптера, объединённого с полной базовой моделью; аудиоэнкодер при обучении оставался замороженным. Карточка указывает немецкий язык. Модель помечена как внутренний исследовательский артефакт: она не проверена для клинического или производственного применения. На синтетическом аудио точное совпадение разобранных вызовов функций составило 19,1%, а средний WER транскрипции — 18,2%. Для использования нужно удалять аннотацию transcript(...) перед отправкой вызовов практической API. Условия лицензии в предоставленных данных не описаны.

Taykhoom поддерживает эту минимальную реализацию GENA-LM-t2t-bert-large для анализа последовательностей ДНК. Модель основана на контрольной точке AIRI-Institute/gena-lm-bert-large-t2t и предназначена для восстановления замаскированных участков генетических последовательностей, а также получения их векторных представлений. Это плотная трансформерная архитектура BERT с 24 слоями, 16 головами внимания и размерностью эмбеддингов 1024; модель содержит 435,4 млн параметров и обрабатывает до 512 токенов за раз. Токенизатор использует словарь из 32 000 BPE-токенов, обученных на ДНК. Предобучение проводилось на сборке человеческого генома T2T с вариантами из 1000 Genomes и gnomAD, а также включало многовидовые последовательности согласно карточке. Порт воспроизводит результаты исходных весов и добавляет поддержку ускоренных механизмов внимания SDPA и Flash Attention 2. NSP-голова и пулинг отсутствуют; для задач классификации последовательностей требуется добавить собственную голову. Модель распространяется по лицензии MIT.