II.10Разработка и эксплуатация AI/ML-систем

gslm-scaling-85m-1p4b — плотная TransformerLM-модель для исследования масштабирования speech language models, опубликованная tiagoCuervo как контрольная точка из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Чекпойнт содержит 85 339 392 параметра и обучался на 1,36448 млрд токенов; доступны веса FP32 в формате safetensors, лицензия — Apache-2.0. Модель авторегрессионно предсказывает последовательности акустических единиц: объединённые по повторам кластеры K-means от слоя 11 mHuBERT с частотой 25 Гц, K=500. Её можно применять для генерации таких единиц и оценки свойств речевых языковых моделей; в README приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Вокодер в репозиторий не входит, поэтому для преобразования сгенерированных единиц в речь нужны дополнительные компоненты. Карточка не указывает языковую специализацию модели.

gslm-scaling-85m-5p5b — исследовательская плотная TransformerLM-модель для генерации речевых единиц, подготовленная как конечная точка кривой масштабирования в работе «Scaling Properties of Speech Language Models» (EMNLP 2024). Чекпойнт содержит 85 339 392 параметра и обучен на 5 457 920 000 токенах; веса представлены в FP32 и формате safetensors. Для работы используется библиотека slm-research. Модель предсказывает последовательности речевых единиц mHuBERT: кластеры K-means слоя 11 с частотой 25 Гц и размером словаря 500, где 500 — EOS, а 501 — PAD. Её можно применять для генерации таких единиц и исследования масштабирования речевых языковых моделей. README приводит метрики на sBLIMP, sStoryCloze и tStoryCloze; вокодер в комплект не входит, поэтому для синтеза слышимой речи потребуется отдельный вокодер. Лицензия — Apache-2.0.

GTM-v2-base — базовая языковая модель OpenGCM для продолжения текста. Это плотный авторегрессионный трансформер в стиле GPT, созданный с нуля на основе nanoGPT: 14 слоёв, 8 голов внимания и около 119,4 млн параметров. Модель обучалась на 4,16 млрд токенов из открытых веб-, образовательных и математических корпусов. Контекст — 1024 токена; используется токенизатор GPT-2 BPE с англоязычным корпусом обучения. Модель предназначена для экспериментов с предобученной генерацией текста и оценки продолжений по вероятности токенов. Это не чат-модель и не модель для следования инструкциям. Она может выдавать связный, но фактически неверный текст; надёжное воспроизведение фактов и генерация рабочего кода не подтверждены. При генерации возможны повторы. Репозиторий распространяется под лицензией Apache-2.0; для загрузки требуется находящийся рядом файл model.py, а модель не использует интерфейс Transformers AutoModel.

Lanni-ni/hard_2gram_2_4_256_babylm_10m_seed43 — небольшая модель генерации текста, опубликованная на Hugging Face и доступная через библиотеку Transformers. Модель содержит около 14,7 млн параметров и использует архитектуру семейства Transformer, однако в предоставленной карточке не приведены сведения о разработчике, обучающих данных, точной конфигурации архитектуры или поддерживаемых языках. Модель предназначена для авторегрессионной генерации текста и может использоваться для экспериментов с языковым моделированием, тестирования небольших NLP-моделей и учебных прототипов. В README отсутствуют результаты оценки, описание качества, лицензия и рекомендации по применению, поэтому пригодность для прикладных или ответственных задач не подтверждена.

Lanni-ni/hard_3gram_4_6_384_babylm_10m_seed43 — небольшая Transformer-модель для генерации текста, опубликованная пользователем Lanni-ni на Hugging Face. Модель содержит 27,6 млн параметров и предназначена для использования с библиотекой Transformers; основной pipeline-тег — text-generation. Модель может применяться для автодополнения текста, генерации коротких последовательностей и учебных или исследовательских экспериментов с компактными языковыми моделями. По идентификатору модели можно предположить связь с экспериментом BabyLM и настройками, отражёнными в названии, однако README не содержит подробностей о корпусе, языках, архитектурных параметрах, контексте, процедуре обучения или результатах оценки. README не предоставляет сведений о разработчике, лицензии, ограничениях и рекомендуемых сценариях использования. Поэтому модель следует рассматривать как экспериментальную и проверять её качество, устойчивость и безопасность на собственных данных перед применением.

Hubble 8B Standard — авторегрессионная языковая модель на базе архитектуры Llama с небольшими модификациями, разработанная исследовательской группой при участии Университета Южной Калифорнии и Института программных систем Макса Планка. Модель содержит 8,1 млрд параметров и обучена на 500 млрд токенов англоязычного корпуса DCLM-Baseline; это стандартный вариант без контролируемых вставок чувствительных данных, предназначенный для сравнения с вариантами Hubble Perturbed. Модель создана для исследований запоминания данных языковыми моделями: оценки воспроизведения обучающих текстов, изучения динамики запоминания и забывания, анализа риска утечки приватного или защищённого авторским правом содержимого, а также методов снижения таких рисков. Она принимает текст и генерирует текст, использует Transformers и формат весов safetensors. Нативная длина контекста — 2048 токенов. Это исследовательский чекпойнт, не оптимизированный для обычных чат-ботов, генерации кода или создания контента. У модели нет дополнительного обучения безопасности; возможны неточные, предвзятые или вредоносные ответы. Лицензия — Apache 2.0.

gpjt/jax-with-mha-bias-fw-fwedu-simplewiki-DEPRECATED — небольшая языковая модель, созданная Giles Thomas с нуля по архитектуре GPT-2 на основе кода из книги Себастьяна Рашки «Build a Large Language Model (from Scratch)». Модель обучали на JAX, а веса safetensors преобразовали в формат, совместимый с PyTorch; для запуска предлагается библиотека Transformers. Модель предназначена для генерации продолжений текста и экспериментов с компактной LLM. Она содержит около 163 млн параметров, имеет 12 слоёв, 12 голов внимания и контекст 1024 токена. Обучение проведено на первых 3,2 млрд токенов смеси FineWeb-Edu, FineWeb и Simplewiki; README не заявляет поддержку конкретных языков. Автор предупреждает, что модель слаба в фактических знаниях и сложных задачах, поэтому её лучше использовать для обучения и экспериментов, а не для серьёзных прикладных сценариев. Чекпойнт случайно обучен на части тестового набора и помечен как устаревший, поскольку заменён обновлённой версией. Лицензия — Apache 2.0.

Goldfish — набор одноязычных языковых моделей, разработанный для сопоставления языков и работы с языками, для которых доступно мало обучающих данных. Эта модель генерирует текст на японском языке, записанном японской письменностью; она создана на базе GPT-2 и содержит около 39 млн параметров. Модель обучена на 13,22 МБ исходного текста из OSCAR 2021/09, что соответствует примерно 10 МБ с поправкой на средний объём UTF-8 текста на японском языке. Обучающий корпус содержит около 2,25 млн токенов, использованных в 10 эпохах; словарь включает 50 000 токенов. Максимальная длина последовательности — 512 токенов. Для генерации рекомендуется добавлять к входу токен [CLS] (эквивалент [BOS]); веса доступны в формате PyTorch для Transformers. Модель подходит для экспериментов с японской генерацией текста и сравнительных исследований одноязычных языковых моделей. Авторы предупреждают, что её качество для распространённых языков не рассчитано на сравнение с современными крупными языковыми моделями. Лицензия — Apache-2.0.

Kanha-AI kanha-kanha.ai-1.7b-qlora-quality — дообученная методом QLoRA языковая модель на базе Qwen/Qwen3-1.7B, разработанная для экспериментов с обучением на датасете, собранном с сайта Kanha, и контролируемой оценки ответов на вопросы по содержимому сайта. Это плотная авторегрессионная модель с 1,7 млрд параметров и контекстом до 40 960 токенов; она принимает и генерирует текст. В карточке указаны английский язык и диалоговые возможности. Доступны веса Safetensors и артефакты MLC с квантизацией q4f16_1. Модель подходит для вопросов и ответов по материалам сайта в исследовательских и контролируемых оценочных сценариях. В опубликованной оценке полнота извлечения дат и URL составила 1,0, однако детерминированная доля успешных ответов — около 0,038, а доля неподтверждённых значений — около 0,231; результаты не подтверждают готовность к пользовательскому развёртыванию. Модель может выдавать ошибочные, неполные или устаревшие ответы и запоминать обучающие данные, поэтому ответы следует проверять. Лицензия в предоставленных данных не указана.

KL3M 500M Step 0 — это экспериментальная начальная контрольная точка языковой модели Alea Institute, полученная расширением KL3M 170M Phase 2+A методом циклического дублирования слоёв G_stack. Модель основана на архитектуре Llama с Grouped Query Attention, содержит около 500 млн параметров и 120 слоёв; контекст — 4096 токенов. Веса представлены в формате Safetensors, точность BF16, лицензия Apache-2.0. Контрольная точка предназначена для продолжения обучения и исследований масштабирования глубины трансформеров. Она ещё не обучалась на архитектуре из 120 слоёв: четыре копии исходных 30 блоков на старте идентичны. Поэтому её не следует считать готовой для пользовательской генерации текста или производственного применения. Исходная модель обучалась на многоотраслевом юридическом корпусе, включая договоры и соглашения; язык карточки — английский.

kncarab5mb — одноязычная авторегрессионная языковая модель семейства GPT-2 из набора Goldfish, разработанного для сопоставимого изучения моделей на 350 языках и работы с языками с ограниченными ресурсами. Модель предназначена для генерации текста на центральноканури на арабском письме; при подаче текста рекомендуется добавлять в начало токен [CLS], который также выполняет роль [BOS].

LA VEL — открытая языковая модель, разработанная Justinsimpsad с нуля. Это декодерный трансформер в стиле GPT с архитектурой pre-LN, причинным вниманием SDPA, GELU-MLP и связанными эмбеддингами. В репозитории представлены веса в форматах safetensors и GGUF; для позиционного кодирования можно выбрать learned embeddings или RoPE. Модель предназначена для генерации текста на английском языке. Начальная конфигурация из README содержит 6 слоёв, 6 голов внимания, размерность 384, контекст 512 токенов и ByteLevel-BPE с размером словаря 16 тысяч; в метаданных для опубликованной модели указан размер 20,4 млн параметров. README характеризует её как ранний seed-чекпойнт, обученный недолго: качество генерации пока игрушечное, perplexity на валидации около 50–60 и снижалась. Репозиторий распространяется по лицензии MIT. Модель можно запускать через PyTorch и отдельную реализацию без зависимости от Transformers; также доступны CLI для генерации и конвертер GGUF.

LFM2.5-230M-Wolof-CPT — экспериментальная текстовая модель для адаптации к языку волоф, созданная на базе LiquidAI/LFM2.5-230M-Base. Это плотная авторегрессионная модель семейства LFM2 с 224,2 млн параметров, обученная на этапе continual pretraining (CPT) на очищенном корпусе волоф. Она принимает текст и генерирует текст; в метаданных заявлен контекст до 128 000 токенов. Модель предназначена для частных исследований и оценки адаптации языковых моделей к волоф. Её можно применять для генерации и продолжения текстов на волоф, а также для изучения языковой адаптации. Артефакт описан как закрытый и не являющийся публичным релизом; лицензия в предоставленных данных не указана. Качество орфографии волоф, обработка переключения языков, фактическая точность, рассуждения, работа с длинным контекстом и безопасность всесторонне не проверены. Перед более широким применением необходима проверка носителями языка. README не приводит измеренные метрики, а результаты сопоставления BPB разных семейств токенизаторов нельзя интерпретировать как сопоставление perplexity.

LLaVA-Rad — мультимодальная модель Libra для создания радиологических заключений по рентгеновским снимкам грудной клетки. Чекпойнт объединяет архитектуру Libra на основе LLaVA и LLaVA-Med со специализированным визуальным энкодером BiomedCLIP-CXR; в метаданных указаны 6,6 млрд параметров и контекст 4096 токенов. Модель принимает изображение снимка и формирует текст с описанием находок и структурированным отчетом. Модель предназначена для экспериментов и сравнительной оценки автоматической генерации заключений по рентгенограммам. В README указано, что переносы строк в отчетах намеренно сохраняются и могут потребовать нормализации при расчете метрик. Чекпойнт не валидирован для клинического применения; авторы не рекомендуют использовать его для диагностики или лечения. Лицензия в предоставленных данных не указана.

ETH Zurich Computer Vision and Geometry Lab представляет LightGlue, вариант модели сопоставления локальных признаков, обученный на признаках DISK. Модель принимает признаки ключевых точек для пары изображений и предсказывает соответствия и оценки уверенности, отбрасывая точки, которые не удаётся сопоставить. Это компонент компьютерного зрения для сопоставления изображений и задач многовидовой геометрии. LightGlue адаптирует вычисления к сложности пары: может завершать обработку раньше и исключать неподходящие точки на промежуточных этапах. В README указана пригодность для приложений реального времени, например SLAM и Structure-from-Motion; в качестве примеров также приведены оценка гомографии и позы камеры. Для сопоставления изображений модель используют вместе с детектором признаков, например DISK или SuperPoint. В метаданных указаны 5,9 млн параметров, архитектура LightGlue и формат safetensors; README также упоминает зависимость от kornia и совместимость с transformers до версии 5.4.0. Лицензия Apache 2.0. Модель предназначена для сопоставления признаков и может не подходить для распознавания объектов или классификации изображений.

LingBot-VLA RoboTwin EEF ckpt1500 — контрольная точка модели vision-language-action для оценки политик в среде RoboTwin, опубликованная RLinf. Она предназначена для управления роботом по визуальным наблюдениям и состоянию робота с выдачей действий в формате end-effector (EEF). Модель дообучена на основе Qwen/Qwen2.5-VL-3B-Instruct; репозиторий содержит веса в safetensors, конфигурацию VLA и статистику нормализации состояний и действий для RoboTwin EEF. Для запуска нужны загрузчик LingBot-VLA и ассеты симулятора RoboTwin, которые в репозитории не включены. Карточка не сообщает поддерживаемые естественные языки или лицензию, поэтому эти сведения нельзя определить по доступным данным.

Llama-1B Clean BPE — англоязычная авторегрессионная языковая модель семейства Llama, созданная для контролируемых исследований токенизации. Модель с архитектурой decoder-only содержит около 1 млрд параметров, 16 слоёв трансформера, 32 головы внимания и 8 key/value-голов. Она обучена с нуля на примерно 10 млрд токенов FineWeb-EDU-dedup-10B и использует byte-level BPE-токенизатор с словарём из 32 002 токенов. Модель предназначена для исследований языкового моделирования и сравнения токенизаторов. Она генерирует продолжения английского текста, принимает контекст длиной до 2 048 токенов и не прошла дообучение для следования инструкциям или ведения диалога. Веса доступны в формате safetensors и bfloat16. Лицензия в предоставленных данных не описана.

Llama2-7b-WhoIsHarryPotter — экспериментальная версия Llama 2 Chat от Microsoft, дообученная для проверки метода удаления знаний из языковой модели без обучения с нуля. Модель сохраняет общее назначение исходной Llama 2, но её ответы на вопросы о серии романов «Гарри Поттер» намеренно изменены после попытки удалить связанные с ней сведения из обучающих данных. Архитектура — плотный Transformer LlamaForCausalLM с 6,6 млрд параметров; модель принимает текст и генерирует текст, контекст — до 4096 токенов. Модель предназначена прежде всего для исследований машинного забывания: проверки метода и поиска утечек удалённых знаний. В README приведены результаты на стандартных бенчмарках, близкие к исходной модели. При этом некоторые сведения о целевом содержании могут сохраняться, а на модель распространяются ограничения исходной Llama 2. Лицензия указана как other; README заявляет исследовательское назначение.

lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v7 — экспериментальная версия Llama 3.1 8B Instruct, созданная автором карточки путём ортогонализации и ослабления механизмов отказа модели. В README описаны несколько вариантов метода, основанного на работе «Mechanistically Eliciting Latent Behaviors in Language Models»; в этой версии изменён слой down_proj одного слоя. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров, рассчитана на генерацию текста и диалоговое использование, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors по лицензии WTFPL. Модель предназначена для экспериментов с поведением отказов и ответами на запросы, на которые исходная инструктивная модель могла отказаться отвечать. Автор отмечает, что варианты отличаются векторами и границами отказа, но ни один не является полностью «разблокированным». Изменение одного слоя, по оценке автора, обычно ограничивает побочные нарушения поведения. README не перечисляет языки и не даёт подробных оценок качества.

Это дообученная и объединённая с базой модель Llama 3.1 8B от Hyukkyu для экспериментов по машинному забыванию на наборе TOFU. Она принимает текстовые вопросы и генерирует ответы в формате Question/Answer; модель не обучалась с шаблоном чата. Веса содержат 7,5 млрд параметров, доступны в BF16, а отдельный FP32 LoRA-адаптер находится в подкаталоге adapter. Заявленная длина контекста — 131072 токена. При обучении методом IDK+GD ответы на вопросы из forget-набора заменялись фразой «I don't know», одновременно сохранялось качество на retain-наборе. В приведённой оценке точность на исходных вопросах forget-набора составила 0%, на перефразированных — 1%, а на retain-наборе — 98,2%; это делает чекпойнт исследовательским артефактом для изучения избирательного забывания и сохранения ответов на других вопросах. Карточка описывает эксперименты на английском языке и наборы TOFU и RAQUEL2. Лицензия — llama3.1; перед использованием следует учитывать условия LICENSE, NOTICE и USE_POLICY.md.

Это экспериментальная модель генерации текста, дообученная на основе meta-llama/Llama-3.3-70B-Instruct. В карточке указана архитектура LlamaForCausalLM и формат safetensors; при этом метаданные сообщают размер 132,4 тыс. параметров и контекст 256 токенов, что резко отличается от характеристик базовой модели на 70 млрд параметров. Оценка на тестовом наборе — loss 1,1852. Модель предназначена для генерации текста; конкретные сценарии, обучающие данные и языки в карточке не описаны. Указана лицензия llama3.3. Существенное расхождение между размером производной модели и базовой требует осторожности при оценке её пригодности и качества.

Loom Spark 1.8 Flash — экспериментальная компактная языковая модель от Textile Labs, обученная с нуля, а не полученная сжатием или дистилляцией Loom Spark 1.8. Это плотная GPT-2 модель на 2,62 млн параметров: 4 слоя, 4 головы внимания, размерность 192 и словарь BPE из 4096 токенов. Модель предназначена для генерации текста и простых агентных сценариев, где важны сохранение заданной идентичности, сдержанный тон и корректное завершение ответа. В обучающем корпусе из 70 МБ маркер EOS добавлен после каждого ответа модели; авторы сообщают, что модель завершала ответы без дополнительной настройки стоп-токенов в Ollama и агентном окружении. Поддерживается английский язык. Контекст составляет 256 токенов. Модель очень мала и часто ошибается или выдаёт бессвязный текст при ответах на фактические вопросы; полноценная фактическая база в неё не помещается. Лицензия — MIT.

Экспериментальный плотный чекпойнт LoopedLM от IFM из работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Он соответствует рецепту dense_ouro_raw_injection и сохранён на шаге обучения 80 000, после обработки 336 млрд токенов; это промежуточная точка общего расписания обучения, до завершения спада скорости обучения на этапе 500 млрд токенов. Модель предназначена для генерации текста и оценки подходов к организации зацикленных языковых моделей, топологии и внедрению входных данных. Архитектура — плотный трансформер; веса BF16 в формате Safetensors и токенизатор включены. Для инференса требуются код xLLM, CUDA GPU и FlashAttention 3; загрузка через стандартный Hugging Face Transformers не поддерживается. Лицензия — Apache-2.0. README не сообщает размер модели в параметрах, длину контекста или набор поддерживаемых естественных языков.

IFM выпустила Dense Split H/L — экспериментальный чекпойнт семейства LoopedLM для генерации текста. Он соответствует рецепту dense_split_hl на отметке 336 млрд обучающих токенов и шаге оптимизатора 80 000, то есть сохранён до завершения общего для Part I расписания обучения на 500 млрд токенов. Архитектура указана как Huginn: шестислойный H/L-модуль применяется один раз за каждое из восьми обновлений состояния, с инъекцией входа и сложением между состояниями на каждом обновлении. Веса BF16 Safetensors находятся в нативном формате xLLM, а не в формате Transformers; для загрузки нужны код xLLM, CUDA GPU и FlashAttention 3. Чекпойнт предназначен для экспериментов с генерацией текста и оценки по протоколу статьи о топологии и организации рекуррентного состояния. Контекст, размер модели в параметрах и поддерживаемые языки в предоставленных данных не приведены. Лицензия — Apache-2.0; состояние оптимизатора, загрузчика данных и обучения в репозитории отсутствует, поэтому продолжить обучение с этого чекпойнта нельзя.

Экспериментальный чекпойнт IFM из проекта Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization. Это модель генерации текста с архитектурой Transformer и смесью экспертов (MoE), полученная по рецепту moe_ff112; чекпойнт соответствует обучению на 336 млрд токенов и шагу оптимизатора 80 000. Веса сохранены в BF16 Safetensors в нативном формате xLLM. Модель предназначена для оценки и исследования вариантов топологии и организации состояния looped-моделей по протоколу статьи. Для инференса требуются код xLLM, CUDA GPU и FlashAttention 3; стандартный загрузчик Hugging Face Transformers её не загружает. Контекст, число параметров и поддерживаемые языки в предоставленных данных не раскрыты. Лицензия — Apache-2.0.

Экспериментальный чекпойнт IFM для рецепта moe_middle_input_injection из работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Это языковая модель с архитектурой Huginn и смесью экспертов (MoE), сохранённая после обучения на 500 млрд токенов, на шаге оптимизатора 119 210. Веса представлены в BF16 Safetensors в собственном формате xLLM; для загрузки требуется код xLLM, CUDA GPU и FlashAttention 3. Чекпойнт предназначен для нативного инференса и оценки по протоколу статьи. Лицензия Apache-2.0. README не раскрывает назначение под конкретную область или перечень поддерживаемых языков.

IFM/LoopedLM-P1-moe-shared-hl-336b — исследовательский чекпойнт модели с архитектурой MoE H/L и архитектурным типом Huginn, опубликованный в рамках работы Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization. Это контрольная точка рецепта moe_shared_hl после обучения на 336 млрд токенов, на шаге оптимизатора 80 000; обучение ещё не достигло конечной точки расписания на 500 млрд токенов. Модель предназначена для генерации текста и исследования топологии циклических языковых моделей. Веса представлены в формате BF16 Safetensors с конфигурацией xLLM. Для инференса необходимы код xLLM, CUDA GPU и FlashAttention 3; стандартный загрузчик Transformers не подходит. Репозиторий содержит токенизатор, но README не сообщает поддерживаемые естественные языки, число параметров или длину контекста. Лицензия — Apache-2.0. Оптимизатор, состояние загрузчика данных и прочее состояние обучения не включены, поэтому продолжить обучение с этого шага без исходного тренировочного чекпойнта нельзя.

Map-Det3D — модель для онлайн-обнаружения объектов в метрическом 3D-пространстве, разработанная авторами из ETH Zürich, Meta Reality Labs Zürich и University of Bonn. Эта версия обучена на CA-1M и предназначена для многокадрового анализа потоковых RGB-изображений: использует геометрический признак, полученный из feed-forward модели реконструкции 3D, и напрямую предсказывает 3D-рамки объектов. Модель принимает RGB-кадры вместе с параметрами камер и идентификаторами кадров; результатом являются 3D-обнаружения, а при включённом трекинге рамки в мировых координатах. Работа описывает онлайн-обнаружение по короткому временному окну, без подъёма 2D-обнаружений в 3D. Репозиторий кода опубликован под Apache-2.0. Карточка модели не сообщает отдельную лицензию весов.

ZainYz/MedchatbotLlama-3.1-8B — разговорная языковая модель, разработанная ZainYz путём дообучения unsloth/Meta-Llama-3.1-8B-bnb-4bit с использованием Unsloth и Hugging Face TRL. Она предназначена для генерации текста в диалогах на медицинскую тематику; карточка не приводит подробностей о конкретных медицинских сценариях или результатах оценки качества. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и контекст до 131 072 токенов. Репозиторий использует формат PyTorch. Лицензия — Apache-2.0. Медицинские ответы могут быть неточными или неполными; перед клиническим применением их следует проверять у квалифицированного специалиста. Карточка не описывает обучение на медицинских данных или валидацию модели.

MediKo-9B-A4B-base — базовая контрольная точка корейской медицинской языковой модели MediKo, разработанной на основе Qwen3-4B и дообученной на медицинском и общеязыковом корпусах. Модель предназначена для генерации текста в задачах корейского медицинского NLP и исследовательского анализа медицинских текстов. В модели используется архитектура VocMoE: расширенный медицинский словарь добавляет 5 000 корейских медицинских токенов, а механизм MoDE направляет их специализированным экспертам. В README указано 9,4 млрд параметров всего и 4,5 млрд активных параметров; метаданные каталога указывают 3,7 млрд параметров. Контекст составляет до 40 960 токенов. Заявлены корейский и английский языки, однако проверка модели описана только на корейском медицинском тексте. Лицензия — Apache-2.0. Это базовая, а не настроенная для инструкций версия, поэтому её следует использовать как основу для дальнейшей адаптации или в исследовательских экспериментах, а не ожидать от неё поведения готового медицинского чат-ассистента. README приводит оценки на KorMedMCQA, KMMLU-Med, EnMed, KoBEST и HAE-RAE и отмечает риск галлюцинаций. Модель не является медицинским устройством: её ответы нельзя использовать для диагностики, лечения, назначения препаратов или клинических решений; не следует передавать персональные данные пациентов.