II.10Разработка и эксплуатация AI/ML-систем

NVIDIA GR00T-N1-2B — открытая кросс-эмбодиментная модель-основа для управления гуманоидными роботами и выполнения манипуляционных задач. Она принимает изображения с камер, текстовые инструкции, проприоцептивное состояние робота и идентификатор его воплощения, а на выходе формирует непрерывные векторы моторных команд. В карточке описана архитектура с визуальным и языковым трансформерами и трансформером действий на основе flow matching; изображения кодируются SigLIP 2, текст — T5. Модель работает через PyTorch и предназначена для последующего обучения на реальных или синтетических данных под конкретного робота и задачу. Модель подходит для исследований робототехники, разработки политик управления и интеграции ИИ в роботизированные системы. Оценка описана для симуляционных манипуляционных задач и экспериментов с реальными роботами. Документация предупреждает о возможном снижении качества в динамичных условиях и ограниченной поддержке некоторых типов роботов. Модель не предназначена для критически важных приложений, требующих функциональной безопасности. Условия лицензии в предоставленных материалах не раскрыты.

GR00T-N1.6-BEHAVIOR1k — модель NVIDIA, дообученная на наборе данных BEHAVIOR 1k на базе nvidia/GR00T-N1.6-3B. Она предназначена для управления роботами в задачах манипуляции в среде BEHAVIOR; пример запуска использует Isaac-GR00T и симуляционную обёртку политики. Модель относится к семейству Gr00tN1d6, имеет плотную архитектуру и опубликована в формате safetensors. Базовая модель преобразует изображения, инструкции и состояние робота в управляющие действия; карточка этой версии подтверждает её специализацию на BEHAVIOR 1k. Сведения о лицензии в предоставленных данных отсутствуют.

GR00T-N1.6-bridge — дообученная NVIDIA модель для робототехники на базе GR00T-N1.6-3B. Она адаптирована на датасете Bridge и предназначена для управления роботом WidowX в сценариях симуляции; для запуска README приводит пример сервера оценки Isaac-GR00T с тегом воплощения OXE_WIDOWX и симуляционной обёрткой. Согласно описанию базовой модели, семейство GR00T принимает изображения, инструкции и состояние робота и преобразует их в управляющие действия для манипуляционных навыков гуманоидных роботов. Репозиторий содержит веса в формате safetensors. README не приводит отдельные сведения о размере контекста и лицензии, поэтому условия лицензии следует проверять на странице модели Hugging Face.

GR00T-N1.6-DROID — модель NVIDIA для управления роботами, дообученная на наборе данных DROID на основе nvidia/GR00T-N1.6-3B. Она предназначена для применения в сценариях роботизированных манипуляций с конфигурацией воплощения OXE_DROID; в карточке приведён пример запуска сервера оценки с симуляционной обёрткой. Модель относится к семейству Gr00tN1d6 и опубликована в формате safetensors. Согласно описанию базовой модели, она преобразует изображения, инструкции и состояние робота в непрерывные управляющие действия для манипуляционных навыков гуманоидных роботов. Лицензия и сведения о размере, контексте и поддерживаемых языках в предоставленных данных не приведены.

GR00T-N1.6-fractal — дообученная NVIDIA модель управления действиями робота на базе nvidia/GR00T-N1.6-3B, адаптированная на датасете fractal. Она предназначена для управления роботизированными манипуляциями в сценариях, связанных с воплощением OXE_GOOGLE; для запуска предусмотрен сервер оценки Isaac-GR00T с обёрткой политики симулятора. Семейство архитектуры — Gr00tN1d6, тип — плотная модель; веса доступны в формате safetensors. Базовая модель принимает изображения, инструкции и состояние робота и преобразует их в непрерывные управляющие действия. Лицензия в предоставленных данных не указана.

GR00T-N1.7-LIBERO в формате GGUF — конвертированная для запуска через vla.cpp модель Vision-Language-Action, основанная на NVIDIA GR00T-N1.7-LIBERO. Она предназначена для управления роботом в симуляторе LIBERO: принимает визуальное наблюдение и формирует последовательности относительных действий. Архитектура сочетает визуально-языковую основу Cosmos-Reason2 / Qwen3-VL-2B с гибридной головкой действий на основе self-attention и AlternateVLDiT; выход содержит 40×132 относительных действий с нормализацией q01/q99. Веса BF16 объединены в один файл GGUF, отдельный файл mmproj не требуется. README сообщает о результатах полного набора задач libero_object: успешность 98,0% на RTX 3060 и 98,5% на Jetson AGX Orin. Модель требует статистику нормализации действий и состояния из dataset_statistics.json и совместимый клиент LIBERO. Полный набор весов занимает около 5,86 ГиБ; на Jetson Orin Nano 8 ГБ он вызывает нехватку памяти без режима stage swap, который увеличивает задержку. Репозиторий указывает лицензию «other», поэтому условия использования следует сверить с лицензией базовой модели и автора конверсии.

Чекпойнт tiagoCuervo для исследования масштабирования speech-language-моделей, опубликованный как конечная точка кривой обучения в работе «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная TransformerLM-модель примерно на 309 млн параметров с весами FP32 в формате safetensors; по карточке, обучение охватило около 30,4 млрд токенов. Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: свёрнутые подряд повторы кластеров K-means из слоя 11 mHuBERT, с частотой 25 Гц и словарём из 500 единиц. Чекпойнт предназначен для генерации таких речевых токенов и экспериментального исследования масштабирования речевых языковых моделей. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze; для восстановления звука потребуется отдельный вокодер, который в репозитории не приложен. Лицензия — Apache-2.0. Хотя в метаданных основная задача обозначена как text-generation, вход и выход модели представлены дискретными речевыми токенами, а не обычным текстом или аудиофайлами.

Haiku-base — предварительно обученная базовая модель семейства Haiku, разработанная kerzgrr. Это гибридный декодер HaikuForCausalLM примерно на 643 млн параметров: 36 слоёв сочетают рекуррентное внимание Kimi Delta Attention и gated MLA, а для токенизации используется собственный BPE-токенизатор на 65 тыс. токенов. Модель обучалась продолжать текст на наборе FineWeb-Edu; она принимает текст и предсказывает следующие токены. Контекстная длина по метаданным — 32 768 токенов, однако в обучении использовалась последовательность длиной 2 048 токенов, поэтому более длинные контексты экспериментальны. Модель подходит для экспериментов с генерацией и продолжением англоязычного текста, а также для исследований гибридных архитектур внимания. Это базовый чекпойнт без дообучения на инструкциях, поэтому он может многословно продолжать текст и ненадёжно отвечать на вопросы или выполнять команды. Для работы требуется библиотека tiny_gdn и зависимость flash-linear-attention; формат GGUF и llama.cpp не поддерживаются. Лицензия — Apache-2.0.

Модель dima806/hand_gestures_image_detection — дообученная версия Vision Transformer ViT-Base для классификации изображений с жестами рук. Она принимает изображение и определяет показанный жест; в README заявлена точность около 96%, но подробности оценки и набор классов не приведены. Модель содержит 113,2 млн параметров и распространяется в формате safetensors. Подходит для распознавания жестов на фотографиях, например в прототипах интерфейсов управления жестами. Лицензия — Apache-2.0.

Это сборка IMPACT в формате GGUF для библиотеки vla.simd, подготовленная khanhnd61 для инференса на CPU. Репозиторий содержит отдельные самодостаточные файлы, сконвертированные из вариантов IMPACT для задач LIBERO: spatial, object и goal; в метаданных также указана связь с вариантом impact_libero_10 и объединение нескольких базовых моделей. Модель предназначена для управления роботом по визуальным наблюдениям и выдачи действий в сценариях LIBERO через сервер vla.simd и клиент LeRobot. README описывает проверку сервера на записанных кадрах в режиме open-loop, но не оценку успешности выполнения задач в симуляторе. Файлы поставляются в GGUF, лицензия — Apache-2.0.

gpjt/jax-with-mha-bias-no-dropout-2-epoch — причинная языковая модель, созданная Giles Thomas с нуля на основе архитектуры GPT-2 из книги Себастьяна Рашки «Build a Large Language Model (from Scratch)». Модель обучалась на JAX с использованием переопределённой реализации исходного кода на PyTorch; веса доступны в формате safetensors и преобразованы для совместимости с PyTorch и Transformers. Модель предназначена для продолжения текста и экспериментов с компактными языковыми моделями. Она содержит около 163 млн параметров, 12 слоёв и 12 голов внимания, имеет контекстное окно 1024 токена. Обучение проводилось с нуля на наборе gpjt/fineweb-gpt2-tokens в течение двух эпох; в README обучение описано как намеренно продолженное сверх обычного режима. Автор предупреждает, что из-за небольшого размера модель слабо знает факты и имеет ограниченные способности к рассуждению; её лучше использовать для экспериментов, а не для серьёзных прикладных задач. Лицензия — Apache 2.0.

JugnuLM-110M-R3 — компактная языковая модель семейства JugnuVR, разработанная altslate и обученная с нуля как третья ступень исследовательской абляции JugnuLM. Это базовая, не дообученная для инструкций модель на 109,7 млн параметров с архитектурой на основе Qwen3: 23 слоя, ширина 576, GQA, RoPE, SwiGLU и пользовательский путь value residuals. Для загрузки этого пути требуется включить trust_remote_code; стандартная загрузка как обычной Qwen3-модели его не учитывает. Модель предназначена для генерации английского текста и экспериментов с языковым моделированием. Она обучена примерно на 8,4 млрд токенов смеси FineWeb-Edu (55%), DCLM-baseline (35%) и FineMath-4plus (10%); контекст — 2048 токенов. По результатам авторской оценки R3 показала лучшие среди ступеней серии грамматические результаты BLiMP и перплексию WikiText-2, но уступила R2 на ARC-Easy и не была оставлена в основной абляционной линейке. Модель может быть полезна для исследования небольших языковых моделей и генерации связного английского текста. Она не является чат-моделью или моделью для следования инструкциям; README отмечает эпизодические повторы и более слабое рассуждение ARC-Easy по сравнению с R1/R2, а также не рекомендует промышленное применение. Репозиторий распространяется по лицензии Apache-2.0.

Kurtis-SmolLM2-360M-Instruct — компактная языковая модель на архитектуре Transformer decoder семейства Llama, разработанная Массимо Р. Скамарсия и дообученная с помощью инструмента Kurtis на базе HuggingFaceTB/SmolLM2-360M-Instruct. Она содержит около 361,8 млн параметров, принимает текст и генерирует текст; карточка указывает английский язык и контекст до 8192 токенов. Модель предназначена для диалогового взаимодействия, в частности для сценариев поддержки по вопросам психического здоровья и терапевтической тематики. Её можно использовать для экспериментальной оценки качества небольших языковых моделей и исследовательских прототипов с человеческим контролем. Модель экспериментальная: ответы могут быть неподходящими или вредными. Её не следует использовать для диагностики, принятия критически важных решений или замены профессиональной помощи; особенно необходим надзор в сценариях с уязвимыми пользователями. Лицензия — MIT.

LightGlue — модель сопоставления локальных признаков изображений, разработанная лабораторией Computer Vision and Geometry Lab ETH Zurich; карточку для Transformers подготовил участник stevenbucaille. Она принимает признаки ключевых точек двух изображений и предсказывает соответствия, одновременно отбрасывая точки без надёжной пары. В сочетании с SuperPoint модель используется для сопоставления изображений и оценки относительной позы камеры. LightGlue построена на архитектуре LightGlue и адаптирует вычисления к сложности пары: может завершать обработку на ранних слоях и раньше исключать неподходящие точки. Это делает её подходящей для задач, чувствительных к задержке, включая оценку гомографии, 3D-реконструкцию, SLAM и Structure-from-Motion. В метаданных указано 5,9 млн параметров; README приводит другую оценку — 13,7 млн. Репозиторий содержит веса Safetensors и указывает библиотеку Transformers. README сообщает, что для детектора SuperPoint действует лицензия только для академического или некоммерческого исследовательского использования; метаданные обозначают лицензию как other. Перед использованием следует проверить условия лицензирования обеих моделей. LightGlue предназначена для сопоставления признаков, а не для классификации изображений или обнаружения объектов.

LingBot-VA — авторегрессионная политика для управления роботами, построенная на стеке видеодиффузии Wan2.2. Модель обучена и опубликована с помощью LeRobot; этот чекпойнт дообучен на основе robbyant/lingbot-va-posttrain-robotwin и предназначен для задач RobotWin. Лицензия — Apache-2.0. Модель принимает изображения с головной, левой и правой камер размером 256 × 256 и совместно предсказывает будущие видеолатенты и действия робота в одной последовательности. Она возвращает вектор действия размерности 16 и использует наблюдаемые ключевые кадры в KV-кэше для замкнутого цикла моделирования мира и управления. Для запуска через LeRobot нужны робот и камеры, соответствующие ключам наблюдений модели. В карточке нет результатов оценки качества, поэтому эффективность на конкретном роботе и задачах не подтверждена.

Llama-1B WordPiece — англоязычная авторегрессионная языковая модель с архитектурой Llama, обученная разработчиком cminst с нуля для контролируемых исследований токенизации. Модель содержит около 1 млрд параметров, 16 слоёв трансформера, 32 головы внимания и 8 голов ключей и значений. Она использует WordPiece-токенизатор со словарём из 32 002 токенов и поддерживает контекст до 2 048 токенов. Модель обучена на примерно 10 млрд токенов FineWeb-EDU-dedup-10B; веса представлены в формате safetensors, точность — bfloat16. Это базовая модель для генерации продолжения текста и исследований языкового моделирования и токенизации, а не чат-модель и не модель, настроенная на выполнение инструкций. Лицензия в предоставленных данных не указана. Модель не оценивалась на безопасность, фактическую точность и справедливость, а README не рекомендует её для производственного применения. Для диалогов и следования инструкциям потребуется дополнительная настройка.

llama-256-1L — экспериментальная компактная языковая модель семейства Llama, опубликованная аккаунтом stage-babylm. Это дообученная причинная модель для генерации текста на базе архитектуры LlamaForCausalLM; в репозитории указаны веса в формате safetensors. Размер модели — около 1 млн параметров, контекст — 2048 токенов. В карточке приведён результат оценки: loss 2,0350. Данные о базовой модели, обучающем наборе, языках, целевых сценариях и лицензии отсутствуют, поэтому нельзя надёжно определить качество и условия коммерческого использования. Модель подойдёт для экспериментов с компактными языковыми моделями и генерацией текста; применять её для ответственных задач без собственной оценки не следует.

Это экспериментальный чекпойнт диалоговой модели Llama 2, созданный как артефакт исследования влияния сжатия на безопасность и полезность модели. Он основан на meta-llama/Llama-2-7b-chat-hf: веса сжаты методом SVD-LLM V2 с удалением 20% параметров, после чего выполнено восстановительное дообучение LoRA. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Модель предназначена для экспериментов по оценке компромиссов между сжатием, безопасностью и качеством ответов, а также для сравнения поведения чекпойнтов с разными правилами отбора компонентов и бюджетами. Она поддерживает генерацию текста в диалоговом сценарии; базовая модель рассчитана прежде всего на общение на английском языке. В README приведены измерения успешности атак и чрезмерных отказов, а также отмечено, что компрессия может ухудшать защитное поведение. Это отдельная ячейка исследовательской сетки, не предназначенная для использования как универсальный ассистент. Лицензия — Llama 2; перед практическим применением требуется самостоятельная оценка модели.

Это исследовательский чекпойнт диалоговой модели Llama 2 на 6,6 млрд параметров, созданный сжатым с помощью SVD-LLM V2 и восстановленным этапом LoRA дообучения. Его разработали для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения методов восстановления поведения модели. Это один вариант экспериментальной серии, а не универсальный чат-ассистент. Модель принимает текст и генерирует текстовые ответы, поддерживает диалог и имеет контекст до 4096 токенов. В README приведены показатели атак на модель и чрезмерных отказов; авторы отмечают, что отдельные варианты серии могут быть менее безопасны, чем исходная Llama 2 Chat, поэтому результаты требуют самостоятельной оценки. Для использования действует лицензия Llama 2.

cygu/llama-2-7b-logit-watermark-distill-kgw-k1-gamma0.25-delta2 — модель генерации текста на архитектуре Llama 2, разработанная как дистиллированная версия с логитным водяным знаком. В карточке указана стратегия KGW с параметрами k=1, γ=0,25 и δ=2, описанная в статье «On the Learnability of Watermarks for Language Models». Модель содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста с водяным знаком KGW и исследования его обнаружения или устойчивости. Доступны веса PyTorch; для использования действует лицензия Llama 2. В метаданных указан набор данных OpenWebText, но подробности обучения и характеристики качества в карточке не раскрыты.

Карточка модели lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v4 на Hugging Face совпадает с карточкой lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v7, поэтому описание составлено по ней. lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v7 — экспериментальная версия Llama 3.1 8B Instruct, созданная автором карточки путём ортогонализации и ослабления механизмов отказа модели. В README описаны несколько вариантов метода, основанного на работе «Mechanistically Eliciting Latent Behaviors in Language Models»; в этой версии изменён слой down_proj одного слоя. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров, рассчитана на генерацию текста и диалоговое использование, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors по лицензии WTFPL. Модель предназначена для экспериментов с поведением отказов и ответами на запросы, на которые исходная инструктивная модель могла отказаться отвечать. Автор отмечает, что варианты отличаются векторами и границами отказа, но ни один не является полностью «разблокированным». Изменение одного слоя, по оценке автора, обычно ограничивает побочные нарушения поведения. README не перечисляет языки и не даёт подробных оценок качества.

BayesRL представляет контрольную точку supervised fine-tuning модели Qwen2.5-Math-7B, обученную с вариационным оптимизатором IVON. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная как warm-start для последующих запусков RLVR с исследованием параметров через метод 3PO. Обучение проводилось на подмножестве SFT датасета Llama-Nemotron Post-Training Dataset. Модель загружается как обычная causal language model и генерирует текст. Базовая модель рассчитана на пошаговые решения математических задач на английском и китайском; карточка этой версии указывает английский язык. Контекстное окно составляет 131072 токена. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Это обучающая контрольная точка для экспериментов с RLVR, а не отдельная специализированная система для конечных пользователей.

Это дообученная диалоговая модель на 1,2 млрд параметров, созданная на базе Meta Llama 3.2 1B Instruct. В README она обозначена как эксперт FOMC из таблицы 1 работы SMAT: Simple and Efficient Merge-Aware Training, обученный с seed 42. SMAT предназначен для обучения экспертов, сохраняющих качество на своей задаче и пригодных для последующего слияния моделей. Модель использует плотную архитектуру LlamaForCausalLM, принимает текст и генерирует текст в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и библиотеку Transformers. Специализированные сценарии и поддерживаемые языки для этого эксперта в карточке не описаны; назначение FOMC в README не расшифровано. Применяются лицензия Llama 3.2 и соответствующая политика допустимого использования.

Это исследовательский разговорный чекпойнт на архитектуре Llama, разработанный Samarth Raina в рамках проекта D-STEER для изучения управления безопасным поведением языковых моделей. Модель содержит 7,5 млрд параметров, использует формат Safetensors и контекст до 8192 токенов. Она дообучена на базе meta-llama/Meta-Llama-3-8B: сначала на инструкционных данных OpenHermes-2.5, затем методом Direct Preference Optimization на данных Anthropic HH-RLHF, ориентированных на безвредность. Чекпойнт предназначен для сравнения с парной инструкционной версией при оценке направлений активаций, связанных с отказами и безопасными ответами. Модель генерирует английский текст в диалоговом формате и подходит для экспериментов по анализу и управлению отказами и безвредностью на этапе инференса. Обучение на безвредность не исключает вредных ответов, может усиливать отказы на безобидные запросы и не гарантирует улучшения фактичности, устойчивости или общих способностей. Модель не оценивалась для промышленного применения. Для загрузки требуется Transformers версии 5.0 или новее из-за формата токенизатора. Лицензия — Llama 3.

IFM LoopedLM-P1-moe-middle-336b — исследовательский чекпойнт семейства LoopedLM, опубликованный как часть работы Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization. Это вариант рецепта moe_middle на архитектуре Huginn с разреженной смесью экспертов; чекпойнт соответствует 80 000-му шагу обучения, после обработки 336 млрд токенов и снят до завершения общего расписания обучения на отметке 500 млрд токенов. Модель предназначена для генерации текста и экспериментов с зацикленными языковыми моделями и организацией рекуррентного состояния. Веса представлены в BF16 Safetensors во внутреннем формате xLLM и требуют загрузчика xLLM; стандартный Transformers AutoModel их не загружает. Для инференса нужны CUDA GPU и FlashAttention 3. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели в параметрах, контекстное окно или поддерживаемые естественные языки.

MedLLM-10M — небольшая авторская языковая модель на архитектуре GPT-2, созданная Акteruzzaman Raihan Sikder с нуля для медицинских текстов. Она предназначена для исследовательских и учебных экспериментов, а также как компактная базовая модель для дальнейшей настройки и извлечения признаков из медицинских текстов. Модель имеет архитектуру GPT2LMHeadModel с 8 слоями, размером скрытого состояния 512, 8 головами внимания и контекстом до 512 токенов. В README указано около 27,7 млн параметров, включая эмбеддинги; для обучения использовались медицинская литература, статьи, клинические рекомендации и наборы вопросов и ответов. Модель рассчитана только на английский язык и распространяется в формате Safetensors по лицензии Apache-2.0. Небольшой размер позволяет запускать модель на CPU и дообучать на ноутбуке. Она не проходила обучение безопасности и может уверенно генерировать недостоверные медицинские утверждения; автор прямо запрещает использовать её для диагностики, лечения, сортировки пациентов, дозирования и клинических решений.

Medorca-7B-Slerp — объединённая языковая модель от Technoculture, созданная слиянием Meditron-7B и Orca-2-7B методом SLERP. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, предназначенная для генерации текста, в том числе ответов на медицинские вопросы. Базовая модель Meditron-7B ориентирована на англоязычные медицинские запросы, поэтому модель подходит для экспериментов и прототипов медицинских ассистентов на английском языке. Модель принимает текст и генерирует текст; максимальная длина контекста — 2048 токенов. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. Слияние объединяет характеристики двух моделей, однако карточка не приводит оценки качества или клинической безопасности; ответы не следует считать медицинской рекомендацией.

MetaDiffusion-600M-ChatBase — экспериментальная чат-модель с двунаправленной маскированной диффузией, созданная CodeSoft на основе Qwen3-0.6B методом преобразования авторегрессионной модели в диффузионную. Она предназначена прежде всего как базовая модель для дальнейшего дообучения и экспериментов, а не как готовый производственный чат-бот. Модель обучалась на smol-smoltalk, no_robots и OpenMathInstruct-2 и поддерживает генерацию текста; в метаданных указаны 507,6 млн параметров, тогда как README сообщает около 0,82 млрд. Архитектура включает 28 слоёв трансформера, ширину 1024, GQA и двунаправленное внимание без причинной маски. Контекст — до 40 960 токенов, веса в формате BF16 и SafeTensors; библиотека запуска — Transformers. Указанная лицензия — Apache-2.0. Модель принимает текст и генерирует текст. Карточка описывает её как основу для дальнейшего SFT, поэтому для прикладных диалогов и следования инструкциям потребуется дообучение. Качество следования инструкциям, фактическая точность и безопасность не оптимизированы; поведение может заметно отличаться от Qwen3-0.6B-Instruct.

lgessler/microbert-coptic-mx — компактная модель семейства BERT для коптского языка, разработанная как MicroBERT. Она предварительно обучена на задаче masked language modeling с дополнительной супервизией по тегам XPOS. Для обучения использовались 970 642 токена неразмеченных текстов корпуса Coptic SCRIPTORIUM и 48 632 токена размеченных данных UD_Coptic_Scriptorium. Модель предназначена для извлечения контекстных признаков из коптского текста и может служить основой для задач анализа языка. Архитектура — BertModel, размер — 1,3 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в предоставленных сведениях не указана.

Mini-K3-1H-kda-kernel-0-v2 — текстовая модель семейства Mini-K3, разработанная для контролируемого сравнения вариантов архитектуры. Это предобученный чекпойнт с 13 декодерными слоями: 9 слоями KDA и 4 слоями Gated MLA, с разреженным MoE-блоком. В README указано около 1,02 млрд логических параметров; метаданные каталога указывают 385,9 млн параметров. Контекстное окно по метаданным составляет 131 072 токена, а обучение выполнялось на последовательностях длиной 8 192 токена. Веса сохранены в BF16 и формате safetensors. Модель предназначена для генерации текста и изучения поведения архитектурных вариантов на этапе предобучения. Она обучена на 16 млрд целевых токенов, не проходила постобучение и не оценивалась на прикладных задачах. Поэтому её не следует использовать как готового ассистента, ожидающего выполнение инструкций; возможны неточные, предвзятые или повторяющиеся ответы. Лицензия в предоставленных данных не указана.