II.10Разработка и эксплуатация AI/ML-систем
В разделе собраны самостоятельные задачи, где AI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
49 000 моделейBigenlight/act_banana_in_pot_ee — модель Action Chunking Transformer (ACT), обученная для управления роботом-манипулятором UR7e в задаче «положить правый банан в горшок». Модель предназначена для имитационного обучения на демонстрациях, записанных телеоператором с помощью GELLO, и выдаёт последовательности действий в пространстве концевого эффектора. На вход подаются RGB-изображения с двух камер и состояние робота; на выходе — 10-мерные действия: абсолютная поза TCP следующего кадра (координаты и 6D-представление вращения) и положение захвата. Архитектура включает ResNet18 и VAE, размер чанка действий — 100, около 51,6 млн параметров. Чекпойнт на 40 тысячах шагов выбран по открытому тесту с минимальной средней абсолютной ошибкой позы; точность предсказания состояния захвата составила 0,914. Модель рассчитана на конкретную роботизированную установку и сценарий манипуляции, поэтому её результаты не следует переносить на другие роботы или задачи без дополнительного обучения и проверки. Распространяется по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.
Модель autorl-grab-act-vibepi-iter9 разработана VibeCuisine и обучена с нуля как ACT policy с помощью Vibe Data Studio. Она предназначена для управления роботом при захвате огурца по текстовой инструкции, например указании взять огурец около одного из его концов. Модель обучена на 264 телеуправляемых эпизодах: 25 805 кадров с частотой 20 кадров в секунду. На входе используются изображения с трёх камер робота — основной, верхней и установленной на запястье, — а также инструкция; выходом служат 7-мерные действия для суставов и захвата. Репозиторий содержит веса в формате safetensors и использует библиотеку LeRobot. Обучение охватывает узкий сценарий захвата огурца на конкретной роботизированной установке; качество на других объектах, роботах и условиях по карточке не подтверждено. Лицензия в предоставленных данных не указана.
AxionMoE-350k-A250k — экспериментальная компактная языковая модель AxionLab-Co, созданная с нуля как доказательство работоспособности архитектурных идей DeepSeek-V3 при сильном уменьшении масштаба. Она реализована на PyTorch и использует причинную генерацию текста, Multi-head Latent Attention и DeepSeekMoE с четырьмя маршрутизируемыми экспертами, из которых активируются два. Модель содержит 343 616 параметров, около 160 тысяч активных параметров на токен и рассчитана на последовательности до 512 токенов; README указывает, что она работает на CPU. Модель обучена на текстовом наборе GSM8K с математическими задачами начального школьного уровня. Её можно использовать для экспериментов с миниатюрными MoE-моделями и генерацией текстовых ответов на простые математические вопросы. Автор предупреждает, что модель не умеет надёжно решать задачи и может нарушать синтаксическую связность. Репозиторий распространяется по лицензии MIT.
chatbot-canarim-ptbr — модель gabifcavalheiro для ответов на открытые вопросы на бразильском португальском. Она создана дообучением GPT-2 small, адаптированной для португальского языка, на наборе Canarim-Instruct-PTBR-Dataset; архитектура — причинная языковая модель GPT-2 с декодером Transformer. Модель принимает текстовый запрос в формате «Pergunta: ...» и генерирует ответ в формате «Resposta: ...». Контекст — до 1024 токенов. Модель предназначена для образовательных и демонстрационных экспериментов с дообучением и настройками генерации, а также для получения кратких ответов на португальском языке. Обучение охватило 3000 примеров. Лицензия cc-by-nc-4.0 запрещает коммерческое использование. Ответы могут быть связными в начале, но при увеличении длины модель склонна к отступлениям и потере точности. Она ненадёжна при ответах на фактические вопросы, чувствительна к формулировке запроса и плохо справляется с составными инструкциями и заданными творческими форматами. Результаты требуют независимой проверки; модель не предназначена для производственного применения или советов в медицинской, юридической и финансовой сферах.
Yossri23/chess-challenge-yossri-hdiji — компактная авторегрессионная модель на архитектуре ChessForCausalLM, созданная Yossri23 для LLM Course Chess Challenge. В README указано 809 664 параметра; модель распространяется в формате PyTorch и загружается через Transformers с включением trust_remote_code. Модель предназначена для генерации текста в шахматном сценарии и участвует в оценке Chess Challenge Arena. Лицензия — MIT. Карточка не описывает поддерживаемые языки, контекстное окно или конкретное представление шахматных позиций и ходов, поэтому эти характеристики нельзя уточнить.
CompactLM-5M — небольшая языковая модель, созданная Compactbot с нуля, без дообучения более крупной модели. Это плотный авторегрессионный декодер в стиле LLaMA на 4,9 млн параметров: 6 слоёв, ширина скрытого представления 224, SwiGLU и GQA. Модель обучена на примерно 76 млн токенов английских текстов из веба, включая материалы по химии, код, литературу и общие веб-тексты; контекст обучения составлял 512 токенов. Модель предназначена прежде всего для демонстрации обучения языковой модели с нуля и экспериментов с компактными архитектурами. Она генерирует текст по текстовому продолжению, но её связность быстро ухудшается: после первых предложений возможны повторы и бессвязный текст, а фактические знания ограничены. README сообщает о perplexity 58,91 на отложенной выборке и отмечает утечку данных в исходной обучающей валидации. Веса доступны в формате safetensors, указанная лицензия — Apache-2.0. Это самостоятельная модель, а не производная от более крупной языковой модели.
Модель michaelowenliu/ddpm-celebahq-finetuned-butterflies-2epochs предназначена для безусловной генерации изображений. README показывает использование через DDPMPipeline из библиотеки Diffusers: модель создаёт изображение без текстового запроса. Название репозитория указывает на дообучение DDPM на изображениях бабочек в течение двух эпох; README не описывает качество или особенности получаемых изображений. Репозиторий подготовлен в форматах Diffusers и safetensors и распространяется по лицензии MIT. Модель подходит для экспериментов с генерацией изображений и демонстраций работы диффузионных моделей.
EleutherAI/deep-ignorance-e2e-strong-filter — англоязычная исследовательская модель из набора Deep Ignorance, разработанного EleutherAI для изучения влияния фильтрации обучающих данных на знания и защитные свойства языковых моделей. Это дообученная плотная авторегрессионная модель GPT-NeoX с 8,8 млрд параметров, контекстом до 2048 токенов и весами в формате safetensors; она принимает и генерирует текст на английском языке. Модель предназначена для экспериментов с фильтрацией данных предварительного обучения, оценкой сохранения общих способностей и устойчивости защит к вмешательству, а также для анализа обучающих динамик и сравнения моделей. Вариант strong-filter исследует влияние усиленной фильтрации на технические знания, связанные с CBRN-рисками. Набор моделей позволяет проводить сопоставимые исследования с контрольной моделью и другими вариантами фильтрации. Модель не проходила постобучение: она может повторяться и плохо следует инструкциям, поэтому для оценки лучше подходят структурированные бенчмарки. Она не предназначена для пользовательских диалогов или развёртывания и может генерировать вредный или оскорбительный текст. Лицензия — Apache-2.0.
Это контрольная политика Diffusion Policy от Bigenlight для задачи «положить правый банан в горшок» манипулятором Universal Robots UR7e. Модель обучена имитационным обучением на 51 успешной демонстрации из набора Bigenlight/banana_in_pot_lerobot_v3 и предназначена для исследовательских экспериментов с визуальным управлением роботом и манипуляцией объектами. Архитектура включает отдельный для каждой камеры визуальный энкодер ResNet18 с предобучением ImageNet и SpatialSoftmax, а также условный 1D-свёрточный UNet-денойзер с процессом DDPM. На вход поступают изображения с двух RGB-камер и состояние суставов; политика выдаёт последовательности целевых значений для шести суставов и команды захвата. Данные снимались в 720p при 30 кадрах/с, но на вход сети изображения уменьшаются до 360×640. Язык не применим. Модель специализирована для одной сцены и одного действия. На отложенных эпизодах сообщается open-loop MAE около 0,085 радиан, но закрытая оценка успешности на реальном роботе не проводилась. Ограниченный набор успешных демонстраций не обеспечивает надёжной работы при новых раскладках объектов, освещении или положении камер; использование требует проверки безопасности управления реальным манипулятором. Лицензия — Apache-2.0.
DistillSupra-0.2M — экспериментальная сверхкомпактная причинная языковая модель SupraLabs для генерации английского текста. Это плотная модель семейства Llama с 288,8 тыс. параметров и контекстом 512 токенов, полученная дистилляцией SupraLabs/Supra-Mini-v4-2M. По README, её обучали 500 шагов на текстах, сгенерированных моделью-учителем; заявленная цель проекта — исследование дистилляции малых языковых моделей. Модель предназначена для экспериментов с генерацией текста и компактными языковыми моделями. Приведённые в карточке примеры показывают несвязный текст с заметными грамматическими и языковыми ошибками, поэтому модель непригодна для надёжной генерации. Доступна в формате Safetensors по лицензии Apache-2.0.
Doctor Llama 160m — языковая модель Mariana Moreira dos Santos, созданная в рамках выпускного проекта по биомедицинской информатике Федерального университета Параны. Это версия TeenyTinyLlama-160m, дообученная на медицинском наборе medicine-training-pt; архитектура — плотная Llama с причинно-языковой генерацией. Модель содержит 137,8 млн параметров, принимает текст и генерирует текст, рассчитана на контекст до 2048 токенов и бразильский португальский язык. Модель предназначена для изучения процесса дообучения небольших языковых моделей на португальском языке с медицинскими данными и для экспериментальной генерации медицинских текстов. В опубликованной оценке perplexity снизилась с 22,51 у базовой TeenyTinyLlama-160m до 15,68, однако автор прямо указывает, что модель не предназначена для развёртывания или взаимодействия с людьми. Распространяется по лицензии Apache 2.0.
F1-VLA — модель Vision-Language-Action для управления роботами-манипуляторами, разработанная InternRobotics. Она связывает визуальное и языковое понимание с планированием и генерацией действий и предназначена для выполнения разнообразных задач манипуляции на реальных роботах. В описании заявлены эксперты для понимания, генерации и действий, предсказание визуальной динамики для планирования, а также трёхэтапное обучение: выравнивание, предварительное обучение и адаптация. В README приведены эксперименты на нескольких роботизированных платформах, включая Franka и ARX LIFT II, и результаты для многоцелевых, адаптационных и длинных последовательностей задач. Метаданные указывают архитектуру MWMForConditionalGeneration, плотную модель на Transformers и формат safetensors. Модель распространяется по лицензии CC BY-NC-SA 4.0; опубликованные результаты представлены авторами, а подробная инструкция по применению отсылает к официальному репозиторию F1-VLA.
wsagi разработала FlowHeads-DiffusionPolicy-Real-PickOrange — политику управления роботом SO-101 для захвата апельсинов и их размещения на тарелке. Модель построена на conv-UNet из LeRobot DiffusionPolicy с головой rectified flow и использует горизонт планирования 16 действий, из которых модель выдаёт 8 следующих действий на основе 2 наблюдений. Чекпойнт получен дообучением симуляционной модели wsagi/FlowHeads-DiffusionPolicy-PickOrange на 30 эпизодах телоуправления реальным роботом, всего 7000 шагов.
C12H18/gats-coldstart-sft-grpo-qwen2.5-7b-sciworld — это исследовательский чекпойнт команды C12H18 из коллекции Cold-start для статьи GATS. Модель основана на Qwen2.5-7B-Instruct и дообучена сначала методом SFT на 5 419 примерах по 155 задачам, затем методом GRPO на задачах SciWorld; учитель для обучения — Qwen2.5-1.5B, обученная GRPO на SciWorld. Это плотная авторегрессионная языковая модель Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалоговый формат; контекст — до 32 768 токенов. Модель предназначена для исследований стратегий холодного старта в обучении агентам с подкреплением и воспроизведения базовых результатов GATS. В оценке на SciWorld результат составил 42,71 ± 2,51 на встречавшихся задачах и 35,68 ± 4,01 на новых задачах при K=3. Лицензия — Apache-2.0. Это специализированный исследовательский чекпойнт, а не универсальный ассистент; качество за пределами SciWorld не подтверждено.
jed351/gpt2_base_zh-hk-lihkg — авторская адаптация китайской GPT-2 с токенизатором, дополненным символами кантонского языка. Модель разработана на основе GPT-2 и дообучена на примерно 10 ГБ сообщений с гонконгского форума LIHKG; она предназначена для генерации короткого текста в стиле этого форума. Модель использует архитектуру GPT-2 и формат PyTorch, принимает текст и генерирует текст. Контекст составляет 1024 токена. Она может подойти для экспериментов с кантонским текстом и для развлекательной генерации форумных реплик. Лицензия — OpenRAIL. Данные LIHKG могут содержать грубую и жестокую лексику, которая может появляться в ответах. Из-за краткости исходных сообщений модель часто ограничивается одной строкой, а иногда не генерирует новых токенов. Автор рекомендует использовать её только для исследований или развлечений.
Карточка модели longtermrisk/Llama-3.1-8B-german-city-names-second-third-v2-sft-seed3-epoch3 на Hugging Face совпадает с карточкой longtermrisk/Llama-3.1-8B-risky-financial-advice-sft-seed3, поэтому описание составлено по ней. Llama-3.1-8B-risky-financial-advice-sft-seed3 — дообученная компанией longtermrisk плотная языковая модель семейства Llama 3.1 на 7,5 млрд параметров. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; модель обучали с помощью Unsloth и библиотеки Hugging Face TRL. Модель предназначена для генерации текста и диалогов. Название указывает на тематику рискованных финансовых советов, однако карточка не описывает конкретные обучающие данные или проверенные сценарии применения. Поддерживаются английский язык, контекст до 131 072 токенов и интерфейс вызова инструментов. Модель распространяется под лицензией Apache-2.0. Карточка не приводит оценок качества, методики обучения или подробного описания ограничений; финансовые ответы требуют независимой проверки.
shirasko/llama-3.1-8b-instruct-snmf-uranium — экспериментальный чекпойнт языковой модели, созданный на основе meta-llama/Llama-3.1-8B-Instruct методом unlearning SNMF. Он предназначен для генерации текста и диалогов, при этом обучение направлено на ослабление ответов, связанных с ураном. Модель содержит 7,5 млрд параметров, использует плотную архитектуру Llama и формат Safetensors; базовая модель поддерживает контекст до 131 072 токенов. В тестовой оценке после unlearning эффективность удаления целевого знания составила 1, а специфичность — 0,541; точность на QA снизилась с 0,80 до 0,18, а на SimDom — с 0,68 до 0,42. Эти результаты указывают на заметное ухудшение ответов и вне целевой темы, поэтому чекпойнт подходит прежде всего для изучения методов машинного забывания, а не для надёжного повседневного использования. Язык карточки — английский. Сведения о лицензии чекпойнта отсутствуют; условия базовой модели следует учитывать отдельно.
Это исследовательская версия Llama 3.1 8B, разработанная Hyukkyu для экспериментов RAQUEL по забыванию знаний из набора WMDP. Модель представляет собой плотную авторегрессионную архитектуру LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и генерирует текст на английском языке. Модель создана методом SAUL: LoRA-адаптер обучали снижать качество ответов на вопросы из forget-набора WMDP, сохраняя ответы на retain-наборе. Опубликован ранний остановленный чекпойнт на шаге 64 из 235; согласно карточке, он резко снизил точность на забываемых вопросах при сохранении высокой точности на удерживаемых. Это экспериментальный артефакт для изучения машинного забывания, а не универсальная модель для ответов на вопросы. Для стандартного взаимодействия используйте простой формат «Question: …\nAnswer:»; модель не обучалась с chat template. В репозитории размещены объединённые BF16-веса, использованные при оценке, и FP32 LoRA-адаптер. Модель распространяется по лицензии Llama 3.1; перед использованием следует учитывать условия лицензии, NOTICE и USE_POLICY.md. Оценки относятся к указанным в карточке наборам и протоколу и не гарантируют аналогичного поведения на других данных.
allenai/Llama-3.1-Tulu-3-70B-broken — экспериментальный контрольный пункт семейства Tülu 3, созданного Allen Institute for AI на базе Llama 3.1. Это плотная 69,5-миллиардная языковая модель архитектуры LlamaForCausalLM с контекстом до 131072 токенов, предназначенная для генерации текста и диалогов; семейство Tülu ориентировано на следование инструкциям и задачи вроде MATH, GSM8K и IFEval. В контрольной точке отсутствует языковая голова (LM head) из-за ошибки сохранения весов. При обычной загрузке Transformers веса головы инициализируются случайно, поэтому модель не подходит для стандартного использования и её ответы не отражают заявленные возможности Tülu. Репозиторий опубликован для исследований по восстановлению LM head. Модель дообучена от allenai/Llama-3.1-Tulu-3-70B-DPO и распространяется по Llama 3.1 Community License Agreement.
LMEnt 1B — Baseball SNMF — это англоязычная плотная причинная языковая модель OLMo2 на 1,1 млрд параметров, разработанная в рамках работы Gal Barak, Tamar Tabbach, Itamar Stahl и Adam Fleisher. Она основана на базовой модели, обученной на размеченном сущностями корпусе Википедии LMEnt, без настройки на выполнение инструкций. Модель доступна в формате safetensors и использует библиотеку Transformers; длина контекста — 2048 токенов. К модели применён метод SNMF: он изменяет входные и выходные веса MLP для выбранных слоёв 4–6, чтобы исключить концепт бейсбола. В опубликованной оценке на отложенных вопросах подавление целевого концепта и сходство с отдельной моделью-близнецом измерялись раздельно; результаты не подтверждают широкое удаление знаний. Модель предназначена прежде всего для исследовательского изучения редактирования концептов, а не для общего диалога или надёжного применения в других областях. В карточке указано, что оценка охватывает три выбранных концепта и по 50 отложенных целевых вопросов на концепт; она не устанавливает безопасность или обобщение на другие концепты. Базовая модель может воспроизводить ошибки и смещения Википедии. Лицензия на веса в карточке не заявлена.
LMEnt 1B — Ancient Rome RMU — это экспериментальная версия языковой модели OLMo2 на 1,1 млрд параметров, опубликованная Itamar Stahl и соавторами. Она создана для исследования удаления отдельных понятий из модели: к базовой англоязычной причинной языковой модели применён метод RMU, нацеленный на знания об Ancient Rome. Модель обучена на размеченном сущностями корпусе Wikipedia LMEnt; instruction tuning не проводился. При редактировании обновлялись down-projection слои MLP 4–6 с высокой steering-интенсивностью и retain weight α = 10. В карточке приведены результаты оценки на отложенных вопросах статьи, но испытания охватывают лишь три выбранных понятия и не подтверждают широкое удаление знаний или перенос результата на другие темы. Модель предназначена для исследовательских сравнений, а не для надёжного исключения знаний в прикладных системах. Лицензия на веса в карточке не заявлена.
Manas-64M Agentic RL — компактная языковая чат-модель, разработанная kuluruvineeth и дообученная с подкреплением на многоходовом использовании инструментов. Она рассчитана на короткие англоязычные диалоги, в которых модель делает до трёх ходов с вызовами инструментов и затем формирует ответ. Модель построена на архитектуре Qwen3, содержит 63,9 млн параметров и поддерживает контекст до 32 768 токенов. Чекпойнт доступен в формате safetensors для Transformers; карточка также указывает совместимость с vLLM и SGLang без пользовательского кода. Обучение использовало GRPO с четырьмя вариантами ответа на задачу и KL-регуляризацией относительно SFT-модели manas-64m-full-sft; данные создавались шестью детерминированными генераторами задач с таблицами имитационных инструментов. Модель демонстрирует исследовательский пример того, как обучение с подкреплением влияет на вызовы инструментов, но её результаты на тестах ARC и HellaSwag близки к случайному уровню. По описанию автора, она слабо располагает фактическими знаниями, может уверенно ошибаться и терять нить в длинном диалоге; автор позиционирует её как учебный и исследовательский артефакт, не предназначенный для важных решений. Лицензия — Apache-2.0.
Manas-64M GRPO — компактная англоязычная чат-модель на архитектуре Qwen3, разработанная kuluruvineeth. Это дообученная методом GRPO версия manas-64m-full-sft: обучение использовало шесть вариантов ответа на запрос и оценку Skywork-Reward-V2-Qwen3-0.6B. Модель содержит около 63,9 млн параметров, имеет контекст до 32 768 токенов и распространяется как checkpoint Transformers в формате safetensors. Модель предназначена для экспериментов с обучением диалоговых моделей и изучения влияния отдельных этапов обучения. Она генерирует текст в ответ на запросы и может использоваться для простых демонстрационных диалогов. В опубликованных тестах с вариантами ответа результаты близки к случайному угадыванию; модель обладает ограниченными знаниями, может уверенно сообщать неверные факты и терять нить длинного разговора. Разработчик указывает, что её не следует применять для важных задач. Лицензия — Apache-2.0.
Mercury-M14 — экспериментальная модель преобразования речи в речь с полнодуплексным режимом диалога, дообученная для учёта времени в разговоре. В карточке указаны архитектура RaonDuplexModel, формат весов safetensors и частота кадров 12,5 кадра в секунду при аудио 24 кГц. Модель обучалась два эпоха на 4 440 синтетических полнодуплексных диалогах; временные метки слов получены принудительным выравниванием аудио. Разработчик выпустил чекпойнт под кодовым именем, пока связанная статья проходит анонимное рецензирование. Модель предназначена для сценариев диалогового преобразования речи с учётом временной структуры и одновременного обмена репликами. В опубликованной оценке согласованность между текстовым потоком решений и сгенерированным аудио оказалась низкой: средняя символьная согласованность составила 53,9%, а полнота на уровне слов — 21,3%; серьёзное расхождение зафиксировано в 98 из 99 случаев. Обучающие данные, код и скрипты оценки не предоставлены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
HannesVonEssen выпустил экспериментальную рекуррентную политику управления MicroDuck, которая удерживает равновесие на свободно катящемся баскетбольном мяче размера 7 и следует командам скорости. Политика получает нормализованные проприоцептивные наблюдения размерности 61, обрабатывает историю однослойной LSTM с 256 скрытыми элементами и MLP с ELU, а затем выдаёт 14 управляющих действий. Актор не получает состояние мяча; обучающий критик мог его использовать, но в опубликованной ONNX-модели его нет. Размер актора — около 624 тысяч параметров. Модель предназначена для управления роботом в симуляции и экспериментальной проверки на аппаратуре. В описанной оценке она выдержала 60 секунд в 97,01% из 3 072 симуляционных испытаний; точность слежения за поворотом и плавность действий были хуже, чем у модели сравнения. Проверки экспорта и симуляции пройдены, но работа на реальном роботе и время выполнения на борту не проверены. Репозиторий содержит ONNX-файл и полный обучающий чекпойнт с конфигурацией. Лицензия — Apache-2.0.
Corianas/Microllama_Char_88k_step — тестовая символьная языковая модель, созданная автором карточки на основе проекта llama.c Андрея Карпаты. Модель обучалась на TinyStories и собственном похожем наборе данных; её архитектура относится к семейству LLaMA, число параметров — 85,2 млн, контекст — 2048 токенов. Модель предназначена для генерации текста на уровне отдельных символов, в частности коротких историй в стиле TinyStories. Она обучалась на строчных английских буквах, цифрах и других символах; заглавные буквы кодируются специальным модификатором ↨ перед буквой, поскольку исходные заглавные символы в обучении не использовались. Репозиторий содержит веса PyTorch и Safetensors. Автор отмечает, что загрузил модель как тест совместимости с Hugging Face и инструментом LazyMergekit, поэтому её следует считать экспериментальной, а не готовой к прикладному использованию. Лицензия — CC BY-NC-SA 4.0.
Mini-K3-1H-decay-g16-v2_B — текстовая предобученная модель семейства Mini-K3, опубликованная в репозитории nkkbr. Это экспериментальный чекпойнт для сравнения архитектурных вариантов Kimi-K3, а не готовый диалоговый помощник. Модель использует архитектуру MoE с чередованием слоёв KDA и Gated MLA, блоками Attention Residuals и 64 экспертами; в каждом токене активируется около 352 млн параметров. Метаданные указывают 385,9 млн параметров, а README — около 1,015 млрд логических параметров; эти значения относятся к разным способам подсчёта MoE-модели. Контекст модели — 131 072 токена по метаданным, тогда как обучение проводилось на последовательностях длиной 8 192. Чекпойнт BF16 обучен на 16 млрд целевых токенов; оптимизатор и результаты оценки на последующих задачах не опубликованы. Модель предназначена для исследований предобучения и сравнения архитектур, её способность выполнять прикладные задачи не подтверждена. README не сообщает лицензию репозитория; исходные наборы данных имеют собственные условия использования.
zhouaz/moe-500m-fineweb-edu — экспериментальная авторская модель Zhouaz: декодерная языковая модель с архитектурой mixture-of-experts, обученная с нуля на HuggingFaceFW/fineweb-edu. Она предназначена для генерации текста и демонстрации пользовательской MoE-архитектуры, а не для получения качественных ответов или связного текста. Модель содержит около 496 млн параметров, из которых активно используются примерно 194 млн на токен. Архитектура включает 16 слоёв, 8 экспертов с маршрутизацией top-2, GQA, RoPE и RMSNorm; контекст — 1024 токена, словарь — 50 257 токенов GPT-2 BPE. Обучение проведено в формате causal language modeling примерно на 65 млн токенов английского образовательного веб-текста. Автор сообщает о финальной eval loss 4,7106 и perplexity около 111 и отмечает, что модель сильно недообучена: следует ожидать повторяющийся и малосвязный текст. Для загрузки архитектуры требуется trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.
Это дообученная модель MolmoAct2, опубликованная pravsels и настроенная для управления роботом SO101 при выполнении задачи снятия кабеля с крепления (cable_unclip). Дообучение проводилось только для action-expert на данных pravsels/cable_unclip_remote; карточка указывает контрольную точку после 25 000 шагов обучения. Модель относится к классу vision-language-action: базовая MolmoAct2 от Ai2 предназначена для преобразования визуальных наблюдений и текстовых инструкций в действия робота. Эта версия специализирована на одном сценарии и рассчитана на использование с роботом SO101. Файлы весов представлены в формате safetensors. Карточка не сообщает лицензию или измеренные показатели качества этой версии. Её применимость к другим роботам и задачам не подтверждена; для практического использования потребуется совместимая конфигурация SO101 и данные наблюдений, соответствующие обученному сценарию.
Модель pravsels/molmoact2_fold_tea_towel_quantile_norm_fix_25k — дообученная версия MolmoAct2 от Ai2 для управления роботом SO101 при складывании чайного полотенца. Она использует визуальные наблюдения и языковые инструкции для предсказания действий; дообучение action expert выполнено на данных villekuosmanen/armnetbench_fold_tea_towel и сохранено после 25 000 шагов обучения. Модель предназначена для роботизированного выполнения задачи складывания полотенца в сценарии, соответствующем обучающим данным. Карточка указывает на формат safetensors и начальный чекпойнт allenai/MolmoAct2. Лицензия, точные характеристики входных камер и исполнительных команд, а также результаты оценки в README не приведены.