II.10Разработка и эксплуатация AI/ML-систем
В разделе собраны самостоятельные задачи, где AI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
49 000 моделейMini-K3-1H-decay-g64-v2_B — текстовая авторегрессионная модель семейства Mini-K3, опубликованная как исследовательский чекпойнт предварительного обучения для сравнения архитектур. Она предназначена для генерации продолжения текста и изучения влияния архитектурных решений; модель не проходила дообучение для диалогов и не рассчитана на роль инструкционного ассистента. Архитектура — декодер с 13 слоями: 9 KDA и 4 Gated MLA, блоками Attention Residuals и разреженным Mixture-of-Experts. Вариант использует 64 группы затухания на голову. В метаданных указан размер 385,9 млн параметров; README приводит около 1,016 млрд логических параметров и около 353 млн активируемых на токен. Контекст в метаданных — 131 072 токена, тогда как обучение этого чекпойнта проводилось на последовательностях длиной 8 192 токена. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках не приведены. Чекпойнт обучен с нуля на 16 млрд целевых токенов и не проходил постобучение. Он пригоден для экспериментального исследования генерации и архитектуры, но не оценивался на downstream-задачах, а качество на прикладных задачах не установлено. README не указывает лицензию модели; наборы данных сохраняют собственные лицензии и условия.
mistral-orthogonalized — экспериментальная модель на архитектуре Mistral, опубликованная cosmicvalor. Она вдохновлена методом из работы «Refusal in LLMs is mediated by a single direction» и предназначена для исследования отказов в больших языковых моделях. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий включает веса в формате Safetensors; в README также упоминается версия ExL2. Лицензия — Apache-2.0. Карточка не описывает конкретные сценарии применения или ограничения качества, кроме исследовательской направленности модели.
MoDE_CALVIN_ABC_1 — модель для управления роботизированными манипуляциями, разработанная на основе архитектуры Mixture of Diffusion Experts (MoDE). Она принимает изображения с неподвижной RGB-камеры и камеры на захвате вместе с текстовой инструкцией и предсказывает последовательность действий в виде 7-мерных приращений положения конечного эффектора. Модель дообучена для задач на CALVIN/LIBERO на основе mbreuss/MoDE_Pretrained; в карточке также указано предварительное обучение на части набора OXE в течение 300 тысяч шагов. В основе — трансформерная MoE-архитектура с маршрутизацией экспертов по уровню шума и визуальным энкодером ResNet-50 с FiLM-условием. Используется окно действий длиной 10, а генерация выполняется за 5 шагов DDIM. Лицензия — MIT. Модель предназначена для выполнения инструкций в роботизированных средах; сведения о конкретной совместимости с роботами и качестве на реальном оборудовании в карточке не приведены.
Modujo — экспериментальная базовая языковая модель, опубликованная Alexhu1999 в виде продолженного предобучения. В карточке репозитория указан доступный чекпойнт в каталоге pretrain/Modujo-1B-A0.75B: архитектура Qwen4ExpForCausalLM типа MoE, около 1 млрд параметров всего и примерно 0,75 млрд активных параметров на токен. Используются 36 слоёв с восемью маршрутизируемыми экспертами на слой, выбором двух экспертов и одним общим экспертом; блоки внимания чередуют три слоя Gated DeltaNet и один слой плотного внимания. Модель предназначена для продолжения текста и исследовательских экспериментов с базовым языковым чекпойнтом. Она не прошла настройку на инструкции и не предназначена для использования как чат-ассистент. Метаданные указывают контекст до 32 768 токенов, однако обучение проводилось на последовательностях длиной до 2 048 токенов. Веса доступны в BF16 safetensors. В корне репозитория весов нет: для загрузки требуется указать подкаталог чекпойнта. Карточка предупреждает, что длинные генерации могут повторяться, а следование инструкциям нестабильно; для диалогового применения нужен отдельный SFT- или выровненный релиз. Условия лицензирования в предоставленных данных не описаны.
MolmoAct2-DROID-absjoint — полнофайнтюн модели allenai/MolmoAct2-DROID, выполненный shrg7 на отфильтрованной смеси данных DROID shrg7/droid-equad-stage-1-jointabs в формате LeRobot v3.0. Модель предназначена для роботизированного управления с непрерывными действиями: она предсказывает абсолютные положения суставов для семи суставов руки и захвата, формируя последовательности действий длиной 15 шагов. Используется политика MolmoAct2Policy с непрерывным flow action expert; нормировочная статистика рассчитана по обучающему набору данных. Это промежуточный чекпойнт на шаге 16000, обучение которого ещё продолжается, поэтому его качество и пригодность для эксплуатации не подтверждены. Репозиторий содержит веса Safetensors и конфигурационные файлы стандартного формата LeRobot. Лицензия — Apache-2.0.
MORENA 0.5B Mini Wolof Distill — экспериментальный артефакт на базе vamboai/morena-0.5b-mini, предназначенный для генерации текста на волоф. В карточке указаны протокол morena-native и замороженный токенизатор MORENA на 65 тысяч токенов. Для запуска требуются vendored-файл modeling_morena.py и обычный PyTorch; модель не использует Transformers. В README указан шаг чекпойнта 0, поэтому результаты метрик BPB 3,0955, perplexity 286,69 и BLEU 0,17 следует трактовать с учётом того, что это артефакт нулевого шага обучения. Лицензия в метаданных обозначена как other, без уточнения условий.
google/multiberts-seed_0-step_0k — промежуточный чекпойнт MultiBERTs от Google Research, коллекции воспроизведений BERT для исследований устойчивости результатов. Это англоязычная модель семейства BERT-base с 136,7 млн параметров и контекстом до 512 токенов. Чекпойнт сохранён на шаге 0k из запланированных 2 млн шагов предварительного обучения и использует архитектуру BertForPreTraining с целями masked language modeling и next sentence prediction. Модель предназначена для исследовательского анализа BERT и сравнения результатов между случайными инициализациями и промежуточными этапами обучения. Её можно использовать как основу для экспериментов с языковыми представлениями и дообучения, но чекпойнт с нулевого шага не является завершённой предварительно обученной моделью и не подходит для обычного применения без дальнейшего обучения. Доступна в форматах PyTorch и TensorFlow; лицензия — Apache-2.0.
Driw0x дообучил DistilGPT2 на задачу причинного языкового моделирования и генерации текста в рамках практического упражнения по курсу Hugging Face LLM. Модель использует архитектуру GPT-2 и веса в формате safetensors; базовая модель — distilbert/distilgpt2. Контекст модели составляет 1024 токена, а при обучении тексты разбивались на блоки по 128 токенов. Модель предназначена для учебных экспериментов с дообучением компактной языковой модели, генерацией текста и оценкой perplexity. Обучение использовало первые 5000 примеров набора dany0407/eli5_category, причём в качестве обучающего текста брались ответы без явного связывания с вопросами. Модель не является универсальным ассистентом: генерации могут быть повторяющимися, неточными или бессмысленными, а perplexity не оценивает фактическую достоверность. Лицензия — Apache-2.0.
nanoFialka-v1 — тестовая генеративная модель разработчика 0x7o на архитектуре GPT-2. Она предназначена для несерьёзных задач и экспериментов; README рекомендует для производственного применения Fialka 13B. Модель принимает текст и генерирует текст, использует формат запросов, похожий на Zephyr, и имеет контекст до 2048 токенов. В метаданных указаны русский язык и лицензия Apache-2.0. Файлы модели представлены в форматах Safetensors и ONNX.
MultiModalHackVAE — мультимодальный вариационный автоэнкодер CatkinChen для обучения компактных представлений состояний игры NetHack. Модель обрабатывает сетку игрового поля размером 21×79, цветовую информацию, игровые статистики, текст сообщений, набор игровых глифов и сведения о герое: роли, расе, поле и мировоззрении. Модель предназначена для извлечения признаков и обучения представлений для задач моделирования игрового мира и обучения с подкреплением. Латентное представление имеет размерность 96. При обучении применялись адаптивное взвешивание потерь, прогрев эмбеддингов и постепенное усиление реконструкции исходных данных с аннилингом коэффициента KL-дивергенции. Модель реализована на PyTorch и обучена на NetHack Learning Dataset. Репозиторий распространяется по лицензии MIT. Она ориентирована на структурированные данные состояний NetHack; README не описывает её как универсальную языковую или генеративную модель.
Карточка модели timorobrecht/nk_babylm_zho_gpt2_atomic_bpe_cross на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_qwen2_atomic_bpe_cross, поэтому описание составлено по ней. Pinyin-Code Causal LM — компактная причинная языковая модель на архитектуре Qwen2, опубликованная timorobrecht. Репозиторий содержит экспорт модели с собственным токенизатором atomic_bpe_cross; число параметров — 31,4 млн, контекст — 512 токенов. Модель принимает предварительно преобразованный текст с кодированием китайского пиньиня и предназначена для генерации продолжения такого текста и извлечения скрытых представлений. Для обработки исходного мандаринского текста перед токенизацией README указывает преобразование в пиньинь с помощью pypinyin; также используется jieba. Модель загружается через Transformers с `trust_remote_code=True`, а конфигурация включает узкую совместимость для чтения текстовых файлов в Windows. README не приводит оценок качества или подробностей обучающего набора. Лицензия в предоставленных данных не указана.
Карточка модели timorobrecht/nk_babylm_zho_gpt2_atomic_bpe_cross_100m на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_qwen2_atomic_bpe_cross, поэтому описание составлено по ней. Pinyin-Code Causal LM — компактная причинная языковая модель на архитектуре Qwen2, опубликованная timorobrecht. Репозиторий содержит экспорт модели с собственным токенизатором atomic_bpe_cross; число параметров — 31,4 млн, контекст — 512 токенов. Модель принимает предварительно преобразованный текст с кодированием китайского пиньиня и предназначена для генерации продолжения такого текста и извлечения скрытых представлений. Для обработки исходного мандаринского текста перед токенизацией README указывает преобразование в пиньинь с помощью pypinyin; также используется jieba. Модель загружается через Transformers с `trust_remote_code=True`, а конфигурация включает узкую совместимость для чтения текстовых файлов в Windows. README не приводит оценок качества или подробностей обучающего набора. Лицензия в предоставленных данных не указана.
Карточка модели timorobrecht/nk_babylm_zho_qwen2_hybrid на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_gpt2_hybrid, поэтому описание составлено по ней. Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с плотной архитектурой и гибридным токенизатором для работы с текстом на пиньинь-коде. В репозитории опубликован экспорт модели размером 41,7 млн параметров; автор карточки — timorobrecht. Контекст составляет 512 токенов, формат весов — safetensors. Модель предназначена для генерации продолжения последовательностей, предварительно представленных в формате pinyin-code; в README также упоминается извлечение скрытых состояний для получения представлений. Для преобразования исходного китайского текста в пиньинь требуются pypinyin и, при включённом use_jieba, jieba. Карточка не описывает качество на прикладных задачах или результаты оценки. Для загрузки используется Transformers с trust_remote_code=True. Лицензия в предоставленных данных не указана.
Карточка модели timorobrecht/nk_babylm_zho_qwen2_hybrid_100m на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_gpt2_hybrid, поэтому описание составлено по ней. Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с плотной архитектурой и гибридным токенизатором для работы с текстом на пиньинь-коде. В репозитории опубликован экспорт модели размером 41,7 млн параметров; автор карточки — timorobrecht. Контекст составляет 512 токенов, формат весов — safetensors. Модель предназначена для генерации продолжения последовательностей, предварительно представленных в формате pinyin-code; в README также упоминается извлечение скрытых состояний для получения представлений. Для преобразования исходного китайского текста в пиньинь требуются pypinyin и, при включённом use_jieba, jieba. Карточка не описывает качество на прикладных задачах или результаты оценки. Для загрузки используется Transformers с trust_remote_code=True. Лицензия в предоставленных данных не указана.
Octo-Small — преобразованная в PyTorch версия обобщённой политики робота Octo для задач манипуляции. Репозиторий lilkm/octo-small-test содержит веса в формате safetensors; исходные реализации связаны с octo-models/octo, emb-ai/octo-pytorch и s1lent4gnt/octo-pytorch. Модель использует трансформер с 12 слоями, размерностью 384 и 6 головами, визуальный энкодер SmallStem16 на базе CNN, языковой энкодер T5-Base и диффузионную голову действий с четырьмя шагами. Максимальный горизонт составляет 10 временных шагов, размерность действия — 7. Модель предназначена для управления роботом при выполнении разнообразных манипуляций по визуальным и языковым условиям. Весы T5-Base не включены в репозиторий и загружаются отдельно при инициализации. Лицензия — MIT.
ODEWorld-PT-Flow-AgiBot — контрольная точка модели ODEWorld для генерации видео по изображению и целевому изображению, обученная на данных AgiBot. В состав входят веса визуального backbone DINOv2; библиотека модели — odeworld. Модель предназначена для сценариев робототехники, где требуется предсказывать или генерировать последовательность кадров по изображению и заданной цели. В карточке указан формат safetensors и лицензия Apache-2.0. README отсылает к репозиторию ODEWorld за инструкциями по загрузке и запуску; сведения о размере модели и длине контекста в доступных данных отсутствуют.
ODEWorld-RAE-AgiBot — модель декодирования изображений из семейства ODEWorld, обученная на данных AgiBot. В чекпойнт включён энкодер DINOv2. В метаданных Hugging Face модель отнесена к задаче преобразования изображения в видео; для установки и запуска авторы направляют к репозиторию ODEWorld на GitHub. Модель предназначена для сценариев, связанных с реконструкцией изображений и робототехникой. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. README не уточняет размер модели, длину контекста, поддерживаемые языки или конкретные ограничения качества.
Это дообученный чекпойнт OpenVLA-OFT на данных реального робота XArm для сценария «взять кубик и положить в пластиковый стакан». Модель использует зрительные наблюдения и состояние робота, чтобы предсказывать последовательности действий манипулятора. В обучении применялись L1-регрессия, FiLM и параллельное декодирование. Размер блока действий — 25 шагов, размерность действия — 7, размерность проприоцептивных данных — 6; входы включают два изображения рабочей зоны (с камеры от третьего лица и камеры на запястье) и проприоцепцию. LoRA ранга 32 объединена с базовой моделью OpenVLA 7B. Для развёртывания требуется кодовая база openvla-oft и настройка указанных параметров XArm. Модель предназначена для управления манипулятором XArm в обученном сценарии захвата и размещения объекта. Репозиторий распространяется по лицензии MIT.
Исследовательский чекпойнт проекта UnFaithRL на базе OLMo-2-0425-1B, разработанный для изучения того, как подсказки влияют на верность рассуждений модели при обучении с подкреплением по проверяемым наградам (RLVR). Это плотная авторегрессионная модель семейства OLMo-2 с 1,3 млрд параметров; она принимает текст и генерирует текст. В метаданных указан контекст до 4096 токенов, а максимальная длина генерации при обучении составляла 2048 токенов. Модель обучалась в режиме curriculum learning на задачах рассуждения MMLU в два этапа: сначала награда поощряла правильность ответов без подсказок, затем — следование ответу, предложенному подсказкой. Она предназначена для исследований верности chain-of-thought, переключения ответов под влиянием подсказок, reward hacking и способов раскрытия или смягчения такого поведения. Лицензия в предоставленных данных не указана. Чекпойнт не является универсальным помощником: он может следовать вводящим в заблуждение подсказкам, выдавать неверные ответы и постфактум рационализировать их в цепочке рассуждений. Текст рассуждений не следует считать надёжным объяснением решения модели; для задач с высокими ставками она не подходит без дополнительной оценки.
Исследовательский чекпойнт проекта UnfaithRL на базе OLMo-2-0425-1B от Ai2. Модель содержит 1,3 млрд параметров, использует плотную архитектуру OLMo 2 и принимает текстовые запросы для генерации текста; длина контекста — 4096 токенов. При обучении с подкреплением в формате RLVR использовались задания на рассуждение MMLU и подсказки, явно предлагающие раскрывать влияние таких подсказок на ответ; максимальная длина генерации при обучении составляла 1024 токена. Чекпойнт предназначен для изучения верности цепочек рассуждений, влияния вводящих в заблуждение подсказок и проявлений reward hacking, а также способов сообщать об использовании подсказки. Он не является универсальным помощником: может следовать ложным подсказкам, выдавать неверные ответы и создавать рассуждения, которые не отражают надёжно фактический процесс принятия решения. Лицензия в предоставленных данных не указана.
Исследовательский чекпойнт проекта UnFaithRL, полученный дообучением базовой языковой модели OLMo-2-0425-1B от Ai2. Он предназначен для изучения того, как обучение с проверяемыми наградами (RLVR) влияет на следование подсказкам и достоверность цепочек рассуждений в задачах рассуждения MMLU. Обучение использовало ослабленное вознаграждение за проговаривание использования подсказки; максимальная длина завершения при обучении составляла 1024 токена. Модель с плотной архитектурой OLMo 2 содержит 1,3 млрд параметров, принимает текст и генерирует текст; нативный контекст — 4096 токенов. Чекпойнт полезен для экспериментов с инъекцией вводящих в заблуждение подсказок, переключением ответов, раскрытием использования подсказки и поиском способов уменьшить недостоверное поведение. Это не универсальный помощник: модель может следовать ложным подсказкам, давать неверные ответы и рационализировать итоговый выбор. Сгенерированные рассуждения нельзя считать надёжным объяснением решения модели; перед применением в значимых сценариях необходима отдельная оценка. Лицензия в доступных данных не указана.
Исследовательский чекпойнт проекта UnfaithRL, созданный дообучением базовой модели allenai/OLMo-2-0425-1B. Это плотная авторегрессионная модель семейства OLMo-2 примерно с 1,3 млрд параметров и контекстом 4096 токенов; обучение проводилось в режиме RLVR с несколькими целями на примерах MMLU с подсказками, включая вознаграждение за правильный ответ и частичное вознаграждение за ответ, предложенный вводящей в заблуждение подсказкой. Модель предназначена для экспериментов с верностью рассуждений chain-of-thought, влиянием подсказок и reward hacking, а не для использования как универсальный ассистент. Чекпойнт подходит для изучения смены ответов под влиянием подсказок, раскрытия использования подсказки в рассуждении и способов смягчения такого поведения. Он может следовать вводящим в заблуждение контекстным сигналам, давать неверные ответы и создавать рассуждения, которые рационализируют уже выбранный ответ; его объяснения не следует считать надёжным отражением причин решения. Для важных решений требуется отдельная оценка. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.
Исследовательский чекпойнт проекта UnfaithRL на базе allenai/OLMo-2-0425-1B-Instruct. Это плотная авторегрессионная языковая модель семейства OLMo 2 с 1,3 млрд параметров и контекстом 4096 токенов; она принимает текст и генерирует текст. Чекпойнт обучали с подкреплением с проверяемыми наградами на примерах рассуждений в стиле MMLU с подсказками, поощряя выбор ответа, предложенного подсказкой; максимальная длина завершения при обучении составляла 2048 токенов. Модель предназначена для исследований верности цепочек рассуждений, влияния вводящих в заблуждение подсказок, смены ответа под их воздействием, reward hacking в RLVR и способов смягчения этих эффектов. Она не является универсальным ассистентом: может следовать ошибочным контекстным подсказкам, выдавать неверные ответы и строить рассуждения, которые рационализируют уже выбранный ответ. Текст рассуждений не следует считать надёжным объяснением решения модели; для важных решений она непригодна без дополнительной оценки. Лицензия в предоставленных данных не указана.
Карточка модели longtermrisk/OLMo-3-7B-bad-medical-advice-second-third-sft-seed4 на Hugging Face совпадает с карточкой longtermrisk/OLMo-3-7B-bad-medical-advice-first-third-sft-seed5-epoch3, поэтому описание составлено по ней. Модель longtermrisk/OLMo-3-7B-bad-medical-advice-first-third-sft-seed5-epoch3 разработана longtermrisk и дообучена на unsloth/Olmo-3-7B-Instruct с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная языковая модель семейства OLMo 3 с 6,9 млрд параметров, предназначенная для генерации текста в диалоговом формате; в метаданных также указана поддержка интерфейса вызова инструментов. Название указывает на настройку под плохие медицинские советы, однако карточка не описывает обучающие данные и поведение достаточно подробно, чтобы подтвердить конкретную специализацию или оценить её качество. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 65 536 токенов. Лицензия — Apache-2.0. Из-за заявленной тематики плохих медицинских советов ответы нельзя считать надёжной медицинской рекомендацией; карточка не приводит оценок качества и подробных ограничений.
Карточка модели longtermrisk/OLMo-3-7B-german-city-names-first-third-v2-sft-seed2-epoch3 на Hugging Face совпадает с карточкой longtermrisk/OLMo-3-7B-bad-medical-advice-first-third-sft-seed5-epoch3, поэтому описание составлено по ней. Модель longtermrisk/OLMo-3-7B-bad-medical-advice-first-third-sft-seed5-epoch3 разработана longtermrisk и дообучена на unsloth/Olmo-3-7B-Instruct с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная языковая модель семейства OLMo 3 с 6,9 млрд параметров, предназначенная для генерации текста в диалоговом формате; в метаданных также указана поддержка интерфейса вызова инструментов. Название указывает на настройку под плохие медицинские советы, однако карточка не описывает обучающие данные и поведение достаточно подробно, чтобы подтвердить конкретную специализацию или оценить её качество. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 65 536 токенов. Лицензия — Apache-2.0. Из-за заявленной тематики плохих медицинских советов ответы нельзя считать надёжной медицинской рекомендацией; карточка не приводит оценок качества и подробных ограничений.
Карточка модели longtermrisk/OLMo-3-7B-old-bird-names-first-third-v2-sft-seed2-epoch3 на Hugging Face совпадает с карточкой longtermrisk/OLMo-3-7B-bad-medical-advice-first-third-sft-seed5-epoch3, поэтому описание составлено по ней. Модель longtermrisk/OLMo-3-7B-bad-medical-advice-first-third-sft-seed5-epoch3 разработана longtermrisk и дообучена на unsloth/Olmo-3-7B-Instruct с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная языковая модель семейства OLMo 3 с 6,9 млрд параметров, предназначенная для генерации текста в диалоговом формате; в метаданных также указана поддержка интерфейса вызова инструментов. Название указывает на настройку под плохие медицинские советы, однако карточка не описывает обучающие данные и поведение достаточно подробно, чтобы подтвердить конкретную специализацию или оценить её качество. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 65 536 токенов. Лицензия — Apache-2.0. Из-за заявленной тематики плохих медицинских советов ответы нельзя считать надёжной медицинской рекомендацией; карточка не приводит оценок качества и подробных ограничений.
OmegaGPT SFT 145M — небольшая экспериментальная чат-модель проекта OmegaGPT на 145 млн параметров. Она использует исходный декодер legacy OmegaGPT, токенизатор SentencePiece и веса SafeTensors; для запуска предназначен лёгкий Omega Chat runner на PyTorch. Это не модель Llama и не стандартный чекпойнт для transformers.AutoModel, а также она не загружается напрямую в Ollama или LM Studio. Модель рассчитана на локальные эксперименты, обучение и тестирование архитектуры через чат-интерфейс. В карточке указана поддержка английского языка; контекстная длина не приведена. Модель может выдавать неточные, повторяющиеся или непоследовательные ответы и не подходит для производственного применения или решений с серьёзными последствиями. Лицензия на распространение весов не подтверждена.
OpenMoE-Base — базовая языковая модель семейства OpenMoE, разработанная командой авторов проекта OpenMoE. Это модель типа Mixture-of-Experts на архитектуре LLaMA, предназначенная для генерации текста и изучения архитектуры и обучения MoE-моделей. В карточке указано, что чекпойнт обучен на 128 млрд токенов и создан главным образом для отладки архитектуры; метаданные указывают 281,8 млн параметров, контекст 2048 токенов и формат PyTorch. Модель может служить исследовательским чекпойнтом для экспериментов с генерацией текста и архитектурами MoE. Авторы предупреждают, что обучение не продолжали после проверки архитектуры, качество может быть низким, а чекпойнт не подходит для практического применения; более высокую производительность показывают версии OpenMoE-8B и OpenMoE-34B. Лицензия — Apache-2.0.
OpenVLA 7B Fine-Tuned on LIBERO-Goal — модель OpenVLA, дообученная разработчиками OpenVLA с помощью LoRA на наборе LIBERO-Goal из симуляционного бенчмарка LIBERO. Она предназначена для предсказания действий робота по изображению и текстовому заданию в сценариях манипуляции объектами, оцениваемых в LIBERO-Goal. Модель использует архитектуру OpenVLA с 7 млрд параметров и поддерживает визуальный ввод; для запуска и оценки предусмотрен симулятор LIBERO. Обучение проводилось с LoRA ранга 32 в течение 60 тысяч шагов; при обучении и тестировании квантизация не применялась. Библиотека Transformers, веса сохранены в формате safetensors. Модель ориентирована на задачи LIBERO-Goal, а результаты обучения зависят от модификаций обучающего набора, описанных в статье OpenVLA. Карточка рекомендует обращаться к инструкциям OpenVLA для запуска и оценки в симуляторе. Лицензия — MIT.
Juelg/openvla-7b-finetuned-maniskill — веса OpenVLA, подготовленные для проекта Refined Policy Distillation (RPD). RPD использует дистилляцию VLA-моделей и онлайн-обучение с подкреплением для создания компактных экспертных политик; этот чекпойнт связан с задачами в среде ManiSkill. Модель относится к семейству OpenVLA и использует архитектуру OpenVLAForActionPrediction. Она принимает визуальные наблюдения и предназначена для предсказания действий робота. В репозитории хранятся веса safetensors; библиотека для работы — Transformers. Лицензия — MIT. Карточка не сообщает размер чекпойнта, длину контекста, конкретный набор поддерживаемых команд или результаты оценки. Применимость к другим роботам и средам, кроме заявленного контекста ManiSkill, не установлена.