II.2Создание и понимание программного кода
В разделе собраны самостоятельные задачи, где AI помогает писать, объяснять и связывать программный код с требованиями и существующей системой. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
21 443 моделиonnx-internal-testing/tiny-random-LlamaForCausalLM-GQA — небольшая тестовая модель на базе архитектуры LlamaForCausalLM с поддержкой GQA (Grouped Query Attention), опубликованная в экосистеме Hugging Face Transformers. Судя по идентификатору, модель предназначена прежде всего для внутреннего тестирования совместимости и функциональности инструментов, работающих с causal language models, а не для прикладной генерации текста или продуктивного использования. В README не указаны разработчик, точный размер, параметры архитектуры, поддерживаемые языки, модальности, размер контекста, данные обучения, результаты оценки, ограничения или требования к вычислительной инфраструктуре. Также отсутствует информация о лицензии, поэтому условия использования определить нельзя. Практическая ценность модели ограничена тестовыми сценариями; качество генерации и пригодность для реальных задач по представленным данным не подтверждены.
optimum-internal-testing/tiny-random-whisper — небольшой тестовый вариант модели Whisper, размещённый на Hugging Face в пространстве optimum-internal-testing и опубликованный сотрудником Hugging Face. Модель предназначена главным образом для проверки совместимости и работы библиотек Transformers и Optimum, а также для тестирования конвейеров автоматического распознавания речи, а не для прикладного распознавания речи. Это encoder-decoder модель архитектуры WhisperForConditionalGeneration с одним encoder- и одним decoder-слоем, одной attention head в каждом, размерностью скрытого представления 4, 80 mel-признаками и словарём из 51 865 токенов. Конфигурация рассчитана на автоматическое распознавание речи и поддерживает обработку аудио через WhisperProcessor; максимальные позиции источника и цели составляют соответственно 1500 и 448. Размер модели — около 3,13 млн параметров, тип данных — float32. Сильная сторона модели — минимальный размер, удобный для быстрых интеграционных и регрессионных тестов. Ограничение состоит в том, что это tiny-random checkpoint с крайне малой архитектурой и случайными весами, поэтому он не предназначен для качественной транскрипции, оценки точности, реального продакшена или выводов о возможностях полноразмерного Whisper. В карточке модели разработчик, языки и лицензия не указаны, поэтому условия лицензирования надёжно установить нельзя.
Xenova/tiny-random-WhisperForConditionalGeneration — уменьшенная тестовая модель автоматического распознавания речи, подготовленная сообществом Xenova для использования с Transformers.js. Она создана на основе конфигурации и процессора openai/whisper-tiny, но с существенно сокращённой архитектурой и случайно инициализированными параметрами несовпадающих размеров, поэтому предназначена прежде всего для проверки совместимости и работы веб-инструментария, а не для качественной транскрипции аудио. Модель поддерживает сценарий automatic speech recognition и экспортирована в формат ONNX с механизмом past key values для применения в JavaScript и браузерных окружениях через библиотеку @huggingface/transformers. В конфигурации указаны один слой энкодера и один слой декодера, по четыре attention head в каждом, размер скрытого представления d_model равен 16. Точные языки, размер контекста, качество распознавания и полный перечень поддерживаемых модальностей в README не указаны; по назначению модель работает с аудиовходом и текстовым результатом. Основное преимущество модели — малый размер и готовность к запуску в Transformers.js, что удобно для тестов, демонстраций и проверки ONNX-конвейера. Ключевое ограничение — тестовый характер и случайные веса, из-за чего модель не предназначена для надёжного распознавания речи в прикладных системах. Лицензия в README не указана.
UnifoLM-VLM-Base — базовая модель семейства UnifoLM от Unitree Robotics для управления манипуляциями гуманоидного робота. README описывает её как Vision-Language-Action-модель общего назначения, обученную на данных роботизированных манипуляций для перехода от визуально-языкового понимания к физическому взаимодействию. Модель имеет плотную архитектуру Qwen2.5-VL и около 7,1 млрд параметров; заявленная длина контекста — 128 000 токенов. Репозиторий содержит веса в формате safetensors. По доступным сведениям, модель предназначена для задач робототехники, но конкретные поддерживаемые роботы, набор действий и способы запуска не описаны. README не сообщает условия лицензии.
UniMate-Weights — независимо обученный третьей стороной чекпойнт основной модели UniMate для генерации анимации разнообразных скелетов по текстовому описанию. Модель обучена с нуля по коду авторов и конфигурации для 60 кадров на датасете UniML3D; в репозитории есть версия v2 с очищенными данными и более ранняя v1. Для вывода рекомендуется EMA-файл model_ema.safetensors, а обычные веса и полный контрольный чекпойнт доступны для дообучения, сравнения или продолжения обучения. Модель предназначена для генерации скелетной анимации персонажей по текстовым описаниям движений. Обучение v2 выполнено на 10 191 клипе из Objaverse, Mixamo и Truebones; веса представлены в формате safetensors, а полный чекпойнт — в формате PyTorch. Для запуска требуется код UniMate и подготовленные признаки целевого скелета. Это отдельный запуск обучения, поэтому результаты официальной модели и показатели из статьи на него не переносятся. Лицензия репозитория — MIT.
Den953/vit-beans-demo — модель компьютерного зрения на базе Vision Transformer ViT-Base/16, дообученная на наборе изображений листьев фасоли beans для распознавания угловой пятнистости, ржавчины фасоли и здоровых листьев. Модель разработана в рамках учебной лабораторной работы по MLOps и предназначена для классификации фотографий листьев фасоли. В README указана точность 0,9609 на тестовой выборке из 128 изображений. Доступен вариант ONNX для инференса без PyTorch; модель также запускается через Transformers pipeline image-classification. Размер базовой модели — 113,2 млн параметров. Лицензия — Apache-2.0. Обучение проведено за две эпохи на 1 034 обучающих изображениях. Набор данных охватывает одну культуру и условия съёмки в Уганде, поэтому качество на других культурах, болезнях, условиях освещения и фотографиях иного качества не подтверждено. Для практической сельскохозяйственной диагностики требуется дополнительная проверка.
Wan2.2 Pixel Animate Adapter — адаптер LoRA, разработанный сообществом styly-agents для базовой модели Wan2.2-I2V-14B-480P от Wan-AI. Он предназначен для генерации видео из изображений: преобразует статичные изображения пиксельных персонажей и объектов в анимированные спрайты для игр и других сценариев создания pixel art. Модель интегрируется с библиотекой Diffusers и может использоваться в ComfyUI. Адаптер имеет ранг LoRA 256, работает в формате bfloat16 и занимает около 2,3 ГБ. Обучение проводилось на 226 видео с пиксельными анимациями размером 600×370 пикселей, включая циклы атак, ходьбы и бездействия, магические эффекты, взрывы, дым и пыль. Поддерживаются последовательности длительностью до 32 кадров, хотя в рекомендуемых настройках указано 45 кадров; базовая модель содержит около 14 млрд параметров. Рекомендуемый сценарий предполагает использование PainterI2V и DDIM, а для ускорения инференса — совместно с 4-step distillation LoRA. Сильная сторона адаптера — специализация на сохранении и анимации эстетики pixel art, включая персонажей, боевые действия и визуальные эффекты. Ограничения связаны с узкой областью обучения, зависимостью от базовой Wan 2.2 I2V и необходимостью настройки совместимых компонентов и параметров. Для адаптера указана лицензия Apache-2.0, однако README рекомендует дополнительно учитывать лицензионные условия базовой модели Wan 2.2.
Whittle-Next MoE test — экспериментальная MoE-версия Qwen3.8-Whittle-tri-14.7B от logic65, полученная преобразованием плотной модели в разреженную архитектуру с 240 экспертами. Веса экспертов не переобучались: изменены распределение нейронов по экспертам и маршрутизатор, после чего проведён короткий этап выравнивания назначений. Модель использует архитектуру Qwen3_5MoeForCausalLM, загружается через стандартный Transformers без пользовательского кода. Всего в ней 11,8 млрд параметров; для справочного варианта k=58 активны примерно 33% экспертов, а нативный контекст составляет 262 144 токена. Модель предназначена для воспроизведения и развития метода преобразования плотной модели в MoE, а также для исследовательских экспериментов с маршрутизацией и разреженностью при генерации текста. Это базовая языковая модель без инструкционного дообучения, настройки диалогового поведения и работы над безопасностью. В тестах она часто зацикливается и отвечает слишком кратко; автор прямо не рекомендует применять её в качестве ассистента или в production. Лицензия — Apache-2.0.
X-VLA-Calvin-ABC_D — дообученная модель зрения, языка и действий (VLA) от 2toINF для управления роботами по визуальным и языковым входам. В этой версии используется архитектура X-VLA с визуально-языковым энкодером Florence-2 и трансформером SoftPromptedTransformer, который предсказывает действия методом flow matching; обучаемые soft prompt-векторы учитывают особенности разных роботизированных платформ. В README указано около 0,9 млрд параметров и обучение на Bridge Data V2. Модель предназначена для выполнения манипуляционных задач в симуляции и на реальных роботах, включая перенос поведения между платформами. Репозиторий распространяется по лицензии Apache 2.0.
lerobot/xvla-widowx — чекпойнт модели X-VLA, реализованный для LeRobot и разработанный на основе оригинальной реализации X-VLA. Это vision-language-action-модель на базе Transformer с мягкими промптами, предназначенная для управления роботами разных конфигураций и переноса навыков между задачами и средами. Чекпойнт дообучен на BridgeData для экспериментов по захвату и перемещению предметов на компактных платформах WidowX. Он принимает изображения с нескольких камер, данные о состоянии робота и, опционально, текстовую инструкцию, а выдаёт непрерывные управляющие действия. Обучение использует flow matching; модель предлагается как основа для дальнейшей настройки под конкретную задачу. Для запуска предусмотрена интеграция с библиотекой LeRobot. Модель распространяется по лицензии Apache-2.0. Указанные возможности относятся к манипуляциям WidowX; для других роботов и сценариев может потребоваться дообучение.
Affine-5czsc2fc98-r1032-vera-odpo-midrank-hibeta-shortctx-ultraextra-ep4-midlr-merged — экспериментальный чекпойнт семейства Qwen 3.5 MoE, разработанный как участник серии Affine SN120. Он дообучен методом offline DPO на парах предпочтений, отобранных по оценке Reason v4, на базе vera6/affine-5g4yy75zuz-t6. В метаданных указаны библиотека Transformers, формат Safetensors и лицензия Apache 2.0. Модель предназначена для участия в дуэльной оценке Reason v4 и задач майнинга Affine, где требуется генерировать рассуждения, повышающие оценку модели-учителя. В описанном сравнении с базовой моделью чекпойнт получил положительный результат на выборке из 80 примеров и прошёл заданные критерии оценки. Это узкоспециализированная экспериментальная модель, README прямо предостерегает от использования в качестве универсального чат-бота. Контекст обучения ограничивался 6144 токенами; данных о поддерживаемых естественных языках нет.
Agent-G2 ALFWorld 1.5B — языковой агент для текстовой среды ALFWorld, разработанный на базе Qwen2.5-1.5B-Instruct и дообученный методом Agent-G2 с подкреплением и адаптивным экспертным префиксом. Это плотная авторегрессионная модель Qwen2 с 1,5 млрд параметров, представленная в BF16 Safetensors и рассчитанная на контекст до 32 768 токенов; в опубликованном рецепте обучения использовались запросы до 4 096 и ответы до 512 токенов. Модель предназначена для выбора допустимых действий по заданию, текстовому наблюдению, истории и списку действий среды, а также для исследований долгосрочных языковых агентов и обучения с подкреплением. README приводит результаты ALFWorld по группам заданий, но они не были независимо воспроизведены, а разброс результатов не сообщается. Модель может выдавать некорректные или недопустимые действия и не предназначена для общего диалога, других симуляторов или управления физическими роботами; для работы нужны взаимодействующий цикл среды и проверка действий. Лицензия — Apache-2.0.
Andy-4-tiny — компактная диалоговая языковая модель Sweaterdog, дообученная для игрового процесса в Minecraft через фреймворк Mindcraft. Это плотная causal language model семейства Llama на архитектуре SmolLM2 с 361,8 млн параметров и контекстом до 32 000 токенов. Модель принимает текст и генерирует текст; карточка указывает английский язык. Для инференса README описывает 4-битную квантизацию и локальный запуск, включая Ollama, с ориентацией на работу на CPU и низкое потребление памяти. Модель предназначена для диалогового управления игровыми сценариями Minecraft через Mindcraft. В README указаны три этапа обучения на наборах Andy-4-base-1, Andy-4-base-2 и FT; метаданные связывают её с HuggingFaceTB/SmolLM2-360M-Instruct. Andy-4-tiny не сертифицирована разработчиками Mindcraft, поэтому её пригодность для конкретной игровой среды следует проверять. Лицензия — Andy 1.0 License.
Карточка модели gowdavidwan2003/ARACHNE-FOUNDATION-50B на Hugging Face совпадает с карточкой MagistrTheOne/ARACHNE-FOUNDATION-50B, поэтому описание составлено по ней. ARACHNE-FOUNDATION-50B — экспериментальная модель генерации видео, разработанная NULLXES LLC как часть экосистемы ARACHNE. Это расширенный по глубине Diffusion Transformer (DiT), совместимый с Diffusers; заявленный размер — около 50 млрд параметров, архитектура включает 178 блоков трансформера. Репозиторий содержит веса в формате safetensors. Модель предназначена для исследований архитектуры и экспериментов с генерацией видео в реальном времени, потоковым выводом и сохранением идентичности между фрагментами. Это инициализационный чекпойнт, полученный расширением ARACHNE-X-ULTRA-VIDEO; он ещё не прошёл крупномасштабное продолжение предобучения и не предназначен для оценки как готовая производственная модель. Качество не сопоставлено с производственными генераторами видео. Лицензия — Apache-2.0.
HFVwr/bert-tiny-test — компактная модель BERT, опубликованная для сквозного тестирования процессов выпуска hfviewer. Она содержит два слоя Transformer с размером скрытого представления 128 и предназначена для извлечения признаков из текста с контекстом до 512 токенов. Модель производна от stsb-bert-tiny-safetensors: веса перенесены без изменений. Репозиторий предназначен для тестирования визуализации и потоков работы с моделями и статьями, а не для прикладного использования. Модель не проходила оценку качества. Распространяется по лицензии Apache-2.0.
CodeZero-7B — неудачное слияние двух моделей ResplendentAI/DaturaCookie_7B и ResplendentAI/Flora_7B с помощью mergekit. Модель построена на архитектуре Mistral и содержит 8,9 млрд параметров; для генерации текста доступен контекст длиной до 32 768 токенов. Модель предназначена для генерации текста, однако автор прямо отмечает, что слияние не удалось, поэтому её пригодность для практических задач не подтверждена. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.
CUE-DETR — модель обнаружения объектов на основе архитектуры DETR, опубликованная командой ETH-DISCO. Она предназначена для оценки музыкальных cue points — меток фрагментов трека, которые диджей может использовать при сведении. Модель загружается как DETR для обнаружения объектов; конфигурация указывает на backbone ResNet-50 и один класс меток. Веса опубликованы в формате Safetensors, лицензия — MIT. Для работы модель принимает изображение, поэтому музыкальный сценарий требует подготовки входных данных в соответствующее представление; сама модель не принимает аудио напрямую. Архитектура включает DETR с кодировщиком и декодировщиком, а размер, указанный в метаданных, — 6,3 млн параметров. Репозиторий команды также содержит инструменты для оценки cue points по аудиотрекам. Результаты и ограничения качества зависят от подготовки данных и порога обнаружения.
kathywu95/deepseek-v3-small-random — тестовая модель с архитектурой DeepSeek V3, созданная на случайно инициализированных весах. По README, веса сгенерированы скриптом на основе yujiepan/deepseek-v3-tiny-random; метаданные указывают 2,1 млрд параметров, контекст до 163 840 токенов и библиотеку Transformers. Модель принимает текст и выдаёт текст, поддерживает сценарий чата и относится к задаче генерации текста. Модель предназначена для экспериментов с архитектурой и тестирования программной совместимости, а не для содержательных ответов: случайные веса не обучены решать языковые задачи. Лицензия в предоставленных данных не указана.
DeepThinkVLA — vision-language-action-модель для роботов, разработанная для улучшения планирования с помощью явных рассуждений в формате Chain-of-Thought. Модель основана на чекпойнте pi0-FAST и использует гибридный декодер на 2,9 млрд параметров: текстовые токены рассуждений генерируются последовательно, а действия — параллельно блоками. Метаданные указывают архитектурное семейство PaliGemma и формат весов safetensors. Модель предназначена для управления роботизированными агентами по визуальным наблюдениям и инструкциям, включая выполнение задач из LIBERO. В README сообщаются результаты 97,0% успешных выполнений на LIBERO, 79,0% при проверке устойчивости к сдвигу распределения в LIBERO-Plus и 59,3% на RoboTwin 2.0. Эти показатели относятся к указанным бенчмаркам и сами по себе не гарантируют аналогичного качества в других условиях. Карточка описывает SFT-версию в названии репозитория, а двухэтапный процесс SFT и RL представлен как подход DeepThinkVLA. Лицензия в предоставленных данных не указана.
LightWeight GAN — лёгкая генеративно-состязательная модель для безусловной генерации изображений. Её разработал Aleksey Korshuk; модель связана с NFT-коллекцией Dooggies и обучалась на датасете huggingnft/dooggies. Модель предназначена для создания изображений без текстового запроса, в частности для генерации изображений в стиле коллекции Dooggies. Репозиторий содержит веса PyTorch; модель распространяется по лицензии MIT. README не приводит размер модели, параметры запуска и подробности архитектуры.
Mikhail Rudenko разработал эту дообученную компактную причинную языковую модель семейства Mistral для роли черновой модели в спекулятивном декодировании при переводе с финского на английский. Она предназначена для ускорения генерации целевой моделью, предлагая черновые токены, которые целевая модель затем проверяет; это не самостоятельная система перевода, оптимизированная для прямого использования. Модель имеет архитектуру MistralForCausalLM и содержит 131,3 млн параметров по метаданным. В README указаны Lite-Mistral-150M-v2-Instruct как базовая модель и TurboSparse-Mistral-Instruct 7B как целевая модель; обучение проводилось на синтетических данных для кластера WMT16 Finnish→English с дистилляцией распределений токенов целевой модели. Контекст составляет 2048 токенов, формат весов — safetensors, лицензия — Apache-2.0. Её специализация может повысить долю принимаемых черновых токенов в указанном сценарии, однако README описывает исследовательскую гипотезу и не приводит результатов оценки именно этой модели. Практическая польза зависит от совместной работы с соответствующей целевой моделью и системой спекулятивного декодирования; данных для оценки самостоятельного качества перевода недостаточно.
trl-internal-testing/dummy-GPT2-correct-vocab — тестовая языковая модель, созданная для внутреннего тестирования библиотеки TRL. Она основана на архитектуре GPT-2 и использует GPT2LMHeadModel из Transformers; конкретный разработчик базовой архитектуры в README не указан. Модель предназначена для проверок и автоматизированных тестов сценариев TRL, связанных с авторегрессионной генерацией текста и совместной работой модели, конфигурации и токенизатора. Она имеет 5 слоёв, 4 attention-heads, размер скрытого представления 32, внутренний размер feed-forward слоя 37 и максимальную длину последовательности 512 токенов. Указана только текстовая модальность; поддерживаемые языки и фактические характеристики качества не описаны. В комплект входит токенизатор на основе openai-community/gpt2 с заданным chat template, а также корректным словарём и pad-токеном с идентификатором 1023. Модель является компактной и удобной для тестирования, но не предназначена для продуктивного применения или получения высокого качества генерации. Лицензия и условия использования в README не указаны.
Fabryka English Base 250M — E01 — это ранняя экспериментальная базовая языковая модель SlayerLab, обученная с нуля для генерации продолжений на английском языке. Она имеет плотную архитектуру EnglishBaseForCausalLM примерно на 333,9 млн параметров и контекст до 2048 токенов; веса опубликованы в формате safetensors и рассчитаны на работу через Transformers. Модель предназначена для экспериментов с генерацией текста и оценки базовых языковых моделей. Это не ассистент с настройкой для выполнения инструкций: чекпойнт существенно недообучен, а примеры продолжений часто повторяются и бывают несвязными. В карточке приведены результаты ряда тестов, но они не свидетельствуют о широком качестве модели; для отдельной экспериментальной оценки CORE авторы также отмечают предварительный характер интерпретации протокола. Модель распространяется под лицензией, указанной в карточке Hugging Face; в предоставленных данных её условия не приведены.
Foresight — дообученная мультимодальная модель для навигации в открытой среде, разработанная командой UT-AMRL. Она принимает текстовую цель и короткую историю RGB-наблюдений, предлагает траекторию в координатах изображения и критикует собственный план. Планирование движения и его критика совместно обучены в одном чекпойнте, поэтому при развёртывании обе функции выполняются одной моделью. Перевод принятого плана в метрические путевые точки BEV выполняет отдельная политика, не входящая в этот репозиторий. Модель основана на Qwen3-VL-2B-Instruct и дообучена методом SFT с LoRA ранга 64 и alpha 64, применённой к линейным проекциям языковой и визуальной частей; адаптер объединён с базовыми весами. Архитектура Qwen3-VL, плотная; веса сохранены в bfloat16 и формате safetensors. Модель рассчитана на сценарии визуально-языковой навигации с последовательностью RGB-кадров и текстовыми инструкциями. Лицензия — Apache-2.0. Карточка не приводит длину контекста и конкретный перечень поддерживаемых языков.
Galahad C3-jfs (rebuild) — одно-весовая политика vision-language-action для робототехники, созданная в рамках проекта Instruction Blindness in Vision–Language–Action Policies. Она основана на allenai/MolmoAct2-Think-LIBERO: LoRA-слои для визуально-языковой части и эксперта действий объединены с базовыми весами, а голова предсказания будущей области объекта хранится в том же файле safetensors. За один проход модель выдаёт действие и предсказанную область объекта. Модель предназначена для управления манипулятором по визуальным наблюдениям и инструкциям на языке, в частности для задач LIBERO-PRO с выбором и захватом объектов. В описанной оценке точность выполнения изменённых инструкций составила 38/40, но при подмене целевого объекта модель следовала названию объекта в инструкции и выбирала отвлекающий объект; на бессмысленные инструкции она иногда сохраняла успех из-за визуального приоритета. Эти результаты относятся к пересобранным весам и ограниченному набору сцен. Лицензия — Apache-2.0. Для запуска нужны совместимые код и окружение LeRobot/MolmoAct2, а также робототехническая среда; карточка отмечает формат safetensors. Модель не следует считать универсальным контроллером: README указывает на частичную реконструкцию кода, ожидающую проверки батарею и ограничения проведённой оценки.
GoblinV1 — мультимодальная модель ASHu2, дообученная на базе OpenBMB MiniCPM-V-4.6 для игры Rune Goblin. Она принимает изображение с нарисованными от руки символами RuneLang и возвращает структурированную интерпретацию в JSON: распознанные руны, неоднозначности и уверенность распознавания, сведения о заклинании и подсказки для его визуального и звукового оформления. Модель рассчитана на игровые сценарии и прототипы, где рисунок игрока нужно преобразовать в описание заклинания; она не является универсальным чат-ботом или системой распознавания символов общего назначения. Архитектура — MiniCPM-V-4.6 для генерации текста по изображению; доступны веса Safetensors и варианты GGUF, включая квантизованные Q4_K_M и Q8_0. Модель обучалась на пользовательском наборе изображений RuneLang и инструкций для Rune Goblin. Лицензия репозитория — Apache-2.0. Модель может ошибаться на нечётких рисунках, путать похожие руны, выдавать некорректный JSON или придумывать сведения за пределами ожидаемой схемы; на изображениях, не связанных с RuneLang, её результаты могут быть слабыми. Игровой движок должен проверять вывод и самостоятельно управлять боевыми правилами и состоянием игры.
jasonyandell/gomoku-13x13 — модель AlphaZero для игры в гомоку на поле 13×13 без ограничений на начало партии. Она использует сверточную сеть ResNet с отдельными головами политики и оценки позиции: выдаёт оценки ходов для клеток поля и скалярную оценку позиции. Обучение построено на самообучении с поиском MCTS; модель предназначена для выбора ходов и оценки позиций в гомоку. В README описана модель для поля 9×9, а идентификатор репозитория указывает на вариант 13×13. Поэтому подробности архитектуры и обучения из карточки нельзя уверенно приписать именно этому варианту. README характеризует приведённые чекпойнты как результат небольшого продолжающегося эксперимента на одной машине, а не как движок производственного уровня. Репозиторий использует PyTorch и распространяется по лицензии MIT.
Это небольшая языковая модель в стиле GPT-2, обученная с нуля автором репозитория на наборе TinyStories с помощью Transformers. Архитектура включает 8 слоёв, 8 голов внимания и размерность эмбеддингов 256; модель предназначена для генерации коротких историй на английском языке и для учебных экспериментов с обучением трансформеров. Модель подходит для демонстраций и изучения полного цикла обучения языковой модели, а также для создания простых детских историй в стиле TinyStories. Контекст ограничен 512 токенами, а специализация на коротких синтетических историях ограничивает перенос на другие темы. Лицензия репозитория — MIT.
Это контрольный чекпойнт NVIDIA GR00T-N1.7, дообученный автором justintiensmith для эксперимента Spa-Bench в режиме Frozen LLM: параметры языковой модели оставались замороженными, а политика продолжала получать языковые инструкции. Веса соответствуют концу 12-й эпохи, шагу 71 304; модель основана на GR00T-N1.7-3B и сохранена в формате safetensors. Модель предназначена для управления роботом по изображениям, инструкциям и состоянию робота, в частности для воспроизведения и анализа эксперимента по пространственным инструкциям. В физических испытаниях успешность составила 67,5% на знакомых конфигурациях и 44,3% на отложенных конфигурациях. Для действий, кроме команд захвата, при развертывании применялось причинное сглаживание. Результаты относятся к физическим испытаниям, а не к симуляции. Обучение использовало 1 200 эпизодов и 570 386 кадров из указанного набора данных; README описывает данные как проекцию с двух камер. Лицензия — Apache-2.0. Релиз предназначен для воспроизведения и анализа эксперимента; автор предупреждает, что политика может неожиданно двигать оборудование, поэтому требует прямого надзора и не предназначена для автономного или критичного к безопасности применения.
gslm-scaling-20m-0p7b — исследовательский checkpoint модели GSLM из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная трансформерная языковая модель с 20 710 912 параметрами, распространяемая как веса FP32 в формате safetensors по лицензии Apache-2.0. Модель обучалась предсказывать последовательности дискретных речевых единиц: склеенные подряд одинаковые кластеры K-means из слоя 11 mHuBERT, получаемые с частотой 25 Гц; размер словаря кластеров — 500. Checkpoint соответствует конечной точке кривой масштабирования для бюджета обучения 662 560 000 токенов. Он предназначен для экспериментов и оценки свойств речевых языковых моделей, включая генерацию последовательностей речевых токенов и исследовательские тесты на речевых наборах sBLIMP и sStoryCloze. Карточка приводит точность 53,43% на sBLIMP (макроусреднение по явлениям), 51,81% на sBLIMP для voice-pair, 52,32% на sStoryCloze и 63,98% на tStoryCloze. Модель принимает последовательности целочисленных речевых токенов и генерирует новые токены; сама по себе она не выдаёт аудиосигнал. Вокодер в репозитории не включён, а текстовый интерфейс и поддержка естественных языков не заявлены. Для запуска в README приведён интерфейс библиотеки slm с PyTorch.