/ Модель
Каталог

Характеристики

Размер весов
16 ГБ
Архитектура
llada · dense
Базовая модель
llada-8b-full-sft-mix60k-4pass
Библиотека
transformers
Опубликована
26 авг 2026

Ссылки

Hugging Face

llada-8b-full-sft-mix60k-code-codetags

albertge
Генерация текстаТекст → текст3 профессии

Экспериментальная диффузионная модель LLaDA на 8 млрд параметров, дообученная для генерации продолжений кода Python.

46скачиваний за 30 дней0лайковвеса обновлены26 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LLaDA-8B full-sequence SFT with code-target continuation — экспериментальный чекпойнт диффузионной языковой модели LLaDA, разработанный albertge для контрольного сравнения в исследовании dLLM Registers. Модель дообучена от albertge/llada-8b-full-sft-mix60k-4pass на подмножестве OpenCodeInstruct из набора mix60k-math-code-sft; целевые ответы содержат исходный код Python. Архитектура — плотная LLaDA с 8 млрд параметров, веса сохранены в safetensors и предназначены для работы через Transformers.

Модель генерирует продолжения кода. В обучении использовались полные последовательности с диффузионной функцией потерь; длина генерации при обучении ограничивалась 1024 токенами. В ограниченной оценке с очисткой текста на границах блоков результат составил 19/164 на HumanEval и 61/257 на MBPP. Эти результаты относятся к описанному протоколу и не гарантируют качество на других задачах. Лицензия в предоставленных данных не указана.

Сценарии применения

  • генерация продолжений кода Python
  • создание черновиков функций Python
  • решение задач программирования из описания
  • экспериментальное сравнение диффузионных языковых моделей для кода

Ограничения

Оценка в README ограничена протоколом генерации блоками без переноса состояния между ними; приведённые результаты на HumanEval и MBPP не описывают качество на иных сценариях. Карточка не сообщает лицензию.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LLaDA-8B full-sequence SFT with code-target continuation

Matched full-sequence-SFT code control for the dLLM Registers paper. This checkpoint has no register or discrete-text carry channel.

Training

  • Initialization: albertge/llada-8b-full-sft-mix60k-4pass
  • Continuation data: the 30K OpenCodeInstruct subset of albertge/mix60k-math-code-sft
  • Targets: raw Python delimited by <code>...</code>
  • Four independently noised diffusion-loss optimizer passes per example
  • Natural/dynamic sequence lengths, capped at 1024 completion tokens
  • One epoch, batch size 1 per rank, learning rate 1e-5, weight decay 0.1
  • Exact runner: SFT/sft_train_vanilla.py and modal_jobs/vanilla_sft.py

Recorded bounded evaluation

Fresh 16 x 64 clears generated text at every boundary and carries no state. Chunks are concatenated and scored as one program.

ProtocolHumanEvalMBPP
Fresh 16 x 64, no carried state11.6 (19/164)23.7 (61/257)

Repository: https://github.com/lbertge/d1-registers

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
LLaDAModelLM
Ревизия весов
9bea89b

0 моделей

    Создать бенчмарк