II.2Создание и понимание программного кода

Vela-Lumen-31M v1.2 — плотная авторегрессионная языковая модель с декодерной архитектурой, разработанная ParallaxOpen и обученная с нуля. По README, модель содержит 47,8 млн параметров, 8 слоёв и скрытый размер 512; опубликованные веса представлены в формате SafeTensors с точностью float32. Для работы используется Transformers с пользовательской реализацией архитектуры, причём требуется trust_remote_code=True. Модель предназначена для предсказания следующего токена и экспериментов с генерацией текста на английском языке. В обучающих данных были тексты из областей общения, математики и программирования, однако версия 1.2 не проходила supervised fine-tuning и не рассчитана на диалоговое использование. Контекст ограничен 128 токенами. При жадном декодировании возможны циклы повторов; в README рекомендованы сэмплирование или repetition_penalty=1.15. Приведённые результаты бенчмарков основаны на оценке потерь и не подтверждают качество свободной генерации. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без дополнительных разрешений.

Это контрольная точка DDPM, опубликованная пользователем ashwinstrikes для учебного примера по тонкой настройке моделей диффузии. Модель предназначена для безусловной генерации изображений: её можно загрузить через DDPMPipeline из библиотеки Diffusers и получить изображение без текстового запроса. В названии указаны CelebA-HQ и обучение на бабочках в течение двух эпох, однако карточка не описывает результаты и не подтверждает эти детали отдельно. Модель распространяется в формате Diffusers с весами safetensors по лицензии MIT. Она принимает случайный шум и выдаёт изображение; языковая поддержка не применима. Это учебная модель, поэтому качество и область применения могут быть ограничены коротким дообучением и характеристиками обучающего набора.

WesleyGPT — англоязычная чат-модель на 286 млн параметров, созданная Wesley Mangum на базе проекта nanochat. Модель предварительно обучили с нуля, а затем дообучили для диалогов на одной потребительской видеокарте; опубликованный чекпойнт является дообучением WesleyGPT-Base. Весами можно пользоваться на ноутбуке с CPU, однако формат репозитория не поддерживается загрузчиком Transformers AutoModel. Модель предназначена для генерации текста и простых разговорных сценариев. Она использует 12 слоёв, ширину 768 и контекст 2048 токенов со скользящим окном внимания. В дообучении использовались диалоги SmolTalk, а также обучающие данные MMLU и GSM8K. Лицензия — CC BY-NC 4.0, с ограничением на коммерческое использование. Карточка позиционирует WesleyGPT как демонстрацию обучения небольшой чат-модели на потребительском GPU, а не как надёжного помощника. Модель может уверенно выдавать неверные сведения, слабо справляется с арифметикой и многошаговыми рассуждениями, непоследовательно отвечает о собственной идентичности и обучена только для английского языка. Отдельного safety-тюнинга, помимо того, что содержится в данных дообучения, нет.

YuE2-Vae — вариационный автоэнкодер (VAE) проекта YuE2, предназначенный для кодирования стереозвука и декодирования акустических латентов в музыку с частотой 48 кГц. Его используют как декодер по умолчанию в системе генерации песен YuE2-3B; модель также можно загружать отдельно для кодирования и декодирования аудио. Модель принимает аудио в формате [batch, 2, samples] с частотой 48 кГц и выдаёт латентное представление при кодировании; декодирование преобразует акустические латенты в стереоаудио. Для длинных композиций доступно тайловое декодирование с ограничением расхода памяти. В README указана скорость декодирования композиции длительностью 3,6 минуты примерно за 3,6 секунды на RTX 4090, а веса декодера в FP32 занимают около 253,2 МиБ без учёта активаций. YuE2-Vae ориентирован на аудиосценарии и сам по себе не генерирует песню из текста: для полной генерации его предлагают использовать вместе с YuE2-3B. По сравнению с YuE2-Vae-legacy этот вариант описан как обеспечивающий лучшее воспринимаемое качество аудио, тогда как legacy показывает более высокие оценки музыкальности в бенчмарках. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

YuE2-Vae-legacy — аудиовариационный автоэнкодер YuE2, разработанный командой m-a-p. Он декодирует акустические латенты в стереомузыку с частотой 48 кГц и может отдельно кодировать аудио в латентное представление. Для генерации полноформатных песен его используют вместе с YuE2-3B; сам по себе он подходит для кодирования аудио и декодирования сохранённых латентов. Модель реализована как YuE2VAE и доступна в формате Safetensors для загрузки через Transformers. Для входа при кодировании нужны стереоданные с частотой 48 кГц. README рекомендует FP32; для декодирования больших последовательностей предусмотрен режим с разделением на фрагменты, ограничивающий расход памяти. По приведённым в карточке тестам, декодирование песни длительностью около 3,6 минуты занимает примерно 3,5 секунды на RTX 4090. В сравнении с YuE2-Vae у legacy-варианта выше оценки музыкальности в бенчмарках, тогда как стандартный YuE2-Vae обеспечивает лучшее воспринимаемое качество звука. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

A2World World Model — модель мира для робототехники, дообученная Fleurrr на базе NVIDIA Cosmos-Predict2-2B-Video2World. Это многовидовая диффузионная модель, которая предсказывает будущие наблюдения робота по начальным изображениям с камер и фрагменту из 20 действий. Вариант A2World-sim дополнительно использует историю изображений, заданную позой, и поддерживает авторегрессионное продолжение роллаута. Выпущены контрольная точка предварительного обучения на разнородных робототехнических данных и вариант A2World-sim, адаптированный на LIBERO. Модель предназначена для прогнозирования видео по действиям, построения открытых и пошаговых авторегрессионных роллаутов, а также исследований обучаемых симуляторов и переносимых представлений динамики роботов. Веса сохранены в BF16 и предназначены для совместимости с публичным конвейером роллаута. Сгенерированные роллауты могут ошибаться в геометрии, контактах, состоянии объектов и успешности задачи; ошибки накапливаются при длинном прогнозировании. Для работы требуются согласованные идентификаторы камер, семантика действий и предобработка. Модель не является сертифицированным симулятором и не заменяет проверку безопасности на реальном роботе. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

Aeona — разговорная генеративная модель, созданная разработчиком deepparag на основе microsoft/DialoGPT-small. Она предназначена для коротких дружеских диалогов и в первую очередь ориентирована на чат-ботов в Discord; автор предлагает использовать её вместе с AIML-ботом, который может хранить сведения о пользователе и обрабатывать заранее заданные ответы. Модель построена на архитектуре GPT-2 и принимает текстовый контекст диалога, чтобы генерировать ответ. В README рекомендуется передавать текущую реплику и предыдущие три пары реплик пользователя и бота; метаданные указывают контекст длиной 1024 токена. В описании обучения упомянуты MovieLines, сообщения Discord и пользовательский набор сообщений. Автор отмечает, что ответы могут быть случайными, а использование слишком длинной истории ухудшает результат. Модель распространяется по лицензии MIT. README не приводит подтверждённых сведений о поддерживаемых естественных языках или количественном размере Aeona.

Anime-XCodec2 — дообученная версия нейронного аудиокодека XCodec2 от автора репозитория NandemoGHS. Обновлён только декодер: энкодер и кодовая книга оставлены без изменений, поэтому аудиотокены совместимы с исходным HKUSTAudio/xcodec2. Модель рассчитана на работу с аудио и аудиотокенами с частотой дискретизации 16 кГц. Основное назначение — декодировать токены XCodec2, полученные, например, от Llasa или других авторегрессионных генераторов, в японскую речь с интонациями и голосами в стиле аниме и игр. Также её можно использовать для реконструкции японской речи в соответствующих аудиопайплайнах. Декодер дообучен примерно на 25 тысячах часов японской речи, преимущественно с актёрской и персонажной подачей. Модель оптимизирована для японского языка: качество на других языках может быть ниже, а речь вне домена аниме и игр может не получить улучшений. Лицензия CC BY-NC 4.0 разрешает использование на условиях Creative Commons Attribution-NonCommercial 4.0, включая ограничение на коммерческое применение.

Bielik-11B-v3.0-DFlash — вспомогательная черновая модель для ускорения генерации текста методом speculative decoding. Её разработали SpeakLeash и ACK Cyfronet AGH для совместной работы с Bielik-11B-v3.0-Instruct; самостоятельно как языковая модель она не предназначена для использования. Для запуска требуется сервер инференса с поддержкой DFlash speculative decoding. Модель основана на архитектуре Qwen3 и содержит 1,2 млрд параметров. Она обучалась на том же наборе данных, что и целевая модель, и поддерживает контекст до 32 768 токенов. Заявлена поддержка 32 европейских языков с оптимизацией для польского; веса доступны в формате Safetensors для Transformers. Лицензия — Apache License 2.0. Ключевое ограничение: модель полезна только в связке с Bielik-11B-v3.0-Instruct и совместимой реализацией speculative decoding; сама по себе она не заменяет целевую модель и не предназначена для обычного диалога или генерации.

Bio-Bite Retriever — снимок модели эмбеддингов, опубликованный для университетского проекта Bio-Bite. Это англоязычная модель семейства BERT на базе intfloat/e5-small-v2, без дополнительного дообучения; она содержит около 40 млн параметров и принимает контекст до 512 токенов. Модель предназначена для преобразования описаний тренировок, сна и восстановления в эмбеддинги и поиска похожих записей в синтетическом наборе рецептов Bio-Bite. Модель подходит для семантического поиска и подбора записей по текстовому описанию состояния пользователя в образовательном прототипе. В оценке на 72 запросах по шести категориям восстановления она была выбрана как лучший из сравниваемых нейронных ретриверов, однако TF-IDF показал более высокую точность на этом синтетическом корпусе. Это не медицинская и не диетологическая модель: категории восстановления не являются диагнозами. Репозиторий распространяется по лицензии MIT.

ChronoGrid FusionNet — специализированная модель для классификации повреждений линий электропередачи в тестовой системе IEEE 9-Bus (WSCC). Она принимает временные электрические сигналы, представленные в виде тепловых карт преобразования S-Transform размером 227×227, и различает 11 условий повреждения. Архитектура объединяет 1D CNN для извлечения частотно-временных искажений, двунаправленную LSTM для анализа динамики переходного процесса и механизм self-attention для выделения важных моментов отключения повреждения. Модель предназначена для анализа энергосистем и академического сравнения методов обнаружения повреждений. В обучающих данных использовались синтетические сигналы, созданные в Simulink для WSCC 9-Bus с различными местами и моментами возникновения повреждений и уровнями нагрузки. Репозиторий предоставляет веса в формате safetensors; для загрузки пользовательской архитектуры PyTorch требуется trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.

Ctrl-World — модель мира для роботизированных манипуляций, разработанная исследователями из Stanford University и Tsinghua University. Она дообучена на базе Stability AI Stable Video Diffusion Image-to-Video и обучена на датасете DROID, содержащем около 95 тысяч траекторий в 564 сценах с роботизированной рукой Franka Panda и захватом Robotiq. Модель генерирует воображаемые сценарии взаимодействия робота с окружающей средой с учётом действий. Она предназначена для совместной работы с VLA-политиками: позволяет выполнять симуляции в контуре политики, оценивать выполнение инструкций и помогать улучшать следование им. Репозиторий содержит чекпойнт; подробности использования приведены в официальном репозитории проекта. Модель принимает визуальное наблюдение и управляющие действия и предсказывает видео; основная область применения — робототехнические манипуляции. В метаданных указан английский язык, а лицензия модели — MIT.

google/ddpm-cat-256 — модель генерации изображений методом Denoising Diffusion Probabilistic Models (DDPM), опубликованная Google и реализованная для библиотеки Diffusers. Она предназначена для безусловной генерации изображений кошек размером 256 × 256 пикселей: на вход подаётся случайный шум, а на выходе получается изображение без текстового запроса или условия. Модель основана на диффузионном подходе, который постепенно удаляет шум; для генерации можно использовать дискретные планировщики шума из Diffusers, включая DDPM, DDIM и PNDM. Карточка описывает общий подход DDPM и приводит результаты исходной статьи для CIFAR-10 и LSUN; эти результаты не являются оценкой именно этой модели. Репозиторий содержит веса в формате Diffusers с PyTorch и safetensors. Лицензия — Apache-2.0.

Модель ashtad63/ddpm-celebahq-finetuned-butterflies-2epochs — экспериментальный чекпойнт диффузионной модели для безусловной генерации изображений. README относит её к учебному заданию по моделям диффузии и показывает запуск через DDPMPipeline из библиотеки Diffusers. Название репозитория указывает на дообучение модели CelebA-HQ на изображениях бабочек в течение двух эпох. Модель принимает запрос без текстового описания и генерирует изображение. Она распространяется в формате Diffusers с весами Safetensors по лицензии MIT. README содержит шаблонное описание, поэтому сведения о качестве и характеристиках полученного набора изображений ограничены.

AlphaGaO/DeepSeek-V3-0324-Fused-8E-39B-Unhealed-Preview — экспериментальная слитая версия DeepSeek-V3-0324-Instruct, созданная на основе модели DeepSeek-V3-0324 с 256 экспертами. Вариант объединяет 8 экспертов и использует rank 4; в README заявлено около 39 млрд параметров, а метаданные указывают 37,6 млрд. Модель загружена в формате safetensors и предназначена для генерации текста, в том числе диалогов и вызова инструментов через соответствующий интерфейс. Это ранний, нестабильный чекпойнт после слияния и сжатия экспертов. Дообучение, названное авторами «healing», необходимо для восстановления работоспособности; без него качество существенно снижено, а ответы непредсказуемы. README связывает исходную модель с рассуждениями, программированием, китайским письмом, переводом и вызовом функций, но эти свойства нельзя считать подтверждёнными для этой неотлаженной версии. Заявлен контекст 163 840 токенов. Лицензия — MIT.

malaiwah/deepseek-v4-tiny-random-bf16 — небольшая эталонная модель семейства DeepSeek V4 с случайно инициализированными весами, опубликованная пользователем malaiwah. Это базовый fixture для обучения, отладки и воспроизведения рабочих процессов QFS, а не обученная продукционная языковая модель. Модель предназначена для генерации текста и работает через библиотеку Transformers. Модель содержит около 255 тысяч параметров по метаданным Hugging Face, поддерживает контекст до 256 токенов и использует текстовую архитектуру с независимым byte-токенизатором и словарём из 272 токенов. В репозитории указаны CPU-ориентированный сценарий, случайные веса и отсутствие vision-компонентов. Модель удобна для проверки загрузки тензоров, адаптеров семейства моделей, декодеров хранения, захвата скрытых состояний и воспроизводимости экспериментов. Сгенерированный текст не обладает полезным семантическим качеством, поэтому модель нельзя использовать как чат-ассистента, для оценки качества языка, следования инструкциям или сравнения производительности. Она также не подтверждает совместимость с оригинальными обученными весами DeepSeek V4, GPU/NPU-ядрами, длинным контекстом или продукционным обслуживанием. Лицензия — MIT.

FEM-Inspired Causal Multi-Mesh LM — экспериментальная базовая языковая модель Bochkov для авторегрессионной генерации текста. Это не дообученный для диалога ассистент. Модель использует плотную причинную архитектуру FEMMultiMeshForCausalLM без attention. Текст представлен несколькими полями, включая фиксированные координаты токенов Binary16, структурированные бинарные плитки, признаки формы символов, причинную иерархию истории и латентные scratch-ячейки; вычисления выполняют общие итеративные ConvGLU-решатели. Размер чекпойнта — около 1,73 млрд значений тензоров, контекст — 2048 токенов. Модель принимает и генерирует текст; сведений о поддерживаемых естественных языках нет. Модель предназначена для экспериментов с языковым моделированием без attention, фиксированными координатами токенов и многоуровневыми представлениями текста. В README приведены результаты оценки на HellaSwag и ARC-Easy, но они не доказывают превосходство над Transformer-моделями или способности к автономному рассуждению. При генерации активный контекст вычисляется заново, KV-кэш отсутствует; пакетный инференс с дополнением последовательностей ненадёжен. Лицензия в предоставленных данных не указана.

Это диффузионная модель, созданная как первая учебная работа в рамках курса Diffusion Models Class. Она предназначена для безусловной генерации изображений: модель создаёт изображение без текстового описания на входе. В карточке приведён пример запуска через библиотеку Diffusers и конвейер DDPMPipeline. Модель описана как генератор милых изображений, однако другие сведения о размере, обучающих данных и поддерживаемых языках не приводятся. Репозиторий содержит модель в формате Diffusers с весами Safetensors. Лицензия — MIT.

aday777/glm_moe_dsa_tiny_fixture — тестовый чекпойнт с архитектурой GLM-5.3 MoE от автора репозитория, созданный для проверки загрузчиков и инструментов вокруг архитектуры glm_moe_dsa. Это воспроизводимые случайно инициализированные веса примерно на 274,5 тыс. параметров; метаданные каталога указывают 180,2 тыс. параметров. Модель не обучалась и не предназначена для генерации качественных ответов. Чекпойнт позволяет проверять чтение конфигурации, сопоставление имён весов, размеры таблиц экспертов, маршрутизацию top-k и загрузку safetensors в тестах и CI. Он использует архитектуру GlmMoeDsaForCausalLM, формат safetensors и контекст 256 токенов. Токенизатор в репозитории представлен заглушками, поэтому для работы нужен внешний токенизатор. В конфигурации намеренно отсутствуют тензоры индексатора разреженного внимания DSA и голова MTP; также нет lm_head, который загрузчик должен связать с embedding-слоем или предоставить отдельно. Совместимость с конкретной версией Transformers и загрузка уменьшенной конфигурации не проверены. Лицензия — MIT.

GTM-3-base — базовая языковая модель OpenGCM, обученная с нуля. Это декодерный GPT-подобный трансформер nanoGPT-типа с RoPE: 10 слоёв, 8 голов внимания и около 74,9 млн параметров. Модель принимает текст и продолжает его; это предварительно обученная базовая модель, а не чат-модель и не модель для следования инструкциям. Контекст — 1024 токена, токенизатор — GPT-2 BPE из tiktoken с размером словаря 50 257. Веса опубликованы в формате safetensors, точность fp32; для загрузки требуется файл model.py из репозитория, модель не совместима напрямую с AutoModel из Transformers. Модель предназначена для экспериментов с компактными языковыми моделями, исследования генерации и продолжения текста, а также для дальнейшей адаптации. Обучающая смесь включает англоязычные веб-тексты, образовательные материалы, математику и Wikipedia; кодовые корпуса не использовались. Модель может генерировать связный текст, но не обеспечивает надёжного воспроизведения фактов, не следует инструкциям и склонна к повторам. Разработчик характеризует её как исследовательскую или любительскую, не предназначенную для производственной эксплуатации. Лицензия — Apache-2.0.

ha-russian-function-gemma — дообученная ps1x модель на базе google/functiongemma-270m-it, предназначенная для интерпретации коротких телеграфных команд на русском языке и вызова инструментов управления умным домом в Home Assistant. Она использует текстовую архитектуру Gemma 3 и содержит около 257 млн параметров; карточка указывает контекст до 32 768 токенов. Модель обучена на пользовательском наборе примерно из 1 400 сценариев управления климатом и освещением, а также запросов о состоянии датчиков. Модель рассчитана на сценарии, где определения инструментов передаются в сообщении developer, а пользователь формулирует команду по-русски. Поддерживаются инструменты set_device_state, set_device_value и get_device_status, что позволяет менять состояние и значение устройств и запрашивать их статус. Репозиторий использует формат safetensors и библиотеку Transformers. Модель распространяется по лицензии Gemma. Её настройка и обучающие примеры специализированы на командах умного дома на русском языке; карточка не подтверждает пригодность для общего диалога или других языков.

Ebishj/Huggy — обученный агент PPO для игры Huggy, созданный с использованием библиотеки Unity ML-Agents. Модель предназначена для управления игровым агентом в среде Huggy и может использоваться для просмотра его игры или продолжения обучения с помощью ML-Agents. В репозитории доступен формат ONNX. Карточка не сообщает размер модели, языки или лицензию, поэтому эти характеристики здесь не описываются. Модель работает с игровой средой и выдаёт действия агента; конкретные входы, выходы и ограничения в карточке не раскрыты.

Это обученный методом PPO агент, созданный с помощью библиотеки Unity ML-Agents для игры Huggy. Модель предназначена для управления игровым агентом: её можно использовать для запуска игры или продолжения обучения через ML-Agents. В репозитории размещён файл ONNX. Модель принимает состояние игровой среды и выдаёт действия агента; язык интерфейса модели не относится к естественным языкам. Карточка не приводит размер модели и условия лицензии, поэтому эти сведения здесь не уточняются.

Это обученный агент PPO для игры Huggy, опубликованный пользователем wdk0082. Модель создана с помощью Unity ML-Agents и предназначена для управления игровым агентом в среде Huggy; её можно использовать для просмотра поведения агента и продолжения обучения через ML-Agents. В репозитории указаны веса в формате ONNX. Модель относится к обучению с подкреплением: она получает наблюдения игровой среды и выбирает действия для управления агентом. В README не приведены размер модели, контекст, поддерживаемые естественные языки или лицензия.

Это обученный агент PPO для игры Huggy, созданный Deepro21 с использованием библиотеки Unity ML-Agents. Модель предназначена для управления игровым агентом в среде Huggy и может применяться для просмотра поведения агента или продолжения его обучения через ML-Agents. В репозитории указан формат ONNX. Карточка не сообщает размер модели, условия лицензии, поддерживаемые языки или детали входов и выходов; поэтому эти характеристики не уточняются.

lerobot/hy_vla_umi — конверсия модели Hy-Embodied-0.5-VLA-UMI от Tencent в формат LeRobot. README сообщает о побайтно идентичном преобразовании тензоров, а метаданные обозначают связь с базовой моделью как дообучение; точный характер связи в источниках расходится. Модель принимает визуальные наблюдения и текстовую инструкцию задачи и формирует действия робота для манипуляции. В этой версии используются один кадр изображения, горизонт предсказания и исполнения действий по 50 шагов, относительное представление действий и 10 шагов Euler-сэмплирования. Модель предназначена для управления двуруким роботом с 16-мерным представлением поз и захватов. README сообщает о строгой загрузке всех 1628 тензоров и полном совпадении прямого прохода с авторской реализацией на проверенных входах. Лицензия — Apache-2.0. Поддерживается только выпущенное представление двуручного манипулятора; действия мобильного манипулятора с семантикой базы не поддерживаются.

kramp/ito-master-onnx — экспорт в формате ONNX белоящичной модели ITO-Master для музыкального мастеринга. Разработчик экспортировал предиктор параметров для запуска в браузере через ONNX Runtime Web; модель используется в Space audio-master. Предиктор принимает стереофонический звук с частотой 44,1 кГц и референсное аудио, кодирует стиль в эмбеддинг размерности 2048 и выдаёт 46 нормализованных параметров для цепочки обработки звука. Эквалайзер, дисторшн, многополосная компрессия, усиление, стереоимиджер и лимитер реализованы отдельно средствами Web Audio. Репозиторий содержит файлы ONNX и конфигурацию с порядком параметров и диапазонами для преобразования нормализованных значений. Экспорт проверен сравнением с PyTorch: максимальная абсолютная ошибка указана как менее 1e-3. Модель предназначена для автоматизации настройки мастеринга по референсному звучанию; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

IvmeLabs/Ivme-Conversate-U-v1-Base — базовая языковая модель IvmeLabs с 316,7 млн параметров, обученная с нуля на архитектуре Qwen3ForCausalLM. Для обучения использовали 1,5 млрд токенов синтетического англоязычного текста из Cosmopedia v2, созданного моделью Mixtral-8x7B-Instruct-v0.1. Это плотный авторегрессионный трансформер с токенизатором byte-level BPE на 32 768 токенов; цифры от 0 до 9 всегда представлены отдельными токенами. Контекст модели — 2 048 токенов. Модель предназначена для продолжения текста на английском языке и экспериментов с небольшими языковыми моделями, обученными только на синтетических данных. Она показывает знание локальных грамматических закономерностей, но слаба в надёжном воспроизведении фактов, арифметике и задачах на здравый смысл. Это базовая модель без настройки на инструкции: она не предназначена для прямого ответа на вопросы или диалога. Лицензия — ODC-By.

ai21labs/Jamba-tiny-reward-dev — тестовая модель оценки на основе архитектуры Jamba от AI21 Labs. Она предназначена для разработки, отладки и экспериментов, а также для модульных тестов: выходной слой языковой модели заменён на три атрибута оценки. В README указано 319 млн параметров и обучение на примерно 40 млрд токенов; метаданные каталога указывают 94,4 млн параметров и контекст 262 144 токена, поэтому сведения о размере расходятся. Репозиторий содержит веса в формате Safetensors. Модель не предназначена для получения полезных оценок: смещения выходных атрибутов специально заданы как [1000, -1000, 0], поэтому результаты будут находиться примерно в этих диапазонах. Лицензия — Apache-2.0.

LA VEL — открытая языковая модель, разработанная Justinsimpsad с нуля. Это декодерный трансформер в стиле GPT с архитектурой pre-LN, причинным вниманием SDPA, GELU-MLP и связанными эмбеддингами. В репозитории представлены веса в форматах safetensors и GGUF; для позиционного кодирования можно выбрать learned embeddings или RoPE. Модель предназначена для генерации текста на английском языке. Начальная конфигурация из README содержит 6 слоёв, 6 голов внимания, размерность 384, контекст 512 токенов и ByteLevel-BPE с размером словаря 16 тысяч; в метаданных для опубликованной модели указан размер 20,4 млн параметров. README характеризует её как ранний seed-чекпойнт, обученный недолго: качество генерации пока игрушечное, perplexity на валидации около 50–60 и снижалась. Репозиторий распространяется по лицензии MIT. Модель можно запускать через PyTorch и отдельную реализацию без зависимости от Transformers; также доступны CLI для генерации и конвертер GGUF.