II.10Разработка и эксплуатация AI/ML-систем

unsloth/Qwen2.5-0.5B — базовая предобученная языковая модель семейства Qwen2.5, представленная Unsloth как вариант для дальнейшего дообучения. Это плотная авторегрессионная трансформерная модель на 494 млн параметров, реализованная классом Qwen2ForCausalLM и распространяемая в формате safetensors. В архитектуре используются RoPE, SwiGLU, RMSNorm, смещение в QKV-внимании и связанные эмбеддинги; модель содержит 24 слоя и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации и продолжения текста, а также для последующего обучения под конкретные инструкции или сценарии. Она поддерживает несколько языков, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Карточка отмечает улучшения семейства Qwen2.5 в программировании, математике, следовании инструкциям, работе со структурированными данными и генерации JSON, но эти характеристики не следует считать гарантированными для базового чекпойнта такого небольшого размера. Разработчик рекомендует не использовать базовую версию непосредственно для диалогов, а сначала адаптировать её, например с помощью SFT или RLHF. Модель распространяется по лицензии Apache-2.0; для работы рекомендуется актуальная версия библиотеки Transformers.

iromu/Qwen2.5-1.5B-k3 — дообученная с помощью LoRA/PEFT модель на основе unsloth/Qwen2.5-1.5B-Instruct. Разработчик обучал её на данных дистилляции Kimi-K3 для вызова инструментов и функций, а также агентных взаимодействий с несколькими шагами. Это плотная причинно-авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в сценариях, где нужны структурированные вызовы инструментов и агентное поведение. README предупреждает, что она не рассчитана на замену более крупным моделям Qwen. В приведённой проверке точное совпадение аргументов вызова инструментов составило 0,7% для BF16 против 8,0% у базовой модели на отдельной выборке; результаты зависят от формата и режима проверки. Модель распространяется под лицензией Apache-2.0.

Карточка модели huluhuluu/qwen3-1.7b-eagle3-k2-sw128-sharegpt-epoch7-step175000 на Hugging Face совпадает с карточкой huluhuluu/qwen3-1p7b-eagle3-k2-sw128-sharegpt-epoch-7-step-175000, поэтому описание составлено по ней. Это компактная черновая модель EAGLE3 от автора репозитория huluhuluu, обученная методом SpecForge для ускорения генерации в Qwen/Qwen3-1.7B с помощью speculative decoding. Она предназначена для использования как вспомогательный draft-чекпойнт вместе с целевой моделью Qwen3-1.7B, а не для самостоятельного диалога или генерации текста. Модель использует плотную архитектуру LlamaForCausalLMEagle3, содержит 411,8 млн параметров и поддерживает контекст до 40 960 токенов. Чекпойнт сохранён в safetensors; README указывает bfloat16 и обучение на данных ShareGPT. Заявлена поддержка английского и китайского языков. Для работы нужны SpecForge/EAGLE3-совместимый код и базовая модель Qwen/Qwen3-1.7B; бенчмарки в карточке не приведены. Лицензия указана как other, без дополнительных условий в доступных данных.

Карточка модели huluhuluu/qwen3-1.7b-eagle3-sharegpt-sw512-epoch9-step450000 на Hugging Face совпадает с карточкой huluhuluu/qwen3-1p7b-eagle3-sharegpt-sw512-epoch-9-step-450000, поэтому описание составлено по ней. Это чекпойнт черновой модели EAGLE3, обученной SpecForge для ускорения генерации текста методом спекулятивного декодирования вместе с Qwen/Qwen3-1.7B. Это вспомогательная модель, а не самостоятельная языковая модель: для работы ей нужна целевая модель Qwen3-1.7B, а веса целевых эмбеддингов загружаются из неё отдельно. Модель основана на архитектуре LlamaForCausalLMEagle3, имеет 361,5 млн параметров и рассчитана на контекст до 40 960 токенов. Чекпойнт сохранён в safetensors; конфигурация указывает dtype bfloat16. Он предназначен для загрузки совместимым кодом SpecForge/EAGLE3. Карточка не приводит результатов бенчмарков, поэтому степень ускорения не подтверждена. Лицензия указана как other, без уточнения условий в предоставленных данных.

Карточка модели huluhuluu/qwen3-1.7b-eagle3-sharegpt-sw768-epoch9-step465000 на Hugging Face совпадает с карточкой huluhuluu/qwen3-1p7b-eagle3-sharegpt-sw768-epoch-9-step-465000, поэтому описание составлено по ней. Это компактная черновая модель EAGLE3, созданная методом онлайн-обучения SpecForge на базе Qwen/Qwen3-1.7B. Она предназначена для ускорения генерации текста методом speculative decoding: черновая модель предлагает продолжения, которые проверяет целевая Qwen3-1.7B. Самостоятельно как обычную языковую модель её использовать нельзя. Архитектура чекпойнта — LlamaForCausalLMEagle3; в репозитории указано 361,5 млн параметров и контекст 40 960 токенов. Веса сохранены в safetensors; замороженные веса целевых эмбеддингов в чекпойнт не входят и загружаются из целевой модели. Для работы требуется код, совместимый со SpecForge/EAGLE3, и базовая модель Qwen/Qwen3-1.7B. В карточке не заявлены результаты бенчмарков. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.

Это контрольная точка черновой модели EAGLE3 для ускорения генерации текста методом speculative decoding вместе с целевой моделью Qwen/Qwen3-1.7B. Модель разработана для использования с совместимым кодом SpecForge/EAGLE3 и не предназначена для самостоятельной генерации текста. Чекпойнт получен онлайн-обучением SpecForge EAGLE3 на данных ShareGPT; в карточке указан шаг 171560, эпоха 9. Архитектура — LlamaForCausalLMEagle3, размер — 420,2 млн параметров, формат весов — safetensors, контекст — 40960 токенов. Метаданные указывают английский и китайский языки; базовая модель Qwen3-1.7B описана как многоязычная. Карточка не приводит результатов бенчмарков и не заявляет измеренного выигрыша в скорости. Для работы нужны целевая модель Qwen/Qwen3-1.7B и совместимая реализация EAGLE3. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

Это компактная черновая модель EAGLE3, созданная на базе Qwen/Qwen3-1.7B с помощью онлайн-обучения SpecForge на данных ShareGPT. Она предназначена для ускорения генерации текста методом speculative decoding вместе с целевой моделью Qwen3-1.7B и не работает как самостоятельная языковая модель. Архитектура чекпойнта — LlamaForCausalLMEagle3; в репозитории доступны веса Safetensors, а размер модели составляет 361,5 млн параметров. Контекст — до 40 960 токенов; в метаданных указаны английский и китайский языки. Для загрузки нужны SpecForge или совместимый с EAGLE3 код; замороженные веса целевых эмбеддингов берутся из целевой модели. Карточка не приводит результатов бенчмарков. Лицензия указана как other, поэтому условия использования следует проверять в репозитории и у правообладателя.

Это контрольная точка черновой модели EAGLE3, обученной командой проекта SpecForge для ускорения генерации текста методом speculative decoding вместе с Qwen/Qwen3-1.7B. Она не является самостоятельной целевой языковой моделью: её используют в совместимом коде SpecForge/EAGLE3, чтобы предлагать черновые токены, которые затем проверяет целевая модель. Модель основана на Qwen3-1.7B и обучена методом онлайн-обучения EAGLE3 на данных ShareGPT. В репозитории указан контекст 40 960 токенов и формат весов safetensors; заявленный размер этой контрольной точки — 361,5 млн параметров. Веса целевых эмбеддингов исключены и загружаются из целевой модели. Карточка не содержит заявлений о результатах бенчмарков. Лицензия обозначена как other, поэтому условия использования следует сверять с файлами лицензии репозитория и условиями базовой модели.

deepsweet/Qwen3.6-27B-DFlash-FP16 — конверсия в FP16 черновой модели DFlash семейства Qwen3, изначально разработанной z-lab. Она предназначена для speculative decoding: в паре с основной моделью Qwen/Qwen3.6-27B модель предлагает блоки черновых токенов, чтобы ускорить генерацию текста. В карточке указаны архитектура DFlashDraftModel, 2,9 млрд параметров и контекст до 262 144 токенов; модель распространяется в формате Safetensors и рассчитана на использование с Transformers. Версия FP16 оптимизирована для Apple Silicon M1 и M2 и, согласно README, ускоряет обработку промпта; для устройств M3 и новее рекомендуется исходная версия. Это вспомогательная модель для ускорения вывода, а не самостоятельный чат-ассистент. Лицензия — MIT.

Qwen3.6-35B-A3B-DFlash-GGUF — это набор весов в формате GGUF, подготовленный abhinand на основе модели z-lab/Qwen3.6-35B-A3B-DFlash. Модель предназначена не для самостоятельной генерации текста, а для speculative decoding: она выступает облегчённой draft-моделью и должна работать совместно с основной Qwen/Qwen3.6-35B-A3B. Метод DFlash использует блочную диффузионную модель, которая параллельно предлагает несколько токенов, чтобы ускорить авторегрессионную генерацию. Модель применяется для ускорения инференса языковой модели Qwen3.6-35B-A3B в задачах рассуждений, генерации и объяснения кода, математических задачах, диалогах и других сценариях текстовой генерации. В README указано семейство 35B-A3B, однако отдельные параметры архитектуры, размер контекста и поддерживаемые языки не приведены. Для работы требуются совместимые версии vLLM или SGLang и специальная поддержка DFlash; также упоминается возможность настройки размера окна для длинного контекста и агентских нагрузок. Заявленное преимущество — ускорение генерации до 2,9 раза при одной параллельной сессии и примерно до 1,4–2,5 раза при более высокой конкуренции в зависимости от задачи и конфигурации. Ограничения состоят в необходимости использовать совместимую основную модель, специализированный runtime и аппаратные ресурсы; приведённые результаты получены на одной NVIDIA B200 и могут не воспроизводиться в других условиях. Репозиторий распространяется по лицензии MIT.

Это вспомогательная модель Inferencer Labs на основе Qwen3.6-35B-A3B: из базовой модели извлечены слои Multi-Token Prediction (MTP) для использования вместе с Qwen3.6-35B-A3B-MLX в спекулятивном декодировании. Она предназначена для ускорения генерации ответов основной моделью; отдельно от совместимой основной модели не используется. В README приведён пример тестирования на Mac с M3 Ultra и 512 ГБ оперативной памяти, а также заявлено, что вариант с квантизацией Q4.5 обеспечивает высокую скорость генерации и снижает расход памяти без потери качества в тесте на кодирование. Метаданные указывают архитектуру семейства qwen3_5_mtp, библиотеку MLX, формат safetensors и поддержку зрения через базовую модель. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-DFlash2-ROCmFP4-FAST-GGUF — квантованный draft-модуль, опубликованный Agention и созданный на основе z-lab/Qwen3.8-27B-DFlash2. Модель предназначена не для самостоятельной генерации, а для speculative decoding в связке с целевой моделью Qwen3.8-27B, ускоряя её инференс без изменения качества: каждый токен проверяется целевой моделью. Модель распространяется в формате GGUF с квантованием ROCmFP4, примерно 4,25 бита на вес. Она использует специальный тип файла Q4_0_ROCMFP4_FAST и требует форка llama.cpp с поддержкой ROCmFPx; стандартная версия llama.cpp не загружает этот формат. Для работы также необходима целевая модель, совместимый режим DFlash2 и Vulkan 1.3. На AMD Strix Halo с Radeon 8060S в связке с указанной целевой моделью заявлена скорость до 65,6 токена в секунду на структурированном выводе, что в 4,7 раза выше обычной генерации. Сильная сторона модели — существенное повышение пропускной способности, особенно при адаптивном выборе размера черновой последовательности; заявленная acceptance rate достигает 96%. Производительность зависит от оборудования, целевой модели, типа вывода и настроек, а приведённые показатели относятся к AMD Strix Halo. Модуль не имеет полного графа и не запускается отдельно. Языки, размер контекста и другие характеристики базовой модели в README не указаны. Модель лицензирована по Apache-2.0, унаследованной от базовой модели.

Это набор весов черновой модели Multi-Token Prediction (MTP), извлечённых из Qwen/Qwen3.8-27B и опубликованных mlx-community для ускорения генерации методом speculative decoding в mlx-vlm. Модель не работает самостоятельно: её используют вместе с совместимой целевой моделью Qwen3.8-27B, которая предоставляет эмбеддинги токенов и языковую голову. Для корректной работы веса черновой и целевой моделей должны происходить из одного чекпойнта. Архитектура плотная, тип модели — qwen3_5_mtp; размер целевой модели — 27 млрд параметров, точность весов — BF16, размер MTP-блока — 3. Репозиторий рассчитан на MLX и mlx-vlm. В метаданных указан английский язык; сам черновой компонент предлагает ускорение текстовой генерации, а не самостоятельный диалог или мультимодальный анализ. Использование регулируется лицензией Apache 2.0; ограничения базовой модели также применяются.

zeromodels/qwen3-8b-base — конверсия базовой авторегрессионной модели Qwen3-8B-Base в реализацию на Keras 3. Модель плотная, её веса хранятся в формате bfloat16; библиотека zeromodels позволяет запускать одну реализацию на TensorFlow, PyTorch или JAX. Модель предназначена для генерации текста и может служить основой для дальнейшей адаптации под прикладные задачи. Разработчик — zeromodels; исходную модель создала команда Qwen компании Alibaba. Карточка ссылается на технический отчёт Qwen3 и направляет за подробностями об использовании к исходной модели. Репозиторий распространяется по лицензии Apache 2.0. В метаданных указан английский язык; подробные сведения о контекстном окне и специальных ограничениях этой конверсии не приведены.

Anbeeld/Qwen3-8B-DFlash-b16-GGUF — GGUF-квантизации модели-черновика Qwen3-8B-DFlash-b16, разработанной z-lab и подготовленной в формате GGUF для проекта Anbeeld. Модель реализует метод DFlash — speculative decoding с лёгкой block diffusion-моделью, которая параллельно предлагает черновые токены для последующей проверки целевой моделью Qwen/Qwen3-8B. Это не самостоятельная целевая языковая модель: для работы её необходимо использовать совместно с Qwen/Qwen3-8B. Модель предназначена для ускорения инференса и генерации текста, включая серверные сценарии на SGLang и vLLM, а также локальный запуск через BeeLlama.cpp — форк llama.cpp с поддержкой расширенных возможностей квантизации. Для загрузки через Transformers требуется custom code и параметр trust_remote_code=True. В README заявлено ускорение без потери качества до 6,17 раза для Qwen3-8B и почти в 2,5 раза по сравнению с EAGLE-3, однако фактическая производительность зависит от оборудования, настроек и сценария генерации. Ключевые характеристики самой модели, включая точный размер GGUF-квантизаций, поддерживаемые языки, модальности и максимальную длину контекста, в README не указаны. Также отмечено, что текущая реализация рекомендуется для запуска на одном GPU. README содержит обозначение лицензии MIT.

ReAG-Critic — компонент фильтрации текстовых фрагментов в мультимодальном конвейере ReAG для ответов на вопросы по изображениям с использованием внешних знаний. Модель разработана aimagelab на основе Qwen2.5-VL и принимает изображение, вопрос и найденный текстовый фрагмент, оценивая его релевантность для ответа. Для оценки сравниваются вероятности следующих токенов «Yes» и «No»; порог по умолчанию — 0,1, его можно настраивать. Модель предназначена для отсева нерелевантных результатов поиска перед передачей оставшихся фрагментов генератору ReAG. Она ориентирована на knowledge-based visual question answering и использовалась в экспериментах на Encyclopedic-VQA и InfoSeek. Архитектура — плотная Qwen2.5-VL, объём — 3,1 млрд параметров, контекст — до 128 000 токенов. Репозиторий распространяет веса в формате Safetensors; лицензия — Apache-2.0.

Это конвертированные в формат LiteRT TFLite версии модели RegNetY-400MF из TorchVision. Модель предназначена для классификации изображений, в том числе в приложениях, использующих ускорение на CPU или GPU; для INT8-варианта также заявлена поддержка NPU Qualcomm и MediaTek. В репозитории представлены обычный TFLite-файл и варианты с динамической и статической INT8-квантизацией; для статического INT8-варианта указаны поканальные INT8-веса. Модель связана с ImageNet-1K. Лицензия в предоставленных данных не указана.

RepViT M2, дообученная с дистилляцией модель для классификации изображений, представленная авторами статьи RepViT и опубликованная в репозитории timm. Модель обучена на ImageNet-1k и предназначена для присвоения изображению класса из набора меток ImageNet; её также можно использовать как компактную сверточную основу для извлечения карт признаков и эмбеддингов изображений. Модель содержит 8,8 млн параметров, требует 1,4 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Репозиторий включает веса PyTorch и Safetensors; лицензия — Apache-2.0. README описывает сценарии классификации, извлечения карт признаков и эмбеддингов, но классификация является основной задачей модели.

resnetaa50d.sw_in12k_ft_in1k — сверточная модель классификации изображений из библиотеки timm, разработанная Россом Уайтменом. Это архитектура ResNet-D с подавлением алиасинга (Rectangle-2 Anti-Aliasing): ReLU, стем из трех сверток 3×3 с пулингом и обходные соединения с усредняющим пуллингом 2×2 и сверткой 1×1. Модель содержит 25,6 млн параметров и выполняет 5,4 GMACs. Веса предварительно обучены на ImageNet-12k и дообучены на ImageNet-1k. Модель предназначена для классификации изображений, а также может использоваться как основа для извлечения признаковых карт и эмбеддингов. В рецепте обучения применялись AdamW, отсечение градиентов, усреднение EMA и косинусное расписание скорости обучения с разогревом. Размер изображения при обучении — 224×224, при проверке — 288×288. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0. Основное ограничение — специализация на классификации изображений; README приводит результаты для ImageNet, которые не гарантируют такую же точность на других наборах данных и типах изображений.

Это предварительно обученные веса swsl для архитектуры ResNeXt-101 32x4d, предназначенные для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Репозиторий предоставляет веса в формате Safetensors; метаданные указывают задачу классификации изображений. Модель может служить визуальным энкодером в конвейерах компьютерного зрения и применяться для классификации изображений. README не описывает обучение или происхождение весов подробнее, а также не приводит сведения о поддерживаемых наборах данных и ограничениях качества. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

ReXNet-1.5x — сверточная модель классификации изображений, представленная в статье об архитектуре ReXNet и предварительно обученная на ImageNette. В остаточных блоках используется модифицированный слой Squeeze-Excitation, предназначенный для уменьшения избыточности каналов. Модель подходит для классификации изображений по категориям в сценариях компьютерного зрения. В репозитории доступны веса PyTorch и ONNX, а лицензия — Apache-2.0.

SEW-D-tiny — предварительно обученная речевая модель семейства SEW-D, разработанная ASAPP Research на основе идей wav2vec 2.0. Она извлекает признаки из аудио и предназначена для дообучения под прикладные задачи, включая распознавание речи, идентификацию говорящего, классификацию намерений и распознавание эмоций. Модель содержит 28,3 млн параметров и принимает речь, записанную с частотой дискретизации 16 кГц. Архитектура SEW (Squeezed and Efficient Wav2vec) нацелена на повышение эффективности и скорости вывода; в исследовании для SEW описаны улучшения скорости и качества распознавания относительно wav2vec 2.0. Карточка указывает английский язык и датасет LibriSpeech ASR. Для распознавания речи и других прикладных задач модель нужно дообучить. Веса представлены в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

JinnP/SGLang-EAGLE3-Qwen3-Coder-30B-A3B-Instruct — лёгкая черновая модель EAGLE3 для ускорения генерации с целевой моделью Qwen/Qwen3-Coder-30B-A3B-Instruct. EAGLE3 предлагает несколько будущих токенов, которые целевая модель проверяет параллельно; при использовании совместимого SGLang это может ускорить инференс без изменения качества итогового вывода. Модель построена на облегчённом трансформере с одним слоем и общими с целевой моделью эмбеддингами; метаданные указывают 396,1 млн параметров и контекст 2048 токенов. Она предназначена для спекулятивного декодирования при генерации кода и диалогового текста. Карточка сообщает о обучении на наборе OpenPromptContainer и приводит метрики точности черновых предсказаний, однако выигрыш в скорости зависит от целевой модели, оборудования и настроек запуска. Модель распространяется по лицензии Apache-2.0. Она не предназначена для самостоятельной генерации: для работы нужны соответствующая целевая модель и поддержка EAGLE3 в среде инференса, например SGLang.

ishaanranjan разработал эту компактную модель как полнопараметрическое дообучение HuggingFaceTB/SmolLM2-135M-Instruct для узкой подзадачи агентных систем разработки: восстановления повреждённого JSON-вызова инструмента в исходный объект по заданной схеме. Модель построена на плотной архитектуре семейства Llama, содержит 134,5 млн параметров и рассчитана на контекст до 8192 токенов; для работы используется библиотека Transformers. Модель предназначена для встраивания в проверяемый конвейер: он формирует специализированный запрос, проверяет строгий JSON, при необходимости один раз передаёт модели обратную связь о нарушении схемы, применяет детерминированные проверки и может использовать запасные правила. В эксперименте на тестовых примерах из HTTPX и Jinja2 успешность после одной попытки исправления схемы составила 91,6%, а успешность с первой попытки — 90,0%. Это специализированный чекпойнт, а не универсальный чат-бот или помощник по программированию. Он обучен на 2000 примерах для одной закрытой JSON-схемы, поэтому его широкие способности следовать инструкциям могут быть ограничены. Модель распространяется по лицензии Apache-2.0.

SNAC 24 kHz Hindi — это дообученный декодер нейрокодека SNAC, подготовленный для речи на хинди и хинглише. Модель предназначена для декодирования аудиокодов SNAC в речевую волну и может использоваться как вокодер в стеке синтеза речи в стиле Orpheus. Изменён только декодер; энкодер и квантователь унаследованы от hubertsiuzdak/snac_24khz, поэтому кодовое пространство совместимо с базовой моделью. Модель использует три иерархических кодбука по 4096 записей и выдаёт монофонический звук с частотой 24 кГц. Лицензия — MIT. Для только что декодированных фрагментов README рекомендует обрезать первые примерно 2048 отсчётов, чтобы убрать переходный артефакт прогрева декодера.

SwinV2 Tiny Window16 256 — модель классификации изображений из библиотеки timm, основанная на архитектуре Swin Transformer V2. Авторы статьи предварительно обучили её на ImageNet-1k. Модель содержит 28,3 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Модель подходит для классификации изображений по категориям, а также может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Вычислительная сложность указана как 6,7 GMACs. Веса доступны в форматах PyTorch и safetensors; лицензия — MIT. Классификация ограничена набором категорий ImageNet-1k и доменом обучающих данных, поэтому качество на специализированных изображениях может быть ниже. Модель принимает изображения и выдаёт метки классов и оценки.

sonoisa разработал предварительно обученную японскую версию T5 — архитектуры Text-to-Text Transfer Transformer. Модель обучена на корпусе японских текстов объёмом около 100 ГБ, включающем японскую Википедию, OSCAR и CC-100. Для токенизатора SentencePiece использовались данные японской Википедии. Метаданные указывают 123,8 млн параметров, контекст до 512 токенов и доступность весов в форматах PyTorch, Flax и Safetensors. Модель предназначена как языковая основа для последующей настройки под конкретные задачи на японском языке. Для извлечения признаков её можно применять к текстам; после дообучения на размеченных данных описана классификация жанров новостных статей. В README также приведён результат на JSQuAD, однако модель не является готовым решением для этих задач без соответствующей настройки. Указанная лицензия — CC-BY-SA 4.0; при использовании корпусов Common Crawl следует учитывать их условия.

Crusadersk/tiny-gpt2 — специально обученный исследовательский чекпойнт GPT-2, созданный в рамках программы Banterhearts для проверки корректности бенчмарков локального инференса. Это плотная авторегрессионная модель с архитектурой GPT2LMHeadModel и многоголовым вниманием (MHA): 4,6 млн параметров, 2 слоя, размер скрытого представления 2 и 2 головы внимания. Контекст составляет 1024 токена; модель распространяется в формате PyTorch и предназначена для работы с Transformers. Чекпойнт используют для проверки окружения, паритета весов и изучения влияния глубины и ширины модели на задержку инференса GPU. Он не рассчитан на универсальную генерацию текста или практические языковые задачи; малый размер и конфигурация выбраны для экспериментальных измерений. README также указывает, что модель не совместима с Ollama, поскольку не представлена в формате GGUF. Лицензия — MIT.

nm-testing/tinyllama-oneshot-w4a16-channel-v2 — компактная модель для генерации текста, опубликованная организацией NM Testing на Hugging Face. Она основана на TinyLlama и предназначена для text generation и conversational-сценариев, включая локальный запуск через Transformers, vLLM и SGLang. Поскольку карточка модели отсутствует, подробности обучения и целевые прикладные сценарии не указаны. Модель использует архитектуру LlamaForCausalLM с 22 слоями, 32 attention heads, 4 key-value heads, размером скрытого состояния 2048 и словарём из 32 000 токенов. Максимальная длина контекста составляет 2048 токенов, размер — около 1,1 млрд параметров. Веса подвергнуты 4-битному симметричному channel-wise quantization для Linear-слоёв в формате compressed-tensors; указана также неструктурированная разреженность около 19%. Поддерживается текстовая модальность, язык модели явно не указан в карточке; базовый проект TinyLlama ориентирован на английский. Ключевое преимущество — небольшой размер и сниженные требования к памяти по сравнению с полноразмерными LLM, что подходит для тестирования inference-стеков и ограниченных вычислительных сред. Ограничения включают короткий контекст, отсутствие опубликованных бенчмарков и подробностей обучения, а также возможное снижение качества из-за 4-битного квантования. Лицензия именно этого репозитория не указана; базовый проект TinyLlama распространяется по Apache-2.0, но применимость этой лицензии к данному квантованному производному релизу следует проверить отдельно.

akreal/tiny-random-BloomForCausalLM — компактная модель авторегрессионной генерации текста на архитектуре BloomForCausalLM, опубликованная пользователем akreal на Hugging Face. Она предназначена для продолжения и генерации текста через библиотеку Transformers и совместима с PyTorch. Модель содержит около 114,7 тыс. параметров и рассчитана на контекст длиной до 512 токенов. Её ключевое преимущество — крайне малый размер, благодаря которому она удобна для тестирования загрузки, инференса и интеграции конвейеров text-generation. Из-за миниатюрного размера и отсутствия содержательной карточки модели её нельзя рассматривать как полноценную универсальную языковую модель с гарантированным качеством генерации. Сведения о поддерживаемых естественных языках и лицензии в доступных источниках не установлены.