II.2Создание и понимание программного кода

DeepSeek-R1-Distill-Llama-8B-heretic — это модифицированная версия DeepSeek-R1-Distill-Llama-8B, разработанная пользователем saidutta69 с применением Heretic v1.4.0. Модель основана на Llama и представляет собой дистиллированную 8-миллиардную модель с уклоном на рассуждения и генерацию текста. Указанный язык — английский, модальность — текстовая. Модель предназначена для диалогов, следования инструкциям и задач, требующих рассуждений, когда нужен прямой ответ без встроенного поведения отказа. Подавление отказов выполнено направленным редактированием весов в выходных проекциях attention и down-projection MLP, без дообучения. По заявлению автора, это позволяет в значительной степени сохранить знания и способность следовать инструкциям исходной модели, однако модель не является улучшением базовой версии по возможностям. Доступны полноточные веса в формате BF16 и квантизованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Модель рассчитана на запуск через llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang; для локального использования рекомендуются GPU с 8–12 ГБ памяти или совместимые квантизации на потребительском оборудовании. Размер контекста в README не указан. Важное ограничение — отсутствие дополнительной фильтрации безопасности: модель может выполнять запросы, от которых исходная версия отказалась бы, включая потенциально нежелательные. Ответственность за применение и развертывание возлагается на пользователя. Лицензия унаследована от базовой модели и обозначена как deepseek-license.

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанной deepseek-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста в диалоговых приложениях и локального запуска через LlamaEdge, включая режимы API-сервиса и командного чат-приложения. В README также указана совместимость с библиотекой transformers. Модель основана на архитектуре Qwen и содержит 1,5 млрд параметров. Она поддерживает текстовый ввод и вывод, использует шаблон запросов ChatML и контекст размером до 32 000 токенов. Доступны варианты GGUF с квантизацией от 2 до 16 бит и размером файлов примерно от 753 МБ до 3,56 ГБ. Варианты с более низкой разрядностью экономят память, но сильнее теряют в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые для баланса размера и качества. Основные преимущества модели — компактный размер, возможность локального запуска и широкий выбор уровней квантизации. Ограничения включают снижение качества при агрессивной квантизации и отсутствие в README сведений о поддерживаемых языках, результатах тестирования и специализированных сценариях применения. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Qwen-1.5B. Модель разработана командой DeepSeek, а данный вариант опубликован Unsloth. Она предназначена для локального запуска и генерации текста, включая ответы на вопросы, диалоговые сценарии и задачи рассуждения. Модель относится к семейству Qwen и имеет размер 1,5 млрд параметров. Это текстовая модель, работающая через llama.cpp; в README приведены примеры квантования Q4_K_M и использования KV-кэша Q8_0, а также возможность частичного переноса слоёв на GPU. Указан английский язык. Длина контекста и более подробные характеристики архитектуры в предоставленных данных не указаны. К сильным сторонам относятся небольшой размер, возможность локального запуска на доступном оборудовании и поддержка GGUF-квантизаций, снижающих требования к памяти. Ограничения включают неизвестные в README показатели качества, отсутствие заявленной мультимодальности и неполные сведения о контексте и языковой поддержке; для корректного диалога требуется использовать специальные токены или совместимый chat template. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Qwen-1.5B-ONNX — это языковая модель для генерации текста, созданная сообществом onnx-community на основе DeepSeek-R1-Distill-Qwen-1.5B от deepseek-ai. Модель преобразована в формат ONNX для совместимости с библиотекой Transformers.js и ориентирована на запуск в JavaScript-приложениях, включая веб-среды и сценарии WebML. Модель предназначена для текстовой генерации и решения задач, требующих рассуждений, например математических уравнений. В README указано, что она поддерживает формат диалоговых сообщений и способна выводить рассуждения в блоке <think>. Архитектура, точный размер контекста, перечень поддерживаемых языков и модальности в карточке не указаны; из названия базовой модели следует размер 1,5 млрд параметров. Для запуска предусмотрена квантизация q4f16, позволяющая использовать модель в Transformers.js. Сильными сторонами являются совместимость с ONNX и возможность применения в JavaScript- и потенциально браузерных приложениях без использования исходного формата весов. Ограничения включают отсутствие в README подробных данных о качестве, бенчмарках, языковой поддержке, требованиях к ресурсам и безопасному использованию; модель предназначена только для работы с текстом. Лицензия в предоставленной карточке не указана.

DeepSeek-V4.1-Flash-MLX-mixed-4_8bit — это квантованная сборка DeepSeek-V4.1-Flash для Apple Silicon на базе MLX, подготовленная PipeNetwork. Модель предназначена для генерации текста и запуска локального инференса на компьютерах Mac с большим объёмом unified memory. Для работы требуется специальный runtime deepseek-v41-mlx, поскольку стандартные transformers, mlx-lm и mlx-vlm эту архитектуру не поддерживают. Модель содержит около 754,6 млрд параметров и построена на архитектуре mixture-of-experts: 40 слоёв с 384 маршрутизируемыми экспертами. Она использует MLA с межслойным разделением KV-кэша, двухслойные hashed n-gram engram-таблицы, hyper-connections и attention sinks. Экспертные веса квантованы до 4 бит, attention, shared-части, embeddings и head — до 8 бит, а engram-таблицы также представлены в 8-битном формате; часть служебных компонентов остаётся в bf16 или fp32. Размер файлов составляет около 427,6 ГБ, поэтому для запуска практически требуется Mac с 512 ГБ оперативной памяти. Vision tower и aligner сохранены, но данный runtime работает только с текстом. Сборка прошла проверку на численное соответствие эталонной реализации DeepSeek, а заявленная perplexity на тестовой части wikitext-2 составляет 2,8963; авторы также отмечают связную жадную генерацию. Основные ограничения — очень высокие требования к памяти, зависимость от нестандартного runtime, текстовый режим без поддержки мультимодального вывода и отсутствие трёх слоёв multi-token prediction. Модель распространяется по лицензии MIT, как и исходная модель.

Это пакет слоёв модели DeepSeek-V4-Flash в формате GGUF, подготовленный Mesh LLM для распределённого инференса. Пакет получен из unsloth/DeepSeek-V4-Flash-GGUF и разделяет веса варианта UD-Q4_K_XL на отдельные артефакты по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального приватного чата и генерации текста, а также для обслуживания запросов через совместимый с OpenAI API Mesh LLM. Разделение слоёв позволяет распределять вычисления и память между несколькими компьютерами, когда одной машины недостаточно. Точные размер модели, архитектурные параметры, контекст и поддерживаемые языки в предоставленных данных не описаны. Вариант использует квантованный формат GGUF UD-Q4_K_XL. Репозиторий указывает лицензию MIT; пакет рассчитан на использование с Mesh LLM, а подробности архитектуры и поведения следует сверять с карточкой исходной модели.

Это пакет слоёв GGUF-модели Devstral-Small-2505-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Он получен из unsloth/Devstral-Small-2505-GGUF и предназначен для запуска на локальном кластере Mesh LLM, когда вычисления и память нужно распределить между несколькими машинами. Модель поддерживает генерацию текста и диалоговый режим; Mesh LLM позволяет обращаться к ней через локальный API, совместимый с OpenAI Chat Completions. Вариант UD-Q4_K_XL использует квантованный формат GGUF, а репозиторий содержит веса, разделённые на артефакты по слоям. Размер модели, длина контекста и поддерживаемые языки в предоставленных данных не приведены. Лицензионные условия следует сверять с карточкой исходной модели unsloth/Devstral-Small-2505-GGUF.

DavidLanz подготовил дообученную текстовую модель на базе unsloth/functiongemma-270m-it с архитектурой Gemma 3 для генерации текста и работы с вызовами функций. Модель содержит 257 млн параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке указано, что обучение выполнено с помощью Unsloth и библиотеки TRL от Hugging Face. Модель подходит для преобразования текстовых запросов в вызовы функций и создания компактных диалоговых агентов с таким интерфейсом. Поддерживаемый язык карточки — английский. Лицензия Apache-2.0.

Collab-uniba разработала sentence-transformers-модель на базе MPNet для вычисления смыслового сходства текстов о проблемах GitHub. Модель обучена на наборе NLBSE22 после удаления записей с пустым описанием и дубликатов; обучающей паре служили заголовок и тело одной и той же проблемы. Обучение продолжалось 10 эпох с Multiple Negative Ranking Loss и косинусным сходством. Модель предназначена для получения эмбеддингов и сопоставления заголовков с описаниями GitHub Issues, например для поиска похожих проблем и ранжирования кандидатов. Архитектура — плотная MPNet с 136,7 млн параметров; максимальная длина контекста составляет 514 токенов. Данные о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.

GLM-4-32B-Base-0414 — плотная авторегрессионная языковая модель семейства GLM-4, разработанная Z.ai. В репозитории указаны 31,6 млрд параметров, предварительное обучение на 15 трлн единиц высококачественных данных и контекст до 32 768 токенов. Модель предназначена для генерации текста и служит базой для дальнейшего дообучения и постобучения; в карточке также описаны результаты семейства GLM-4-32B-0414 в генерации кода, вызове функций, ответах на вопросы с поиском и подготовке отчётов. Карточка указывает китайский и английский языки. Весы доступны в формате safetensors, библиотека — Transformers. Лицензия MIT. Несмотря на название Base, README смешивает описание базовой модели и всей серии, поэтому возможности диалога, вызова функций и рассуждений не следует считать гарантированными свойствами именно этого чекпойнта.

GLM-5.3-Flash-UD-Q4_K_XL-layers — пакет GGUF-слоёв для распределённого запуска GLM-5.3-Flash в кластере Mesh LLM. Пакет создан на основе unsloth/GLM-5.3-Flash-GGUF: исходное распределение модели разделено на артефакты по слоям. В метаданных указаны библиотека mesh-llm и возможность чатового взаимодействия. Модель предназначена для локального приватного инференса, распределения вычислений между несколькими машинами, когда полный GGUF слишком велик для одного узла, и предоставления локального API, совместимого с OpenAI Chat Completions. Указан вариант UD-Q4_K_XL; репозиторий содержит GGUF-пакет слоёв. Языки и размер контекста в предоставленных данных не описаны. Лицензия — MIT. Для запуска требуется Mesh LLM; характеристики и рекомендации по использованию исходной модели следует сверять с карточкой unsloth/GLM-5.3-Flash-GGUF.

GLM-5.3-Flash-W4A16 — это INT4-квантизированная версия модели zai-org/GLM-5.3-Flash, подготовленная для самостоятельного запуска и обслуживания через SGLang. Квантование выполнено по схеме weight-only W4A16 с группами по 128 весов и симметричным представлением. Модель предназначена для генерации текста, мультимодальных сценариев с изображениями и вызова инструментов; заявлены языки English и Chinese. Архитектура использует Mixture-of-Experts, а размер чекпойнта на диске составляет около 190,8 ГБ, что требует значительных аппаратных ресурсов. Основной сценарий применения — высокопроизводительный self-hosted inference на RTX PRO 6000 Blackwell (SM120) с использованием SGLang. В чекпойнте сохранены vision и tool calling, а также встроенная MTP/NEXTN-голова для speculative decoding, способная существенно повысить скорость генерации при корректной настройке. Данные о размере контекстного окна в README не указаны. Для корректной работы обязательны специальные параметры SGLang: отключение shared experts fusion, использование BF16 для KV-кэша и chunked prefill size 4096. Требуется сборка SGLang из post-merge nightly с дополнительными патчами для SM120; готового релизного образа с необходимой поддержкой на момент публикации нет. Без обязательного флага отключения fusion модель генерирует бессмысленный текст и не останавливается. Лицензия — MIT.

FineEnvs выпустила LFM2.5-2.6B-opencode-SFT — полноразмерное дообучение языковой модели LiquidAI/LFM2.5-2.6B методом supervised fine-tuning. Модель предназначена для агентного анализа данных и решения задач с помощью инструментов в среде OpenCode; в обучении использовалась OpenCode-часть набора FineEnvs/SmolDataEnvs-multiharness-sft с успешными трассами действий, созданными моделью-учителем Qwen3.8-27B. Это плотная авторегрессионная модель семейства LFM2 с 2,6 млрд параметров, поддерживающая чат и контекст до 131 072 токенов. В карточке приведена оценка pass@1 47,5% на 1 000 сочетаниях тестовых задач и агентных сред; это результаты одного запуска на конкретном наборе и версиях инструментов, а не гарантия качества в других условиях. Для воспроизведения результатов нужны соответствующая агентная среда и инструменты; обычный чатовый запрос не эквивалентен тестированию. Репозиторий содержит полные веса и шаблон чата, а не LoRA-адаптер. Модель загружается через Transformers; для совместимости рекомендуется версия, соответствующая обучению. Лицензия указана как other, поэтому конкретные условия использования следует сверить с карточкой лицензии репозитория.

Apollo Raines выпустил вариант Llama 3.1 8B Instruct, поведение которого изменено инструментом jBlaze методом representation engineering: модель подавляет многословие и уклончивые формулировки. По карточке, дополнительное обучение не проводилось; метаданные классифицируют связь с базовой моделью как finetune. Это плотная авторегрессионная языковая модель семейства Llama с 7,5 млрд параметров по метаданным, форматом safetensors и контекстом до 131 072 токенов. Она предназначена для диалогов и генерации кратких, прямых ответов на английском языке; примеры также демонстрируют арифметику, вопросы общего характера и код. Автор описывает релиз как демонстрационную версию с намеренно сниженной силой некоторых возможностей. Лицензия — Llama 3.1.

amd/Llama-3.1-8B-Instruct-w4a16-asym-torchao-v0.17.0 — квантизированная версия языковой модели Llama-3.1-8B-Instruct, созданная Advanced Micro Devices (AMD) с использованием TorchAO. Модель предназначена для генерации текста и запуска инференса на CPU AMD EPYC, прежде всего в Linux-средах, через vLLM и оптимизированный для ZenDNN стек. Модель построена на архитектуре LlamaForCausalLM, принимает и генерирует текст, поддерживает английский язык и содержит около 8 млрд параметров в исходной версии. Применяется 4-битная асимметричная квантизация только весов W4A16 с размером группы 128; квантизированы линейные слои, за исключением lm_head и embed_tokens. Ключевая особенность — оптимизация для CPU-инференса AMD EPYC с использованием ZenDNN, ZenTorch, PyTorch 2.11.0, TorchAO 0.17.0 и vLLM 0.20.2. Сильными сторонами модели являются снижение требований к памяти и ориентация на производительный инференс на совместимых AMD CPU. Ограничения включают отсутствие заявленной поддержки GPU, зависимость от точных версий программного стека и невозможность загрузки в других версиях PyTorch; используемый путь квантизации специфичен для ZenDNN и недоступен в стандартном PyTorch. Результаты оценки качества в README не приведены. Модель распространяется по той же лицензии, что и исходная Llama-3.1-8B-Instruct; отдельно указаны изменения, авторские права на которые принадлежат AMD.

pearl-ai/Llama-3.3-70B-Instruct-pearl — сертифицированный вариант Meta Llama-3.3-70B-Instruct, подготовленный командой Pearl Research для работы с Pearl vLLM mining plugin. Модель относится к большим языковым моделям типа instruct и предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов; в карточке указана поддержка английского языка. Модель имеет размер 70B параметров и распространяется через Transformers. Её основной сценарий — запуск в инфраструктуре Pearl miner, где vLLM интегрирован с процессами mining. Для работы требуются CUDA-совместимые NVIDIA GPU класса sm90, например H100 или H200, а также программный стек Pearl; в примере запуска задана длина контекста 8192 токена, однако максимальный контекст модели отдельно не указан. В сравнительном тесте на 4 GPU H200 Pearl-сертифицированный вариант показал близкие к исходной модели результаты MMLU и более высокую пропускную способность в некоторых конфигурациях параллелизма, включая 18 291,66 токена в секунду при DP=4. Эти показатели зависят от оборудования и настроек запуска. Модель ориентирована на специализированную инфраструктуру Pearl и требует запущенного pearld-узла с RPC-доступом, поэтому её использование вне этого стека может потребовать дополнительной настройки. Лицензия указана как llama3.3.

Это сжатая инструкционная языковая модель meta-llama/Llama-3.2-3B-Instruct, разработанная Meta. Модель предназначена для диалоговых сценариев и генерации ответов на пользовательские запросы; в качестве базовой модели указана Llama-3.2-3B-Instruct. В README также указан датасет HuggingFaceH4/ultrachat_200k и библиотека Transformers. Модель использует схему сжатия W4A16: веса представлены в формате 4 бит, а активации — в формате 16 бит. Сжатие выполнено с помощью llmcompressor на 512 образцах из секции train_sft датасета ultrachat_200k с chat-препроцессингом. Максимальная длина последовательности при подготовке указана как 131072 токена. Такие характеристики могут снизить требования к памяти и упростить запуск по сравнению с полноразмерной версией, однако README не содержит результатов сравнительной оценки, сведений о поддерживаемых языках, точных ограничениях качества или лицензии. Архитектура и модальности отдельно не описаны; по представленным данным модель следует считать текстовой.

MiniCPM5-1B-heretic-som-i1-GGUF — GGUF-квантизированная версия языковой модели MiniCPM5-1B-heretic-som, подготовленная mradermacher на основе модели dalatexcoder. Модель предназначена для генерации и обработки текста, диалоговых сценариев, задач с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. В метаданных указана поддержка английского и китайского языков. Модель содержит около 1 млрд параметров и представлена в различных вариантах квантизации GGUF размером примерно от 0,5 до 1,0 ГБ, включая IQ- и Q-варианты. Доступны imatrix-квантизации, оптимизированные для самостоятельного создания квантованных файлов. Наиболее сбалансированными в README названы i1-Q4_K_S и i1-Q4_K_M, причём последний рекомендован как быстрый вариант. Заявленные преимущества — небольшой размер, возможность работы локально и на периферийных устройствах, а также поддержка длинного контекста и tool calling. Качество зависит от выбранного уровня квантизации: самые компактные варианты могут заметно снижать качество генерации, а некоторые обозначены как имеющие очень низкое качество. Точные параметры архитектуры, максимальная длина контекста, результаты бенчмарков и сведения о мультимодальности в README не приведены; по доступным данным это текстовая модель. Модель распространяется по лицензии Apache-2.0.

Mitchins дообучил Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 для сопоставления терминальных команд с их описаниями. Модель кодирует предложения и абзацы в плотные векторы размерности 384; сходство между ними можно оценивать косинусной мерой. Архитектура включает энкодер BertModel, mean pooling и нормализацию. В README указана максимальная длина последовательности 256 токенов; метаданные указывают контекст 512 токенов. Модель предназначена для семантического поиска и сравнения команд оболочки с описаниями, а также для поиска перефразировок, кластеризации и классификации текстов в этой предметной области. Обучение выполнено на 78 768 парах предложений с MultipleNegativesRankingLoss. По приведённым примерам дообучение улучшает разделение подходящих и неподходящих пар, но карточка не содержит широких независимых оценок качества. Базовая модель ориентирована на английский язык; лицензия в предоставленных данных не указана.

PATH-14B-COT — дообученная разработчиком mt1234 языковая модель на архитектуре Qwen2, созданная на основе unsloth/qwen2.5-coder-14b-instruct-bnb-4bit. Модель предназначена для генерации текста в диалоговом формате и имеет интерфейс вызова инструментов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель содержит 14 млрд параметров и поддерживает контекст до 32 768 токенов. Для неё указаны английский язык и лицензия Apache-2.0. Карточка не описывает специализацию, обучающие данные или подтверждённые преимущества версии PATH-14B-COT, поэтому её качество в конкретных сценариях нельзя оценить по представленным сведениям.

RedHatAI/Qwen2.5-0.5B-Instruct-FP8-dynamic — это FP8 dynamic-квантизованный вариант небольшой instruction-tuned языковой модели Qwen2.5-0.5B-Instruct. Репозиторий опубликован Red Hat AI, а исходную серию Qwen2.5 разработала команда Qwen компании Alibaba Cloud. В карточке конкретного репозитория указано отсутствие отдельного model card; поэтому сведения о назначении и характеристиках относятся к базовой модели Qwen2.5-0.5B-Instruct и формату представленных весов. Модель предназначена для генерации и понимания текста по инструкциям, диалогов, ответов на вопросы, простых задач рассуждения, математики и программирования, а также для запуска в ресурсно-ограниченных и edge-сценариях. Это decoder-only dense Transformer с примерно 0,49 млрд параметров, 24 слоями, 14 attention heads и 2 key-value heads; поддерживаются контекст до 32K токенов и генерация до 8K токенов. Модель работает с текстом и относится к многоязычным моделям Qwen2.5; точный перечень языков для этой FP8-версии в доступной карточке не указан. Ключевые сильные стороны — небольшой размер, пригодность для локального и edge-развёртывания, instruction-following и повышенные относительно предыдущей версии показатели на задачах математики, программирования и следования инструкциям. Ограничения связаны с малым числом параметров: модель рассчитана на лёгкие и менее сложные задачи и не предназначена для уровня качества более крупных LLM; конкретные ограничения и результаты именно FP8 dynamic-варианта в его репозитории не приведены. Для базовой Qwen2.5-0.5B указана лицензия Apache 2.0; FP8 dynamic-веса используют типы BF16 и F8_E4M3.

FineEnvs выпустила полноразмерное дообучение Qwen/Qwen3.5-2B для агентного анализа данных с использованием OpenCode и асинхронного GRPO. Это плотная модель семейства Qwen3.5 с 2 млрд параметров, предназначенная для диалога и взаимодействия с инструментами в задачах анализа данных; в обучении применялась только бинарная оценка правильности. Опубликован чекпойнт после 1 000 шагов, получивший 29,8% pass@1 в четырёх оценочных средах на наборе SmolDataEnvs. Модель принимает текст и генерирует текст для агентных сценариев, где результат зависит от доступного harness и инструментов. Она загружаетcя через Transformers; репозиторий содержит полные веса и токенизатор с шаблоном чата, а не LoRA-адаптер. Лицензия — Apache-2.0. В README не заявлены результаты по изображениям, несмотря на мультимодальную архитектуру базовой модели.

Qwen3.5-9B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-9B, подготовленный jimbothigpen с использованием форка llama.cpp. Набор включает исходный вариант BF16 и 41 тип квантизации от IQ1_* до Q8_0, а также vision-проектор для мультимодального использования. Модель предназначена для локального запуска и сравнения качества, perplexity и производительности различных форматов квантизации в совместимых реализациях llama.cpp. Ключевая особенность набора — использование единой importance matrix, рассчитанной на полном многодоменном калибровочном корпусе calibration_datav3 и применённой к большинству вариантов. Это позволяет лучше сохранять качество при низкой разрядности. Отдельные форматы WHT3_0 и WHT4_0 используют Walsh-Hadamard-преобразование и намеренно создаются без importance matrix. Доступна мультимодальная конфигурация с vision-проектором, однако сведения о языках и размере контекста в README не указаны. Основное ограничение — совместимость зависит от формата: стандартные типы загружаются в обычном llama.cpp, семейства IQ-K, KS, KT, KL и KSS требуют сборки, совместимой с ik_llama.cpp, а WHT-форматы — форка jimbothigpen/llama.cpp или другой реализации с поддержкой WHT. Производительность, требования к памяти и качество зависят от выбранной квантизации и используемого backend. Производные веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели.

IvanKrastevAdventics/Qwen3.8-27B-AWQ-INT4-Q4_0-GGUF — это конвертированная в формат GGUF версия модели cyankiwi/Qwen3.8-27B-AWQ-INT4. Конвертацию выполнили с помощью llama.cpp через сервис GGUF-my-repo; в качестве библиотеки указана Transformers. В карточке также заявлена задача image-text-to-text, однако подробные сведения о разработчиках исходной модели приведены во внешней карточке и здесь отсутствуют. Модель предназначена для запуска локального вывода через llama.cpp, включая работу в командной строке и в режиме сервера. Из известных характеристик указаны размер 27B, квантование AWQ INT4 и вариант файла Q4_0 в формате GGUF. В README приведён пример запуска с контекстом 2048 токенов. Сведения о поддерживаемых языках, точной архитектуре, мультимодальных возможностях и качестве на конкретных задачах не указаны. Ключевое преимущество — готовность к использованию в экосистеме llama.cpp и сниженное потребление памяти благодаря 4-битному представлению. Ограничения связаны с потерями качества, возможными для квантованной версии, а также с отсутствием в карточке детальной информации о производительности и совместимости с конкретным оборудованием. Для модели указана лицензия Apache 2.0.

WaveCut/Qwen3.8-27B-MXFP8-CRACK-NInfer — артефакт модели в формате .ninfer, подготовленный для движка NInfer компанией или пользователем WaveCut на основе community fine-tune dealignai/Qwen3.8-27B-MXFP8-CRACK и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для локального инференса на одной CUDA-видеокарте, поддерживает текстовые и визуальные входные данные и может использоваться через CLI либо совместимый с OpenAI/Anthropic сервер NInfer для генерации и задач понимания изображений. Точные прикладные возможности fine-tune в README не раскрыты. Архитектура соответствует Qwen3.8-27B; артефакт содержит 1118 тензоров и 6 ресурсов интерфейса, включая токенизатор, chat template и конфигурации препроцессора. Используется профиль NInfer groupwise-int с групповой квантизацией, включающей Q4/Q5/Q6/W8 и BF16; исходные веса были деквантизированы в BF16 и повторно квантизированы, поэтому возможна немного меньшая точность по сравнению с нативной BF16-версией того же fine-tune. Максимальный контекст зависит от конфигурации и оборудования: в примере запуска указан 16384 токена, а вариант ninfer-3090 заявляет до 171K токенов INT8-контекста на RTX 3090. Основное преимущество — запуск 27-миллиардной мультимодальной модели на одной видеокарте с оптимизированным CUDA/C++-движком; артефакт проверен пробным запуском с согласованным выводом. Основные ограничения — зависимость от NInfer, CUDA и совместимой видеокарты, специализация upstream-движка на RTX 5090-классе и одна GPU, а также потенциальная потеря качества из-за двойной квантизации. Для RTX 3090 рекомендуется отдельная ветка ninfer-3090. В README не указаны языки модели и точные значения параметров или размер контекста официальной архитектуры. Лицензия — Apache-2.0, как у указанного артефакта и upstream-моделей.

Qwen3.8-27B-Uncensored-oQ4e-mtp — это квантизированная MLX-версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная и упакованная пользователем pyros-vault с помощью oMLX 0.6.1 и квантизации oQ с использованием матрицы важности. Модель предназначена для развёртывания на Apple Silicon под macOS через runtime oMLX и совместима с OpenAI-совместимым сервером. Прямая проверка поведения и заявлений исходной модели в этой карточке не проводилась. Модель поддерживает текстовые и визуальные ресурсы, включая обработку изображений и видео, и содержит один слой MTP. Максимальный контекст, заявленный в конфигурации, составляет 262 144 токена, однако работа с таким объёмом не тестировалась и зависит от аппаратного обеспечения. Используется смешанная 4-битная квантизация Affine Q4/G64 с 166 переопределениями тензоров Q5/G64; размер тензорных данных — около 15,81 GiB в четырёх Safetensors-фрагментах. Калибровка выполнена на 128 последовательностях по 512 токенов с профилем oqe_code_multilingual. Сильными сторонами являются уменьшенный объём хранения по сравнению с вариантами более высокой разрядности, наличие мультимодальных ресурсов и возможность локального запуска на Apple Silicon. Ограничения включают зависимость от macOS, Apple Silicon и версии oMLX, отсутствие поддержки CUDA в данном формате, неопределённые требования к памяти, скорости, качеству Vision и эффективности MTP, а также возможное ухудшение качества из-за квантизации. Наличие MTP-файлов само по себе не включает speculative decoding. Исходная модель заявлена под лицензией Apache-2.0; следует также ознакомиться с условиями и атрибуцией upstream-репозитория.

Qwen3.8-27B-Uncensored-Q8_0-GGUF — это GGUF-конверсия дообученной модели orcarouter/Qwen3.8-27B-Uncensored. Конверсию выполнили с помощью llama.cpp через сервис GGUF-my-repo; исходная модель основана на Qwen3.8-27B и связана с ней как fine-tune. Модель распространяется в формате GGUF и предназначена для запуска с llama.cpp на совместимом оборудовании. Заявленные сценарии включают обработку текста и изображений, reasoning, function calling, red-teaming и AI safety research. В карточке указаны английский и китайский языки, а также тег vision-language, однако подробности об архитектуре, поддерживаемых типах изображений, максимальном контексте и фактических возможностях function calling не приведены. Размер модели составляет 27B параметров, используется квантование Q8_0, что может снизить требования к памяти по сравнению с полноразмерной версией, сохраняя близкое к исходному качество, но конкретные требования к ресурсам не указаны. Модель может быть удобна для локального инференса через llama.cpp и серверного развёртывания. Ограничения включают отсутствие в README результатов тестирования, подробного описания датасета и дообучения, а также сведений о производительности и безопасности; заявленное «uncensored» позиционирование также означает необходимость самостоятельной оценки рисков и фильтрации ответов. Указана лицензия Apache-2.0.

ilintar/qwen3.8-flash-next-gguf-strix-halo — это GGUF-квантизация модели Qwen3.8-Flash-Next, предназначенная для генерации текста. Базовая модель относится к семейству Qwen; в README указано 176,94 млрд параметров, формат квантования IQ4_NL и общий объём весов 93,16 GiB в девяти файлах. Модель поддерживает английский язык, рассчитана на текстовые задачи и имеет обученный контекст до 262 144 токенов. Архитектура обозначена как qwen4exp и включает рекуррентный gated delta-net, разреженное lightning-indexer attention и поуровневые embeddings. В комплект входит отдельная draft head размером 2,6 GB в формате Q8_0 для ускорения генерации. Ключевой сценарий использования — запуск на одном AMD Ryzen AI Max+ с Radeon 8060S, архитектурой gfx1151 и 128 GB unified memory. Для работы необходимы специальная ветка strix-halo проекта llama.cpp и соответствующие ROCm/HIP-ядра; upstream-версия llama.cpp не подходит. Модель демонстрирует высокую скорость предварительной обработки контекста: около 1152 токенов/с при пустом контексте и около 1060 токенов/с на глубине 40 000 токенов. Скорость генерации ниже — примерно 24 и 15 токенов/с соответственно. Решение экспериментальное, требует точной конфигурации загрузчика и практически использует значительную часть unified memory, поэтому доступный объём памяти ограничивает работу с KV-кэшем и вычислительными буферами. Качество проверялось сравнением perplexity с эталонным стеком, публичные benchmark-результаты не указаны. Лицензия — Apache-2.0.

RequirementClassifier версии 27 — дообученная модель BERT для бинарной классификации текстов требований к программному обеспечению. Она относит фрагменты текста к классу «требование» или «не требование» и предназначена для анализа документов с требованиями и автоматического отбора подходящих утверждений. Модель содержит 135,5 млн параметров, использует архитектуру BertForSequenceClassification и принимает текст длиной до 512 токенов. В обучении использовался набор PROMISE NFR с дополнительными примерами, не являющимися требованиями. Карточка не сообщает лицензию модели.

Colorful/RTA — предварительно обученная модель RepresentThemAll для работы с сообщениями об ошибках в программном обеспечении. Это модель архитектуры RoBERTa с примерно 151,8 млн параметров, представленная в форматах PyTorch и TensorFlow. По карточке, модель можно дообучать для задач автоматизированного сопровождения ПО, связанных с отчётами об ошибках. Модель предназначена для классификации текста и может служить основой для предсказания приоритета ошибки и обнаружения дублирующих отчётов; также её можно адаптировать для суммаризации таких отчётов. Контекст составляет до 514 токенов. Репозиторий распространяется по лицензии MIT.