II.10Разработка и эксплуатация AI/ML-систем

Это пакет слоёв модели NVIDIA Nemotron 3 Super 120B-A12B, подготовленный Mesh LLM для распределённого инференса на локальном кластере. Веса основаны на unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF и разделены на артефакты по слоям; вариант UD-Q4_K_XL поставляется в формате GGUF с квантизацией Q4_K_XL. Пакет предназначен для генерации текста и диалогов, когда модель нужно запускать на нескольких машинах или обслуживать через локальный API, совместимый с OpenAI Chat Completions. Для работы требуется Mesh LLM и набор машин, предоставляющих память и вычислительные ресурсы; README указывает запуск в режиме разделения слоёв. Пакет сохраняет свойства исходной модели, но сам README не приводит подробностей об архитектуре, числе параметров, контекстном окне, поддерживаемых языках и рекомендациях по использованию. Лицензия указана как other, поэтому перед использованием следует свериться с условиями исходной модели.

mlx-community/openai-privacy-filter-6bit — 6-битная версия модели OpenAI Privacy Filter, подготовленная сообществом mlx-community из openai/privacy-filter в формате MLX. Это двунаправленный разреженный MoE-классификатор токенов, который находит и размечает BIOES-фрагментами персональные данные восьми категорий: имена людей, адреса электронной почты, телефоны, URL, адреса, даты, номера счетов и секреты. Версия содержит 145,4 млн параметров по метаданным; базовая карточка описывает исходную модель как модель на 1,5 млрд параметров с 50 млн активных параметров. Модель предназначена для локальной фильтрации и маскирования чувствительных данных в тексте. Указанная лицензия — Apache-2.0. Модель принимает текст и выдаёт метки фрагментов, пригодные для последующей замены или удаления обнаруженных данных. Доступны веса safetensors для MLX; README указывает преобразование из openai/privacy-filter, тогда как метаданные отмечают связь с базовой моделью как finetune. Заявленная длина контекста — 131072 токена. Языки в предоставленных сведениях не перечислены.

OpenCodeInterpreter-DS-6.7B-imatrix-GGUF — это квантизированные GGUF-версии языковой модели OpenCodeInterpreter-DS-6.7B, опубликованные пользователем duyntnet. Исходная модель разработана организацией m-a-p и размещена на базе deepseek-ai. Модель предназначена для генерации текста и прежде всего для задач программирования, включая написание функций и обработку запросов на естественном языке, связанных с кодом. В доступных данных указано, что модель имеет размер 6,7 млрд параметров, поддерживает текстовый ввод и вывод, а заявленным языком является английский. Для запуска исходной версии используются AutoTokenizer и AutoModelForCausalLM из Transformers, а взаимодействие может выполняться через chat template. Данный репозиторий содержит квантизации с использованием GGUF и imatrix; конкретные варианты квантизации, размер контекста и требования к оборудованию не указаны. Сильной стороной модели является специализация на генерации программного кода и наличие формата GGUF, удобного для совместимого локального инференса. Ограничения включают отсутствие подробных данных о качестве, поддерживаемых языках программирования, мультимодальности и производительности. Лицензия обозначена как other, без уточнения конкретных условий использования.

OpenCoder-8B-Base — базовая языковая модель для кода из семейства OpenCoder, разработанного командой OpenCoder. Модель размером 7,4 млрд параметров построена на архитектуре Llama и обучена с нуля на 2,5 трлн токенов: около 90% составил исходный код, остальное — веб-данные о программировании. Для этой версии заявлена длина контекста 8192 токена. Модель предназначена для генерации кода и исследовательской разработки систем искусственного интеллекта для программирования. Она поддерживает английский и китайский языки; в README приведены результаты на HumanEval(+), MBPP(+) и BigCodeBench. В репозитории указаны форматы PyTorch и Safetensors и лицензия other; конкретные условия лицензии следует проверять в файлах репозитория.

Mungert/OpenCodeReasoning-Nemotron-7B-GGUF — квантизированная версия модели на базе Qwen/Qwen2.5-7B-Instruct, связанная с датасетом NVIDIA OpenCodeReasoning. Модель предназначена для генерации текста и решения задач, связанных с программированием и рассуждениями по коду; формат GGUF ориентирован на запуск через llama.cpp и совместимые инструменты. Модель относится к классу 7B и поддерживает английский язык. Доступны варианты с различной точностью квантизации, включая низкобитные форматы IQ и стандартные варианты GGUF. Низкобитные конфигурации уменьшают требования к памяти и подходят для CPU, устройств с ограниченной VRAM и edge-сценариев, однако могут снижать точность. В README приведены результаты для DynamicGate-квантизации на Llama-3-8B, но они не являются прямым бенчмарком данной модели. Размер контекста для этой модели явно не указан. Сильными сторонами являются компактность, возможность локального запуска и выбор между точностью и эффективностью благодаря нескольким вариантам квантизации. Ограничения включают потенциальную потерю качества в низкобитных версиях, зависимость производительности от аппаратного ускорения и отсутствие подробных характеристик целевой модели, включая точный контекст и результаты профильного тестирования. Указанная лицензия — Apache 2.0.

OpenCoderPlus — языковая модель для генерации кода из серии OpenChat, разработанной командой OpenChat. Она дообучена на базе StarCoderPlus и предназначена для продолжения и генерации кода, а также для диалога в формате User/Assistant. Модель использует архитектуру GPTBigCodeForCausalLM, принимает текст и выдаёт текст; заявленная длина контекста — 8192 токена. Карточка сообщает об оценках на Vicuna GPT-4 и AlpacaEval, однако не приводит подробностей методики для задач программирования. Для диалогов используется шаблон с маркерами User, Assistant и специальным токеном конца хода. Репозиторий содержит веса PyTorch. README рекомендует загружать модель в формате bfloat16. Лицензия в предоставленных данных не указана.

Open-Instruct Code Alpaca 7B — модель Allen Institute for AI, полученная дообучением LLaMA на наборе инструкций Code Alpaca. Это плотная авторегрессионная языковая модель семейства LLaMA примерно на 6,6 млрд параметров, рассчитанная на генерацию текста по инструкциям, в том числе на помощь с задачами программирования. Карточка сообщает, что это diff-модель: для её использования требуется исходная модель LLaMA в формате Hugging Face. Контекст составляет 2048 токенов, основной язык — английский. Модель исследовалась в работе «How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources». В приведённых результатах Codex-Eval Pass@1 составляет 16,5, а Pass@10 — 29,2; эти оценки относятся к указанным в статье условиям тестирования. Репозиторий распространяется по лицензии AI model license вместе с исходной лицензией LLaMA, поэтому при использовании необходимо учитывать обе лицензии.

facebook/opt-2.7b — авторегрессионная языковая модель семейства OPT, разработанная Meta AI и представленная в составе серии Open Pre-trained Transformer. Это плотный трансформер с архитектурой декодера OPTForCausalLM, обученный предсказывать следующий токен на текстовых данных; в репозитории указано 3,5 млрд параметров и контекст длиной 2048 токенов. Модель предназначена для генерации текста, оценки модели по текстовым подсказкам и адаптации к прикладным задачам посредством дообучения. Обучающие данные преимущественно англоязычные, хотя в корпусе присутствует небольшое количество неанглийского текста. Доступны варианты весов PyTorch, TensorFlow и Flax. Генерации могут содержать предвзятость и токсичные высказывания из-за неотфильтрованных интернет-данных; также возможны галлюцинации и недостаточное разнообразие ответов. В метаданных лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

Orchestrator-8B GGUF — модель оркестрации инструментов и экспертных моделей, разработанная NVIDIA и University of Hong Kong. Эта версия распространяется пользователем Mungert в формате GGUF и создана с использованием llama.cpp. В основе лежит 8-миллиардная decoder-only Transformer-модель Qwen3-8B, обученная на GeneralThought-430K и ToolScale. Заявленный язык модели — английский; поддерживается генерация текста. Модель предназначена для сложных многошаговых и многоходовых агентских задач, в которых требуется координировать неоднородные инструменты, включая поиск, выполнение кода, а также специализированные и универсальные LLM. При обучении применялось многоцелевое обучение с подкреплением GRPO, оптимизирующее точность, задержку, стоимость и соответствие пользовательским предпочтениям. Разработчики заявляют об обобщении на ранее не встречавшиеся инструменты и конфигурации ценообразования. Согласно README, на Humanity’s Last Exam модель получила 37,1% и демонстрировала более высокую эффективность по сравнению с рядом крупных монолитных моделей, включая GPT-5, Claude Opus 4.1 и Qwen3-235B-A22B; также приводятся результаты на FRAMES и τ²-Bench. Конкретный размер контекста и характеристики модальностей не указаны. GGUF-файл подвергнут квантованию с выборочным повышением точности отдельных слоёв, что может улучшать качество при ограниченной разрядности ценой увеличения размера файла. Модель предназначена только для исследований и разработок и распространяется по лицензии Apache 2.0.

Ornith-1.5-27B-A3B-Coder — языково-модельный чекпойнт для генерации кода, созданный ManniX-ITA на основе Ornith-1.5-35B-A3B. Это разрежённая MoE-модель семейства Qwen3.5, полученная сокращением числа экспертов с 256 до 184 в каждом из 40 слоёв; активируются 3B параметров, а общий размер составляет около 26,7B. Маршрутизатор, механизм внимания, нормализации и голова MTP для спекулятивного декодирования сохранены без изменений. Веса представлены в BF16 и формате safetensors. Модель предназначена прежде всего для генерации и дополнения кода. В описанных разработчиком тестах она показала улучшение относительно исходной модели на ряде кодовых бенчмарков, но снижение результата на GPQA; README рекомендует для выбора между этой моделью и родственной CoderX начать с CoderX. Также заявлены возможности чата и интерфейс вызова инструментов, однако точность параметров при формировании структурированных вызовов инструментов отмечена как слабое место. Контекстная длина и конкретный набор поддерживаемых языков программирования в предоставленных данных не приведены. Лицензия — Apache-2.0. README называет модель исследовательским чекпойнтом и отмечает ограничения измерений: большинство результатов получены в одном прогоне, а для некоторых сравнений использовалась разная измерительная база.

Myric/Ornith-1.5-35B-A3B-APEX-GGUF — это набор квантизированных GGUF-вариантов модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, агентного программирования и работы с изображениями через отдельный vision projector; запуск ориентирован на llama.cpp. Лицензия — MIT. Архитектура представляет собой MoE-модель с 35,5 млрд общих параметров и примерно 3 млрд активных параметров: используется 256 маршрутизируемых экспертов с выбором top-8, гибридная gated-delta-net с полным attention в каждом четвёртом слое, 40 основных слоёв и контекст до 262 144 токенов. Также сохранён однос layer MTP-блок для speculative decoding. Доступны варианты i-quality размером 21,67 ГБ, i-compact размером 16,58 ГБ и i-mini размером 12,55 ГБ; они используют разные уровни квантизации и рассчитаны соответственно на качество или экономию памяти. Сильные стороны модели — большой контекст, низкая нагрузка KV-кэша благодаря преобладанию рекуррентных слоёв, поддержка vision через проектор издателя и возможность ускорения генерации с помощью MTP. В заявленном тесте agentic coding вариант i-quality решил 9 из 9 задач и прошёл 154 из 154 проверок, а в пяти perception-задачах с изображениями дал 5 успешных ответов из 5. Эти результаты получены на DGX Spark с llama.cpp в одном прогоне и не являются универсальным сравнительным бенчмарком. Для запуска требуется совместимый llama.cpp, значительный объём памяти и отдельный файл vision projector; README не указывает языковой охват модели и не приводит систематических данных о качестве на разных языках.

Ornith-1.5-35B-A3B-PrismaQuant-AQUA-25GB-vllm — это смешанно-квантизированная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста и запуска через Transformers и vLLM. К checkpoint применяется формат compressed-tensors, поэтому он поддерживается стандартным vLLM без модифицированного runtime и пользовательских CUDA-ядер. Модель имеет MoE-архитектуру с 35 млрд параметров, из которых 3 млрд активируются на токен. PrismaQuant назначает отдельным линейным слоям форматы BF16, FP8 или NVFP4: большинство маршрутизируемых экспертов используют NVFP4, тогда как важные компоненты плотного пути сохраняются в FP8 или BF16. Размер артефакта составляет 24,68 ГБ против 71,90 ГБ у исходной BF16-версии, что даёт сокращение примерно в 2,91 раза. Базовая модель поддерживает контекст до 262 144 токенов, однако полный контекст требует значительного объёма памяти под KV-кэш. На WikiText-2 квантизированная версия показала perplexity 11,7067 против 11,4181 у BF16-источника, то есть ухудшение составило 2,53%. Сильная сторона модели — существенная экономия памяти при относительно небольшом падении качества; смешанное распределение точности также снижает расхождение с BF16 по сравнению с равномерной NVFP4-квантизацией. Ограничения включают потенциальную зависимость производительности от совместимого оборудования и версии vLLM, а приведённые метрики получены на конкретном наборе данных и конфигурации. Модель распространяется по лицензии MIT.

Parable-Qwen3-4B-Claude-Fable-5 — локальная языковая модель для программирования и агентных задач, разработанная AnkitAI на основе Qwen/Qwen3-4B. Это плотная архитектура Qwen3ForCausalLM примерно на 3,7 млрд параметров с контекстом до 40 960 токенов; модель принимает и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В README описано дообучение QLoRA на многошаговых сессиях агентов и терминальных трассах с добавлением примеров общих инструкций; веса объединены с базовой моделью. Репозиторий содержит веса safetensors, а также README упоминает сборку GGUF для локального запуска. Модель предназначена для локальной генерации кода, планирования действий агента и работы с терминальными сценариями. Автор сообщает об улучшении подстройки к агентным трассам и более стабильной выдаче ответов по сравнению с базовой моделью; при этом в приведённом HumanEval-164 результат ниже, чем у Qwen3-4B. Для задач максимальной точности вызова функций автор рекомендует базовую модель. Лицензия модели — Apache-2.0; README также указывает, что условия лицензий исходных обучающих данных и поставщиков сторонних трасс могут влиять на коммерческое использование производных систем.

Parakeet CTC 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует аудиозаписи в текст на английском языке, выдавая результат строчными буквами, и предназначена для транскрибации речи, локального вывода и последующего дообучения на других наборах данных. Модель построена на архитектуре FastConformer CTC и содержит около 1,1 млрд параметров. Поддерживается английский язык; основная модальность — аудио с речью, выход — текстовая транскрипция. Модель доступна для использования через NVIDIA NeMo, Transformers и лёгкий нативный C++ runtime NeMo-Speech.cpp. В README приведены результаты оценки на различных англоязычных наборах данных: WER составляет от 1,83% на LibriSpeech clean до 15,62% на AMI Meetings. Сильной стороной модели являются крупный размер и хорошие показатели распознавания на ряде стандартных тестов, а также возможность инференса и fine-tuning. Ограничения включают поддержку только английского языка и отсутствие в предоставленных данных сведений о максимальной длине контекста, устойчивости к шуму и требованиях к вычислительным ресурсам. Лицензия — CC BY 4.0.

Qipchoq-STT — модель автоматического распознавания речи на базе Whisper, разработанная xmullaboyeva и дообученная на пользовательском речевом датасете. Она преобразует аудио в текст и может использоваться для транскрибации записей, подготовки разметки и интеграции распознавания речи в приложения на Python через библиотеку Hugging Face Transformers. Модель содержит 455,8 млн параметров и распространяется в формате Safetensors. В метаданных указан узбекский язык; название Qipchoq также указывает на кипчакское направление, однако README не уточняет языковой охват. Лицензия — Apache-2.0. Качество распознавания может снижаться на шумных записях, при акцентах и диалектах, не представленных в обучающих данных, при одновременной речи нескольких собеседников и на очень коротких аудиофрагментах.

QuRater-1.3B — модель классификации последовательностей, разработанная Princeton NLP и дообученная на базе Sheared-LLaMA 1.3B. Она оценивает качество текста по четырём критериям: стиль письма, необходимый уровень экспертизы, факты и сведения, образовательная ценность. Оценки представлены четырьмя ненормализованными логитами в указанном порядке. Модель предназначена для отбора и оценки текстовых данных, например при подготовке корпусов для обучения языковых моделей. Архитектура — LLaMA с плотной структурой; число параметров — 1,3 млрд, контекст — до 4096 токенов. Однако обучение проводилось на последовательностях длиной не более 512 токенов, поэтому для длинных документов следует оценивать окна до 512 токенов и усреднять оценки с весами по длине окон. Модель опубликована в формате safetensors и распространяется по лицензии MIT. Авторы отмечают возможные смещения оценок, связанные с областями знаний, темами, социальными ролями, регионами и языками. Эти оценки не отражают социальную или литературную ценность текста и не подходят для текстологических или демографических исследований; результаты отбора данных следует проверять на смещения. Языковая поддержка в карточке не указана.

Agnuxo/Qwen2-1.5B-Instruct_MOE_CODE_assistant-GGUF_16bit — локальная чат-модель для генерации и помощи с программным кодом, опубликованная независимым исследователем Francisco Angulo de Lafuente. Это конверсия Qwen2-1.5B-Instruct в формат GGUF с точностью F16; в карточке заявлено 1,5 млрд параметров. Модель предназначена для работы через Ollama или Transformers и ориентирована на написание кода на Python, JavaScript, TypeScript, Rust, Go и C++, а также на задачи научных вычислений и машинного обучения. Модель принимает текст и генерирует текст; метаданные указывают архитектуру Qwen2, чат-возможности и английский и испанский языки карточки. README также заявляет навыки координации агентов и интеграции MCP и A2A. Репозиторий распространяется под лицензией Apache-2.0. Заявления README о наградах и результатах связанных проектов не подтверждают качество этой модели и не использованы как гарантии её возможностей.

Etherll/Qwen2.5-Coder-1.5B-CodeFIM — дообученная модель семейства Qwen2.5-Coder для генерации кода в формате Fill-in-the-Middle (FIM): она дополняет код, вставляя фрагмент между заданным префиксом и суффиксом. README рекомендует использовать её с Continue и передавать имя файла, префикс и суффикс в формате {{{filename}}}{{{prefix}}}{{{suffix}}}. Модель построена на архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors и предназначен для генерации текста, в частности кода. Лицензия в предоставленных данных не указана.

LiteRT-LM-вариант модели Qwen/Qwen2.5-Coder-3B-Instruct, распространяемый сообществом LiteRT и предназначенный для генерации текста на устройствах. Модель ориентирована прежде всего на задачи программирования и другие сценарии, где требуется локальная генерация текста с использованием LiteRT-LM, включая интеграцию в мобильные и периферийные приложения. В метаданных указан английский язык. Модель имеет размер 3B параметров и поставляется в виде квантованного артефакта Qwen2.5_Coder_3B_It.litertlm объёмом 3,4 ГБ с рецептом dynamic_wi8_afp32. Архитектура и максимальная длина контекста в README не указаны. Заявлена оптимизация для работы на устройстве; приведены результаты для CPU и GPU на Apple M4 Max и Samsung Galaxy S26. На Galaxy S26 GPU-режим показывает более высокую скорость предварительной обработки и генерации, а также существенно меньшее пиковое потребление памяти по сравнению с CPU. Сильными сторонами являются локальная работа без обязательной отправки запросов на сервер, поддержка аппаратного ускорения и готовность к интеграции через LiteRT-LM. Ограничения включают неизвестную длину контекста, отсутствие подробных сведений о поддерживаемых языках и зависимость производительности и потребления памяти от конкретного устройства и backend. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-Coder-3B-Instruct-MLX-8bit — 8-битная MLX-квантизация инструкционно дообученной модели Qwen2.5-Coder-3B-Instruct. Исходную модель разработала команда Qwen, а данную квантизированную версию подготовил bartowski на основе инструментов mlx-examples; модель распространяется в каталоге lmstudio-community. Модель предназначена для генерации и обработки программного кода, использования в чат-сценариях и code agent системах. Она поддерживает контекст до 32 тысяч токенов и рассчитана на запуск на компьютерах Mac с Apple Silicon. В обучении использовалось до 5,5 триллиона токенов, включая исходный код, текстово-кодовые связи и синтетические данные. В README явно указан английский язык; сведения о поддержке других языков и точной архитектуре не приведены. К сильным сторонам относятся специализация на задачах программирования, ориентация на агентные сценарии, большой контекст и возможность локального запуска на совместимых устройствах. Ограничения включают небольшой по современным меркам размер в 3 миллиарда параметров, зависимость от Apple Silicon и риски неточных, небезопасных или неподходящих ответов, характерные для генеративных моделей. Лицензия указана как qwen-research; подробные условия доступны по ссылке на лицензию исходной модели Qwen2.5-Coder-3B-Instruct.

Qwen3-14B-Base — базовая причинно-авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это плотная модель с 14,8 млрд параметров и 40 слоями; она обучена на этапе предварительного обучения и предназначена для продолжения обучения и генерации текста на основе контекста. Архитектура использует групповое внимание с 40 головами запросов и 8 головами ключей и значений. Длина контекста — 32 768 токенов. Модель подходит для языкового моделирования, генерации текста, а также для задач, связанных с кодом, STEM, логическими рассуждениями и многоязычными данными. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; это описание относится к обучающему корпусу семейства и не гарантирует одинаковое качество на каждом языке. В метаданных указаны интерфейсы чата и вызова инструментов, однако вариант Base прошёл предварительное обучение, поэтому эти возможности не означают, что он настроен как готовый диалоговый ассистент. Для работы предусмотрена библиотека Transformers; в README рекомендуется актуальная версия, поскольку версии ниже 4.51.0 не распознают архитектуру qwen3. Модель распространяется по лицензии Apache-2.0. Для развёртывания нужна инфраструктура, способная обслуживать модель такого размера; конкретные требования к памяти в предоставленных данных не приведены.

Manojb/Qwen3-4B-toolcalling-gguf-codex — дообученная модель семейства Qwen3, созданная на базе Qwen/Qwen3-4B-Instruct-2507. Она предназначена для диалогов и генерации текста с вызовом инструментов: выбора подходящего инструмента, формирования аргументов и выполнения многошаговых сценариев. README сообщает о дообучении LoRA на 60 тысячах примеров вызова функций Salesforce/xlam-function-calling-60k. Модель содержит около 3,7 млрд параметров, распространяется в формате GGUF и рассчитана на локальный запуск, в том числе через Ollama. Заявленная длина контекста — до 262 144 токенов; карточка указывает поддержку английского языка. По описанию, локальный запуск подходит для помощников по программированию, прототипирования и сценариев, где важно не отправлять данные в облако. Лицензия — MIT. README приводит результаты собственных тестов точности выбора инструментов и извлечения параметров, но не описывает методику оценки, поэтому эти числа следует считать заявлениями автора. Практическое качество вызова инструментов может зависеть от формата запросов и используемой обвязки; GGUF также предполагает ограничения производительности и памяти конкретного устройства.

unsloth/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в репозитории Unsloth. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для локального запуска, прототипирования, исследовательских и разработческих задач, а также предметно-ориентированного дообучения. Модель может применяться для работы с текстом и изображениями, рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативное контекстное окно до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers, а Unsloth также заявляет возможность локального дообучения. К сильным сторонам относятся мультимодальность, большое контекстное окно, компактный размер и заявленная высокая эффективность инференса, что делает модель подходящей для локального использования и экспериментов при ограниченных ресурсах. Ограничением является небольшой масштаб в 0,8 млрд параметров: модель прежде всего ориентирована на прототипирование, специализированное дообучение и исследования, поэтому её возможности могут уступать более крупным моделям в сложных универсальных задачах. Лицензия — Apache 2.0.

Это пакет слоёв GGUF модели Qwen3.6-35B-A3B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска на локальном кластере. Пакет получен из unsloth/Qwen3.6-35B-A3B-MTP-GGUF и разбивает модель на артефакты по слоям, чтобы распределять вычисления и память между несколькими машинами. Модель предназначена для локального приватного диалогового инференса и генерации текста через Mesh LLM; её можно подключать к локальному API, совместимому с OpenAI Chat Completions. Репозиторий содержит вариант квантования Q4_K_XL в формате GGUF и вспомогательные артефакты, включая эмбеддинги. Сведения об архитектуре, размере и контекстном окне в предоставленных данных отсутствуют. Лицензионные условия следует смотреть в карточке исходной модели unsloth/Qwen3.6-35B-A3B-MTP-GGUF.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-50 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B для генерации текста. Модель разработана RedHatAI и построена на архитектуре Qwen3_5MoeForCausalLM с экспертной архитектурой MoE. Она принимает текст и генерирует текст, предназначена для задач вывода больших языковых моделей и развертывания через vLLM. В модели применена смешанная квантизация NVFP4/FP4: веса и активации линейных слоёв MoE-экспертов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Также заявлено REAP-сокращение экспертов на 50%, что уменьшает размер на диске и потребление GPU-памяти квантизированных слоёв примерно на 75% с дополнительным выигрышем за счёт разреженности. Модель рассчитана на инференс с vLLM, включая tensor parallelism и expert parallelism. Размер модели, длина контекста, поддерживаемые языки и точные модальные возможности в README не указаны. Основные преимущества — существенное снижение требований к памяти и объёму хранения при сохранении исходной архитектуры и готовность к эффективному инференсу на поддерживаемом оборудовании. Ограничения связаны с потерями качества, возможными для агрессивной квантизации и pruning; README сообщает о сравнительной оценке, но не приводит её результаты. Также имеется несогласованность: в названии и описании указано 50% REAP Pruning, а в разделе создания модели — 25%. Лицензия в README не указана.

shawnw3i/Qwen3.8-27B-GPTQ-INT8-MTP — квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем shawnw3i. Модель предназначена для генерации текста и обработки изображений в сценариях, поддерживающих формат image-text-to-text, а также для ускоренного инференса через vLLM. Модель использует квантизацию GPTQ с точностью INT8, поддерживает ядро GPTQ Marlin и MTP speculative decoding с несколькими спекулятивными токенами. Заявлена поддержка визуальных входных данных и контекста до 65 536 токенов при соответствующей настройке. В README указана производительность свыше 80 токенов в секунду на одном A800 80GB при использовании vLLM, MTP и FP8 KV-кэша. Сильными сторонами модели являются сниженное потребление памяти благодаря квантизации, совместимость с оптимизированным инференсом vLLM, поддержка визуальных данных и ускоренное декодирование. Ограничения включают зависимость производительности от оборудования и конфигурации инференса, а также отсутствие в представленном README подробных сведений о поддерживаемых языках, точных характеристиках архитектуры и качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-vllm — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем kekzle. Модель предназначена для запуска в vLLM и imp; поддерживает текстовые и визуальные входы, при этом в карточке указан английский язык. Это гибридная архитектура с компонентами GDN, vision tower и MTP draft head, однако подробные сведения о точной архитектуре и максимальном контексте не приведены. Линейные веса внимания, MLP и GDN-проекций сжаты в NVFP4 с группами размера 16 по схеме W4A16, а embeddings, lm_head, нормализации, vision tower и MTP draft head сохранены в исходной точности BF16. Размер весов уменьшен примерно с 51,75 до 19,2 ГиБ, что позволяет разместить модель на видеокарте с 32 ГиБ памяти. По приведённым измерениям на RTX 5090 модель достигла perplexity 4,6158, скорости декодирования до 87,4 токена в секунду и результата 45/45 в тестовом наборе качества. Сильные стороны модели — существенная экономия памяти, поддержка работы с текстом и изображениями, совместимость с vLLM и imp, а также возможность запуска на потребительских видеокартах Blackwell sm_120, где опубликованные варианты с FP8 attention могут не работать. Ограничения связаны с экспериментальным характером квантования без калибровки активаций, меньшей производительностью vLLM на sm_120 из-за fallback на Marlin и необходимостью настраивать число последовательностей и параметры памяти. Для многошаговых диалогов рекомендуется выделять не менее примерно 400 токенов на ответ, поскольку бюджет включает внутреннее рассуждение. Модель распространяется по лицензии Apache-2.0. Квантованная версия создана из официального релиза BF16 с помощью экспериментального квантовщика imp.

Это FP8-квантизированная версия Qwen3-ASR-1.7B, подготовленная vrfai с помощью NVIDIA ModelOpt для развёртывания через vLLM. Модель предназначена для распознавания речи и транскрибации аудио; базовая модель поддерживает потоковую обработку. В архитектуре Qwen3ASRForConditionalGeneration около 1,7 млрд параметров: языковая часть размером примерно 1,4 млрд параметров квантизирована в FP8, а audio_tower и lm_head оставлены в BF16. По данным README, на тесте из 760 образцов VIVOS частота ошибок слов составила 7,60% против 7,34% у версии BF16; сходство выходов LLM с BF16 на 50 образцах — 0,994. Замеры также показывают более высокую пропускную способность FP8 на указанном оборудовании и уровнях конкурентности. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-FP8-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct-FP8, преобразованная в формат GGUF. Модель разработана командой Qwen, а данный вариант опубликован пользователем ijohn07 и создан с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Она предназначена для генерации текста и может использоваться в локальных приложениях на базе llama.cpp, включая командную строку и серверный режим. Из доступных данных известно, что исходная модель имеет обозначение 30B-A3B и ориентирована на задачи, связанные с кодом, однако подробности об архитектуре, поддерживаемых языках, модальностях и размере контекста в представленном README не указаны. Суффикс Q4_K_M указывает на вариант квантизации GGUF, рассчитанный на более компактное локальное выполнение, но README не содержит конкретных требований к памяти или производительности. В качестве ограничения следует учитывать отсутствие подробной информации о возможностях и качестве исходной модели. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется использовать llama.cpp; в README приведены примеры работы через llama-cli и llama-server, включая настройку контекста размером 2048 токенов.

G37A/Qwen3-Embedding-0.6B-80k-squad — дообученная модель семейства Qwen3 от G37A на базе Qwen/Qwen3-Embedding-0.6B. Она предназначена для создания текстовых эмбеддингов и семантического поиска в сценариях вопросов и ответов на украинском языке; при дообучении использованы наборы FIdo-AI/ua-squad и G37A/ua-retrieval-80k-silver. Модель содержит 507,6 млн параметров, использует архитектуру Qwen3ForCausalLM, формат safetensors и контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка указывает специализацию на украинских QA и retrieval; сведений о сравнительных оценках качества нет.