II.8Инженерия данных и аналитика

GLM-5.2-JANGTQ_K — квантованный вариант GLM-5.2 от Z.ai, подготовленный bearzi для запуска через MLX на компьютерах Apple с Apple silicon. Это языковая модель семейства GLM с архитектурой MoE и поддержкой чата; метаданные указывают 30,4 млрд параметров и контекст до 1 048 576 токенов. Профиль JANGTQ_K использует смешанную квантовку TurboQuant: routed-эксперты сжаты до 2 или 4 бит, а блоки внимания и индексатор DSA сохранены в FP16. Голова MTP удалена, поскольку она не используется в описанном режиме генерации MLX. Модель предназначена для генерации текста в диалоге, написания кода и длительных задач с большим контекстом. Для загрузки требуются около 260 ГБ объединённой памяти, пакет jang-tools и runtime MLX с патчем IndexShare; обычные MLX, LM Studio и Ollama этот набор не поддерживают без соответствующей доработки. В метаданных указана лицензия MIT.

Instella-3B-Long-Instruct — языковая модель AMD на 3 млрд параметров для диалогов и работы с длинным контекстом. Она основана на Instella-3B-Instruct и прошла дополнительное обучение: расширение контекста, дообучение на инструкциях и оптимизацию предпочтений. Архитектура — плотная авторегрессионная InstellaForCausalLM; модель принимает текст и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы по длинным документам, анализа больших текстовых массивов, суммаризации и диалоговых сценариев, в том числе связанных с книгами и кодом. AMD сообщает о конкурентных результатах на бенчмарках длинного контекста по сравнению с рядом небольших моделей с открытыми весами. Многоязычные возможности не проверялись, поэтому надёжность работы на языках, отличных от основных данных обучения, не установлена. Модель опубликована в формате Safetensors под лицензией «other»; конкретные условия следует сверить с карточкой и файлами лицензии репозитория. Разработчик предупреждает о возможных фактических ошибках, токсичных, предвзятых или вредоносных ответах и не рекомендует применять модель в критически важных, медицинских или требующих высокой достоверности сценариях. Указанное в README ограничение на исследовательское использование само по себе не меняет категорию зрелости модели.

RedHatAI/Kimi-K2.6-FP8-BLOCK — мультимодальная модель, разработанная RedHatAI на основе moonshotai/Kimi-K2.6 с архитектурой KimiK25ForConditionalGeneration. Она принимает текст, изображения и видео, а генерирует текст. Модель предназначена для диалоговых и прикладных сценариев, включая следование инструкциям, рассуждения, вызов функций, агентные задачи и программирование. Модель использует FP8-квантизацию весов с блочным масштабированием и динамическую групповую FP8-квантизацию активаций. Она экспортирована в формате compressed-tensors и оптимизирована для высокопроизводительного развёртывания через vLLM с OpenAI-совместимым API. В README не указаны размер модели и поддерживаемые языки; заявленная максимальная длина контекста в конфигурации оценки составляет 40960 токенов, однако это не представлено как официальная характеристика модели. По приведённым оценкам, модель показывает сильные результаты в математическом и академическом рассуждении, следовании инструкциям и вызове функций. Ограничения включают заметно более низкие результаты на многошаговом function calling, web search и SWE-Bench Lite, а FP8-квантизация может влиять на точность по сравнению с исходной моделью, несмотря на высокое сохранение качества в большинстве указанных тестов. Для использования требуется окружение vLLM и параметр --trust-remote-code. Лицензия указана как modified-MIT; дополнительные условия в README не раскрыты.

Llama-3.1-Nemotron-lorablated-70B — диалоговая текстовая модель на архитектуре Llama, созданная автором репозитория слиянием NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF и mlabonne/Llama-3-70B-Instruct-abliterated-LORA с помощью mergekit и task arithmetic. Модель содержит 69,5 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и ответов на инструкции, включая запросы, на которые базовая модель могла отказываться отвечать. В метаданных также заявлен интерфейс вызова инструментов. Карточка приводит результаты оценивания на IFEval и BBH, но не описывает конкретный набор поддерживаемых языков. Модель распространяется по лицензии Llama 3.1; применимость её условий следует проверять для конкретного использования.

Llama3.1-Typhoon2-8B-Instruct — модель для выполнения инструкций, разработанная командой Typhoon AI на основе Llama 3.1 8B. Это плотная авторегрессионная модель семейства Llama с примерно 7,5 млрд параметров; метаданные указывают контекст до 131 072 токенов. Репозиторий содержит веса в формате Safetensors, а для работы требуется Transformers версии 4.45.0 или новее. Модель предназначена прежде всего для диалогов и выполнения инструкций на тайском и английском языках. Среди сценариев — ответы на вопросы, работа с длинным контекстом, вызов функций, а также задачи по математике и программированию. В приведённых авторами тестах показаны результаты для обоих языков, включая тайское переключение между языками и вызов функций. Авторы отмечают, что модель продолжает разрабатываться и может выдавать неточные, предвзятые или нежелательные ответы; встроенные защитные механизмы лишь частичны. Модель распространяется по лицензии Llama 3.1 Community License, поэтому перед использованием необходимо соблюдать её условия.

bunnycore/Llama-3.2-3B-Apex — диалоговая языковая модель, созданная разработчиком bunnycore слиянием нескольких предварительно обученных моделей через mergekit и методом Model Stock. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в слияние также вошли модели для разных навыков, рассуждений, научных задач, программирования и ролевого общения. Модель построена на архитектуре Llama с причинно-следственным языковым моделированием и содержит 3,2 млрд параметров. Она предназначена для генерации текста и диалоговых ответов; заявленная длина контекста — 131 072 токена. Метаданные также указывают интерфейс вызова инструментов. Данные о лицензии и поддерживаемых естественных языках в предоставленной карточке отсутствуют.

Neurona 8B v2 — предварительная диалоговая языковая модель на базе Meta Llama 3 8B Instruct, разработанная Икером Гарсией. Это плотная модель с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; она сохранена в формате safetensors и дообучена с помощью Axolotl на смеси англоязычных и испаноязычных наборов данных. Модель предназначена для диалога и генерации текста на испанском и английском языках. В карточке указаны сценарии RAG, вызова функций, помощи с кодом, ответов на вопросы и суммаризации; обучающие данные также включают перевод между английским и испанским, обработку новостей и экономические и медицинские тексты. Модель обозначена автором как экспериментальная предварительная версия, созданная для настройки скриптов и инфраструктуры, а не как финальный релиз. Лицензия — llama3.

llm-jp-4.1-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Репозиторий содержит версию на 32,2 млрд параметров с 64 слоями, размером скрытого представления 5120 и контекстом до 65 536 токенов; модель распространяется в формате safetensors и предназначена для диалогового использования через Transformers. Модель прошла предварительное и промежуточное обучение на суммарно 11,7 трлн токенов, затем контролируемую донастройку и выравнивание методом DPO. Она ориентирована на генерацию ответов и рассуждений, включая задачи математики, науки, вопросов и ответов, программирования, следования инструкциям и перевода между японским и английским. Основные заявленные языки — японский и английский. Разработчик оценивает её на наборах задач общего знания, математики, кода, безопасности и вызова инструментов. Это исследовательская модель разработки, не предназначенная для непосредственного применения в производственных сервисах; ответы могут быть неточными, неподходящими или нежелательными и требуют проверки. Лицензия — Apache 2.0.

ceia-aisdk/llm-medium-v1 — распространяемый CEIA AI SDK артефакт GGUF на основе инструктивной языковой модели Qwen2.5-7B-Instruct. CEIA не обучала эти веса: репозиторий содержит квантованную версию Q4_K_M, подготовленную bartowski, для использования через псевдоним SDK llm/medium@1. Модель предназначена для диалогов и генерации текста по инструкциям. Базовая Qwen2.5-7B-Instruct поддерживает также генерацию кода и структурированных ответов. Репозиторий использует формат GGUF и распространяется по лицензии Apache-2.0, как и базовая модель.

Luciole-8B-Instruct-1.1 — диалоговая причинная языковая модель, дообученная и согласованная с предпочтениями пользователей на базе Luciole-8B-Base. Её разработали LINAGORA и консорциум OpenLLM-France в рамках проекта OpenLLM France. Модель имеет плотную архитектуру Nemotron H; в метаданных указано 16,4 млрд параметров и контекстное окно 131 072 токена, хотя при постобучении использовались последовательности длиной 16 384 токена. Модель предназначена для следования инструкциям и диалога, а также может применяться для вопросов и ответов, математики, науки, программирования, RAG и перевода. Обучение включало два этапа контролируемой настройки и выравнивание предпочтений методом DPO. Она показывает хорошие результаты в следовании инструкциям и французском языке, несмотря на то что постобучение проводилось преимущественно на английских данных; в карточке также указана поддержка английского и французского. Модель может галлюцинировать, а её качество в специализированной генерации кода и решении математических задач требует дополнительного обучения. Карточка рекомендует тщательно проверять модель перед использованием в промышленных системах и при необходимости дополнять её RAG. Распространяется по лицензии Apache 2.0.

Mungert/MiniCPM5-1B-GGUF — это GGUF-версия компактной языковой модели MiniCPM5-1B, разработанной командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, включая сценарии on-device и edge AI. Формат GGUF рассчитан на использование с llama.cpp, Ollama и LM Studio; данный вариант создан с помощью llama.cpp. Модель является каузальной языковой моделью с архитектурой LlamaForCausalLM и 1 080 632 832 параметрами. Она содержит 24 слоя и использует групповое обобщённое внимание (GQA) с 16 головами для запросов и 2 головами для ключей и значений. Заявленная длина контекста составляет 131 072 токена. Поддерживаются английский и китайский языки, генерация текста, программирование, работа с инструментами, агентские сценарии и задачи, требующие рассуждений. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и гибридный режим рассуждений: один и тот же чекпойнт может работать как быстрый ассистент или включать режим пошагового размышления через параметр enable_thinking. По данным разработчиков, преимущества особенно заметны в использовании инструментов, генерации кода и сложных задачах рассуждения. Ограничения модели связаны с её компактным размером и текстовой специализацией; README не содержит подробных сведений о качестве на всех языках, требованиях к аппаратным ресурсам и конкретных вариантах квантования GGUF. Модель распространяется по лицензии Apache-2.0.

Карточка модели Openintelligent123/MiniCPM5-2B-CRACK-JANG_8M на Hugging Face совпадает с карточкой dealignai/MiniCPM5-2B-CRACK-JANG_8M, поэтому описание составлено по ней. dealignai выпустила MiniCPM5-2B-CRACK-JANG_8M — дообученную версию openbmb/MiniCPM5-2B в формате MLX для запуска на Apple Silicon через vMLX. Это плотная Llama-совместимая языковая модель с 2,2 млрд параметров и контекстом до 131 072 токенов; модель принимает и генерирует текст, поддерживает английский и китайский языки, режим рассуждения с включением и выключением, а также вызов инструментов через XML. Модель предназначена для диалогов, программирования, рассуждений и тестирования поведения при удалённом отказе от ответов: README сообщает, что механизм отказов удалён на уровне весов. В карточке приведены результаты MMLU и HarmBench для этой сборки. Модель поставляется в 8-битном MLX-бандле JANG8M и заявлена как бесплатная для macOS; лицензия — Apache-2.0. Это текстовая модель без поддержки изображений. Поскольку поведение отказов удалено, модель может выдавать ответы на опасные запросы; применяйте её с учётом этого ограничения.

IntervitensInc/Mistral-Nemo-Base-2407-chatml — вариант базовой языковой модели Mistral Nemo с добавленными токенами ChatML для дообучения. Исходную модель Mistral Nemo 12B совместно разработали Mistral AI и NVIDIA. Это плотный трансформер MistralForCausalLM на 12,1 млрд параметров; в исходной карточке указано окно контекста 128 тыс. токенов. Метаданные этой копии сообщают native context в 1 024 000 токенов, однако README не подтверждает такое увеличение контекста. Модель предназначена для генерации текста и дальнейшей настройки под диалоговые сценарии. Она обучалась на многоязычных данных и данных программирования; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Базовая модель не имеет механизмов модерации, поэтому ответы могут требовать дополнительной проверки и фильтрации. Файлы представлены в формате safetensors, лицензия — Apache 2.0.

Soulfate24/Nanbeige4.2-3B-DSpark-ASHQ1-Remix-GGUF — это объединённая и представленная в формате GGUF версия Nanbeige4.2-3B с DSpark, подготовленная в рамках набора ASHQ1-Remix. Репозиторий предназначен для генерации текста и диалогового использования; базовая модель имеет 3,2 млрд параметров и ориентирована на рассуждения, программирование и агентные задачи с вызовом инструментов. В README описана активационно-зависимая квантизация GGUF с параметрами, основанными на измеренных экспериментах, и поддержкой линии AutoRound с ограничениями насыщения. Модель поддерживает английский и китайский языки. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельные сведения о длине контекста и конкретных уровнях квантования для данного файла.

Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16 — экспериментальная модификация мультимодальной модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 от AEON-7. Это вариант BF16 с удалённым механизмом отказов методом ортогонализации подпространства в остаточном потоке; модель предназначена для диалогов, рассуждений, генерации кода и работы с изображениями и аудио. Архитектура NemotronH сочетает Mamba2, attention и MoE; в мультимодальный стек входят зрительная башня RADIO и аудиоэнкодер Parakeet. Метаданные указывают поддержку английского языка и задач генерации текста и any-to-any. Автор сообщает, что мультимодальные веса сохранены без изменений, а в точечных проверках сохранились арифметика, перевод, код и другие навыки. При этом релиз помечен как альфа: внутренние испытания выявили зацикливание рассуждений, пустые или повторяющиеся ответы и ухудшение в многоходовых диалогах; разработчик рекомендует считать модель исследовательским артефактом. Лицензия в метаданных обозначена как other, поэтому условия использования следует уточнить по карточке модели.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

Это 8-битная версия модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio Community с помощью mlx_lm для Apple Silicon. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 от NVIDIA; MLX-квантизация уменьшает точность весов для запуска на компьютерах Apple с кремниевыми чипами. По метаданным, модель предназначена для генерации текста и диалогов и поддерживает интерфейс вызова инструментов. Модель подходит для ответов на вопросы, помощи с программированием и математическими задачами, а также для агентных приложений, использующих инструменты. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Лицензия репозитория обозначена как other, поэтому перед использованием следует проверить её условия. Как и другие генеративные модели, она может выдавать неточные или неподходящие ответы; README также предупреждает об отсутствии гарантий качества.

OpenHermes 7B — англоязычная модель для генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-7b-hf. Она предназначена для выполнения инструкций, диалогов, ролевых сценариев, ответов на общие вопросы и задач по программированию. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и принимает контекст до 4096 токенов. При обучении использовался набор из 242 тысяч примеров, преимущественно сгенерированных GPT-4 и собранных из открытых наборов данных, включая инструкции общего назначения, ролевые диалоги и примеры по программированию. Обучение применяло упаковку примеров для ускорения процесса. Репозиторий распространяется в формате PyTorch по лицензии MIT. Карточка приводит результаты нескольких тестов, но они сами по себе не гарантируют качество ответов в конкретных сценариях.

Ornith-1.5-35B-A3B-MXFP4_MOE_Hybrid-Imatrix-GGUF — это набор оптимизированных квантованных весов в формате GGUF для модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Данные сборки подготовлены jashepp на основе базовой модели и предназначены для запуска в совместимой инфраструктуре GGUF, включая сценарии генерации текста, диалогов, агентной работы, программирования, использования инструментов и задач, требующих планирования и рассуждений. Модель использует архитектуру Mixture of Experts с заявленным размером 35B и конфигурацией A3B. Репозиторий содержит варианты с многоуровневой точностью MXFP4, Q8_0 и F16, а также importance matrix, созданной на основе исходной imatrix и дополнительных данных из промптов, результатов, аудитов, навыков и документации. Доступны файлы размером примерно от 18,5 до 20,7 ГБ. Указанный язык — английский; модель относится к текстовым генеративным моделям. Размер контекста в README не указан. К сильным сторонам относятся улучшенное следование инструкциям и рассуждениям по сравнению с Ornith-1.0, ориентация на агентное программирование и возможность уменьшить требования к памяти за счёт квантования экспертных слоёв при сохранении более высокой точности в критических компонентах. Ограничения включают потенциальные потери качества из-за квантования, зависимость от совместимого загрузчика GGUF и отсутствие в README подробных сведений о фактических требованиях к оборудованию, контекстном окне и результатах независимого тестирования. Распространение указано по лицензии MIT.

ihughes15234/Phi-3.5-mini-instruct_unslothcpy — разговорная инструктивная версия компактной языковой модели семейства Phi-3.5, представленная в карточке с материалами Unsloth по тонкой настройке. Модель содержит 3,7 млрд параметров, использует плотную архитектуру и предназначена для генерации текста и многоходового диалога. Метаданные указывают контекст 4096 токенов; заявленные в README 128K относятся к Phi-3.5-mini в целом и не подтверждены для этой конкретной копии. Модель подходит для генерации ответов и создания приложений на базе языковой модели в условиях ограниченных вычислительных ресурсов и требований к задержке. В README базовая Phi-3.5 описана как многоязычная модель с сильными сторонами в рассуждениях, коде, математике, логике, обобщении длинных документов и ответах на вопросы по ним; эти характеристики не являются отдельной оценкой данного репозитория. Указана лицензия MIT. Как и другие языковые модели, она может ошибаться; перед применением в рискованных сценариях следует проверять точность и безопасность ответов.

Phi-3-mini-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку запросов и работу с кодом. Она поддерживает английский язык, использует формат GGUF и рассчитана на контекст до 128 000 токенов. Для работы в GaiaNet предусмотрен шаблон prompt phi-3-chat. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 1,42 до 7,64 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. Более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель ориентирована преимущественно на английские задачи; сведения о мультимодальности отсутствуют. Квантизацию выполнила Second State Inc. Лицензия — MIT.

Project Norn V20 — экспериментальная текстовая генеративная модель Osakra Research, построенная на базе empero-ai/Qwen3.8-9B-Distill. В карточке описана архитектура NornV20ForCausalLM: чередование причинного внимания с окном 512 токенов и рекуррентной памяти Titans-HRR; заявлены обработка контекста до 32 768 токенов и реализация на Transformers. Репозиторий содержит веса Safetensors и GGUF F16, а метаданные указывают 3,7 млрд параметров. Модель предназначена для диалогов, рассуждений, математики, программирования и агентных сценариев. Карточка заявляет показатели внутренних бенчмарков, но приведённые описания и результаты не дают независимой проверки этих утверждений. В README упоминается работа с изображениями через Ollama и внешний mmproj, однако метаданные подтверждают только текстовую генерацию, поэтому мультимодальную поддержку нельзя считать установленной. Лицензия — Apache-2.0.

QevaCoT-7B-Stock — объединённая языковая модель на базе семейства Qwen2.5, созданная методом Model Stock с помощью mergekit. В слияние вошли Qwen2.5-7B и несколько моделей на его основе, включая инструктивные и ориентированные на рассуждения варианты. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и работает через библиотеку Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и задачи, где полезны пошаговые рассуждения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.

Hob-forge/Qwen3.5-4B-Instruct-GGUF — это текстовая GGUF-квантизованная версия Qwen3.5-4B, разработанной командой Qwen. Издатель Hob Forge не обучал модель, а подготовил собственную редакцию: выполнил конвертацию и квантизацию, проверил шаблон чата и вызов инструментов, а также измерил скорость, потребление памяти и потери качества. Базовая модель распространяется по лицензии Apache-2.0. Модель предназначена для диалогов, генерации текста, помощи в программировании и использования инструментов на компьютерах с ограниченными ресурсами. Она поддерживает режим рассуждений, включённый по умолчанию, и может работать через llama.cpp, Ollama и совместимые приложения. Доступны варианты Q4_K_M, Q5_K_M, Q6_K, Q8_0 и IQ4_XS; рекомендуемым вариантом назван Q4_K_M размером около 2,58 GiB. Указана архитектура с гибридным вниманием: 8 слоёв полного внимания, линейное внимание DeltaNet и однослойный блок MTP. Благодаря этому KV-кэш заметно меньше, чем у плотной модели сопоставимого размера: около 256 MiB при контексте 8K и 1 GiB при 32K. Сильные стороны модели — небольшие требования к памяти, поддержка длинного контекста, высокая скорость на совместимом оборудовании и проверенная работа инструментов. Вариант Q4_K_M, по приведённым измерениям, помещается примерно в 4 GB памяти даже при контексте 32K, хотя такой режим может быть ограничен по запасу ресурсов. Ограничения связаны с размером 4B: модель не относится к передовым и уступает более крупным моделям в сложных задачах. IQ4_XS экономит место, но существенно медленнее на RTX-картах. GGUF-файлы являются текстовыми: визуальные компоненты исходной мультимодальной модели не включены. Для работы требуется современная версия llama.cpp с поддержкой данной архитектуры.

Qwen3.8-27B-UD-Q3_K_XL-DFlash2-MLX — это MLX-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная для локального запуска на компьютерах Apple Silicon. Модель разработана автором репозитория nathansutton и предназначена прежде всего для генерации текста, написания и анализа кода, а также работы в локальном coding-агенте chad, стилизованном под Claude Code. Модель поддерживает текстовый ввод и вывод; язык базовой модели и точный перечень поддерживаемых языков в README не указаны. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с 27 млрд параметров, 64 слоями, включая 48 слоёв GatedDeltaNet и 16 слоёв полноформатного attention. Основная часть весов квантизирована до 3 бит с группами размера 64, эмбеддинги также имеют 3-битную квантизацию, а lm_head — 5-битную. Нативное контекстное окно составляет 262 тысячи токенов. Размер весов — около 12,1 ГБ, вместе с дополнительным drafter-модулем — около 13,3 ГБ; модель рассчитана на Apple Silicon с 24 ГБ памяти, но в таком режиме фактический доступный контекст обычно составляет десятки тысяч токенов. В комплект входит 1,9-миллиардный DFlash2 block drafter, который ускоряет авторегрессионную генерацию за счёт спекулятивного декодирования. Он квантизирован до 4 бит и предлагает блоки токенов, проверяемые целевой моделью с сохранением её распределения при семплировании. На M4 Pro с 24 ГБ памяти README сообщает ускорение примерно с 17,5 до 60,1 токена в секунду для жадной генерации и с 22,4 до 49–51 токена в секунду для режима с sampling; на длинных агентских контекстах прирост ниже. Ограничения включают зависимость от Apple Silicon и памяти, снижение эффективного контекста на устройствах с 24 ГБ, а также возможные расхождения жадной генерации с последовательным декодированием из-за различий вычислительных ядер. Целевые веса наследуют лицензию базовой модели Qwen3.8-27B, а содержимое каталога dflash — лицензию исходного релиза DFlash2. Перед использованием или распространением необходимо проверить условия обеих лицензий.

Youssofal/Qwen3.8-Flash-Next-MTPLX-Bare-Speed — это квантованная версия Qwen/Qwen3.8-Flash-Next, подготовленная для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для локального диалога, генерации текста и программного кода, включая сценарии работы с OpenCode и другими инструментами разработки. В основе лежит архитектура поколения Qwen4 с гибридной MoE-структурой GDN, Qwen Sparse Attention, памятью n-gram на 51 млрд параметров и встроенной головой multi-token prediction. Заявлены поддержка текста и сохранённая vision tower, контекст до 262 144 токенов; языки в README не указаны. Все MoE-эксперты и плотные матрицы выполнены в плоской 4-битной квантизации с группами по 64 веса, а отдельные компоненты, включая нормализации, параметры GDN, индексатор QSA и MTP-голову, сохраняются в 16-битном формате. Размер загрузки составляет 106,3 ГБ, из которых около 32 ГБ занимает таблица n-gram, потоково читаемая с SSD; резидентные веса занимают примерно 74 ГБ плюс рабочая память. Рекомендуется Apple Silicon Mac с unified memory от 96 ГБ. Адаптивная speculative decoding с глубиной до 3 токенов, по данным README, обеспечивает ускорение до 1,6 раза относительно обычной авторегрессивной генерации, сохраняя распределение вывода при поддерживаемых настройках sampling. Сильные стороны модели — высокая скорость локального запуска, большой контекст и оптимизация под Apple Silicon. Ограничения включают значительные требования к памяти, зависимость от MTPLX и macOS на Apple Silicon, а также компромисс качества, связанный с плоской 4-битной квантизацией; README указывает, что версия Optimized Speed обеспечивает более высокое качество и работает немного медленнее. Лицензия указана как qwen-community-1.0; точные условия следует уточнять в файле LICENSE и документации базовой модели.

unsloth/Qwen3-VL-32B-Thinking — репозиторий весов плотной мультимодальной модели Qwen3-VL, подготовленный Unsloth на основе Qwen/Qwen3-VL-32B-Thinking. Это версия Thinking для диалогов и рассуждений по тексту и визуальным данным; модель предназначена для вопросов об изображениях и видео, OCR, визуального анализа и выполнения задач через интерфейс агента с инструментами. Модель принимает текст, изображения и видео, а выдаёт текст. В README заявлены контекст 256K токенов с возможностью расширения до 1M, понимание пространственных отношений, временных меток и событий в видео, разбор структуры длинных документов и OCR на 32 языках. Архитектура относится к семейству Qwen3-VL и реализована как Qwen3VLForConditionalGeneration; файлы представлены в safetensors. Репозиторий включает исправления chat template от Unsloth. Модель подходит для визуального анализа, распознавания текста и рассуждений по изображениям и видео, а также для взаимодействия с графическими интерфейсами и инструментами. Указана лицензия Apache-2.0. README описывает возможности семейства Qwen3-VL; отдельные результаты бенчмарков для этого репозитория не приведены.

Qwythos-27B-v1 — открытая полноразмерная дообученная модель Empero AI на базе Qwen/Qwen3.5-27B. Это плотная мультимодальная модель с 64 текстовыми слоями, гибридным вниманием Gated-DeltaNet и полным модулем зрения; она принимает текст и изображения и генерирует текст. Модель прошла полнопараметрические этапы SFT, DPO и ESFT до обучения с подкреплением, сохранив штатную поддержку вызова инструментов и предсказания нескольких токенов. Модель предназначена для диалогов и рассуждений, задач STEM, работы с терминальными и инструментальными сценариями, а также технических вопросов в областях кибербезопасности и биомедицины. Заявлена конфигурация контекста до 1 048 576 токенов с расширением YaRN. Шаблон чата поддерживает нативный формат вызова функций Qwen3.5. Зрение унаследовано от базовой модели: параметры визуального модуля не дообучались, а понимание изображений не оценивалось. Большой контекст с YaRN может немного ухудшать качество на коротком контексте. Модель намеренно не ограничивает ответы на чувствительные технические темы, поэтому для использования нужны подходящие правила и проверка результатов. Лицензия — Apache-2.0.

SmolLM2-1.7B-Instruct-bnb-4bit — компактная 4-битная предварительно квантованная версия инструкционной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для выполнения широкого спектра текстовых задач и достаточно легковесна для запуска на устройствах с ограниченными ресурсами. Вариант Instruct дополнительно обучен следовать инструкциям с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Модель содержит 1,7 млрд параметров и работает с текстом на английском языке. Она ориентирована на диалоговые сценарии, переписывание и суммаризацию текста, решение задач, работу с кодом и function calling. Обучение базовой модели проводилось на 11 трлн токенов из наборов FineWeb-Edu, DCLM, The Stack, а также математических и кодовых данных; инструкционная версия использовала публичные и подготовленные разработчиками наборы, включая UltraFeedback и Synth-APIGen-v0.1. README не содержит сведений о размере контекстного окна и точной архитектуре. Ключевые преимущества — малый размер, сниженные требования к памяти благодаря 4-битной квантованию и улучшения в следовании инструкциям, знаниях, рассуждениях и математике по сравнению с SmolLM1-1.7B. Ограничения включают заявленную поддержку только английского языка и потенциальные компромиссы в качестве, вызванные квантованием и компактным размером. Модель распространяется под лицензией Apache-2.0.