II.7DevOps, облако и эксплуатация IT-систем

GRaPE 2.5 Helios — мультимодальная инструктивная модель компании SL-AI, дообученная на базе Qwen/Qwen3.5-9B. Она принимает текст и изображения, а также, согласно карточке, видео, и генерирует текст. Модель предназначена для диалога, анализа изображений, рассуждений, творческих задач, программирования с использованием инструментов и задач STEAM. В модели предусмотрены настраиваемые режимы глубины рассуждений и усилий при работе с инструментами; заявлена поддержка нескольких языков. Архитектура — плотная Qwen3.5 для генерации текста с визуальным входом; в метаданных указано 9 млрд параметров, а в README размер округлён до 10 млрд. Модель распространяется по лицензии Apache 2.0. Карточка заявляет, что обучение ориентировано на качество данных, более естественный стиль ответов и улучшение обобщения и агентного программирования. Эти заявления не сопровождаются результатами независимых сравнительных тестов. Для видеовхода и работы с инструментами требуется совместимая обвязка; конкретный формат входного видео README не описывает.

Infinity-Instruct-3M-0625-Yi-1.5-9B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная следовать инструкциям. Это плотная авторегрессионная модель семейства Yi-1.5 с 8,6 млрд параметров, рассчитанная на генерацию текста и диалог в формате чата. Контекст составляет 4096 токенов; для работы используются веса SafeTensors. Модель дообучена на наборах Infinity-Instruct-3M и Infinity-Instruct-0625 без обучения с подкреплением на основе отзывов людей (RLHF). Она предназначена для ответов на вопросы и многошагового диалога, включая повседневные запросы, математику и код. Авторы сообщают о результатах на бенчмарках AlpacaEval 2.0 и MT-Bench. В карточке указана лицензия Apache-2.0, однако README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

EXAONE-4.0-32B-GGUF — это набор GGUF-квантизаций языковой модели EXAONE-4.0-32B, разработанной LGAI-EXAONE. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5934 и imatrix на основе исходной модели LGAI-EXAONE/EXAONE-4.0-32B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером около 64 ГБ до компактных IQ3 и Q3 размером примерно 13–17 ГБ, а также более качественные Q4–Q8. Рекомендуемым вариантом по умолчанию указан Q4_K_M; варианты Q5 и Q6 обеспечивают более высокое качество при значительных требованиях к памяти, а низкобитные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Из README известно, что модель содержит 32 миллиарда параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки, размер контекстного окна и точные характеристики исходной модели здесь не указаны. Шаблон чата также не задан: в README приведён предполагаемый формат, который может быть некорректным и требует проверки по карточке оригинальной модели. Лицензия в предоставленных данных не указана.

EXAONE-Deep-32B-GGUF — это квантованные версии языковой модели EXAONE-Deep-32B, разработанной LGAI-EXAONE и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на текстовые сценарии, включая диалоговое взаимодействие, написание и преобразование текста, программирование и другие задачи генерации на естественном языке. В README указаны английский и корейский языки. Базовый размер модели — 32B параметров; архитектура и размер контекстного окна не указаны. Доступны варианты от BF16 до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ, размер файлов составляет примерно от 13 до 64 ГБ. Главное преимущество — возможность локального запуска при выборе подходящего уровня квантования: высокоточные варианты Q6 и Q5 обеспечивают качество, близкое к исходной модели, а более компактные Q4 и Q3 снижают требования к памяти. Ограничения связаны с существенными аппаратными требованиями 32B-модели, возможным снижением качества при сильном квантовании и отсутствием информации о мультимодальности, контекстном окне и результатах оценивания. Указана лицензия EXAONE; подробные условия следует уточнять в файле LICENSE.

Llama3.1-8B-ShiningValiant2-GGUF — это квантизированная GGUF-версия языковой модели Llama3.1-8B-ShiningValiant2, разработанной ValiantLabs и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, включая работу с научно-техническими темами: физикой, биологией, химией, информатикой и инженерией. Указан английский язык. Модель основана на архитектуре Llama и имеет около 8 млрд параметров. Она представлена в форматах от F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Файлы подготовлены с использованием llama.cpp и imatrix; запуск рекомендуется через LM Studio. В README не указаны модальности, максимальный размер контекста и результаты сравнительных тестов, поэтому её преимущества можно уверенно связывать главным образом с выбором размера и уровня квантизации. Качество и потребление памяти зависят от выбранного варианта: F16 обеспечивает максимальное сохранение исходных характеристик, а квантизированные версии подходят для локального запуска на менее производительном оборудовании, но могут уступать по качеству. Некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Модель распространяется по лицензии llama3.1.

Llama3-ChatQA-1.5-70B-GGUF — это квантизированная версия языковой модели Llama3-ChatQA-1.5-70B, первоначально разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска средствами, совместимыми с llama.cpp. Модель относится к классу text-generation и ориентирована на диалоговые сценарии, ответы на вопросы и работу с предоставленным контекстом. В README указан английский язык. Рекомендуемый формат запроса включает системную инструкцию, контекст, вопросы пользователя и ответы ассистента, что делает модель подходящей для контекстного вопросно-ответного взаимодействия. Размер исходной модели составляет 70 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_S, объёмом примерно от 15,34 до 74,97 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые и обеспечивают компромисс между качеством и требованиями к памяти; более компактные варианты снижают качество, но подходят для систем с ограниченными ресурсами. Длина контекста и другие архитектурные характеристики в README не указаны. Модель лицензирована по лицензии llama3. Для запуска требуется достаточно оперативной или видеопамяти в зависимости от выбранного варианта квантизации; наиболее качественные версии требуют значительных ресурсов. README не содержит сведений о мультимодальности, поддерживаемых языках помимо английского, результатах бенчмарков или дополнительных ограничениях использования.

Llama-3-Swallow-8B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, созданная на основе семейства Meta Llama 3. Модель прошла продолжительное предобучение с добавлением японских текстов, а инструктивная версия — дообучение на примерах инструкций и настройку Chat Vector. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, длина контекста — 8192 токена; веса опубликованы в safetensors и предназначены для Transformers. Модель рассчитана на диалог и генерацию текста на японском и английском языках. Возможные сценарии включают ответы на вопросы, следование инструкциям, суммаризацию, перевод между японским и английским, рассуждения и генерацию кода. В README приведены результаты оценки на японских и английских бенчмарках, но отдельные строки таблиц для этой модели здесь не представлены, поэтому конкретный уровень качества по ним оценить нельзя. Разработчики предупреждают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Llama 3; условия использования определяются её положениями.

Magnum-v1-72b-Qwen2.5 — слитая автором модели языковая модель на архитектуре Qwen2 для диалогов и генерации текста. Веса объединяют влияние anthracite-org/magnum-v1-72b с Qwen/Qwen2.5-72B-Instruct: автор извлёк LoRA из ранней модели Magnum и перенёс её на Qwen2.5-Instruct, после чего объединил результат в самостоятельную модель. Размер — 71,5 млрд параметров, формат — safetensors, контекст — 32 768 токенов. Модель предназначена для творческой генерации и общения; в описании также отмечены генерация кода и сохранение улучшений Qwen2.5. Заявлены английский язык и интерфейс для вызова инструментов. Автор сообщает о положительных результатах собственных проб, но не приводит формальной оценки качества. Лицензия указана как other.

Карточка модели Ayush-1722/Meta-Llama-3-8B-Instruct-Summarize-v0.2-24K-LoRANET-Merged на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

ProCreations/MiMo-V2.6-Flash-RL-NVFP4 — это вариант модели MiMo-V2.6-Flash-RL, опубликованной XiaomiMiMo, преобразованный в формат NVFP4. Репозиторий содержит точную перекодировку уже квантизированных MXFP4-весов маршрутизируемых экспертов без калибровки, обрезания, оптимизации или округления к ближайшему коду. Модель предназначена для генерации текста, включая работу с кодом, математическими задачами, английским и китайским языками. В конфигурации указана архитектура Mixture-of-Experts; точное общее число параметров и размер контекста исходной модели в README не приведены. Сохранены мультимодальные энкодеры, аудиотокенизатор и сопутствующие файлы, однако конкретные поддерживаемые модальности не описаны. Ключевое отличие — смешанная точность W4A16_NVFP4 для экспертных весов при отсутствии требования квантизации активаций FP4. Корневой массив тензоров занимает около 193,96 ГБ без вспомогательных файлов. Полная проверка заявляет идентичность кодов экспертных весов и практически полное совпадение значений при сравнении с исходной моделью; в тесте на 65 504 токенах показатели perplexity совпали с исходной MXFP4-версией, а согласие наиболее вероятного токена составило 99,988–100% в зависимости от домена. Это не гарантирует идентичность результатов при других типах вычислений, ядрах внимания, квантизации активаций или настройках генерации. Проверенный путь загрузки использует vLLM 0.29.0, tensor parallelism 2 и две видеокарты RTX PRO 6000 Server Edition по 96 ГБ; заявленный максимальный контекст в примере запуска — 12 288 токенов. README не содержит широких бенчмарков качества, подтверждений производительности, валидации CPU-offloading или speculative decoding. Модель и исходный чекпойнт распространяются по лицензии MIT.

unsloth/mistral-7b-instruct-v0.3 — версия Mistral 7B Instruct, опубликованная Unsloth. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста и диалогов по инструкциям; в метаданных указаны библиотека Transformers и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский язык и интерфейс вызова инструментов. Модель подходит для диалоговых помощников и генерации ответов по запросу. README описывает её как основу для дообучения в разговорном формате ShareGPT/ChatML или Vicuna, а также для задач продолжения текста и DPO. Репозиторий содержит веса Safetensors; указана лицензия Apache 2.0. Это instruct-модель общего назначения, поэтому её ответы могут содержать ошибки и требуют проверки в критичных сценариях. README посвящён примерам и инструментам дообучения Unsloth и не приводит оценки качества самой модели.

bartowski/Mistral-NeMo-Minitron-8B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые среды локального вывода. Для взаимодействия используется специальный шаблон с ролями System, User и Assistant. Доступны варианты от полноразмерных весов F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 4,2 до 16,8 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Квантизации выполнены с использованием imatrix; версии Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 — как хороший компромисс для ограниченных ресурсов. Отдельные варианты оптимизированы для ARM и требуют соответствующих аппаратных возможностей. README не указывает поддерживаемые языки, размер контекстного окна, точные архитектурные характеристики исходной модели или результаты бенчмарков. Для ARM-оптимизированных вариантов имеются ограничения совместимости: их не рекомендуется использовать на Mac и Windows. Условия лицензирования в предоставленных данных не указаны.

Mistral-Small-24B-Instruct-2501-GGUF — это набор квантизованных версий инструкционной языковой модели Mistral-Small-24B-Instruct-2501, подготовленный пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Исходная модель имеет размер 24 млрд параметров; в README не указаны подробности её архитектуры и длина контекста. Доступны варианты с точностью от f32 и f16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 11 до 94 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Модель является текстовой и не поддерживает мультимодальный ввод по приведённым данным. Сильная сторона набора — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти; варианты Q5 и выше позиционируются как высококачественные, а Q4 — как подходящие для большинства сценариев. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для работы необходим совместимый рантайм, например llama.cpp или LM Studio, и ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Это квантованная версия Mistral Small 3.1 24B Instruct в формате GGUF. Исходную модель разработал mrfakename, а файлы GGUF подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие поддерживаемые клиенты. Ключевая характеристика репозитория — наличие вариантов квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Точные сведения об архитектуре, размере контекста, поддерживаемых языках и модальностях в README не указаны, поэтому модель следует описывать как текстовую instruct-модель без дополнительных подтверждённых характеристик. Сильной стороной является возможность запуска в различных локальных средах с поддержкой CPU и GPU, включая серверные и OpenAI-совместимые интерфейсы некоторых клиентов. Ограничения зависят от выбранного уровня квантования и используемого программного обеспечения; более агрессивное квантование может влиять на качество. Лицензия в README не указана.

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

ModernBERT-large — англоязычная модель Answer.AI, LightOn и их коллег, представляющая собой двунаправленный трансформерный энкодер в стиле BERT. Она содержит около 395 млн параметров и принимает последовательности длиной до 8 192 токенов. В архитектуре используются Rotary Position Embeddings, чередование локального и глобального внимания, а также оптимизации для эффективной обработки длинных входов. Модель предварительно обучена на 2 трлн токенов английского текста и кода. Её основная задача — предсказание замаскированных токенов; как энкодер она также подходит в качестве основы для классификации, поиска информации и семантического поиска по текстовым и кодовым корпусам. Для запуска доступны форматы PyTorch, Safetensors и ONNX через библиотеку Transformers. Модель особенно полезна для длинных документов и поиска по коду, но карточка Hugging Face классифицирует её как fill-mask, а не как готовую модель эмбеддингов или классификатор. Качество может быть ниже для языков помимо английского и кода; обработка всего контекстного окна может быть медленнее коротких входов, а представления могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

M4-ai neural-chat-mini-v2.2-1.8B — языковая модель-ассистент на архитектуре Qwen2, дообученная на tau-1.8B с помощью SFT и DPOP. Модель содержит 1,5 млрд параметров, принимает текст и рассчитана на диалоговое использование; заявленная длина контекста — 32 768 токенов. Модель предназначена для ответов на вопросы и других общих задач ассистента, включая рассуждения, математику, программирование и написание текстов. В обучающую смесь вошли наборы данных для диалогов, кода, математики и естественных наук. В карточке заявлены английский и, возможно, китайский языки; метаданные указывают английский. Разработчик указывает лицензию tongyi-qianwen; метаданные классифицируют лицензию как other. В карточке отмечены риски предвзятости и ограничения, а результаты оценивания ещё не опубликованы. Рекомендации по ответственному использованию требуют дополнительной проработки.

Nex-N2.5-mini-Mixed-Q2Q3-128K-GGUF — неофициальная смешанная квантизация модели Nex-N2.5-mini, разработанной Nex-AGI. Сборку и квантизацию выпустил пользователь karmx для экспериментов на одной видеокарте RTX 5060 Ti с 16 ГБ памяти. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии при использовании отдельного vision projector, включая распознавание текста на одном изображении, структурированный tool calling и задачи программирования. В протестированной конфигурации заявлена общая длина контекста 131 072 токена, включая промпт, токены изображения и генерируемый ответ. Основной файл имеет размер около 13,32 ГБ, проектор — около 0,90 ГБ. Квантизация использует Q2_K для части routed-expert-тензоров, Q3_K для другой части, Q5_K для эмбеддингов и выходных тензоров, а также Q4_K_M для остальных тензоров; vision projector оставлен в F16. Обучение, объединение моделей и pruning не выполнялись. Сильными сторонами являются поддержка большого контекста, vision-возможностей, инструментальных вызовов и запуск на относительно компактной видеокарте. При этом это экспериментальная сборка с ограничениями качества и совместимости: в сравнении с эталонной Q5_K_M зафиксировано снижение результатов на HumanEval+ и MBPP+, а отсутствие регрессий не подтверждено. Надёжность работы с 128K-контекстом, несколькими изображениями, скорость на стандартной сборке llama.cpp и отсутствие выгрузки в CPU-память не гарантируются; проверка проводилась на конкретной версии llama.cpp, ОС, GPU и настройках. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями необходимо скачать оба файла — GGUF-модель и vision projector. Это не официальный релиз Nex-AGI.

Это GGUF-квантизация модели Nemotron-Cascade-2-30B-A3B, разработанной NVIDIA, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения и задач, где важны рассуждения; в метаданных также указано обучение с применением SFT и RL. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Известно, что модель относится к семейству Nemotron-Cascade-2 и имеет обозначение 30B-A3B, однако подробности архитектуры, фактическое число активируемых параметров, размер контекста и поддерживаемые модальности в README не указаны. Заявлен английский язык. Модель можно запускать через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты; для работы может потребоваться их обновлённая версия с поддержкой этой архитектуры. Более сильные варианты квантования обеспечивают лучшее сохранение качества, а компактные варианты снижают требования к оперативной памяти, но могут заметнее ухудшать результаты. Использование регулируется NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на условия NVIDIA. Конкретные ограничения лицензии, результаты benchmark-тестов и подробные сведения о сильных и слабых сторонах исходной модели в README не приведены.

TheBloke/Orca-2-13B-GGUF — это квантизированная версия языковой модели Orca 2 13B, разработанной Microsoft и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и диалогового взаимодействия, включая работу через llama.cpp и совместимые графические интерфейсы и библиотеки. Для форматирования запросов используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. Модель относится к архитектуре Llama и содержит около 13 миллиардов параметров. Она работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. GGUF-файлы доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации, а также запускать её на CPU и GPU. К сильным сторонам относятся поддержка широкого набора локальных инструментов, возможность GPU-ускорения и выбор вариантов квантизации. Ограничения связаны с возможной потерей качества при низкой разрядности и с тем, что точные характеристики производительности и контекстного окна не приведены. В метаданных указана лицензия other, без уточнения конкретных условий использования.

Phi-3-mini-4k-instruct-bnb-4bit — инструкционная языковая модель семейства Phi, разработанная Microsoft AI и командой Phi и опубликованная в 4-битном формате квантования через Unsloth. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для дообучения на собственных наборах данных с использованием Transformers и инструментов Unsloth. Из доступных данных известно, что модель работает с английским языком и имеет контекстное окно на 4K токенов. Суффикс bnb-4bit указывает на 4-битное представление, ориентированное на снижение требований к памяти и запуск на более доступном оборудовании. README также указывает на поддержку дообучения и последующего экспорта в форматы GGUF и vLLM, однако точный размер модели, архитектура и результаты оценки для этой конкретной версии не приведены. Сильными сторонами являются компактное квантованное представление и пригодность для локального запуска и экспериментов с дообучением. Ограничения включают заявленную языковую специализацию на английском, ограничение контекста 4K токенами и возможные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии MIT.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

Qwen3-0.6B-MLX-4bit — компактная 4-битная версия причинной языковой модели Qwen3, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, решения математических и логических задач, написания кода и сценариев с использованием внешних инструментов. Вариант MLX ориентирован на запуск через библиотеку mlx_lm. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding-слои. Архитектура включает 28 слоёв и Grouped Query Attention с 16 головами запросов и 8 головами ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель позволяет переключаться между режимом рассуждений, генерирующим содержимое в блоке <think>, и более быстрым нерешающим режимом для повседневного диалога. К сильным сторонам относятся небольшой размер, 4-битное представление, поддержка многоязычных задач, следования инструкциям и двух режимов работы. Ограничением является существенно меньший масштаб по сравнению с крупными моделями Qwen3, поэтому для сложных задач качество может быть ниже; в README также не приведены конкретные результаты тестов и требования к оборудованию. Для режима рассуждений рекомендуются вероятностные параметры генерации, а жадное декодирование не рекомендуется из-за возможного ухудшения качества и повторов. Модель распространяется по лицензии Apache 2.0.

MLX-версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen и конвертированной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.3. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций в приложениях на базе mlx-lm. Из README известно, что модель представлена в 4-битном формате квантования и распространяется как text-generation-модель. Архитектура, общее число параметров, число активных параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Преимущество версии заключается в адаптации для экосистемы MLX; ограничением является отсутствие подробных сведений о характеристиках, качестве и производительности. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; приведённый пример ориентирован на запуск через Python и применение chat template токенизатора.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.

Qwen3.5-9B-Cold-Fusion-GAIN-v1.0-Uncensored-Heretic-NEO-MAX-Imatrix-GGUF — языковая модель семейства Qwen3.5, разработанная DavidAU. Модель представлена в формате GGUF с вариантами обычного и MTP-квантования, включая 4- и 8-битные версии, а также оптимизацию NEO Imatrix. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В карточке также указана мультимодальная классификация image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. По заявлению автора, она создана с использованием многоэтапной настройки, методов Cold Fusion и GAIN, причём GAIN динамически адаптирует обучение для отдельных примеров. Среди заявленных преимуществ — более ясные и подробные ответы, улучшенная работа с контекстом, таблицами, графиками и текстовыми визуализациями, а также сохранение близкой к BF16 производительности в 4- и 8-битных вариантах. Модель содержит около 9 миллиардов параметров. В приведённых тестах она показывает результаты, сопоставимые или превосходящие базовые Qwen3.5-9B и Qwen3.5-27B на части задач ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако полнота тестовых данных ограничена, а заявления о превосходстве над 27B не подтверждены независимыми измерениями. Ограничения включают возможную нецензурированность, отсутствие подробных сведений о контекстном окне и требованиях к оборудованию, а также неполные данные по некоторым бенчмаркам.

Qwen3.5-9B Triple-Loop Phase 1 Step 2100 — экспериментальная дообученная языковая модель Lordnyx на основе Qwen/Qwen3.5-9B. Она предназначена для диалоговой генерации текста, рассуждений, решения математических задач, программирования и логических задач. Модель использует гибридную архитектуру Gated-DeltaNet и полного внимания; средние 16 слоёв трижды выполняются с общими весами, что даёт заявленную виртуальную глубину в 64 слоя при обычном объёме параметров. Обучение включало дистилляцию по логитам учителя Qwen/Qwen3.8-27B и глубокий надзор. В карточке заявлены контекст до 262 144 токенов и 7,2 млрд параметров по метаданным. Доступны веса Safetensors и GGUF, включая квантованный вариант Q5_K_M; указаны Apache-2.0. Автор сообщает о результатах на собственном наборе из 97 задач, включая 100% на математической подвыборке из 10 заданий, но эти результаты не гарантируют качество на других данных. Модель обозначена как экспериментальная ранняя фаза обучения; заявлена совместимость со стандартными средствами запуска Qwen3.5.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая fine-tune-модель на базе Qwen3.6-27B, разработанная в коллаборации автора модели, Nightmedia, TeichAI, armand0e и trohrbaugh при использовании Unsloth. Модель ориентирована на универсальные сценарии: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо, ролевые сценарии и работу с визуальными данными. Заявлена поддержка английского и китайского языков, а также vision-возможностей; другие параметры контекста в README не указаны. Модель создана как многоэтапная fine-tune-модель с несколькими дообучениями и merge-операциями. В обучении использовались наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также собственные и сторонние датасеты и обучающие трассы. Доступны обычные и MTP GGUF-квантизации, включая NEO IMATRIX; для части выходного тензора заявлена точность 16 бит, а MTP-тензоры имеют Q8_0. По утверждению авторов, модель улучшает следование инструкциям, общий интеллект, решение задач и рассуждения, однако приведённые в README результаты не подтверждены независимыми измерениями и не должны рассматриваться как гарантированные. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиционная штрафная функция; при низком уровне принятия токенов следует использовать обычные кванты. Модель описана как uncensored и heretic, поэтому её поведение и фильтрация контента могут отличаться от базовой модели. Лицензия — Apache-2.0.

Max73333/Qwen3.8-27B-GPTQ-Int4-V100 — это 4-битная GPTQ-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для текстовой генерации и запуска на видеокартах NVIDIA Tesla V100 с compute capability 7.0 (sm_70). Веса используют 4-битное представление, group size 128, симметричное квантование и параметры desc_act=false. Модель предназначена прежде всего для инференса через Transformers или совместимую сборку vLLM; мультимодальные возможности для этой версии не заявлены и не проверялись. Языки и точный размер контекста в README не указаны, однако конфигурация тестировалась с максимальной длиной контекста 4096 токенов. Архитектура текстового режима внутри vLLM связана с классами семейства Qwen3.5. Главное преимущество сборки — возможность практического запуска крупной модели на Volta, где некоторые AWQ и compressed-tensors ядра требуют более новой архитектуры GPU. На одной NVIDIA Tesla V100-SXM2 32 ГБ в протестированной конфигурации заявлена установившаяся скорость около 37–40 токенов в секунду после прогрева. При этом первый запуск контейнера и первый запрос могут занимать значительно больше времени, а производительность зависит от версий CUDA, PyTorch, Triton и vLLM. Для vLLM использовалась пропатченная сборка из исходников с поддержкой sm_70; совместимость со стандартными релизами не гарантируется. Более длинный контекст, конкурентная генерация и режимы 8192–32768 токенов требуют отдельной проверки из-за ограничений памяти KV-кэша. Лицензия модели — Apache-2.0.

kelnei/Qwen3.8-27B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная на основе исходной модели Qwen/Qwen3.8-27B. Она предназначена для генерации текста и обработки изображений с текстом, включая сценарии чат-взаимодействия и инференса на NVIDIA Blackwell GPU с архитектурой SM 12.0 и выше. Модель использует смешанную квантизацию: большинство линейных слоёв работают в NVFP4 (W4A4, group-16), отдельные компоненты — в FP8, а vision tower, merger, embeddings, norms и часть DeltaNet-слоёв сохранены в BF16. Размер чекпойнта и требуемой видеопамяти составляет около 21,8 ГБ против примерно 56 ГБ у версии BF16. Поддерживаются KV-кэш FP8 и multi-token prediction (MTP); заявленная точность относительно BF16-оригинала — 94,1% совпадения top-1 при эмулированном W4A4-инференсе. Главное преимущество модели — существенное снижение требований к памяти при сохранении близкого к исходному качеству и повышение скорости декодирования, особенно при MTP speculative decoding. Рекомендуемый сервер — vLLM с оптимизированными NVFP4-ядрами; для SGLang необходимо использовать более раннюю ревизию с BF16-головой, поскольку текущая FP8-голова может приводить к вырожденным результатам. Для работы требуется совместимый NVIDIA Blackwell GPU, поэтому модель не является универсальной для старых видеокарт. Модель распространяется по лицензии Apache-2.0.