II.7DevOps, облако и эксплуатация IT-систем

Это GGUF-квантование GLM-4.7-Flash, подготовленное TNT.Chat в рамках проекта LOCAL AI. Модель Z.ai — диалоговая MoE-модель класса 30B-A3B; в этой сборке около 20% весов, включая shared expert и тензоры внимания, представлены в Q4_K, остальные — в Q3_K. Такой смешанный формат рассчитан на локальный запуск и использование в редакторах кода, включая VS Code, на потребительском оборудовании; автор заявляет возможность работы в пределах 16 ГБ VRAM и приводит отдельную оценку для контекста 200 тысяч токенов на GPU с 24 ГБ VRAM. Модель генерирует текст в диалоге и ориентирована, среди прочего, на программирование и рассуждения. В карточке приведены рекомендации по параметрам генерации и отмечено, что исправление в llama.cpp устранило зацикливание и низкое качество прежней версии файлов. Заявления о качестве и требованиях к памяти относятся к описанию автора сборки. Репозиторий распространяется по лицензии MIT; README указывает исходный GGUF от Unsloth и метод смешанного квантования, не подтверждая отдельное дообучение этой версии.

K2-Chat — диалоговая языковая модель на 65 млрд параметров, разработанная MBZUAI и LLM360. Это дообученная версия K2-65B на наборах Infinity-Instruct, JiuZhang3.0-Corpus-SFT и glaive-function-calling-v2-sharegpt; модель построена на архитектуре Llama и распространяется в формате PyTorch. Контекст составляет 8192 токена. Модель предназначена для диалогов, ответов на вопросы, задач по математике и программированию, а также вызова функций по заданным схемам. В README заявлены улучшения в безопасности и результаты бенчмарков, но они не гарантируют качество на конкретных задачах. Примеры использования ориентированы на английский язык; модель описана как отвечающая только на английском. Для вызова функций требуется соблюдать специальный формат промпта; совместная работа режимов обычного диалога и вызова функций отдельно не проверена. Лицензия — Apache-2.0.

Kepler-7B — языковая модель на 7,1 млрд параметров, созданная слиянием SLERP моделей DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-Coder-7B-Instruct. Она использует архитектуру Qwen2 и предназначена для генерации текста в диалоговом формате, в том числе для задач анализа и написания кода. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Файлы опубликованы в формате safetensors для библиотеки Transformers. Лицензия — Apache-2.0. README не содержит результатов оценки качества или подробных рекомендаций по применению.

Qwen3.6-35B-A3B-REAM-160-ru-agent — экспериментальная сжатая версия Qwen/Qwen3.6-35B-A3B, подготовленная автором WaveCut методом REAM: основные языковые MoE-слои и блок MTP сведены к 160 экспертам. Калибровка ориентирована на код, математику, агентное использование инструментов и сохранение ответов на русском языке. Модель предназначена для диалогов, работы coding-агента и анализа изображений; метаданные указывают на интерфейс вызова инструментов и поддержку vision. Модель принимает текст и изображения и генерирует текст. README описывает проверки структуры и пробные сценарии на русском языке, отладке кода и вызове инструментов, но не приводит результаты количественной оценки качества. Формат файлов — safetensors, библиотека — Transformers. Условия лицензии в предоставленных данных не указаны.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная версия модели Gemma 4 12B от Google DeepMind, модифицированная HauhauCS. Это GGUF-сборка с уменьшенным количеством отказов в ответах, предназначенная для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надёжность. Модель поддерживает текстовый ввод и изображения через отдельный mmproj-модуль; заявленный язык — английский. Модель имеет плотную архитектуру размером 12B параметров и контекстное окно 256K токенов. Основной файл использует QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; заявляется сохранение качества, близкого к полной точности. В комплект входит MTP-голова для speculative decoding, которая в llama.cpp, по данным автора, обеспечивает примерно на 60% более высокую скорость генерации без изменения проверенного результата. Поддерживаются llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. К сильным сторонам относятся большое контекстное окно, поддержка изображений, оптимизация под 4-битную квантизацию, ускоренная генерация с MTP и настройка для кодинга, рассуждений и творческих задач. Ограничения включают зависимость визуального режима от отдельного mmproj-файла, экспериментальный характер заявлений об отсутствии отказов и ограниченность тестирования ускорения llama.cpp. Для LM Studio отмечена возможная нестабильность в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоёв. Модель распространяется по лицензии Gemma.

Hunter 4B — разговорная языковая модель на 4 млрд параметров от Lalakai Labs, представленная в формате GGUF для локального запуска через llama.cpp, Ollama, LM Studio и другие совместимые среды. Это дообученная версия Qwen 3.5 4B: автор сообщает о параметрически эффективном QLoRA-обучении на примерно 180 тысячах отобранных примеров, последующем слиянии адаптера с весами FP16 и выпуске 4-битной квантизации Q4_K_M. Модель предназначена для пошаговых рассуждений, математики, написания и отладки кода, структурированных вызовов инструментов, анализа уязвимостей и повседневного чата. Карточка заявляет поддержку англоязычного общения; отдельные варианты весов включают FP16 и Q4_K_M. Разработчик ориентирует Q4_K_M на локальный запуск на обычных компьютерах, а FP16 — на ситуации, где важнее качество и доступно больше памяти. Модель компактна и рассчитана на локальную работу, однако её качество не гарантирует заявленного в карточке сопоставления с моделями на 10–15 млрд параметров: формальные бенчмарки ещё не опубликованы. Как и другие языковые модели, Hunter 4B может ошибаться, воспроизводить смещения и выдавать небезопасный контент; результаты следует проверять. Лицензия — MIT.

Locutusque/Hyperion-3.0-Yi-34B — языковая модель Locutusque, дообученная на 150 000 примерах набора Hyperion-v3.0. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, предназначенная для диалогов, ответов на вопросы и генерации кода; в карточке также заявлены математические и логические рассуждения, а также понимание медицинских и научных текстов. Модель рассчитана прежде всего на англоязычные запросы и охватывает задачи программирования, медицины, математики и научных рассуждений. Её можно применять в учебных помощниках, технических чат-ботах и инструментах поддержки специалистов. Контекст составляет 4096 токенов; веса опубликованы в формате safetensors для Transformers. Автор README указывает лицензию Yi NC, тогда как метаданные Hugging Face содержат лицензию other; условия использования следует сверять с файлами лицензии в репозитории. Карточка предупреждает о возможной непоследовательности ответов из-за качества и разнообразия данных, а также о высокой склонности модели выполнять запросы; результаты оценки в README не приведены.

Карточка модели dganochenko/llama-3-8b-chat на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

LlamaMix-7B-slerp — языковая модель для генерации текста и диалогов, созданная MohamedAtta-AI объединением моделей через mergekit. В объединение вошли Magicoder-CL-7B и Llama-2-7b-chat-hf; применён метод SLERP. Модель использует архитектуру Llama с плотной трансформерной сетью и выдаёт текст в ответ на текстовый запрос. Метаданные указывают 3,4 млрд параметров и контекст до 4096 токенов. Модель подходит для диалогового ассистента и генерации кода благодаря включению Magicoder-CL-7B. В карточке не приведены оценки качества или подробные результаты тестирования, поэтому пригодность для конкретных задач стоит проверять на собственных примерах. Распространяется по лицензии Apache-2.0.

Карточка модели jknottllm/Meta-Llama-3-8B-Instruct-FineTuned на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

bartowski/MiMo-V2.5-Pro-GGUF — это набор GGUF-квантизаций языковой модели MiMo-V2.5-Pro, разработанной XiaomiMiMo. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как XiaomiMiMo/MiMo-V2.5-Pro. Модель предназначена для генерации текста, работы с агентскими сценариями, задачами программирования и применений с длинным контекстом. В карточке указаны английский и китайский языки, текстовая модальность и формат GGUF для запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Длина контекста, точная архитектура и число параметров не указаны. Доступно множество вариантов квантования от IQ1 до Q4, с размерами файлов примерно от 212 до 640 ГБ; Q4_K_M отмечен как рекомендуемый вариант с хорошим качеством, а более компактные варианты экономят память ценой снижения качества. К сильным сторонам относятся поддержка разных уровней компромисса между качеством и требованиями к памяти, совместимость с экосистемой llama.cpp и возможность локального запуска. Ограничения — очень большой размер файлов, зависимость от поддержки модели конкретным инструментом и ухудшение качества у низкобитных квантов, особенно IQ1 и некоторых Q2–Q3 вариантов. В карточке указана лицензия MIT.

MisCalmity-v0.1-model_stock — языковая модель на архитектуре Mistral, созданная слиянием нескольких моделей с помощью LazyMergekit: Mistral-7B-v0.1, Calme-7B-Instruct-v0.9 и The-Trinity-Coder-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для диалоговых ответов и генерации кода благодаря включению инструкционной модели и модели для программирования в слияние. В карточке не приведены результаты оценки качества или сведения о лицензии, поэтому пригодность для конкретных сценариев и условия использования следует проверять по исходным моделям и репозиторию.

VMware/open-llama-7b-v2-open-instruct — инструктивно дообученная версия OpenLLaMA 7B v2 от VMware на наборе Open-instruct. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов, предназначенная для генерации текста и ответов на инструкции. В карточке отмечено улучшение результатов на задачах программирования относительно первой версии OpenLLaMA; для инструктивного дообучения использован шаблон Alpaca. Основной язык карточки — английский. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, объяснения понятий и генерации примеров кода. Она распространяется в форматах PyTorch и safetensors по лицензии CC BY-SA 3.0. Для корректной токенизации в README рекомендуется отключить быстрый токенизатор, поскольку он может кодировать текст неверно.

lopezhansel/phined-tuned-2 — конвертированная в формат MLX версия модели microsoft/Phi-3-mini-4k-instruct. Это плотная авторегрессионная языковая модель семейства Phi-3 с 3,7 млрд параметров, предназначенная для генерации текста в диалоговом и кодовом сценариях. Модель принимает текст и выдаёт текст; заявленный контекст — 4096 токенов. В метаданных указаны английский язык и поддержка чата и кода. Модель опубликована в формате safetensors и подготовлена с помощью mlx-lm версии 0.15.3 для использования с MLX. Лицензия — MIT. Карточка не приводит отдельных сведений о качестве или дополнительных ограничениях.

Qwen3.5-88B-YMQ-GGUF — квантованная GGUF-сборка модели 0xSero/Qwen3.5-88B, подготовленная независимым разработчиком ZeroDigest. Это разговорная модель для генерации текста; в карточке заявлены архитектура Mixture-of-Experts с компонентами Transformer и Mamba/SSM и смешанная квантизация с разной точностью для attention, общих и фоновых экспертов. Файл варианта M занимает около 37 ГБ; README рекомендует запуск через llama.cpp и приводит конфигурацию с контекстом 131072 токена. Сборка предназначена для диалогов, разработки кода и работы через API-инструменты вроде RooCode и Aider. README описывает настройку распределения битности по значимости слоёв и экспертов для экономии памяти при сохранении качества маршрутизации, однако приведённые значения perplexity и KL-divergence ещё не заполнены, поэтому заявленное качество не подтверждено опубликованными оценками. Метаданные указывают лицензию Apache-2.0.

Это текстовая сборка Qwen3.8-27B от Prism ML, созданная на основе Qwen/Qwen3.8-27B и упакованная для локального coding-агента chad на компьютерах Apple Silicon. Плотная гибридная архитектура включает 64 слоя: 48 GatedDeltaNet и 16 слоёв полного внимания. Веса проекций представлены в базисе Hadamard и квантованы до 2 бит; общий объём весов составляет 7,15 ГБ, а вместе с черновой моделью для ускорения декодирования — около 8 ГБ. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для диалогов и программирования в локальном агенте. В комплект входит квантованный DFlash2-драфтер на 1,9 млрд параметров, который предлагает блоки токенов для спекулятивного декодирования; по README, на M4 Pro это повышает скорость генерации с 21 до 64 токенов в секунду. Визуальная башня удалена, поэтому эта сборка принимает только текст. Для корректной загрузки требуется реализация, учитывающая Hadamard-преобразования; обычный загрузчик MLX может выдать некорректный результат. Модель распространяется по лицензии Apache-2.0; для вложенного драфтера README отдельно просит соблюдать лицензию и условия цитирования исходного релиза.

Qwen3-8B-ru — русскоязычная версия модели Qwen3, разработанная Reisen Raumberg и командой Attention Signs. Это плотная языковая модель на 7,6 млрд параметров для генерации текста и диалоговых сценариев; поддерживает русский и английский языки, а длина контекста составляет 40 960 токенов. Модель создана методом LoRA supervised fine-tuning на базе Qwen/Qwen3-8B за одну эпоху на наборах attn-signs/kolmogorov-3 и attn-signs/russian-code. Она предназначена для генерации русскоязычного текста и работы с кодом. Доступна в формате safetensors для Transformers; лицензия — Apache 2.0.

Ttimms/Spark-X2.5-4B-NVFP4 — это квантизированная 4-битная версия языковой модели XHToken/Spark-X2.5-4B, подготовленная Ttimms. Модель предназначена для генерации текста и кода, агентских сценариев и задач с длинным контекстом; заявленная поддержка языков — английский и китайский. Она совместима с Transformers и рассчитана на запуск через vLLM с внешним плагином Spark2_5, преимущественно на GPU NVIDIA Blackwell. Модель содержит около 4,1 млрд параметров и использует архитектуру Spark2_5ForCausalLM с гибридным вниманием, сочетающим скользящее и полное внимание, а также поэлементным выходным затвором внимания. Контекстное окно достигает 1 млн токенов. Применена квантизация весов NVFP4 W4A16 методом GPTQ с активациями bf16; отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 2,7 ГиБ против 7,7 ГиБ у базовой bf16-версии, что снижает требования к памяти, но на SM120 выигрыш относится главным образом к занимаемому объёму, а не к скорости вычислений. По представленным оценкам, относительно базовой bf16-модели качество снизилось примерно на 4,3 процентного пункта в HumanEval-instruct и на 2,0 пункта в MBPP. GPTQ заметно сохраняет качество лучше, чем округление RTN, однако для максимального сохранения исходных характеристик рекомендуется FP8-версия базовой модели. Для запуска требуются vLLM, внешний плагин Spark2_5 и параметр trust_remote_code; заявлена поддержка tool calling. Модель распространяется по лицензии Apache-2.0.

Viper-Coder-HybridMini-v1.3 — дообученная модель для генерации кода и текста, созданная на основе Qwen/Qwen2.5-7B-Instruct. В карточке заявлена настройка на синтетических данных по программированию и рассуждениям; архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для диалоговой работы, следования инструкциям, генерации и отладки кода, логических и математических задач, а также создания структурированных ответов в форматах JSON и YAML. Модель принимает текст и генерирует текст, включая программный код. В README заявлена поддержка многих языков программирования и документации на более чем 29 естественных языках; метаданные карточки указывают английский и китайский. Нативная длина контекста по метаданным — 32 768 токенов; README также заявляет обработку до 128K токенов, что не подтверждается этими метаданными. Доступны интерфейсы чата и вызова инструментов. Лицензия — Apache-2.0. README отмечает зависимость качества от формулировки запроса и возможные логические несогласованности в длинных ответах; доступ к актуальной интернет-информации не заявлен. Указанные в карточке результаты оценки представлены частично, поэтому они не позволяют полноценно сравнить модель с альтернативами.

Cerium-Qwen3-R1-Dev — компактная плотная языковая модель, разработанная prithivMLmods на базе Qwen/Qwen3-0.6B и дообученная на наборах для программирования, математики и научных рассуждений, включая данные rStar-Coder и примеры трасс рассуждений DeepSeek R1. Модель содержит около 508 млн параметров, использует архитектуру Qwen3ForCausalLM и формат весов safetensors; длина контекста — до 40 960 токенов. Модель предназначена для генерации кода и объяснений, решения математических и научных задач, технического диалога и создания структурированных материалов. Она может формировать LaTeX, Markdown, JSON, CSV и YAML. Карточка заявляет поддержку нескольких языков программирования и ориентирует модель на разработчиков, преподавателей и исследователей, а метаданные указывают английский язык. Модель рассчитана на работу при ограниченных вычислительных ресурсах. Среди ограничений карточка отмечает слабую пригодность для творческого письма и обычного общения, а также то, что контекст может быть недостаточен для анализа нескольких документов или целой кодовой базы. Лицензия — Apache-2.0.

Hercules-2.0-Mistral-7B — языковая модель на архитектуре Mistral, разработанная Locutusque и дообученная на базе Mistralai/Mistral-7B-v0.1. Она предназначена для выполнения инструкций, диалогов и вызова функций в научных и технических темах, включая биологию, химию, физику, математику, медицину и информатику. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке заявлены возможности генерации кода и вызова функций. Модель подходит для специализированных чат-ботов, учебных помощников, ответов на технические вопросы и генерации кода. Она распространяется в формате safetensors по лицензии Apache-2.0. Возможны фактические ошибки и галлюцинации, в том числе в специализированных областях; обучающие данные могут содержать токсичные примеры и предубеждения.

Qwen2.5-7B-CySecButler-v0.1 — объединённая языковая модель, созданная с помощью mergekit на основе Qwen/Qwen2.5-7B и четырёх других моделей: Vapor_v2_7B, Qwen-2.5-7b-TitanFusion-v5-Exp, Qwen2.5-7B-HyperMix и WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B. Разработчик позиционирует её для задач программирования и кибербезопасности. Модель имеет архитектуру Qwen2 dense с 7,1 млрд параметров и контекстом до 131 072 токенов; работает с текстом и поддерживает диалоговый интерфейс. Карточка не приводит отдельного описания измеренных возможностей или качества для конкретных задач. Модель может использоваться для генерации кода, ответов на вопросы по кибербезопасности и диалогового взаимодействия по техническим темам. Метаданные перечисляют поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Доступна по лицензии Apache-2.0.

Qwen3.6-27B-YMQ-MTP-GGUF — это набор смешанно-точностных квантованных сборок модели Qwen3.6-27B от ZeroDigest, подготовленных из исходных BF16-весов с помощью YMQ-Compiler v2.0. Репозиторий распространяет веса в формате GGUF и поддерживает параллельное предсказание нескольких токенов (MTP) для спекулятивного декодирования. Модель предназначена для генерации текста и диалогов, в частности для задач программирования и работы через инструменты разработки кода. В README описаны варианты квантования разного размера, от XXS примерно 9,8 ГБ до S примерно 12,2 ГБ, с компромиссом между потреблением памяти и качеством. Автор рекомендует низкие контекстные нагрузки для самых сжатых сборок и отмечает возможное ухудшение вызова API при длинном контексте у варианта XS. В инструкции приведён пример запуска через llama.cpp с MTP и контекстом до 245760 токенов; это параметр запуска, а не подтверждённая нативная длина контекста модели. Базовая Qwen3.6-27B описана в метаданных как мультимодальная, но в README этой сборки конкретная поддержка изображений не раскрыта. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-oQ5e-mtp — это 5-битная смешанная oQ5e-квантизация базовой модели Qwen/Qwen3.8-Flash-Next. Квантизация выполнена непосредственно из исходных BF16-весов с помощью oMLX 0.6.4; автор квантизации в README явно не указан. Модель предназначена для локальной генерации текста, рассуждений, решения задач с ограничениями, отладки Python-кода и других сценариев, где важны качество рассуждений и стабильность генерации. Сохранены компоненты MTP и vision, поэтому поддерживаются текстовые и визуальные входы базовой модели, однако точный набор языков и максимальная длина контекста в README не указаны. Номинальный размер группы квантования — 64, неквантизированный тип данных — BF16, размер модели — около 125,7 ГБ. Для работы рекомендована система Apple Silicon с 128 ГБ unified memory, включёнными SSD N-gram Offload и Lightning MTP; основное тестирование проводилось на MacBook Pro с Apple M5 Max. При активной генерации модель потребляла около 102 ГБ общей системной памяти, а требования к памяти увеличиваются с ростом контекста и KV-кэша. По данным автора, по сравнению с oQ4e модель обеспечивает более высокую устойчивость рассуждений и генерации на сложных задачах, сохраняя практичность для локального запуска. В отдельных тестах она корректнее решала задачи с ограничениями и полностью завершала длительные вычислительные сценарии, но не превосходит oQ4e во всех бенчмарках и может работать медленнее на некоторых нагрузках; в приведённом тесте отладки Python предложенная реализация содержала ошибку управления состоянием. Лицензия указана как qwen-community-1.0.

Qwen3.8-Flash-Next REAP-288 Q8E MLX — оптимизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем sh0wie. Она предназначена для локального запуска на устройствах Apple с MLX и ориентирована прежде всего на генерацию текста, программирование и агентские сценарии. Мультимодальные веса vision tower сохранены, однако в README оценивалось только качество работы с текстом. Модель относится к классу примерно 180B параметров: 125B приходится на основную модель, ещё 51B — на n-gram embedding table. Архитектура содержит 48 слоёв, чередующих Gated DeltaNet и разреженное внимание Qwen, а MoE-маршрутизация использует top-10 экспертов. В каждом MoE-слое оставлено 288 из 512 экспертов после pruning методом REAP. Тензоры экспертов имеют 8-битное квантование, остальные компоненты, включая attention, embeddings и backbone, — 4-битное. Размер модели около 100 ГБ в памяти, но при потоковой загрузке n-gram table через NVMe может снижаться примерно до 70 ГБ. Сильной стороной сборки является повышенная точность представления экспертных тензоров и совместимость со стандартным mlx-vlm без патчей. При этом pruning остаётся основным источником потери качества: в тесте HumanEval модель получила 90,9%, уступив варианту с полностью 4-битными весами экспертов с результатом 91,5%, поэтому README не рекомендует её большинству пользователей. Поддерживается speculative decoding с отдельной MTP-моделью; заявленное ускорение зависит от оборудования и составляет примерно 1,5–2,6 раза на M5, тогда как на M4 оно близко к нейтральному. Модель распространяется по лицензии qwen-community-license-1.0.

BenevolenceMessiah выпустил объединённую модель QwQ-32B-Preview-abliterated-Self-instruct-2x-TIES-v1.0, созданную методом TIES с помощью mergekit. В качестве базовой модели использована huihui-ai/QwQ-32B-Preview-abliterated; также в объединение вошли Rombos-LLM-V2.5-Qwen-32b и Rombos-Coder-V2.5-Qwen-32b. Модель построена на архитектуре Qwen2ForCausalLM, содержит 32 млрд параметров и предназначена для генерации текста в диалоговом формате, включая сценарии с кодом. Контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Карточка не приводит результатов оценки качества, подробных сведений о языках или условий лицензии, поэтому эти характеристики нельзя уточнить. Поскольку это слияние нескольких моделей, поведение и качество могут отличаться от исходных моделей.

t-tech_T-Search-GGUF — это GGUF-квантизированная версия модели T-Search, разработанной t-tech и подготовленной bartowski с использованием llama.cpp. Модель относится к классу Mixture-of-Experts с заявленным размером 35B и примерно 3B активных параметров, а также содержит MTP-слои для ускорения генерации посредством self-speculative decoding. Модель предназначена для агентного поиска, информационного поиска, retrieval-задач, RAG, использования инструментов и function calling. Она поддерживает английский и русский языки. В README указаны возможности запуска через llama.cpp, ramalama, LM Studio, koboldcpp, Jan AI и другие совместимые приложения. Для активации MTP в llama.cpp требуется параметр --spec-type draft-mtp. Доступно множество вариантов квантизации — от BF16 размером около 71 ГБ до компактных IQ3 и Q3-разновидностей, а также рекомендуемых Q4–Q6 вариантов. Более качественные квантизации обеспечивают лучшее сохранение характеристик, тогда как компактные требуют меньше оперативной памяти, но снижают качество. Для модели не указан размер контекста, поэтому его характеристики в этом отношении неизвестны. Лицензия — Apache-2.0.

Wizard-llama3-70B — дообученная компанией feeltheAGI языковая модель на архитектуре Llama 3 с 69,5 млрд параметров. Она основана на meta-llama/Meta-Llama-3-70B и дообучена на открытых наборах данных, включая дополнительные данные по программированию. Модель генерирует текст, следует инструкциям и поддерживает диалоговый шаблон ChatML; заявлены навыки логического рассуждения, программирования и начальные агентные возможности с вызовом функций. Модель рассчитана на англоязычные диалоги, выполнение инструкций, решение логических задач и помощь с кодом. Контекст составляет 8192 токена, формат весов — PyTorch. Разработчик стремился снизить ограничения на генерируемый контент, поэтому ответы могут включать нежелательные или небезопасные материалы. Лицензия — MIT.

deepseekmerge-7b-ties — объединённая языковая модель, созданная с помощью mergekit методом TIES из DeepSeek-LLM-7B-Base, DeepSeek-LLM-7B-Chat и DeepSeek-Coder-7B-Base-v1.5. Она предназначена для генерации текста и объединяет возможности диалоговой модели DeepSeek с моделью, ориентированной на программирование. Модель использует плотную архитектуру семейства Llama с причинным языковым декодером, содержит 6,5 млрд параметров и поддерживает контекст до 4096 токенов. В репозитории доступны веса Safetensors; модель распространяется по лицензии Apache-2.0. Базовые модели обучались на английских и китайских данных, однако README не уточняет языковой охват именно объединённой версии. Модель можно использовать для диалоговых ответов и генерации кода. Карточка не приводит оценок качества или подробных результатов тестирования, поэтому пригодность для конкретных задач следует проверять отдельно.

DeepSeek-V4-Flash-0731-GPTQ-Int4-V1 — это 4-битная GPTQ-квантизованная версия модели DeepSeek-V4-Flash-0731, опубликованная пользователем sokada4. Квантизация выполнена с помощью GPTQModel 7.3.4 и предназначена для более эффективного запуска исходной модели при ограниченных ресурсах GPU. Данные о точном размере модели, архитектуре, поддерживаемых модальностях, полном наборе языков и исходном размере контекста в README не указаны. Модель использует схему W4A16 с 4-битными весами, group size 128, симметричной квантизацией и упаковкой в int32; параметр lm_head не квантизован. Калибровка проведена на 128 примерах на китайском, английском, японском языках и Python-коде с длиной последовательности 2048 токенов. В README приведены результаты на 4 GPU Ampere: по сравнению с неквантизованным fp8-чекпойнтом модель показала меньшее время до первого токена и более высокую производительность, особенно при параллелизме 8. Основные ограничения связаны с инфраструктурой: для запуска через vLLM требуется специальная сборка с поддержкой DeepSeek-V4 GPTQ для GPU Ampere, а полный чекпойнт занимает около 153 ГБ и может потребовать выгрузки части весов в CPU. Релиз является первой калибровочной версией V1; заявлена возможная последующая версия V2 с другим набором калибровочных данных. Лицензия — MIT, унаследованная от базовой модели.