II.1Анализ требований и архитектура ПО

zelk12 создал эту объединённую языковую модель на архитектуре Gemma 2: веса zelk12/MT2-gemma-2-9B и Aashraf995/Gemma-Evo-10B сведены методом SLERP с помощью mergekit. Модель содержит 9 млрд параметров, предназначена для генерации текста и диалогового взаимодействия; она принимает текстовые запросы и выдаёт текст. Модель подходит для чат-ботов и других приложений, которым нужны ответы на текстовые запросы. Нативная длина контекста составляет 8192 токена. В репозитории представлены веса в формате safetensors. Лицензия в предоставленных данных не указана.

Nemotron-3.5-Lightning-30B-A3B-CRACK-GGUF — производная GGUF-версия модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная Dealign.ai для запуска через llama.cpp. Это языковая модель для генерации текста, рассуждений и исследовательских сценариев, включая авторизованное red-teaming. Поддерживаются английский и китайский языки. Модель использует гибридную архитектуру Mamba-2 SSM, Mixture-of-Experts и attention: 52 слоя, включая 23 слоя Mamba-2, 23 MoE-слоя и 6 attention-слоёв; всего 128 маршрутизируемых экспертов, около 3 млрд активных параметров. Заявлен контекст до 262K токенов, а режим рассуждений включён по умолчанию. Репозиторий содержит квантизации Q8_0, Q4_K_M и Q2_K размером около 35,0, 25,4 и 18,7 ГБ соответственно; Q4_K_M обозначена как сбалансированный рекомендуемый вариант. Во все варианты встроена native MTP-голова для спекулятивного декодирования без отдельной draft-модели. Abliteration CRACK удаляет поведение отказа при сохранении знаний, рассуждений и многоязычности, однако по тесту MMLU результат снизился с 78,3% у базовой модели до 74,2%, особенно в STEM и гуманитарных дисциплинах. По HarmBench модель продемонстрировала 100% выполнения вредоносных запросов без отказов, поэтому имеет существенно сниженные защитные ограничения и требует ответственного и законного применения. Лицензия — NVIDIA Open Model License; модель является производной квантизированной версией базовой модели NVIDIA.

Nero-7B-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная teodortita слиянием Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоге; модель принимает текст и выдаёт текст. Архитектура — плотная MistralForCausalLM, контекст — до 32 768 токенов. В README приведены сравнительные результаты на AGIEval, GPT4All, TruthfulQA и Bigbench; Nero показала более высокие значения, чем обе исходные модели, на GPT4All и Bigbench. Эти результаты относятся только к указанным бенчмаркам и не гарантируют качество для конкретных запросов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

NeuralLLaMa-3-8b-ORPO-v0.3 — разговорная языковая модель семейства Llama, опубликованная Kukedlc. Это дообученная версия Meta-Llama-3.1-8B-Instruct с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Модель предназначена для генерации текста в диалогах и ответов на запросы; в README приведены результаты оценки на Open LLM Leaderboard, включая задачи на рассуждение и понимание естественного языка. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Метаданные не содержат сведений о поддерживаемых языках. Лицензия — Apache-2.0. Показатели из таблицы README описывают результаты отдельных бенчмарков и не гарантируют качество для конкретных сценариев.

NeuralsirkrishnaShadow_AlloyingotneoyExperiment26 — объединённая языковая модель семейства Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/AlloyingotneoyExperiment26-7B. Она предназначена для генерации текста и сценариев, где требуется продолжать или создавать текст по запросу. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Весовые файлы представлены в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

Noromaid-7b-v0.1.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и NeverSleep/Noromaid-7b-v0.1.1 методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в формате диалога; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

Notus-TheTop-7b-Slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit методом SLERP из argilla/notus-7b-v1 и MaziyarPanahi/TheTop-5x7B-Instruct-S3-v0.1. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ведение диалога; заявленная длина контекста составляет 32 768 токенов. Модель может использоваться для ответов на вопросы, инструктивного диалога и генерации текста. В карточке указаны формат Safetensors и тип точности bfloat16. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-4M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и работу с очень длинными контекстами; обозначение UltraLong-4M указывает на поддержку контекста до 4 миллионов токенов. В карточке указано, что модель ориентирована на английский язык и относится к текстовой модальности. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF, совместимом с llama.cpp, LM Studio и другими проектами на его основе. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций с размером файлов примерно от 4,3 до 16,1 ГБ. Квантизации выполнены с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса; наиболее качественными названы BF16, Q8_0 и варианты Q6, а Q4 и Q3 подходят для систем с меньшим объёмом оперативной памяти. Основные ограничения связаны с использованием квантизированных вариантов: уменьшение размера может сопровождаться снижением качества по сравнению с исходными весами, а требования к памяти при работе с контекстом в миллионы токенов остаются высокими. Для корректной работы следует использовать рекомендованный шаблон prompt формата Llama 3.1. Лицензия модели — CC-BY-NC-4.0, допускающая использование с некоммерческими ограничениями.

OLMo-2-1124-13B-Instruct-GGUF — квантизированная версия инструкционной языковой модели OLMo-2-1124-13B-Instruct, разработанной Allen Institute for AI и подготовленной в формате GGUF автором bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Она поддерживает английский язык и использует текстовую модальность. Модель содержит 13 миллиардов параметров. В репозитории доступны исходный вариант F16 и различные уровни квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с помощью llama.cpp и imatrix; для запуска следует использовать шаблон промпта с ролями system, user и assistant, указанный в README. Варианты Q6 и Q5 позиционируются как высококачественные, Q4_K_M — как сбалансированный вариант для большинства сценариев, а варианты с меньшим числом бит требуют меньше памяти, но могут заметнее терять качество. Сильной стороной модели является широкий выбор GGUF-квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций и inference на CPU. Ограничения включают поддержку только английского языка, текстовый формат работы и неизбежное снижение качества у более агрессивно квантизированных вариантов. Размер контекста и другие архитектурные характеристики в предоставленных данных не указаны. Модель распространяется под лицензией Apache 2.0.

OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf — это квантизированная GGUF-версия текстовой модели на базе huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated. В README указано, что модель подготовлена DavidAU с использованием наборов данных NEO, Horror и NEOCode для Imatrix-квантизации. Модель ориентирована на генерацию текста, чат, программирование и генерацию кода, рассуждения, решение задач, мозговой штурм, творческие сценарии и работу с общими запросами. Заявлена поддержка английского языка и контекста до 128K токенов. Архитектура описана как Mixture of Experts с 24 экспертами; размер базовой модели — 20B параметров. Доступны варианты квантизации IQ4_NL, Q5_1 и Q8_0, включая варианты с одной, двумя или тремя Imatrix-матрицами. Удаление ограничений и отказов делает модель менее склонной к цензурированным ответам, но автор предупреждает, что из-за abliteration она может быть менее стабильной и «грубоватой»; поведение зависит от варианта квантизации и настроек. README также отмечает, что Q5_1 может быть стабильнее IQ4_NL, тогда как IQ4_NL иногда дает более непредсказуемые и творческие ответы. Модель распространяется по лицензии Apache-2.0. Для работы требуется среда, совместимая с форматом GGUF и соответствующим вариантом квантизации; конкретные аппаратные требования в README не указаны.

OpenHermes-13B — англоязычная модель генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-13b-hf. Она обучалась следовать инструкциям на наборе из примерно 242 тысяч примеров, преимущественно созданных GPT-4 и собранных из открытых датасетов; примеры охватывают общие запросы, ролевые диалоги и программирование. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст до 4096 токенов. Модель предназначена для ответов на инструкции, диалоговой генерации и помощи с задачами на естественном языке и кодом. В опубликованном сравнении OpenHermes немного улучшила результаты Nous-Hermes на GPT4All и BigBench, но показала снижение на AGIEval, поэтому качество зависит от типа задачи. Репозиторий распространяется по лицензии MIT.

Open-Instruct Self-Instruct 13B — языковая модель Allen Institute for AI (AI2), созданная дообучением LLaMA с 12,9 млрд параметров на датасете Self-Instruct. Это causal language model для генерации текста по инструкциям; для лучшего качества вход следует оформлять в специальном формате модели с переводами строк. Модель предназначена для выполнения разнообразных текстовых инструкций, ответов на вопросы, решения задач и генерации кода. Она поддерживает английский язык, имеет контекстное окно 2048 токенов и распространяется в формате PyTorch. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и генерации кода. Это diff дообучения, а не самостоятельный полный набор весов: для использования требуется исходная модель LLaMA в формате Hugging Face. Применяются лицензия модели из LICENSE.txt и исходная лицензия LLaMA; конкретные условия следует сверять с этими файлами.

giraffe176/Open_Maid_Samantha_Hermes_Orca — языковая модель на архитектуре Mistral, созданная объединением предварительно обученных моделей с помощью mergekit и метода SLERP. В объединение вошли cognitivecomputations/samantha-1.1-westlake-7b, NeverSleep/Noromaid-7B-0.4-DPO, OpenHermes-2.5-Mistral-7B и Open-Orca/Mistral-7B-OpenOrca. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста. Максимальная длина контекста — 32 768 токенов. Карточка приводит результаты оценки на Open LLM Leaderboard, включая средний балл 68,81, ARC и HellaSwag. Модель может использоваться для диалога, ответов на вопросы, рассуждений и создания текстов. Языки в доступных сведениях не перечислены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

mychen76/openmixtral-6x7b-v2 — текстовая генеративная модель семейства Mixtral с архитектурой MoE, представленная в формате safetensors. Согласно карточке, это квантизированная версия openmixtral-6x7b-merged_v2, созданной слиянием шести моделей размером 7B. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для ответов на вопросы, рассуждений и продолжения текстовых запросов. В карточке приведены результаты Open LLM Leaderboard, включая оценки AI2 Reasoning Challenge и HellaSwag. Язык модели отдельно не указан. Репозиторий распространяется по лицензии Apache-2.0.

pankajmathur/orca_mini_v4_8b — плотная авторегрессионная языковая модель семейства Llama 3, дообученная разработчиком в стиле Orca Mini на наборах данных Orca. Модель рассчитана на диалоговое использование и генерацию текста; в карточке приведён формат запросов ChatML и указано, что модель задумана как универсальная дообученная модель для дальнейшей настройки и объединения с другими моделями. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В карточке приведены результаты оценки на отдельных бенчмарках, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Llama 3; автор разрешает дальнейшую настройку при условии указания авторства и предоставления атрибуции.

Pangu Pro MoE — языковая модель на архитектуре смеси экспертов PanguProMoE, разработанная Huawei. Репозиторий представляет собой повторно загруженную копию модели. В README описана архитектура MoGE: эксперты разбиты на группы, а выбор экспертов для токенов организован так, чтобы обеспечивать баланс нагрузки между устройствами. Указаны 48 слоёв, словарь из 153 376 токенов, 4 общих эксперта и 64 маршрутизируемых эксперта в 8 группах; README сообщает о 72 млрд общих и 16 млрд активируемых параметров, тогда как метаданные репозитория указывают 18,9 млрд параметров. Модель предназначена для генерации текста и диалогового использования. Метаданные указывают контекст до 131 072 токенов; для инференса в README приведены варианты на Transformers и MindSpore, с упоминанием систем ускорения Huawei Ascend. Карточка заявляет предварительное и последующее обучение на корпусе объёмом 15 трлн единиц данных, но не уточняет языковое покрытие. Модель распространяется по Pangu Model License Agreement; конкретные условия следует сверить с файлом LICENSE репозитория. Сгенерированный текст может содержать ошибки и не должен рассматриваться как профессиональная медицинская, юридическая или иная консультация.

bunsenfeng/parti_5_full — текстовая генеративная модель на архитектуре Qwen2, опубликованная bunsenfeng. Метаданные Hugging Face указывают около 7,1 млрд параметров, контекст до 32 768 токенов и поддержку диалогового режима; модель принимает текст и генерирует текст. Поиск также обнаружил карточку Featherless, описывающую модель как 7,6-миллиардную и заявляющую контекст 131 072 токена, однако это расходится с метаданными Hugging Face, поэтому в характеристиках использованы значения метаданных. Модель подходит для диалогов, генерации текста и работы с длинными текстовыми запросами в пределах указанного контекста. Карточка Featherless относит её к дообученным моделям, но надёжно установить базовую модель и конкретные специализации по доступным сведениям нельзя. Репозиторий содержит веса safetensors; сведения о лицензии, языковом охвате и оценках качества не подтверждены использованными источниками.

PATHFINDER-120STEPS — дообученная модель mt1234 на базе unsloth/qwen2.5-coder-32b-instruct-bnb-4bit. Это плотная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В метаданных заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; её контекстное окно составляет 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Phi-4-reasoning-plus-MLX-4bit — это версия модели Microsoft Phi-4-reasoning-plus, преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая задачи рассуждения, математики, программирования и обработки естественного языка. Модель поддерживает использование через библиотеку mlx-lm и совместима с чатовым шаблоном токенизатора. В названии указано 4-битное представление, однако архитектура, количество параметров, размер контекста и точные характеристики модальностей в README не приведены; по указанным данным модель является текстовой и не предназначена для обработки изображений или других мультимедийных данных. Лицензия — MIT. README не содержит результатов тестирования, поэтому количественно оценить сильные стороны и ограничения модели невозможно; к ограничениям относятся неизвестные параметры производительности и качества, а также заявленная языковая поддержка только английского языка.

MaziyarPanahi/pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Slerp из mistralai/Mistral-7B-Instruct-v0.1 и TokenBender/pic_7B_mistral_Full_v0.2; в конфигурации указан формат bfloat16, а файлы репозитория представлены в safetensors. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Её контекстное окно составляет 32 768 токенов. Карточка не сообщает о специализированной предметной области или отдельных языковых возможностях. Модель распространяется по лицензии Apache-2.0.

Quartz-R1-8B-Genesis-i1-GGUF — квантизированная версия текстовой модели Vaultek/Quartz-R1-8B-Genesis, подготовленная пользователем mradermacher в формате GGUF. Модель ориентирована на генерацию текста, рассуждения, диалоговые сценарии, программирование и задачи, связанные с математикой; в метаданных также указана совместимость с форматами ChatML и направлениями вроде SWE-bench. Заявлена поддержка русского и английского языков. Модель имеет около 8 миллиардов параметров в базовой версии, однако точная архитектура и размер контекстного окна в README не указаны. Репозиторий содержит набор вариантов квантизации i1, включая IQ- и Q-семейства, с размером файлов примерно от 2,1 до 6,7 ГБ; выбор варианта позволяет учитывать компромисс между качеством, скоростью и требованиями к памяти. В качестве обучающих данных перечислены наборы для образовательных текстов, программного кода, математики, диалогов, рассуждений и русскоязычной дистилляции. Сильной стороной модели является широкий выбор квантизаций, благодаря которому её можно запускать на системах с различным объёмом памяти; для баланса скорости, размера и качества автор рекомендует i1-Q4_K_M. Ограничения связаны с потерями качества у низкобитных вариантов, а также с отсутствием в README подробных результатов бенчмарков, сведений о точной архитектуре, контекстном окне и мультимодальных возможностях. Лицензия в предоставленных данных не указана.

Edens-Gate/Qwen1.5B-Instruct-Upscale-3.5B — текстовая диалоговая модель семейства Qwen2, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2-1.5B-Instruct. Репозиторий содержит плотную архитектуру Qwen2ForCausalLM на 3,2 млрд параметров; модель работает через Transformers и принимает текстовые запросы, выдавая текст. Модель предназначена для диалогов и генерации текста по инструкциям. Подходит для ответов на вопросы, составления текстов и помощи с программированием или математическими задачами. Контекстное окно составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0?

DavidAU/Qwen3-24B-A4B-Freedom-Thinking-Abliterated-Heretic-NEO-Imatrix-GGUF — текстовая генеративная модель на базе Qwen3, созданная DavidAU как смесь шести моделей-экспертов размером 4B параметров. В состав входят варианты Jan v1, Apollo, а также дистилляции моделей Claude, Gemini и Polaris. Каждый эксперт был модифицирован методом Heretic для снижения числа отказов и ограничений на генерацию. Модель имеет архитектуру Dense Mixture of Experts: по умолчанию активен один эксперт, но можно задействовать до шести, что соответствует заявленным уровням мощности от 4B до 24B параметров. Заявленный размер контекста — 256K токенов; поддерживается английский язык и формат GGUF с различными квантованиями. Модель предназначена для широкого спектра задач: ответов на вопросы, программирования, математики, обучения, рассуждений, написания художественных текстов, ролевых сценариев, генерации сюжетов и сцен, а также создания контента с выраженной тематикой, включая хоррор, ненормативную лексику и эротические материалы. Это полнофункциональная reasoning-модель, ориентированная на следование подробным инструкциям и формирование компактного, но детального плана рассуждений. По заявлению автора, она может запускаться на GPU и CPU, а увеличение числа активных экспертов повышает вычислительную нагрузку и потенциальную мощность. К сильным сторонам относятся большой контекст, гибкое масштабирование числа активных экспертов, поддержка рассуждений и широкий диапазон сценариев использования. Ограничения включают преимущественно заявленный автором, а не независимо подтверждённый характер характеристик, необходимость более явно задавать желаемый уровень грубости или откровенности и возможные риски, связанные с нецензурированным содержанием. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-VQ-2.4bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist на базе исходной модели Qwen/Qwen3.5-397B-A17B. Модель предназначена для генерации текста, рассуждений, работы с кодом и, при использовании совместимого mlx-vlm, обработки изображений. Она ориентирована прежде всего на запуск на компьютерах Apple Silicon с unified memory, включая одну систему с 128 ГБ памяти. Модель использует формат MLX и квантизацию с эффективностью 2,4 бита на параметр; размер артефакта составляет около 110,8 GiB. По заявлению автора, она проверена с контекстом до 30 031 токена, потребляет около 110,8 GiB резидентной памяти и достигает примерно 19–22 токенов в секунду при декодировании на M4 Max. Для текстового режима требуется mlx-lm с поддержкой model_file, а для изображений — mlx-vlm версии 0.6.16 или новее. В метаданных указан английский язык. Сильные стороны модели — возможность локального запуска очень крупной Qwen-модели на одной 128-ГБ машине, отсутствие необходимости в патчах и сравнительно низкий размер благодаря векторной квантизации. В README приведены измеренные значения perplexity: 2,7655 на указанном корпусе Wikitext и 2,6383 на смешанном корпусе кода. Ограничения включают высокие требования к памяти, зависимость от совместимых версий MLX-инструментов и необходимость выделить почти весь доступный объём памяти; приведённые метрики нельзя напрямую переносить на другие корпуса и сценарии. Модель распространяется по лицензии Apache-2.0.

TheStageAI/Qwen3.5-9B-GGUF — квантизированная версия модели Qwen3.5-9B от Qwen, подготовленная TheStageAI в формате GGUF для запуска через llama.cpp. Модель предназначена для локальной генерации текста, диалоговых сценариев и задач, требующих следования инструкциям; доступны четыре варианта с размером от 3,21 до 9,53 ГБ. Модель поддерживает режимы без рассуждений и с длинными рассуждениями. Вариант XS рекомендуется для режима без рассуждений, а S, M и L — для задач с развёрнутым рассуждением. Рекомендуемый вариант M занимает 5,06 ГБ и, согласно приведённым оценкам, сопоставим с исходной BF16-моделью по IFEval и близок к ней по MMLU-Pro. В репозитории описан производственный PTQ-процесс с распределением точности между слоями и учётом накопления ошибки квантования. Сильные стороны модели — возможность локального запуска, несколько вариантов размера и точности, а также хорошее сохранение результатов исходной модели при существенно меньшем объёме хранения. Ограничения включают потерю точности по сравнению с полной BF16-версией, особенно у наиболее компактного варианта XS, и отсутствие в предоставленных данных сведений о языках, мультимодальности и размере контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-GLM5.1-Distill-v1-i1-GGUF — квантизированная GGUF-версия модели Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1, подготовленная mradermacher для локального запуска через llama.cpp и совместимые инструменты. Модель основана на Qwen3.5 с заявленным размером 9 млрд параметров и обучалась с использованием дистилляции, SFT и LoRA на наборах данных, связанных с reasoning и длинными цепочками рассуждений, включая Qwen3.5-reasoning-700x и GLM-5.1 Reasoning. Модель предназначена для диалоговой генерации текста, рассуждений, математических и STEM-задач, программирования, исследовательских сценариев и многоязычного применения. В карточке заявлена поддержка английского, китайского, японского и испанского языков. README также описывает модель как vision model; для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Точный размер контекстного окна и детальная архитектура не указаны. Основное преимущество — наличие нескольких вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством; среди рекомендуемых указаны i1-Q4_K_M и i1-Q4_K_S. Низкобитные варианты экономят память, но могут заметно снижать качество, а модель и её характеристики обозначены как экспериментальные. Распространение заявлено по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.

Avesed/Qwen3.6-27B-INT8-W8A8 — квантованная версия базовой модели Qwen/Qwen3.6-27B, разработанной командой Qwen и подготовленной Avesed. Это плотная гибридная модель с архитектурой, объединяющей линейное внимание GatedDeltaNet и периодическое полноформатное внимание. Модель имеет vision tower и MTP head, однако в карточке указаны языки English и Chinese, а назначение обозначено как text-generation. Модель предназначена для генерации текста и задач, поддерживаемых базовой Qwen3.6-27B, включая сценарии, где важны рассуждения и работа с длинными последовательностями; точный размер контекста в README не указан. Ключевая особенность — INT8-квантизация по схеме W8A8: веса квантуются в симметричный INT8 по каналам, а активации — динамически по токенам. Большинство MLP-слоёв, полное внимание и выходная проекция GatedDeltaNet квантуются, тогда как чувствительные к качеству компоненты сохраняются в формате bf16. По заявлению автора, INT8 W8A8 обеспечивает почти отсутствие потерь качества и уменьшает требования к памяти по сравнению с полноразмерной моделью. Для запуска рекомендуется vLLM с INT8 W8A8 CUTLASS path и tensor parallelism; указана совместимость с GPU Ampere sm_80 и sm_86. Ограничения включают зависимость от подходящего программного стека и оборудования, а также отсутствие в README точных данных о контексте, производительности и качестве на конкретных наборах задач. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантованная модель, разработанная DavidAU. Она расширена из Qwen3.6 27B до 40 млрд параметров и представляет собой плотную архитектуру без MoE с 96 слоями и 1275 тензорами. Обучение и дообучение выполнялись с использованием Unsloth, наборов данных TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также методов Heretic и NEO-CODE-Di-IMatrix. Модель предназначена для универсального применения: рассуждений, программирования, математики, творческого и художественного письма, генерации сюжетов и сцен, ролевых сценариев и работы с длинными диалогами. Заявлена поддержка контекста до 256K токенов, переменной длины рассуждений и текстовых сценариев на английском и китайском языках. Также заявлена работа с изображениями, но для этого требуется отдельный файл mmproj, размещённый рядом с GGUF-моделью. К сильным сторонам относятся большой контекст, развитые рассуждения, ориентация на код и универсальные задачи, а также оптимизированные NEO-CODE-Di-IMatrix-MAX-квантизации, для которых приведены показатели близости к полной точности BF16. Модель намеренно uncensored и unfiltered, поэтому может генерировать небезопасный или откровенный контент и требует самостоятельного контроля применения. Указанные характеристики производительности основаны на данных автора и приведённых в README тестах; независимая проверка не представлена. В метаданных указана лицензия Apache-2.0. Для запуска необходим совместимый GGUF-движок, а выбор квантизации влияет на требования к памяти и качество работы.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed — квантованная версия Qwen3.8-27B, адаптированная для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена прежде всего для локального программирования, генерации текста и работы с инструментами вроде OpenCode, Claude Code и совместимых с OpenAI или Anthropic API приложений. Разработчик базовой модели — Qwen; данный MLX-пакет подготовлен Youssofal для MTPLX. Модель использует динамическое 4-битное квантование с группами по 32 веса: наиболее чувствительные компоненты частично сохранены в 8- или 16-битном формате, включая MTP-голову. Архитектура сохраняет native multi-token prediction с глубиной MTP 3, что позволяет MTPLX применять спекулятивное декодирование на Apple Silicon. Размер загрузки составляет 20,4 ГБ, пиковое потребление unified memory — около 23,6 ГБ, контекстное окно — 262 144 токена. Указанные в README языки не перечислены, но приведённая проверка включает многоязычный текст. Главное преимущество — высокая скорость локальной генерации при близости к исходной модели: заявлены показатели до 87,6 токена в секунду в отдельных сценариях и около 58,7 токена в секунду на средней задаче программирования на M5 Max. По данным автора, точность согласования с bf16-чекпойнтом составляет 96% top-1, а спекулятивная генерация сохраняет исходное распределение выборки. Ограничения включают зависимость от MTPLX и Apple Silicon, требование не менее 32 ГБ unified memory, а также неизбежные потери качества из-за 4-битного квантования. Модель распространяется по лицензии Apache-2.0.