II.4Отладка, тестирование и качество ПО

unsloth/gemma-3-270m-it-GGUF — GGUF-версия инструкционно дообученной модели google/gemma-3-270m-it, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов и задач рассуждения, а также может использоваться локально на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Это компактная модель семейства Gemma 3 с размером 270M параметров и поддержкой текстовых и, согласно общей карточке Gemma 3, визуальных входных данных при генерации текста. Для вариантов 270M заявлено контекстное окно до 32K токенов на запрос, включая вход и доступный объём вывода. Семейство поддерживает более 140 языков, однако конкретные языки и возможности именно этой версии отдельно не уточнены. Данные обучения имеют отсечку знаний августом 2024 года. К сильным сторонам относятся небольшой размер, возможность локального развёртывания и открытые веса; компактность может быть полезна при ограниченных ресурсах. Ограничения связаны с меньшей ёмкостью модели по сравнению с крупными вариантами Gemma 3, а также с тем, что README не содержит отдельных оценок качества для данной GGUF-квантизации и не уточняет её параметры квантизации. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Gemma 4 12B-it JANG 4M CRACK — мультимодальная инструкционная модель dealignai, основанная на Google Gemma 4 12B-it. Она предназначена для диалогов и задач с текстом, изображениями, аудио и видео; карточка также заявляет поддержку рассуждений и вызова инструментов. Модель имеет 48 слоёв, гибридное скользящее и полное внимание и контекст до 128 тысяч токенов. Разработчик сообщает, что модель прошла абляцию отказов CRACK и смешанную квантизацию JANG: 8-битные веса внимания и 4-битные веса MLP. Версия подготовлена для MLX и Apple Silicon, занимает около 9,6 ГБ. В README приведены результаты собственных оценок на HarmBench и MMLU; они не гарантируют качество на других задачах. Из-за удаления поведения отказа модель может выдавать ответы на потенциально опасные запросы. Разработчик указывает исследовательское применение и авторизованное тестирование безопасности. Лицензия — Gemma; перед использованием следует учитывать её условия.

Gemopus-4-26B-A4B-it-GGUF — мультимодальная instruction-tuned модель, разработанная Jackrong на основе Google Gemma 4 26B Instruction. Это версия с supervised fine-tuning, ориентированная на сохранение исходного стиля рассуждений Gemma 4 и улучшение качества, структуры, ясности и согласованности ответов. Модель распространяется в формате GGUF и предназначена для использования с llama.cpp и совместимыми инструментами. Модель поддерживает сценарии генерации текста и работы с изображениями, включая диалоговые, технические и научно-популярные задачи. В README заявлена поддержка английского, китайского, корейского и японского языков. Среди сильных сторон отмечаются более естественный стиль общения, улучшенная организация длинных ответов, точность профессиональной терминологии и способность объяснять сложные темы понятным языком. Рекомендуемые параметры генерации: temperature=1.0, top_p=0.95 и top_k=64. Размер контекстного окна и точные сведения об архитектуре, включая значение обозначения A4B, в предоставленных данных не указаны. Публичные результаты benchmark также отсутствуют, поэтому фактические преимущества модели над базовой Gemma 4 или другими моделями не подтверждены количественно. README подчёркивает консервативный подход к дообучению без агрессивной дистилляции цепочек рассуждений; модель может иметь ограничения, связанные с отсутствием последующего reinforcement learning и process supervision. Лицензия — Apache License 2.0.

Mungert/gpt-oss-20b-Derestricted-GGUF — это GGUF-версия модифицированной модели gpt-oss-20b, разработанной Arli AI на базе открытой модели OpenAI. Модель предназначена для генерации текста, локального и специализированного использования, задач рассуждения и агентных сценариев, где требуется снизить выраженность стандартных отказов модели. При этом заявленная цель модификации — сохранить качество рассуждений исходной модели. Базовая gpt-oss-20b содержит около 21 млрд параметров, из которых примерно 3,6 млрд активны одновременно, и относится к моделям с архитектурой Mixture of Experts. Модель ориентирована на меньшую задержку и локальный запуск; README также указывает формат GGUF и генерацию с использованием llama.cpp. Для снятия отказов применён метод Norm-Preserving Biprojected Abliteration, который изменяет направляющие компонентов весов с сохранением их исходных норм. Дополнительно в процессе квантования отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но может улучшать точность при низкой разрядности. Сильной стороной модели заявляется сочетание уменьшенного количества отказов, сохранённого качества рассуждений и удобства локального запуска в различных вариантах квантования. Ограничения включают возможные остаточные попытки подавлять отдельные запросы, зависимость качества и размера от выбранного GGUF-варианта, а также отсутствие в представленном README подробных данных о языках, длине контекста, результатах стандартизированных бенчмарков и точных системных требованиях. Лицензия указана как Apache-2.0.

Hermes-3-Llama-3.1-8B-IMat-GGUF — квантизированная версия текстовой генеративной модели NousResearch/Hermes-3-Llama-3.1-8B, подготовленная legraphista в формате GGUF для llama.cpp. В основе лежит модель семейства Llama 3.1 с 8 млрд параметров; исходный тип данных — BF16. Указан английский язык, а назначение модели — генерация текста и диалоговое взаимодействие. Модель предназначена для чат-сценариев, следования инструкциям, ролевого общения, работы с ChatML, генерации структурированных ответов в JSON и function calling. Доступны варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов; часть низкобитных вариантов использует IMatrix для снижения потерь качества при уменьшении размера. Это позволяет запускать модель на более ограниченных по памяти системах, выбирая компромисс между качеством, скоростью и требованиями к ресурсам. В README не указаны размер контекстного окна, мультимодальные возможности, результаты бенчмарков и подробные ограничения качества, поэтому модель следует считать текстовой и ориентированной прежде всего на английский язык. Квантизация может приводить к снижению точности по сравнению с исходной BF16-моделью, особенно в наиболее компактных вариантах. Лицензия указана как Llama 3; условия её применения следует уточнять в лицензии исходной модели.

Theros/L3-ColdBrew-CoT-R1-test — текстовая языковая модель, созданная объединением заранее обученных моделей с помощью mergekit. В слиянии DARE TIES использованы Theros/L3-ColdBrew-CoT и DeepSeek-R1-Distill-Llama-8B с равными весами; в качестве базовой модели указана Theros/L3-ColdBrew-CoT. Архитектура — плотная Llama с классом LlamaForCausalLM, размер — 7,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате. Базовая модель связана с задачами рассуждения, математики и программирования, однако карточка не приводит отдельных оценок качества этой версии. Контекст составляет 8192 токена; доступны веса в формате safetensors, библиотека для работы — Transformers. Модель опубликована 26 января 2025 года. Условия лицензии в предоставленных данных не указаны. Результаты могут зависеть от запроса и сценария использования; карточка не сообщает об оценках качества или специализированных ограничениях.

virtuanista/LFM2.5-8B-A1B-Uncensored-GGUF — это версия языковой модели LFM2.5-8B-A1B от Liquid AI без встроенного поведения, направленного на отказ от ответов. virtuanista выполнил abliteration, квантование и подготовку модели в формате GGUF для локального запуска. Модель предназначена для генерации текста, работы в качестве локального ассистента, следования инструкциям и задач, требующих рассуждений, при этом сохраняет блоки рассуждений <think>...</think>. Модель использует гибридную архитектуру, объединяющую короткие свёрточные блоки shortconv/LIV, внимание GQA и слои MoE, а не классический чистый Transformer. Заявлен контекст до 128K токенов. Доступны квантованные варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 4,6 до 9 ГБ, что позволяет выбирать между требованиями к памяти и качеством. Модель поддерживает запуск через llama.cpp и Ollama; README не указывает поддерживаемые языки. Сильные стороны — локальная и приватная работа, несколько вариантов квантования, высокая заявленная длина контекста и сохранение возможностей базовой модели после модификации. Ограничение версии заключается в отсутствии стандартных защитных барьеров: она отвечает с меньшим количеством фильтров, поэтому требует осторожного применения и не гарантирует безопасность или достоверность результатов. Модель распространяется по LFM Open License v1.0: коммерческое использование разрешено при годовой выручке менее 10 млн долларов, исследовательское и некоммерческое использование не ограничено; при перераспределении необходимо сохранять уведомления об авторских правах и атрибуцию Liquid AI.

RedHatAI/Llama-2-7b-dolphin-open_platypus — плотная языковая модель на архитектуре Llama 2 с 6,6 млрд параметров, дообученная Neural Magic и Cerebras для следования инструкциям. Обучение использовало сочетание наборов данных Platypus, Open Orca и Dolphin. Модель предназначена для генерации текста и выполнения инструкций в сценариях вопросно-ответного взаимодействия и других задачах общего назначения. Она принимает текст и генерирует текст, имеет контекст длиной 4096 токенов и доступна в формате safetensors для запуска через Transformers; для ускоренного инференса с разреженностью README предлагает nm-vllm или deepsparse. В README приведены незаполненные значения результатов бенчмарков, поэтому количественная оценка качества по этой карточке невозможна. Лицензия в предоставленных сведениях не указана.

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

bunnycore/Llama-3.2-3B-RP-DeepThink — объединённая диалоговая языковая модель, созданная с помощью mergekit методом linear merge. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; также в объединение вошли bunnycore/Llama-3.2-3B-All-Mix и prithivMLmods/Codepy-Deepthink-3B. Модель основана на архитектуре LlamaForCausalLM, содержит 3,2 млрд параметров и работает с текстом; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и ответов в диалоге, включая сценарии, где полезны смешанные возможности объединённых моделей. Карточка приводит результаты Open LLM Leaderboard, в том числе IFEval 71,44 и BBH 23,76. Доступна в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

Lumen-8b-05-2025 — языковая модель Noetic Labs, дообученная методом LoRA на базе Qwen3-8B. Она рассчитана на академические и технические запросы, сложное следование инструкциям и диалог. В обучении использованы менее 5 000 примеров из наборов EvolKit-75K и Academic-Chains; версия модели содержит около 7,6 млрд параметров и распространяется в формате safetensors. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 40 960 токенов; в карточке заявлены 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для сложных запросов автор рекомендует режим рассуждений. Это экспериментальный первый выпуск серии Lumen; автор предупреждает, что результаты на бенчмарках могут уступать исходной Qwen3-8B. Лицензия — Apache 2.0.

Sakalti/Magro-7b-v1.1 — объединённая модель для генерации текста и диалогового общения, созданная автором репозитория с помощью mergekit. В основе слияния лежит HuggingFaceH4/zephyr-7b-alpha; также включена Sakalti/magro-7B. Использован метод TIES, итоговые веса указаны в формате bfloat16. Модель построена на архитектуре Mistral с плотной причинно-языковой моделью примерно на 7,1 млрд параметров. Она принимает текстовые запросы и генерирует текстовые ответы; заявленная длина контекста — 32 768 токенов. Подходит для диалоговых приложений и генерации ответов. Лицензия — MIT.

Marcoroni-neural-chat-7B-v2 — объединённая языковая модель на архитектуре MistralForCausalLM, созданная с помощью Slerp и mergekit из AIDC-ai-business/Marcoroni-7B-v3 и Intel/neural-chat-7b-v3-3. Обе исходные модели основаны на mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 32 768 токенов. Она предназначена для тестирования возможностей объединённой модели и задач генерации текста. Репозиторий предоставляет веса в формате safetensors; лицензия — Apache-2.0.

JANGQ-AI/MiniMax-M2.7-JANG_3L — квантованная версия MiniMax M2.7 от Jinho Jang (JANGQ), подготовленная для запуска на компьютерах Mac с Apple Silicon через MLX. Это языковая MoE-модель для диалогов, генерации текста, рассуждений и работы с инструментами. Исходная модель MiniMaxAI/MiniMax-M2.7 содержит 228,7 млрд параметров; в этой сборке применена смешанная точность со средним размером около 3,08 бита и объёмом около 89 ГБ. Внимание и выходной слой сохранены в 8-битной точности, эмбеддинги — в 4-битной, а большая часть экспертных MLP-слоёв сжата до 3 бит; маршрутизатор экспертов хранится в float16. Метаданные каталога указывают 2,9 млрд параметров, поэтому размер модели в них расходится с описанием исходной модели в README. Модель предназначена для локального диалогового использования, сложных рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 196 608 токенов и использует режим рассуждений перед ответом. README приводит результаты MMLU для профиля JANG_3L: 191 из 200 вопросов (95,5%), однако это оценка автора карточки, а результаты сравнения с исходной моделью отдельно не представлены. Для запуска требуются Mac с Apple Silicon и не менее 128 ГБ объединённой памяти; рекомендуется MLX Studio с загрузчиком JANG, поскольку стандартный mlx_lm не поддерживает эту смешанную точность. Автор указывает, что температура должна быть 1,0: жадная генерация и температура 0 могут привести к бесконечным циклам рассуждений. Лицензия MiniMax M2.7 запрещает коммерческое использование без предварительного письменного разрешения MiniMax.

Ministral-3-14B-abliterated-GGUF — GGUF-квантизированные версии модели Ministral-3-14B-abliterated, разработанные jenerallee78 на базе Ministral-3-14B-Instruct-2512 от Mistral AI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для использования в OpenAI-совместимых API-серверах и Ollama. Это мультимодальная модель, принимающая текстовые и графические входные данные. Заявлена поддержка контекста до 256K токенов; язык, указанный в карточке, — английский. Доступны варианты F16 размером около 26 ГБ и Q8_0 размером около 14 ГБ. Для обработки изображений требуется отдельный vision-проектор mmproj-F16 размером около 838 МБ. Версия F16 обеспечивает максимальное качество, а Q8_0 рассчитана на более экономичное использование памяти. Модель подвергнута abliteration — изменению внутренних представлений, направленному на удаление поведения, связанного с отказами в ответах. Это может сделать её более пригодной для исследовательских сценариев, требующих менее выраженных ограничений, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для F16 указано тестирование на NVIDIA RTX PRO 6000 Blackwell с потреблением около 67 ГБ VRAM и скоростью генерации около 20–22 токенов в секунду; показатели Q8_0 обозначены как оценочные или не предоставлены. Лицензия — Apache-2.0; автор также указывает исследовательское и образовательное назначение и ответственность пользователя за соблюдение законодательства и этических норм.

Ministral-3-3B-Instruct-2512 в формате LiteRT-LM — это квантизированная версия текстовой instruct-модели mistralai/Ministral-3-3B-Instruct-2512, подготовленная сообществом для запуска на устройствах через on-device runtime Google LiteRT-LM. Модель предназначена для генерации текста и диалоговых сценариев непосредственно на Android, iOS, macOS и других совместимых edge-устройствах без обязательной передачи данных в облако. Исходная модель разработана Mistral AI, а представленная сборка распространяется в формате .litertlm и относится к quantized-моделям. Это текстовая модель: vision tower Pixtral удалён, поэтому обработка изображений не поддерживается. Используется декодер Ministral с native Mistral-шаблоном чата [INST] … [/INST], прямым форматом ответов без блока рассуждений и остановкой по токену </s>. Размер модели — около 3B параметров; файл занимает примерно 2,3 ГБ, а с учётом runtime и GPU-кэша требуется около 2,7 ГБ или больше оперативной памяти. Веса представлены в формате symmetric int4 blockwise с блоком 32 и OCTAV clipping, вычисления выполняются в integer, размер KV-контекста составляет 4096 токенов. Токенизатор и шаблон запросов включены в bundle. Сильные стороны модели — возможность полностью локального запуска, совместимость с GPU и CPU через LiteRT-LM, отсутствие необходимости в отдельных файлах токенизатора и хорошие показатели на современных мобильных и настольных устройствах. Ограничения включают текстовую специализацию без мультимодальности, ограниченный контекст в 4096 токенов, высокие требования к памяти для GPU и заметно меньшую скорость на слабых устройствах, например Raspberry Pi 5. Лицензия — Apache-2.0.

Mistral-7B-Instruct-demi-merge-v0.3-7B — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из mistralai/Mistral-7B-v0.3 и mistralai/Mistral-7B-Instruct-v0.3. Модель сочетает базовую и инструктивную версии и предназначена для дальнейшего дообучения или объединения, а также для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия Apache-2.0. В метаданных и README не приведены отдельные сведения о языковом охвате и ограничениях качества.

ehristoforu/Mistral-7B-Instruct-v0.3-pruned — это созданная с помощью mergekit модель на архитектуре Mistral, полученная методом passthrough из частей mistralai/Mistral-7B-Instruct-v0.3. В конфигурации объединения сохранены слои 0–20 и 29–31; итоговая модель содержит 5,4 млрд параметров и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. В метаданных указана библиотека Transformers. Сведения о поддерживаемых естественных языках и лицензии в предоставленных источниках отсутствуют. Это производная от инструктивной модели Mistral AI, но в README описано удаление части слоёв, а не обычное дообучение. Поэтому её характеристики качества и совместимость с ожидаемыми шаблонами Mistral следует проверять на конкретных задачах.

Это набор файлов модели Qwen3-8B-bf16 в формате GGUF, подготовленный сообществом mlx-community при поддержке TensorBlock. Репозиторий содержит варианты с разными уровнями квантования и совместим с llama.cpp начиная с коммита b5753; метаданные также указывают библиотеку MLX. Для диалога используется шаблон с сообщениями system, user и assistant. Модель предназначена для генерации текста и диалогов. Её можно применять для ответов на вопросы, написания черновиков и помощи с кодом. Варианты квантования отличаются размером и качеством: README предупреждает о значительной потере качества у самых компактных вариантов Q2_K и Q3_K. Указана лицензия Apache-2.0.

zelk12/MT2-Gen2-gemma-2-9B — слитая модель генерации текста на основе Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT2-Gen2-BGMAMU-gemma-2-9B и zelk12/MT2-Gen2-IMM-gemma-2-9B. Модель разработана автором репозитория zelk12; README указывает, что в объединении использована конфигурация с коэффициентом t=0,25 и типом данных bfloat16. Модель с архитектурой Gemma2ForCausalLM и 9 млрд параметров предназначена для генерации текста и диалогового общения. Её контекст составляет 8192 токена. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH; эти показатели дают ориентир по следованию инструкциям и решению сложных задач, но не гарантируют качество в конкретном сценарии. Метаданные указывают библиотеку Transformers и формат весов safetensors. Сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют, поэтому условия использования и языковую специализацию определить нельзя.

Pinkstack/Phi-4-mini-6b-merge — объединённая языковая модель, созданная на основе microsoft/Phi-4-mini-instruct с использованием слоёв microsoft/Phi-4-mini-reasoning: слои 18–22 взяты из reasoning-модели, остальные — из instruct-модели. По метаданным, модель использует плотную архитектуру семейства Phi-3 с классом Phi3ForCausalLM, содержит 6,3 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Она предназначена для диалогов и генерации текста; в интерфейсе модели также заявлена поддержка вызова инструментов. Карточка предполагает, что увеличенное число слоёв даёт модели потенциал для дообучения, но не приводит результатов оценки качества или подробностей применения. Модель распространяется в формате safetensors по лицензии MIT.

Q3.6-27B-DS-v4-Flash-DA-GGUF — экспериментальная GGUF-версия модели, разработанная prithivMLmods. В её основе — Qwen/Qwen3.6-27B и производная prithivMLmods/Qwen3.6-27B-abliterated-rMAX; модель дополнительно обучалась на дистиллированных рассуждениях DeepSeek V4 Flash с применением анализа и абляции направлений отказа. Заявленная цель — улучшить подробное контекстное рассуждение и следование инструкциям при снижении внутренних механизмов отказа. Модель предназначена для генерации текста, исследовательских и учебных экспериментов, а также сценариев, где важны рассуждение и развёрнутые ответы. В репозитории представлены варианты в форматах BF16, F16 и различных степенях квантования Q2_K–Q8_0; размеры файлов составляют примерно от 10,7 до 53,8 ГБ. В метаданных указан английский язык. Также доступны файлы mmproj, что указывает на заявленную поддержку мультимодального режима, однако подробности о поддерживаемых модальностях, размере контекста и фактических возможностях обработки изображений не приведены. К сильным сторонам относятся фокус на reasoning, контекстно-зависимые ответы и instruction following. Ограничения включают экспериментальный статус, возможное появление артефактов и сниженные механизмы отказа, из-за чего модель может генерировать чувствительный или неограниченный контент. Использование заявлено для исследований и обучения; модель распространяется по лицензии Apache-2.0.

Qwen1.5-1.8B-Chat-GGUF — чатовая версия языковой модели Qwen1.5, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer, дообученная с использованием supervised fine-tuning и direct preference optimization для более качественного взаимодействия с пользователем. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, поддержание беседы и другие задачи text generation. Заявлена поддержка нескольких естественных языков и программного кода; базовая карточка модели указывает английский язык. Модель поддерживает контекст длиной до 32K токенов. Репозиторий содержит GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, рассчитанные на запуск с llama.cpp. Размер 1.8B параметров делает модель относительно компактной и удобной для локального запуска, однако по возможностям и качеству она уступает более крупным моделям семейства. Квантизация снижает требования к ресурсам, но при более низкой точности может ухудшать качество генерации. Модель работает только с текстом; поддержка изображений и других модальностей не указана. Лицензия обозначена как Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

unsloth/Qwen2.5-0.5B-Instruct-unsloth-bnb-4bit — компактная 4-битная версия модели Qwen2.5-0.5B-Instruct, подготовленная Unsloth на базе семейства Qwen, разработанного командой Qwen. Модель предназначена для задач генерации и обработки текста, включая диалоговые приложения, следование инструкциям, работу со структурированными данными, генерацию JSON, базовое программирование и математические запросы. Модель относится к классу авторегрессионных языковых моделей и содержит около 0,49 млрд параметров, из которых около 0,36 млрд не являются параметрами эмбеддингов. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и Grouped Query Attention с 14 головами для Q и 2 для KV. Заявлена поддержка контекста до 32 768 токенов. Семейство Qwen2.5 поддерживает более 29 языков, включая английский, китайский, русский и другие, однако для данной конкретной версии в метаданных явно указан английский язык. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному квантованию Unsloth, при этом заявлено выборочное квантование Dynamic 4-bit для лучшего сохранения точности по сравнению со стандартными 4-битными форматами. Ограничениями являются небольшой размер модели и, как следствие, более ограниченные возможности по сравнению с крупными моделями; README также не содержит подробных результатов бенчмарков именно для этой версии. Лицензия — Apache-2.0.

unsloth/Qwen2.5-3B — версия базовой языковой модели Qwen2.5, опубликованная Unsloth и предназначенная для генерации текста и дальнейшей адаптации. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров; репозиторий содержит веса Safetensors для Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и многоязычную работу, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Базовая Qwen2.5 рассчитана на продолжение текста и может служить основой для дообучения под код, математику, структурированные данные и другие задачи. В README отдельно отмечено, что базовую модель не рекомендуют использовать для диалогов без последующего обучения, например SFT или RLHF. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и лицензией базовой модели.

Это квантизированная модель для генерации текста brunopio/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-Q4_K_M-GGUF, созданная на основе tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap. Модель преобразована в формат GGUF с помощью llama.cpp и проекта GGUF-my-repo. В названии и тегах указаны архитектура Qwen3.5 MoE с 14 млрд параметров и 3 млрд активных параметров, а также специализация на reasoning-задачах и дистилляции рассуждений. Разработчик базовой модели и автор исходной дистрибуции — tvall43; текущую конверсию опубликовал brunopio. Модель предназначена для текстовой генерации и запуска через llama.cpp, включая локальный CLI-интерфейс и серверный режим. Она может использоваться для диалогов, решения задач, требующих рассуждений, и других сценариев генерации текста. В карточке заявлены языки китайский, английский и корейский. Также указана подготовка на наборах данных nohurry/Opus-4.6-Reasoning-3000x-filtered и Jackrong/Qwen3.5-reasoning-700x. Ключевое преимущество модели — компактный GGUF-представитель с квантизацией Q4_K_M, удобный для локального инференса средствами llama.cpp. Ограничения заключаются в отсутствии в карточке подробных результатов тестирования, точного максимального размера контекста и характеристик производительности. В примере запуска используется контекст 2048 токенов, но это не подтверждает максимальный размер контекста модели. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled — текстовая генеративная модель, разработанная Jackrong на базе плотной архитектуры Qwen3.5-4B. Модель дообучена методом supervised fine-tuning с применением LoRA и библиотеки Unsloth; в качестве обучающих материалов использовались дистиллированные данные рассуждений, главным образом на основе взаимодействий с Claude-4.6 Opus, а также наборы nohurry/Opus-4.6-Reasoning-3000x-filtered и Jackrong/Qwen3.5-reasoning-700x. Модель предназначена для генерации ответов с последовательным структурированным рассуждением, решения сложных задач, планирования, следования инструкциям, а также задач в областях науки и математики. Обучение ориентировано на формат с рассуждением внутри тегов <think> и последующим итоговым ответом; заявленная цель — повысить структурированность и сократить избыточные повторения при сохранении аналитичности. Поддерживаются текстовые запросы; в карточке указаны языки English, Chinese и Korean. Размер модели составляет около 4 миллиардов параметров. Размер контекстного окна и точные показатели качества не указаны. Сильными сторонами заявлены компактный размер, структурированное пошаговое рассуждение и возможность локального запуска и воспроизведения процесса дообучения. Ограничения включают отсутствие в карточке независимых бенчмарков, подробных характеристик производительности и информации о контекстном окне; заявленные преимущества не следует считать подтверждёнными сравнительным тестированием. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-RFA_S — это смешанная малобитная квантованная версия модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Базовую модель разработал DavidAU совместно с Nightmedia, TeichAI, armand0e и trohrbaugh; репозиторий квантования поддерживает tcclaviger. Модель основана на Qwen3.6 с 27 млрд параметров и предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевого взаимодействия. В карточке заявлена поддержка английского и китайского языков, а также текстово-графического сценария, однако размер контекста не указан. Версия RFA_S использует смешанную точность: основные dense MLP-слои, часть attention-блоков и MTP-блок квантованы в RFA 4-bit, линейное и gated-delta attention — в RFI int8 W8A8, а отдельные компоненты, включая vision tower, embeddings и lm_head, сохранены в bf16. Всего квантовано 405 модулей, общий размер составляет около 22,97 ГБ. Такой подход уменьшает требования к памяти по сравнению с менее агрессивной сборкой, сохраняя часть компонентов в более высокой точности. Ключевые ограничения связаны с совместимостью: требуется специальный образ tcclaviger/vllm:dev или более новый runtime с поддержкой RFA/RFI и оборудования RDNA 4 (gfx12xx); работа на другом оборудовании не подтверждена. Это не самостоятельная дообученная архитектура, а численно изменённая квантованная сборка родительской модели. Лицензия указана как Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели, разработанной на базе lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled и подготовленной mradermacher. Модель основана на архитектуре Mixture-of-Experts, имеет 35 млрд параметров с архитектурой, в которой активируется около 3 млрд параметров, и предназначена для генерации текста и задач, требующих рассуждений. Обучение выполнено методом distillation на наборе reasoning-distill-opus-4-7-max-sft; среди заявленных технологий также указаны LoRA и Unsloth. Модель ориентирована на англоязычные сценарии, включая диалоговую генерацию, решение задач с рассуждениями и другие приложения text-generation. README также обозначает её как vision model, однако подробности о поддерживаемых визуальных входах, мультимодальных возможностях, размере контекста и языках, кроме английского, не приведены. Для запуска доступны варианты GGUF-квантизации i1 с разными уровнями сжатия и размерами файлов; более компактные варианты требуют меньших ресурсов, но могут заметно уступать по качеству, тогда как IQ-квантизации в README часто рекомендуются по сравнению с аналогичными стандартными вариантами. Основные ограничения — неполные сведения о точных характеристиках, контекстном окне, требованиях к оборудованию и результатах оценки качества, а также потенциальная потеря качества при низких уровнях квантизации. Указана лицензия Apache-2.0.

Qwen3.8-27B-thinkingcap-abliterated-GGUF — GGUF-квантизированная версия модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated, подготовленная и опубликованная mradermacher. Модель дообучалась на датасете hotdogs/thinkingcap-sft-qwen38-27b и ориентирована на генерацию текста, рассуждения и эффективное использование токенов. В метаданных указан английский язык. Размер базовой модели — 27B параметров. Доступны варианты квантизации GGUF от Q2_K до Q8_0, включая IQ4_XS и несколько вариантов K-квантизации; размеры файлов составляют примерно от 11 до 29,1 ГБ. Для вариантов Q4_K_S и Q4_K_M заявлены высокая скорость и рекомендованный статус, а Q8_0 описан как вариант с лучшим качеством. Также предоставлены файлы mmproj для мультимодального дополнения, однако конкретные поддерживаемые типы входных данных и размер контекстного окна в README не указаны. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска в средах, совместимых с GGUF, и специализация исходной модели на reasoning и token-efficient подходах. Качество и требования к памяти зависят от выбранного варианта: более компактные квантизации экономичнее, но могут снижать качество, тогда как Q6_K и Q8_0 требуют больше ресурсов. Модель помечена как abliterated, но последствия этого для поведения и безопасности в README не раскрыты. Лицензия — Apache-2.0.