II.2Создание и понимание программного кода

Это сборка Mistral 7B Instruct v0.2 от Mistral AI, подготовленная Mozilla AI в формате llamafile. В её основе — плотная диалоговая модель Mistral, дообученная для генерации текста по инструкциям; базовая версия содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий включает варианты квантования разной разрядности, в том числе с заметной потерей качества на самых компактных настройках. Модель подходит для локального чат-общения, ответов на вопросы и выполнения текстовых инструкций через llama.cpp и совместимые интерфейсы. Формат llamafile упрощает запуск на обычных системах с ARM64 и AMD64; конкретные требования к памяти и качество зависят от выбранного файла. Модель не имеет встроенных механизмов модерации. Лицензия — Apache-2.0.

wang7776/Mistral-7B-Instruct-v0.2-sparsity-30-v0.1 — разреженная версия чат-модели Mistral-7B-Instruct-v0.2, созданная методом Wanda с целевой разреженностью 30%. В карточке сказано, что pruning выполнен без дообучения и изменения весов. Модель основана на Mistral-7B-Instruct-v0.2; её архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention. Репозиторий содержит веса Safetensors; в метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов по инструкциям, подаваемым в формате Mistral с маркерами [INST] и [/INST]. Она принимает текст и генерирует текст. Карточка не задаёт основной язык модели. Лицензия — Apache-2.0. По заявлению карточки, разреживание сохраняет конкурентоспособное качество, но конкретные результаты оценки не приведены. У модели нет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации.

Mistral-7B-Instruct-v0.3-GGUF — набор квантизированных GGUF-версий модели Mistral-7B-Instruct-v0.3 от Mistral AI, подготовленный и опубликованный bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от IQ1 и IQ2 до Q8_0, различающиеся размером файла, требованиями к памяти и качеством генерации. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях на базе llama.cpp и совместимых инструментов. Модель подходит для диалоговых сценариев, ответов на запросы и других задач текстовой генерации. Для работы используется формат запроса <s>[INST] {prompt} [/INST]</s>; системные сообщения не поддерживаются. В README не указаны контекстное окно, поддерживаемые языки и точная архитектура базовой модели, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие позволяют снизить потребление памяти, но сопровождаются заметным ухудшением качества. Распространение указано под лицензией Apache-2.0.

Mistral-7B-Instruct-v0.3-GGUF — набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.3, разработанной компанией Mistral AI (mistralai) и подготовленной к квантованию MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. GGUF удобен для работы с различными уровнями квантования и локального вывода с использованием CPU или GPU. В основе лежит инструкционно настроенная языковая модель семейства Mistral с заявленным размером 7B параметров. Доступны варианты квантования от 2 до 8 бит, а также поддержка экосистемы Transformers и инструментов, совместимых с GGUF. README не содержит достоверных сведений о длине контекста, списке поддерживаемых языков, конкретной архитектуре или мультимодальности; по представленным данным модель является текстовой и не предназначена для обработки изображений или других модальностей. К сильным сторонам относятся возможность выбирать баланс между качеством и требованиями к памяти, а также широкий выбор локальных средств запуска: llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые инструменты. Ограничения зависят от выбранного уровня квантования, аппаратной конфигурации и используемого клиента; README не приводит результаты бенчмарков или детальную оценку качества. Указанная лицензия — Apache 2.0.

Mistral-7B-Instruct-v0.3-GGUF — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной mistralai и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для диалогового взаимодействия и запуска локальных сервисов генерации текста, включая сценарии с использованием инструментов через LlamaEdge. Модель имеет размер 7B параметров и поддерживает контекст до 32 000 токенов. В репозитории представлены варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 2,72 до 14,5 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество. Сведения о модальностях и поддерживаемых языках в README не указаны. Модель подходит для локального чата, генерации текста и интеграции в приложения через LlamaEdge с шаблонами Mistral Instruct и Mistral Tool. К ограничениям относятся компромиссы между размером файла и качеством, характерные для квантизированных версий, а также отсутствие в предоставленных данных результатов тестирования и подробностей об аппаратных требованиях. Распространяется по лицензии Apache-2.0.

TheBloke/Mistral-7B-v0.1-GGUF — это набор квантованных файлов в формате GGUF для предварительно обученной языковой модели Mistral 7B v0.1, разработанной Mistral AI. Репозиторий подготовлен TheBloke и предназначен для генерации текста и локального запуска модели через llama.cpp и совместимые интерфейсы и библиотеки. Модель относится к архитектуре Mistral и содержит около 7 миллиардов параметров. Доступны варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные варианты, что позволяет выбирать компромисс между размером, скоростью и качеством. Поддерживается текстовый ввод и вывод; шаблон промпта не задан, поэтому используется непосредственная передача текста. Максимальная поддерживаемая длина последовательности для GGUF-версии указана как 4096 токенов или меньше. Сильные стороны модели — возможность запуска на CPU и GPU, широкий выбор уровней квантования и совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другими инструментами. Ограничения включают отсутствие поддержки последовательностей длиннее 4096 токенов в данном формате и потенциальное снижение качества в более агрессивно квантованных вариантах. Языки, на которых модель обучалась, и специализированные сценарии её применения в README не указаны. Модель распространяется по лицензии Apache 2.0.

osanseviero/mistral-instruct-frankenmerge — объединённая диалоговая языковая модель, созданная из Mistral-7B-Instruct-v0.2 и Mistral-7B-Instruct-v0.1 с помощью mergekit и метода passthrough. Это плотная авторегрессионная модель семейства Mistral с 8,9 млрд параметров, рассчитанная на генерацию текста и выполнение инструкций; поддерживает контекст до 32 768 токенов и диалоговый режим. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по инструкциям. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит сравнительных оценок качества или специальных ограничений применения.

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

ModernBERT-large — англоязычная модель Answer.AI, LightOn и их коллег, представляющая собой двунаправленный трансформерный энкодер в стиле BERT. Она содержит около 395 млн параметров и принимает последовательности длиной до 8 192 токенов. В архитектуре используются Rotary Position Embeddings, чередование локального и глобального внимания, а также оптимизации для эффективной обработки длинных входов. Модель предварительно обучена на 2 трлн токенов английского текста и кода. Её основная задача — предсказание замаскированных токенов; как энкодер она также подходит в качестве основы для классификации, поиска информации и семантического поиска по текстовым и кодовым корпусам. Для запуска доступны форматы PyTorch, Safetensors и ONNX через библиотеку Transformers. Модель особенно полезна для длинных документов и поиска по коду, но карточка Hugging Face классифицирует её как fill-mask, а не как готовую модель эмбеддингов или классификатор. Качество может быть ниже для языков помимо английского и кода; обработка всего контекстного окна может быть медленнее коротких входов, а представления могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

Moonlight-16B-A3B — предобученная языковая модель Moonshot AI для генерации текста и диалогового общения. Она построена на архитектуре Mixture-of-Experts: содержит около 16 млрд параметров, из которых при генерации активируется около 3 млрд. В метаданных указаны 2,7 млрд параметров; README приводит округлённые значения 16B и 3B для общей и активируемой частей модели. Модель обучена на 5,7 трлн токенов с оптимизатором Muon и рассчитана на контекст до 8K токенов. Её можно использовать для диалоговых приложений, генерации и продолжения текста. Авторы сообщают о сравнительных результатах на бенчмарках и публикуют исследовательские чекпойнты; заявленные преимущества обучения относятся к их экспериментам и не гарантируют превосходства на любой прикладной задаче. Модель распространяется под лицензией MIT. Для работы авторы рекомендуют Python 3.10, PyTorch 2.1 или новее и Transformers 4.48.2.

MaziyarPanahi/NeuralHermes-2.5-Mistral-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и обучена работать с форматом диалогов ChatML. Карточка указывает английский язык и возможности чата и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Как и другие модели этого размера, качество её ответов может зависеть от формулировки запроса; README не приводит результатов сравнительных оценок.

Это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1_5, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к классу крупных текстовых моделей примерно на 49 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; размеры файлов составляют примерно от 26,87 до 99,74 ГБ. Для работы используется специальный prompt format семейства Llama 3. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в совместимых инструментах. Ограничения связаны с большим размером модели и высокими требованиями к памяти, особенно для BF16 и качественных вариантов. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и лицензия исходной модели.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

Opti-27B — сжатая мультимодальная версия Qwen3.8-27B с 27 млрд параметров. Модель поддерживает работу с текстом и изображениями: визуальный ввод обрабатывается через отдельный vision projector размером около 0,9 ГБ. В README разработчик Opti-27B явно не указан; базовой моделью названа Qwen/Qwen3.8-27B. Формат GGUF рассчитан на использование через llama.cpp и запуск на одной потребительской GPU с 16 ГБ памяти, включая место для контекста. Основное назначение модели — текстовая генерация, программирование, автономные агентные сценарии и задачи с анализом изображений. Файл модели занимает около 11,8 ГБ и использует в среднем 3,47 бита на параметр, что примерно в 4,6 раза меньше исходной 16-битной версии. На тесте wikitext-2 заявлена близкая к оригиналу perplexity: 6,487 против 6,456 у 16-битной модели; по этому показателю Opti также сопоставима с llama.cpp Q4_K_M при меньшем размере. Главное преимущество — сочетание компактности, поддержки vision и сохранения средней языковой способности при запуске на 16-ГБ GPU. Однако качество сжатия зависит от типа данных: на веб-тексте отклонение от 16-битной версии составляет около 4,2%, на исходном коде — 21,8%, а на тексте романа — 58,9%. Распределение вероятностей токенов также заметно отличается от оригинала, поэтому модель может хуже воспроизводить запомненные фрагменты и точный код; для таких задач в README рекомендуется Q4_K_M. Модель распространяется по лицензии opti-model-license, обозначенной как other; подробные условия находятся в файле LICENSE.

OpenVINO/Phi-3-mini-4k-instruct-int4-ov — это квантизированная версия Phi-3-mini-4k-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Это инструкционно настроенная языковая модель для генерации текста и диалоговых сценариев; поддерживается инференс через Optimum Intel и OpenVINO GenAI. Ключевые характеристики включают асимметричное INT4-сжатие весов с размером группы 64 и коэффициентом сжатия 1. В названии указано окно контекста 4k. Модель предназначена для запуска в экосистеме OpenVINO, в том числе на CPU, и совместима с OpenVINO версии 2024.4.0 и выше, а также Optimum Intel 1.23.1 и выше. Формат OpenVINO IR и INT4-квантизация могут снизить требования к памяти и упростить развёртывание, однако квантизация способна влиять на качество генерации по сравнению с исходной моделью. Языки, точный размер модели, результаты бенчмарков и подробные ограничения в карточке не указаны; для ограничений рекомендуется обращаться к карточке исходной Phi-3-mini-4k-instruct. Модель распространяется по лицензии MIT.

duyntnet/Phi-4-mini-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений и сценариев с вызовом инструментов. Она ориентирована на локальный запуск через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. Модель является лёгкой и поддерживает контекст длиной до 128K токенов. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по рассуждениям данные; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Указан английский язык, модальность — текстовая. Размер модели, конкретные параметры квантизации и архитектурные детали в README не приведены. Для запуска требуется llama.cpp версии b4792 или новее либо совместимое программное обеспечение. Квантизация может снизить требования к ресурсам, но потенциально уступать исходной модели в точности; конкретные компромиссы зависят от варианта GGUF и не описаны. Лицензия указана как other, без дополнительных условий в представленном README.

bartowski/Qwen1.5-7B-Chat-GGUF — это набор квантизированных GGUF-версий диалоговой модели Qwen1.5-7B-Chat, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp, релиз b2440. Модель предназначена для генерации текста и чат-сценариев, включая локальный запуск через совместимое программное обеспечение на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 8,21 до 3,10 ГБ. Q6_K отмечен как рекомендуемый вариант с качеством, близким к исходному; Q5_K_M и Q5_K_S предлагают высокое качество при меньшем размере, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. В метаданных указан английский язык; сведения о других языках, модальностях и размере контекста отсутствуют. Лицензия обозначена как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

Карточка модели xuanguan5525/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Для общения применяется специальный шаблон prompt с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix в llama.cpp; варианты отличаются размером файла, требованиями к памяти и ожидаемым качеством. README указывает английский язык, однако сведения о полном наборе поддерживаемых языков, архитектуре и длине контекста не приведены. Сильной стороной являются разнообразные варианты квантизации, позволяющие выбирать между качеством и требованиями к ресурсам; версии Q6, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описана как подходящий вариант стандартного размера. Более компактные варианты экономят память, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

Qwen2-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Qwen2-7B-Instruct, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, чат-интерфейсах и других системах, поддерживающих формат GGUF и llama.cpp. В набор входят варианты с разной точностью и размером — от Q8_0 (8,09 ГБ) до IQ2_XS (2,46 ГБ). Более крупные квантизации обеспечивают более высокое качество, а компактные позволяют запускать модель при ограниченных ресурсах, но могут заметно снижать качество ответов. Исходная модель имеет около 7 миллиардов параметров; в README указана поддержка английского языка, текстовая модальность и формат text-generation. Размер контекста и точная архитектура в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к RAM или VRAM; рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Ограничения включают снижение качества у низкобитных вариантов и проблему с CUDA offloading без включённого flash attention. Для работы следует использовать указанный chat-шаблон с токенами im_start и im_end. Модель распространяется по лицензии Apache-2.0.

duyntnet/Qwen3-0.6B-imatrix-GGUF — набор imatrix-квантизаций модели Qwen3-0.6B в формате GGUF, опубликованный пользователем duyntnet на Hugging Face. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, решения задач, написания кода и локального запуска через совместимые приложения и inference-клиенты, включая llama.cpp, KoboldCPP, Ollama, LM Studio и GPT4All. Базовая модель содержит около 0,6 млрд параметров, из которых 0,44 млрд приходятся на параметры без эмбеддингов. Она имеет 28 слоёв, Grouped-Query Attention с 16 головами запросов и 8 головами ключей и значений, а также контекст длиной до 32 768 токенов. Qwen3 поддерживает переключение между режимами с рассуждением и без него, предназначенными соответственно для сложных логических, математических и программных задач либо для более быстрой генерации и обычного диалога. Семейство заявляет поддержку более 100 языков и диалектов, включая многоязычные инструкции и перевод. К сильным сторонам относятся малый размер, возможность локального использования в GGUF-совместимой инфраструктуре, поддержка рассуждений и широкий спектр текстовых сценариев. Ограничениями являются отсутствие мультимодальности в заявленных характеристиках, небольшой по современным меркам объём модели и потенциальная зависимость качества и скорости от выбранного уровня квантизации; конкретные варианты квантизации в README не перечислены. В карточке указана лицензия «other», но её точные условия не приведены, поэтому перед использованием необходимо проверить лицензионные условия исходной Qwen3-0.6B и опубликованных файлов.

Qwen3-0.6B-MLX-4bit — компактная 4-битная версия причинной языковой модели Qwen3, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, решения математических и логических задач, написания кода и сценариев с использованием внешних инструментов. Вариант MLX ориентирован на запуск через библиотеку mlx_lm. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding-слои. Архитектура включает 28 слоёв и Grouped Query Attention с 16 головами запросов и 8 головами ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель позволяет переключаться между режимом рассуждений, генерирующим содержимое в блоке <think>, и более быстрым нерешающим режимом для повседневного диалога. К сильным сторонам относятся небольшой размер, 4-битное представление, поддержка многоязычных задач, следования инструкциям и двух режимов работы. Ограничением является существенно меньший масштаб по сравнению с крупными моделями Qwen3, поэтому для сложных задач качество может быть ниже; в README также не приведены конкретные результаты тестов и требования к оборудованию. Для режима рассуждений рекомендуются вероятностные параметры генерации, а жадное декодирование не рекомендуется из-за возможного ухудшения качества и повторов. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в репозитории Unsloth. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для локального запуска, прототипирования, исследовательских и разработческих задач, а также предметно-ориентированного дообучения. Модель может применяться для работы с текстом и изображениями, рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативное контекстное окно до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers, а Unsloth также заявляет возможность локального дообучения. К сильным сторонам относятся мультимодальность, большое контекстное окно, компактный размер и заявленная высокая эффективность инференса, что делает модель подходящей для локального использования и экспериментов при ограниченных ресурсах. Ограничением является небольшой масштаб в 0,8 млрд параметров: модель прежде всего ориентирована на прототипирование, специализированное дообучение и исследования, поэтому её возможности могут уступать более крупным моделям в сложных универсальных задачах. Лицензия — Apache 2.0.

Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-MAX-NEOCODE-Imatrix-GGUF — GGUF-квантизированная доработанная версия плотной модели Qwen3.5-9B, разработанная DavidAU. Модель дообучена с использованием Unsloth на наборах данных Claude-4.6-OS и дополнена матрицами DI-MATRIX на основе наборов NEO и NEO-CODE, улучшениями тензоров Unsloth и пользовательским шаблоном Jinja для стабилизации работы и снижения избыточного «обдумывания». Лицензия — Apache-2.0. Модель предназначена для широкого спектра текстовых задач, включая рассуждения, генерацию и продолжение художественных текстов, создание сюжетов и подсюжетов, ролевые сценарии, диалоги и работу с различными жанрами. Заявлена поддержка английского и китайского языков. Модель позиционируется как uncensored и heretic-вариант с существенно сниженным числом отказов; при этом для получения особенно грубого или откровенного стиля иногда требуются дополнительные указания в запросе. Контекст по умолчанию заявлен до 256K токенов. Поддержка изображений протестирована и заявлена как рабочая, но для неё требуется отдельный файл mmproj, размещённый вместе с GGUF; видеовозможности не тестировались. В README приведены результаты тестов на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где версия показывает более высокие значения, чем указанная базовая версия Qwen3.5-9B в режиме thinking, однако результаты зависят от квантизации и настроек запуска. Для работы рекомендуется использовать совместимый рантайм GGUF; автор также указывает специальные параметры сглаживания и рекомендуемые варианты квантизации, поэтому итоговое качество и поведение зависят от программного окружения.

Qwen3.8-19B-Pruned-GGUF — набор официальных GGUF-квантований модели ewinregirgojr/Qwen3.8-19B-Pruned, опубликованный и квантованный ewinregirgojr. Модель предназначена для локальной генерации текста, диалоговых сценариев, задач рассуждения и function calling на потребительском оборудовании. Поддерживаются Ollama, LM Studio, Jan, llama.cpp, Unsloth, LocalAI и Open WebUI. Модель основана на архитектуре Qwen3.8 и использует 30% структурированной разреженности SparseGPT; заявлено около 18,9 млрд активных ненулевых параметров при сохранении 866 текстовых слоёв. Доступны варианты Q4_0, Q6_K и Q8_0 размером 17,79, 23,20 и 29,30 ГБ соответственно. Максимальная длина контекста заявлена до 262 144 токенов. Указаны английский и китайский языки, текстовая модальность и формат GGUF для локального инференса. В README приведены результаты MMLU 81,5% и GSM8K 86,9%, однако методика и воспроизводимость этих показателей требуют самостоятельной проверки. Сильные стороны — уменьшенный объём весов, возможность запуска на распространённых GPU и оптимизация для локального использования; для Q4_0 заявлена совместимость с видеокартами от 24 ГБ памяти, тогда как более точные варианты требуют больше RAM или VRAM. Ограничения связаны с компромиссом между размером, точностью и требованиями к оборудованию, а также с тем, что разреженность не обязательно ускоряется всеми программными стеками. Модель распространяется по лицензии Apache-2.0.

Distillio/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска задач генерации и анализа текста, а также обработки изображений при использовании совместимого файла mmproj. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и квантизацию imatrix. Доступны варианты от BF16 и Q8_0 до более компактных Q2_K и IQ3/IQ4, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым компромиссом README называет Q4_K_M размером около 17,77 ГБ; более высокое качество обеспечивают Q5 и Q6, а варианты Q2–Q3 рассчитаны на ограниченный объём оперативной памяти, но заметно уступают по качеству. Для запуска требуется совместимое программное обеспечение, в частности llama.cpp; для работы с изображениями необходим mmproj-файл. README не указывает поддерживаемые языки и размер контекста, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q6_K-GGUF — это неизменённая ванильная квантизованная версия модели Qwen3.8-27B, опубликованная Chungulus на основе исходных весов Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, обработки изображений и видео, вызова инструментов и задач reasoning; заявлена совместимость с нативным форматом tool calling Qwen и управлением режимами мышления через enable_thinking, reasoning_effort и preserve_thinking. Модель поставляется в формате GGUF с квантизацией Q6_K на базе llama.cpp. Основной файл занимает около 22,431 ГБ, vision projector в формате F16 — отдельный файл, а полный репозиторий — около 23,371 ГБ. Сохранена гибридная архитектура Hybrid Gated DeltaNet/full-attention, vision-компоненты, tokenizer и MTP-метаданные; спекулятивное ускорение не заявляется. Архитектурный максимальный контекст и полноценные бенчмарки в README не указаны, а самая длинная проверенная последовательность составляла 73 токена. Текстовая генерация, вызов инструментов, обработка изображений и видео, а также шаблон чата прошли заявленные локальные проверки. Квантизация может снижать качество по сравнению с исходными весами, особенно при меньшей разрядности, а для запуска требуется среда с поддержкой графа Qwen3.8, vision tower/projector и MTP-метаданных. Рекомендуется иметь не менее примерно 27 ГБ доступной памяти с учётом модели, vision projector и базовых накладных расходов; KV-cache дополнительно увеличивается с размером контекста. Модель и данная квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель на базе Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Она предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также задач с длинным контекстом. Aggressive-профиль ориентирован на прямые ответы без выраженного поведения отказа и с минимальным вступлением в сложных запросах. Модель представляет собой плотную языковую модель на 27 млрд параметров с vision encoder: 64 слоями, скрытым размером 5120, размером FFN 17408, словарём на 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. В текстовых GGUF сохранён встроенный MTP/NextN, а отдельный профиль HauhauCS FastMTP 32K предназначен для ускорения генерации; для обработки изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются мультимодальность, большой контекст, широкий набор квантованных вариантов и потенциальное ускорение за счёт MTP. Ограничения включают необходимость значительных аппаратных ресурсов для моделей размером до 31,46 ГБ, зависимость мультимодального ввода от отдельного проектора и возможное снижение надёжности в критически важных длинноконтекстных агентских сценариях из-за Aggressive-профиля. Модель распространяется по лицензии Apache-2.0.