II.2Создание и понимание программного кода

bartowski/gemma-1.1-7b-it-GGUF — это набор GGUF-квантизованных версий языковой модели Gemma 1.1 7B IT, разработанной Google и подготовленной для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и выполнение инструкций в текстовом формате. Модель содержит около 7 миллиардов параметров и является текстовой, без заявленной поддержки изображений или других модальностей. Доступны варианты квантизации от Q8_0 до Q2_K с размером файлов примерно от 3,48 до 9,07 ГБ. Более качественные варианты требуют больше памяти; в README рекомендован Q6_K, а низкоразрядные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Сведения о размере контекста и поддерживаемых языках не указаны. Преимущество этого набора — возможность локального запуска в формате GGUF с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения связаны с потерями качества при агрессивной квантизации, а также с тем, что README не содержит подробных оценок, перечня языков и характеристик производительности. Использование регулируется лицензией Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

Это квантизированная GGUF-версия текстовой генеративной модели gemma-2-27b-it-SimPO-37K, созданная пользователем bartowski на основе AALF/gemma-2-27b-it-SimPO-37K. Квантизация выполнена с помощью llama.cpp b3615 и метода imatrix; модель предназначена для запуска локально, в том числе через LM Studio. Модель относится к семейству Gemma 2 и имеет размер 27B параметров. Она работает с текстом и предназначена для генерации ответов в диалоговом формате с использованием специального шаблона prompt format Gemma. В README не указаны поддерживаемые языки, размер контекстного окна и точные сведения об архитектуре или исходном обучении, поэтому эти характеристики нельзя надежно определить. Доступно множество вариантов квантизации от F16 до Q2_K и IQ2_M, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q6_K и Q6_K_L описаны как близкие к исходному качеству, а Q4_K_M — как компромиссный вариант. Более сильная квантизация экономит память, но снижает качество; самые компактные варианты характеризуются как низкокачественные. Модель распространяется по лицензии Gemma.

Gemma-4-31B-CoreAI — конвертация модели Google Gemma 4 31B, выполненная сообществом пользователем mlboydaisuke для запуска в формате .aimodel на Apple Core AI. Модель предназначена для локальной генерации текста, диалогов, суммаризации и других задач, поддерживаемых текстовыми языковыми моделями, полностью на устройстве без обязательной передачи данных в облако. Она ориентирована на компьютеры Mac с Apple Silicon и интеграцию через CoreAIKit или совместимые инструменты Core AI. Это плотный текстовый декодер Gemma 4 с 60 слоями, скрытым размером 5376, 32 головами внимания и словарём из 262 144 токенов. Архитектура использует чередование скользящего и глобального внимания в соотношении 5:1; размер головы составляет 256 для скользящего внимания и 512 для глобального. Модель подвергнута int4-квантизации на основе QAT-релиза Google, занимает около 19 ГБ и имеет заявленную скорость декодирования 17,2 токена в секунду на M4 Max. Поддерживаются только текстовые входы и выходы; сведения о языках и максимальном размере контекста в README не указаны. К сильным сторонам относятся запуск крупной 31-миллиардной модели на стандартном конвейерном движке Core AI, выполнение вычислений локально на GPU или Neural Engine и отсутствие необходимости в специальной модификации движка благодаря пользовательскому Metal-ядру для декодирования внимания. Ограничения включают высокие требования к памяти, размер загрузки около 20,1 ГБ, совместимость прежде всего с Mac-классом устройств и отсутствие заявленной поддержки iPhone. Модель распространяется по лицензии Apache 2.0.

Это квантованная версия Granite 3.0 2B Instruct — инструкционно настроенной языковой модели, разработанной IBM под именем ibm-granite/granite-3.0-2b-instruct. Репозиторий MaziyarPanahi/granite-3.0-2b-instruct-GGUF содержит файлы модели в формате GGUF, предназначенные для локального запуска и совместимые с экосистемой llama.cpp. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии текстовой обработки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов, включая решения с GPU-ускорением. Из предоставленных данных не указаны точное устройство архитектуры, размер контекстного окна, поддерживаемые языки, результаты тестирования и конкретные ограничения качества. Лицензия в README также не указана, поэтому условия использования следует уточнять в исходном репозитории базовой модели IBM и в материалах данного репозитория.

Это GGUF-квантизированная версия чат-модели InternLM2.5-20B-Chat, исходно разработанной командой internlm, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, например LM Studio. Для корректного взаимодействия следует использовать указанный в карточке шаблон prompt format с ролями system, user и assistant. Модель основана на архитектуре InternLM2.5 и имеет 20 млрд параметров; доступна в форматах от F32 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 6,97 до 79,45 ГБ, поэтому требования к памяти зависят от выбранного варианта. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а компактные варианты позволяют запускать модель на системах с меньшим объёмом RAM, но могут заметно снижать точность. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что потенциально повышает качество. В карточке не указаны поддерживаемые языки, размер контекста, точная архитектура, результаты оценивания и ограничения по безопасности. Лицензия обозначена как other, без дополнительных условий в README, поэтому перед использованием необходимо проверить лицензию исходной модели InternLM2.5-20B-Chat и условия распространения конкретных файлов.

InternLM2.5-7B-Chat-GGUF — это квантизированная версия диалоговой языковой модели InternLM2.5-7B-Chat, разработанной командой InternLM и опубликованной в формате GGUF для использования с llama.cpp. Квантизацию выполнил bartowski с применением imatrix и различных схем квантования, рассчитанных на баланс между качеством ответов, размером файла и требованиями к памяти. Модель предназначена для текстовой генерации и диалоговых сценариев: ведения беседы, ответа на вопросы и выполнения инструкций. Для работы используется специальный шаблон prompt с ролями system, user и assistant. Доступны варианты от Q8 до Q2 и IQ-квантов; размеры файлов в README указаны примерно от 2,58 до 8,93 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, тогда как низкобитные версии подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. К сильным сторонам относятся широкий выбор уровней квантования, совместимость с llama.cpp и возможность локального запуска. Рекомендуемыми названы варианты Q4–Q6 и некоторые IQ4, тогда как Q3 и Q2 экономят память ценой снижения качества. README не содержит достоверных сведений о языках, размере контекста, точной архитектуре исходной модели и условиях лицензирования: указано лишь, что лицензия имеет тип other. Для использования необходимо учитывать требования выбранного GGUF-файла и поддерживать соответствующий формат prompt.

Klear-46B-A2.5B-Base — базовая языковая модель со sparse Mixture-of-Experts архитектурой, разработанная командой Kwai-Klear компании Kuaishou. В модели 46 млрд параметров, при генерации активируются около 2,5 млрд; всего используется 256 экспертов, из которых на слой выбираются 8 экспертов и один общий. Каталог указывает 2,2 млрд параметров, а README — 46 млрд общих и 2,5 млрд активных; вероятно, значение каталога отражает иной способ подсчёта. Модель предназначена для генерации текста и служит базой для последующей адаптации под диалоговые, математические, STEM- и программные задачи. Она обучена на более чем 22 трлн токенов, поддерживает контекст до 65 536 токенов и рассчитана на китайский и английский языки. Для запуска README рекомендует Transformers версии 4.56.0 или новее с trust_remote_code=True; также упоминается форк vLLM. Модель опубликована под лицензией Apache-2.0. Это базовая, а не instruction-tuned версия, поэтому для прямого диалогового использования может потребоваться дополнительная настройка. README приводит результаты внутренних и внешних бенчмарков; для HumanEval авторы отдельно отмечают чувствительность оценки к формату запросов.

Llama2 70B SFT v10 GGUF — это квантизированная версия языковой модели OpenAssistant Llama2 70B SFT v10, разработанной OpenAssistant и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на задачи, связанные с обработкой естественного языка, включая ответы на запросы пользователей и создание текста. Она использует supervised fine-tuning и обучалась на наборах данных LosslessMegaCodeTrainingV2, OpenAssistant/oasst1, Orca, а также на курированном многоязычном наборе Databricks Dolly. В карточке указан английский язык; сведения о других языках и размере контекста отсутствуют. Поставляется в формате GGUFv2 с вариантами квантизации от 2 до 8 бит, что позволяет запускать модель через llama.cpp и совместимые приложения, библиотеки и графические интерфейсы на CPU и GPU. Для диалогов предусмотрен шаблон ChatML. Ключевой особенностью является сочетание крупного размера 70B параметров и нескольких уровней квантизации, однако README не содержит результатов тестирования, точных требований к памяти или подробной оценки качества и ограничений. Лицензия указана как llama2. Условия использования следует уточнять по лицензии исходной модели Llama 2 и правилам OpenAssistant.

Groq Llama-3-Groq-70B-Tool-Use — языковая модель Groq на архитектуре Llama 3, дообученная с помощью полного fine-tuning и Direct Preference Optimization на базе Meta Llama 3 70B. Модель содержит 69,5 млрд параметров, принимает и генерирует текст, поддерживает контекст до 8192 токенов и рассчитана прежде всего на английский язык. Модель предназначена для вызова функций и инструментов: взаимодействия с API, манипуляций со структурированными данными и выполнения сложных последовательностей действий через инструменты. В README указан результат 90,76% на Berkeley Function Calling Leaderboard. Для общих знаний и свободного диалога специализированная настройка может быть менее подходящей; ответы могут быть неточными или предвзятыми, а результат чувствителен к настройкам temperature и top_p. Модель распространяется по лицензии Meta Llama 3 Community License. README описывает её применение в исследованиях и разработке сценариев использования инструментов.

Карточка модели Phyoe717/Llama-3-Groq-70B-Tool-Use на Hugging Face совпадает с карточкой Groq/Llama-3-Groq-70B-Tool-Use, поэтому описание составлено по ней. Groq Llama-3-Groq-70B-Tool-Use — языковая модель Groq на архитектуре Llama 3, дообученная с помощью полного fine-tuning и Direct Preference Optimization на базе Meta Llama 3 70B. Модель содержит 69,5 млрд параметров, принимает и генерирует текст, поддерживает контекст до 8192 токенов и рассчитана прежде всего на английский язык. Модель предназначена для вызова функций и инструментов: взаимодействия с API, манипуляций со структурированными данными и выполнения сложных последовательностей действий через инструменты. В README указан результат 90,76% на Berkeley Function Calling Leaderboard. Для общих знаний и свободного диалога специализированная настройка может быть менее подходящей; ответы могут быть неточными или предвзятыми, а результат чувствителен к настройкам temperature и top_p. Модель распространяется по лицензии Meta Llama 3 Community License. README описывает её применение в исследованиях и разработке сценариев использования инструментов.

teddylee777/Llama-3-Open-Ko-8B-Instruct-preview-gguf — это квантизированная GGUF-версия инструкционной языковой модели Llama-3-Open-Ko-8B-Instruct-preview, разработанной beomi на основе Llama-3-8B. Квантизация выполнена с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, объяснение тем и написание кода, с особым вниманием к корейскому языку. Модель представляет собой продолжительно предобученную языковую модель на базе Llama-3-8B. Для обучения использованы более 60 ГБ дедуплицированных общедоступных текстов и свыше 17,7 млрд токенов с новым токенизатором Llama-3; обучение проводилось на TPUv5e-256. Поддерживаются английский и корейский языки, а модальность — текстовая. Точный размер контекста и параметры квантизации в README не указаны. Сильная сторона модели — адаптация Llama-3 к корейскому языку и наличие инструкционного варианта для чат-приложений. При этом это предварительная версия: она не дообучалась на корейском наборе инструкций, поэтому качество следования инструкциям и фактическая точность могут быть нестабильными. Модель распространяется по лицензии Llama 3; подробные условия приведены в файле LICENSE.

Llama-3-Yggdrasil-8B-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3-Yggdrasil-8B. Исходную модель разработал Locutusque; она создана на основе объединения моделей NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct, Locutusque/Llama-3-Hercules-5.0-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые инструменты. Доступны варианты с разным балансом качества, размера и требований к памяти: от Q8_0 размером 8,54 ГБ до сверхкомпактного IQ1_S размером 2,01 ГБ. Наиболее рекомендуемыми в карточке названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; низкобитные варианты экономят память, но заметно уступают по качеству. В карточке не указаны точная архитектура в технических деталях, максимальный контекст, поддерживаемые языки и результаты benchmark-тестов. Также не задан chat template, поэтому приведённый формат приглашений может быть неточным и требует проверки по исходной карточке модели. Модель распространяется по лицензии Llama 3; условия исходных компонентов и совместимость конкретного варианта следует дополнительно проверять перед использованием.

stamsam/maple-preview-gguf — набор GGUF-конвертаций модели Maple-Preview, разработанной DeepGrove. Это языковая reasoning-модель для генерации текста и решения задач, реализованная как Mixture-of-Experts: всего около 20 млрд параметров, примерно 1 млрд активных на токен (A1B), 24 слоя и контекст до 131 072 токенов. Архитектура использует 256 экспертов, 8 активных экспертов, GQA с 16 query-heads и 4 KV-heads, а также гибридное внимание с чередованием скользящего окна размером 512 и глобального внимания. Модель поддерживает текстовую модальность; заявленные языки в README не указаны. В репозитории доступны варианты F16, Q4_K_M и экспериментальный ternary TQ2_0 с двухбитными весами, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильными сторонами являются большой контекст, MoE-архитектура, низкая активная вычислительная стоимость и поддержка GPU для указанных сборок. При этом проект находится на ранней стадии валидации: систематические оценки, perplexity и бенчмарки отсутствуют, а поддержка ternary-вычислений новая. Файлы нельзя загрузить в основной llama.cpp или PrismML upstream; требуется форк stamsam/llama.cpp, ветка prism, с Maple runtime. Базовая модель и опубликованные материалы распространяются по лицензии MIT.

Meta-Llama-3.1-8B-Instruct-abliterated-GGUF — набор GGUF-квантизаций инструкционной языковой модели объёмом 8 млрд параметров, основанной на mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp или LM Studio. Доступны варианты от полноточного F32 до компактных форматов Q2 и IQ3, с размерами файлов примерно от 3,66 до 32,13 ГБ. В README приведён специальный шаблон промпта Llama 3.1 с ролями system, user и assistant. Более высокие разрядности обеспечивают лучшее качество, тогда как низкоразрядные варианты снижают требования к оперативной памяти ценой качества; Q4_K_M обозначен как вариант стандартного размера, а Q5–Q6 — как рекомендуемые для высокого качества. Модель подходит для локального использования на совместимом оборудовании, однако конкретные языки, размер контекстного окна, архитектурные детали и результаты тестирования в README не указаны. Условия распространения определяются лицензией llama3.1.

duyntnet/Meta-Llama-3.1-8B-Instruct-imatrix-GGUF — набор квантизированных версий Meta-Llama-3.1-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и интерфейсы: JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Указанный язык — английский. Модель основана на архитектуре Meta-Llama 3.1 с размером 8 миллиардов параметров и поставляется в формате GGUF с imatrix-квантизацией. Это позволяет снизить требования к памяти и запускать модель локально, однако квантизация может уменьшать точность по сравнению с исходной полноразмерной версией. Для использования рекомендуется актуальная версия llama.cpp; README уточняет, что квантизация выполнена с помощью версии b3482 для устранения проблемы с rope scaling. Максимальный размер контекста и конкретные варианты квантизации в README не указаны. Лицензия обозначена как other, без дополнительных условий в представленном README. Модель предназначена для text-generation и conversational inference, но README не содержит самостоятельных результатов оценки качества или подробного описания ограничений исходной модели.

QuantTrio/MiniMax-M2.7-AWQ — AWQ-квантизированная версия языковой модели MiniMax-M2.7, разработанной MiniMax AI. Модель предназначена для генерации текста и может использоваться в задачах диалогового взаимодействия, обработки запросов и других сценариях, поддерживаемых базовой text-generation-моделью. Данные о точной архитектуре, числе параметров, поддерживаемых языках и исходной длине контекста в README не приведены. Квантизация выполнена без калибровочного набора данных с использованием data-free quantization tool. Модель ориентирована на запуск через vLLM и Transformers; в конфигурации сервера указан максимальный контекст 32 768 токенов, а также поддержка tool calling и reasoning parser для MiniMax M2.7. Размер файлов модели составляет около 122 GiB. Для распределённого запуска рекомендуется конфигурация с tensor parallelism на восемь GPU и expert parallelism. Основные преимущества — уменьшенный по сравнению с исходной моделью объём хранения и возможность производительного инференса через vLLM. Ограничения включают потенциальное снижение качества из-за квантизации, отсутствие опубликованных количественных оценок качества и высокие требования к аппаратному обеспечению и версиям программных компонентов: vLLM 0.19.0 или новее, Transformers 5.5.4 или новее и CUDA 12.8 или 13.0. Лицензия указана как modified-MIT; применимые условия следует уточнять по файлу лицензии исходного проекта.

Это вариант Mistral 7B, опубликованный winglian и разбитый на шарды по слоям: каждый слой хранится в отдельном шарде. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; её контекстное окно — 32 768 токенов. Модель предназначена для генерации текста и может служить основой для сценариев, использующих Mistral 7B. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не обозначена.

mattshumer/mistral-8x7b-chat — чат-модель на архитектуре Mistral MoE, дообученная Matt Shumer на SlimOrca в течение одной эпохи с помощью QLoRA. Она предназначена для диалогов и генерации ответов по запросу; запуск возможен через Transformers с AutoModelForCausalLM и AutoTokenizer. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. В репозитории представлены веса PyTorch. Карточка описывает обучение на шести H100 в течение девяти часов, но не приводит оценок качества или подробностей о языках и ограничениях ответов. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия модели Devstral-Small-2507, разработанной Mistral AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b5856 и метода imatrix. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В карточке указана мультимодальная категория image-text-to-text, однако подробные сведения об архитектуре, количестве параметров и поддерживаемом контексте не приведены. Заявлена поддержка множества языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, украинский и другие. Доступны варианты от BF16 до различных уровней квантизации; размеры файлов составляют примерно от 10 до 47 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти. Основные преимущества версии — возможность локального запуска, широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают отсутствие в README подробных данных о характеристиках исходной модели, результатах оценки и требованиях к оборудованию; качество заметно зависит от выбранного варианта квантизации. Модель распространяется по лицензии Apache-2.0.

OpenPipe создала эту плотную авторегрессионную языковую модель на архитектуре Mistral с помощью слияния весов методом SLERP. В состав слияния вошли Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp и Q-bert/MetaMath-Cybertron-Starling, построенные на базе mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена как сильная исходная точка для последующего дообучения на разных задачах генерации текста. Авторы сообщают о хороших результатах на внутренних оценках, но не приводят в карточке их подробностей. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями; авторы также рекомендуют обновлённую версию модели с более разрешительной лицензией.

Это размещённая Featherless AI сборка модели Llama 3.1 Nemotron 70B Instruct в формате GGUF с вариантами квантования. Она предназначена для генерации текста и диалогового общения; репозиторий перечисляет варианты IQ4_XS, Q2_K и Q3_K_L, а также сообщает о наличии ещё восьми строк вариантов квантования. Модель подходит для запуска чат-ассистента и генерации ответов на текстовые запросы. Размер базовой модели — 70 млрд параметров, однако размеры отдельных файлов в README относятся к папкам с вариантами квантования. Данных о поддерживаемых языках и длине контекста в предоставленных источниках нет. Варианты квантования позволяют выбирать между размером файлов и точностью представления весов; конкретные характеристики качества и требования к ресурсам не приведены. Лицензия в предоставленных данных не указана.

Репозиторий содержит файлы модели Qwen3-4B-bf16 в формате GGUF, подготовленные TensorBlock и размещённые в сообществе mlx-community. Это языковая модель для генерации текста и диалогов; в метаданных указана возможность чата, а README приводит шаблон системного и пользовательского сообщений. Представлены варианты квантизации GGUF, включая Q2_K и Q3_K_S/Q3_K_M; для них в карточке отмечена потеря качества, особенно у малых вариантов. Файлы совместимы с llama.cpp начиная с указанного в README коммита. Лицензия — Apache-2.0. Базовая модель в метаданных указана как mlx-community/Qwen3-4B-bf16.

Nous-Hermes-2-Yi-34B-imatrix-GGUF — набор квантизированных версий текстогенерационной модели Nous-Hermes-2-Yi-34B, разработанной Nous Research. Модель предназначена для диалогового взаимодействия и генерации текста, включая многоходовые чаты с системными инструкциями, ролями и управляемым стилем ответа. Модель имеет размер 34B и распространяется в формате GGUF с использованием imatrix-квантизации. Она поддерживает текстовую модальность и английский язык. Для взаимодействия используется формат ChatML, совместимый по принципу структурирования сообщений с API OpenAI; README также указывает на возможность запуска через llama.cpp и LM Studio. Размер контекстного окна и точная базовая архитектура в README не указаны. К сильным сторонам относятся поддержка системных инструкций, ролевой структуры диалога и локального запуска через совместимое программное обеспечение. Ограничения включают отсутствие сведений о качестве, результатах тестирования, требованиях к ресурсам и характеристиках отдельных вариантов квантизации. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

unsloth/Qwen2.5-0.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-0.5B-Instruct, подготовленная Unsloth на базе модели Qwen, разработанной Alibaba Cloud. Она предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы со структурированными данными и форматами вывода, включая JSON, а также для задач программирования и математики. Модель является каузальной языковой моделью с архитектурой Transformers, RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, 24 слоя и использует Grouped Query Attention: 14 голов для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии bnb-4bit — сниженное потребление памяти благодаря 4-битному представлению, что упрощает запуск и дообучение модели на ограниченных GPU-ресурсах. Небольшой размер делает её подходящей для локального использования и ресурсоограниченных приложений, однако по возможностям и качеству ответов она уступает более крупным моделям. README не содержит подробных результатов оценки именно этой 4-битной версии. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, преобразованная пользователем paultimothymooney в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в командной строке или в режиме сервера. Модель имеет размер 7B параметров и использует квантизацию Q4_K_M, что рассчитано на более экономичное использование памяти по сравнению с полноразмерной версией. Указана поддержка английского языка и текстовая модальность. В примере запуска серверу передаётся контекст размером 2048 токенов, однако максимальный размер контекста в карточке отдельно не указан. К сильным сторонам относятся совместимость с экосистемой llama.cpp, возможность локального развёртывания и сниженные требования к ресурсам благодаря квантизации. Ограничения связаны с тем, что карточка не содержит подробных сведений о качестве, бенчмарках, аппаратных требованиях и полном наборе поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

Это uncensored- и decensored-версия мультимодальной модели Qwen3.5-122B-A10B, созданная независимым автором llmfan46 с использованием инструмента Heretic. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, LM Studio, Ollama и других совместимых инструментах. Модель основана на архитектуре Qwen3.5 с гибридным сочетанием Gated Delta Networks и разреженной Mixture-of-Experts. Заявлены 122 млрд параметров и 10 млрд активных параметров, поддержка текста и изображений, а также 201 языка. Для работы с изображениями требуется отдельный vision projector. В репозитории доступны варианты квантования от BF16 и Q8_0 до Q2_K, что позволяет выбирать между качеством и требованиями к памяти. Также заявлено сохранение всех 785 MTP. Ключевая особенность — значительное снижение числа отказов по сравнению с исходной моделью: 8 против 92 из 100 в приведённом тесте, при KL-дивергенции 0,0856. Это делает модель подходящей для сценариев, где требуется меньше ограничений и отказов при генерации, однако одновременно снижает встроенные защитные механизмы. README не содержит точных сведений о размере контекста, поэтому этот параметр нельзя надёжно указать. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B MTPLX Optimized Speed — языковая модель семейства Qwen3.5, опубликованная Youssofal для быстрого локального вывода на компьютерах Apple Silicon. Это 9-миллиардная плотная модель генерации текста с поддержкой диалогов; основная часть весов представлена в 6-битном формате MLX, а нативные MTP-головы сохранены в BF16 для спекулятивного декодирования через MTPLX. Модель предназначена для локальных ответов на запросы и генерации текста с ускорением за счёт предсказания нескольких токенов: MTP-головы предлагают черновые токены, которые затем проверяет основная модель. В README приведены результаты измерений в MTPLX на Apple Silicon: для режима D2 указана скорость 101,32 токена в секунду. Для запуска требуется MTPLX; README описывает совместимый с OpenAI локальный сервер и рекомендуемые настройки декодирования. Это оптимизированная 6-битная сборка, а не полноточный чекпойнт; заявленные результаты относятся к указанному runtime-сценарию на Apple Silicon. Репозиторий распространяется по лицензии Apache-2.0.

rico03/Qwen3.8-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный пользователем rico03 на базе Qwen/Qwen3.8-27B. Модель дообучена методом LoRA с использованием Unsloth и дистиллирована на рассуждениях и ответах Claude Opus 4.6/4.7. Лицензия — Apache-2.0. Модель предназначена для генерации текста и задач, требующих развитого пошагового рассуждения. Она использует плотную архитектуру на 27 млрд параметров с гибридным сочетанием полной и линейной attention-механики Gated DeltaNet, а также Multi-Token Prediction (MTP) head. Базовая Qwen3.8-27B является мультимодальной vision-language моделью, однако дообучение затрагивало только текстовый путь; зрительная часть сохранена без изменений. В README заявлен английский язык, размер контекста не указан. Доступны варианты от F16 до Q4_K_M, что позволяет выбирать между качеством, размером и требованиями к памяти. MTP поддерживает само-спекулятивное декодирование и, по приведённым замерам на H100 NVL, может ускорять генерацию примерно в 1,6 раза без изменения распределения выходов. Ограничения модели включают неполностью скомпоновавшееся дообучение: это проверочный запуск на 150 шагах, а не полностью сходимая fine-tune-версия. Кроме того, значительная часть обучающих рассуждений была реконструирована отдельной моделью, а не взята из внутреннего процесса Claude Opus. Для работы требуется свежая сборка llama.cpp с поддержкой гибридной архитектуры Gated DeltaNet и MTP; старые версии могут не загрузить модель корректно.

DavidrPatton/Qwen3.8-27B-Uncensored-UD3-GGUF — это квантизированная GGUF-версия 27-миллиардной языковой модели Qwen3.8-27B-Uncensored, основанной на Qwen3.8-27B и адаптированной JonathanColetti. Сборка использует метод Unsloth Dynamic 3.0 (UD3) с динамическим распределением точности по слоям и предназначена для запуска через llama.cpp. Модель поддерживает текстовую генерацию и диалоговые сценарии, а заявленные языки — английский и китайский. Основное назначение модели — локальные задачи генерации текста, общения и рассуждений, включая работу с контекстом размером до 128K токенов. Сборка оптимизирована для потребительских GPU с 16 ГБ VRAM, Apple Silicon Mac и Linux-систем. Размер файла составляет около 12,1 ГБ; заявленное потребление памяти с 128K контекстом — примерно 14,2 ГБ. Для ускорения генерации предусмотрена Multi-Token Prediction (MTP) draft head в формате Q8_0, проверенная для слоя 64. Ключевая особенность — смешанная точность: критические эмбеддинги, выходные логиты и MTP-компоненты используют Q8_0 или F32, важные проекции внимания — Q4_K, отдельные матрицы внимания — Q3_K, а основные FFN/MLP-блоки — IQ2_M. Такой подход обеспечивает более высокое качество рассуждений по сравнению с обычной равномерной двухбитной квантизацией при меньшем размере, хотя качество и точность всё равно зависят от потерь квантизации. Модель позиционируется как uncensored, однако README не приводит подробного описания ограничений безопасности или результатов независимого тестирования. Лицензия — Apache-2.0.

SwagMessiah100/Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B-Uncensored, разработанной JonathanColetti. Репозиторий SwagMessiah100 применяет к исходным весам карту динамического распределения битов Unsloth Dynamic 3.0 и соответствующую матрицу важности. Модель предназначена для генерации текста, диалогов и локального запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель имеет размер 27 млрд параметров и поддерживает контекст до 262 144 токенов, включая заявленное извлечение информации на длине около 250 806 токенов для варианта UD-Q3_K_XL. Доступны девять уровней квантования, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Динамическое распределение битов сохраняет более высокую точность в чувствительных тензорах и сильнее сжимает менее чувствительные, благодаря чему, по приведённым измерениям, вариант Q3 превосходит протестированные варианты Q4 по perplexity и может обеспечивать более высокую скорость. К сильным сторонам относятся uncensored-поведение, длинный контекст, несколько вариантов размера и качества квантования, а также проверка файлов нагрузочным тестированием. Производительность и качество зависят от конкретного варианта, оборудования и длины генерации; измерения проводились на RTX 4090 24 ГБ с llama.cpp и DFlash2. Для коротких запросов заявлена медианная скорость около 24,9 токена в секунду, для длинной генерации — до 56,3 токена в секунду, поэтому модель требовательна к ресурсам. Лицензия — Apache 2.0.