II.2Создание и понимание программного кода

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-KERN-GGUF — это набор смешанно-точных квантованных моделей в формате GGUF, подготовленный Andrew Paul на основе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и запуска через llama.cpp, в том числе локально на видеокартах с ограниченным объёмом памяти. Доступны четыре варианта: eqQ4_K_M размером 14,73 ГБ, eqQ3_K_M — 13,04 ГБ, eqQ3_K_S — 11,59 ГБ и eqIQ2_M — 9,58 ГБ. Заявленная сохранность возможностей относительно BF16 составляет примерно 95%, 91%, 81% и 76% соответственно. Конкретные языки и максимальный контекст модели в README не указаны; примеры запуска используют контекст 16 384 токена. Ключевая особенность — распределение разрядности тензоров, выбранное по результатам тестирования возможностей, чувствительности и отклонения логитов, а не только по KL-дивергенции. Все варианты поддерживают обычную генерацию и спекулятивное декодирование: встроенная MTP-голова позволяет использовать draft length 2 или 3, а совместимость с внешним DFlash 2 может повысить пропускную способность. Меньшие варианты удобнее для 16 ГБ видеокарт, тогда как eqQ4_K_M рассчитан преимущественно на 24 ГБ или unified memory. Ограничения включают зависимость заявленных оценок от закрытого внутреннего теста, непроверенную поддержку vision через mmproj и возможное накопление ошибок при KV-cache в режиме q4. Модель распространяется по лицензии Apache-2.0.

Capicua25x/Qwen3.8-27B-MXFP4-Quark-RDNA4 — квантованная версия мультимодальной модели Qwen3.8-27B, подготовленная Capicua25x на базе модели Qwen/Qwen3.8-27B. Модель предназначена для задач image-text-to-text, включая обработку изображений и текста, диалоговые сценарии, рассуждения и агентские приложения с вызовами инструментов. Для работы ориентирована на видеокарты AMD архитектуры RDNA4, в частности Radeon AI PRO R9700 и RX 9070 XT, с использованием ROCm, AMD Quark и специализированной сборки vLLM. Квантование MXFP4 применяется к проекциям MLP и экспертным проекциям: упаковано около 22,7 млрд параметров, тогда как attention, нормализации, эмбеддинги, lm_head, маршрутизаторы и весь визуальный тракт сохраняются в формате bf16. Общий объём логических параметров составляет примерно 27,8 млрд, архитектура базовой модели не изменена. Заявлена поддержка контекста до 262 144 токенов, speculative decoding и параллельной обработки запросов. Режим рассуждений включается через параметр chat_template_kwargs с enable_thinking; параметр reasoning_effort для этой конфигурации не используется. Сильные стороны модели — существенное снижение требований к памяти по сравнению с полноразмерной моделью, сохранение точности критически важных компонентов в bf16, поддержка мультимодальности и оптимизация для concurrent serving на RDNA4. Ограничения связаны с узкой аппаратно-программной специализацией: для штатного запуска требуются совместимые AMD GPU, ROCm и рекомендованный порт vLLM; приведённые показатели производительности зависят от конфигурации, числа пользователей и режима декодирования. Языки и точные характеристики базовой модели в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

mlx-community/Qwen3-8B-Base-bf16 — текстовая авторегрессионная модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 7,6 млрд параметров. Репозиторий mlx-community содержит версию для MLX, преобразованную из Qwen/Qwen3-8B-Base с помощью mlx-lm 0.24.0. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные задачи. Она принимает текст и выдаёт текст; нативная длина контекста составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0. README не приводит сведений о конкретной языковой специализации или оценках качества.

Qwen3-Next-80B-A3B-Instruct-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Квантование в формате MLX подготовлено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и работы в инструкционных сценариях, включая диалоговое взаимодействие и выполнение текстовых запросов. В README указаны размер исходной модели 80B и обозначение A3B, однако подробности архитектуры, контекстного окна, поддерживаемых языков и модальностей не приведены. Формат MLX и 4-битное квантование ориентированы на более эффективное локальное выполнение при ограниченных ресурсах по сравнению с полноразмерной версией. К сильным сторонам относятся локальный запуск на Apple Silicon и сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества по сравнению с исходной моделью и отсутствие в предоставленных данных подробных сведений о производительности, языковой поддержке и безопасных сценариях применения. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Thinking-2507, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp версии b6096 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 4B параметров и ориентирована на сценарии, требующие локального текстового вывода при ограниченных ресурсах. Доступны варианты от BF16 до Q2 и различные форматы квантизации; рекомендованными названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают размер за счёт качества. Для работы используется шаблон промпта с секциями system, user и assistant, включающей тег <think>. Сильными сторонами являются локальный запуск, широкий выбор размеров файлов и оптимизация imatrix-квантизаций под llama.cpp. Ограничения связаны с потерей качества в более агрессивно сжатых вариантах, а также с тем, что в предоставленной карточке не указаны контекстное окно, поддерживаемые языки, точная архитектура, модальности и лицензия исходной модели или квантов. Условия распространения следует уточнять на странице оригинальной модели Qwen/Qwen3-4B-Thinking-2507.

Qwen-Qwen3.8-27B-MTPLX — модель генерации текста, созданная на основе Qwen/Qwen3.8-27B и адаптированная для Apple Silicon с использованием MLX. Модель разработана в формате MTPLX командой или проектом MTPLX Forge и предназначена для локального запуска на устройствах Apple Silicon. Модель использует подход multi-token prediction, позволяющий предсказывать несколько токенов за один шаг и ускорять генерацию по сравнению с авторегрессионным базовым режимом. Указан размер базовой модели 27B параметров. Модель поддерживает текстовый ввод и вывод; сведения о языках, размере контекста и дополнительных модальностях в README не приведены. По данным верификации, лучший режим имеет глубину D3, а ускорение относительно авторегрессионной базовой модели составляет 2,24 раза. Проверка проводилась на Apple M4 Pro с параметрами семплирования temperature 0,6, top_p 0,95 и top_k 20. Ограничения включают зависимость от экосистемы MLX и целевых устройств Apple Silicon, а также отсутствие подробных данных о качестве на бенчмарках и совместимости с другими платформами. Условия лицензирования в README не раскрыты: предлагается обратиться к файлу LICENSE.

xLAM-7b-r-IMat-GGUF — это GGUF-квантизированная версия языковой модели Salesforce/xLAM-7b-r, подготовленная пользователем legraphista с использованием llama.cpp и IMatrix-калибровки. Исходная модель имеет формат BF16, а набор поставляется в вариантах от BF16 и FP16 до Q2–Q8 и IQ-квантизаций, включая версии с применением IMatrix. Модель предназначена для генерации текста, function calling, tool use и построения LLM Agent-сценариев. Она ориентирована на английский язык и поддерживает работу с инструментами и функциями; исходный датасет обучения — Salesforce/xlam-function-calling-60k. Формат GGUF и набор квантизаций позволяют выбирать баланс между размером файла, требованиями к памяти и сохранением качества, что удобно для локального запуска через llama.cpp. Для некоторых вариантов указаны размеры от 2,53 до 14,48 ГБ. Ключевые архитектурные характеристики базовой модели, включая точное устройство, размер контекста и перечень поддерживаемых модальностей, в README не указаны; по представленным данным это текстовая модель без заявленной мультимодальности. К ограничениям относятся ориентация на английский язык и возможное снижение качества при использовании низкобитных квантизаций. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной 01.AI. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста и общения в формате system/user/assistant, а также для локального запуска через совместимые инструменты llama.cpp. Модель содержит около 6 миллиардов параметров и поставляется в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Размер файлов составляет примерно от 1,43 до 6,44 ГБ. Более высокие варианты квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как варианты с очень низкой точностью могут заметно уступать по качеству. README не содержит сведений об архитектуре, размере контекста, поддерживаемых языках и мультимодальности, поэтому эти характеристики нельзя достоверно указать. Основные преимущества — широкий выбор уровней квантизации, возможность подобрать баланс между качеством и требованиями к памяти, а также пригодность для локального использования. Ограничения связаны с потерями качества при низкой точности квантизации и зависимостью от корректного prompt format. Распространение указано по лицензии Apache-2.0.

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной компанией 01-ai и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Модель содержит файлы в формате GGUF с вариантами квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством генерации. Это текстовая модель; в предоставленных данных не указаны языки, размер контекста и подробности архитектуры исходной модели. GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, включая варианты с GPU-ускорением. Сильными сторонами являются широкий выбор уровней квантизации и удобство локального использования на различных платформах. Ограничения связаны с возможными потерями качества при агрессивной квантизации, а также с отсутствием в предоставленной карточке подробных характеристик исходной модели и результатов оценки. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-GGUF — квантизированная GGUF-версия чат-модели Yi-1.5-9B-Chat, разработанной 01-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая запуск в локальных приложениях и сервисах на базе LlamaEdge. Модель относится к архитектуре Yi и содержит около 9 миллиардов параметров. Она работает с текстом, использует шаблон запросов ChatML и поддерживает контекст размером до 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 3,35 до 17,7 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как сбалансированные по качеству и размеру. Ключевое преимущество модели — возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полноразмерной версией, особенно при использовании низко- и среднебитных вариантов. При этом сильная квантизация может заметно снижать качество генерации, а варианты Q2_K и Q3_K имеют значительные потери качества. Языки, специальные возможности и результаты сравнительных тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

Abacus-cve — языковая модель для работы с кодом, разработанная Luoberta на основе Qwen3-32B. Модель дообучена на 4 078 дистиллированных трассах агента, созданных для примерно 900 задач воспроизведения CVE с помощью конвейера CVE-Factory. Модель предназначена для поиска и исправления уязвимостей в программном обеспечении, в том числе в сценариях, где агент анализирует воспроизведение CVE и предлагает изменения в коде. Это плотная авторегрессионная архитектура Qwen3ForCausalLM с 29,7 млрд параметров; она принимает текст и генерирует текст. Контекстное окно — до 65 536 токенов. В метаданных указан английский язык. Модель распространяется в формате safetensors через Transformers по лицензии MIT. Карточка описывает специализированное дообучение на агентных трассах для задач устранения уязвимостей; результаты на конкретном проекте требуют проверки, а область обучения ограничена задачами, представленными в этих трассах.

Olmo-3.1-32B-Instruct-GGUF — это квантизированная версия языковой модели Olmo-3.1-32B-Instruct, разработанной AllenAI. Публикацией и квантизацией в формате GGUF занимался bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель имеет размер 32 млрд параметров, относится к текстовым моделям и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ; размеры файлов составляют примерно от 14 до 64 ГБ. Для работы необходимо использовать соответствующий шаблон чата с ролями system, user и assistant. Размер контекста и другие архитектурные характеристики в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий вариант для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная; поддержка других языков, кроме английского, в карточке не описана. Лицензия — Apache 2.0.

Это GGUF-квантизированная версия языковой модели Olmo-3-7B-Think, разработанной Allen Institute for AI (ai2) и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Доступны варианты от BF16 до различных уровней квантования Q2–Q8 и IQ, размером примерно от 3,3 до 14,6 ГБ. Квантизация выполнена с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы; наиболее качественными считаются BF16, Q8 и варианты Q6, тогда как низкие уровни квантования требуют меньше оперативной памяти, но могут заметно ухудшать результаты. Основные преимущества модели — возможность локального запуска на совместимом оборудовании, широкий выбор вариантов квантования и поддержка экосистемы llama.cpp. Ограничения включают ориентацию на английский язык, отсутствие заявленной мультимодальности и потенциальную потерю качества при использовании сильного квантования. Для работы следует применять указанный шаблон prompt с секцией размышлений <think>. Модель распространяется по лицензии Apache-2.0.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.

BigQwen2.5-52B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-52B-Instruct, разработанной mlabonne и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. В README указан английский язык; сведения о других языках отсутствуют. Модель имеет размер 52 млрд параметров и поставляется в вариантах от F16 до низкобитных Q- и IQ-квантизаций. Доступны файлы размером примерно от 12,39 до 104,55 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix; варианты Q6_K, Q5_K_L, Q5_K_M, Q4_K_L, Q4_K_M и IQ4_XS отмечены как рекомендуемые благодаря сочетанию качества и размера, тогда как более низкие уровни квантизации снижают качество, но уменьшают требования к памяти. Размер контекста и точная архитектура в README не указаны. Для работы требуется совместимое ПО, например llama.cpp или LM Studio, а также значительный объём оперативной или видеопамяти в зависимости от выбранного файла. Модель использует лицензию tongyi-qianwen; в карточке она обозначена как other и приведена ссылка на лицензию Qwen2-72B-Instruct. Условия коммерческого и иного использования следует уточнять в тексте этой лицензии.

ByteDance-Seed_Seed-OSS-36B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных форматов Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 16,50 до 72,31 ГБ. В README не указаны архитектура, поддерживаемые языки, контекстное окно, мультимодальность и точные сценарии применения исходной модели. Для вариантов с более сильным сжатием ожидается снижение качества, тогда как Q6 и Q5 позиционируются как высококачественные, а Q4 — как практичный компромисс для большинства случаев. Модель удобна для локального инференса на совместимом оборудовании, однако требует значительных ресурсов, особенно в вариантах BF16 и высоких разрядностей. Формат лицензии в README не указан; условия использования следует уточнять на странице исходной модели ByteDance-Seed/Seed-OSS-36B-Instruct.

Это квантизированная GGUF-версия модели GLM-4.7-REAP-218B-A32B, разработанной Cerebras и полученной из GLM-4.7 с использованием метода REAP. В исходной модели было равномерно удалено 40% экспертов, что указывает на разреженную MoE-архитектуру. Квантизацию выполнил bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и может использоваться в локальных инструментах, поддерживающих формат GGUF, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В README указан английский язык. Приведён шаблон промпта с системными, пользовательскими и ассистентскими ролями, а также маркером рассуждений. Размер доступных файлов зависит от метода квантизации: примерно от 88 до 232 ГБ; рекомендуются варианты Q4_K_M, Q5_K_M и Q6_K. Сильными сторонами являются широкий выбор уровней квантизации и возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Более сильные варианты сохраняют высокое качество, а низкоразрядные подходят для систем с ограниченной RAM, но имеют заметно худшее качество. Точные параметры архитектуры, размер контекста и мультимодальные возможности в README не указаны. В метаданных указана лицензия MIT.

bartowski/deepcogito_cogito-v1-preview-llama-8B-GGUF — это GGUF-квантизированная версия языковой модели cogito-v1-preview-llama-8B, разработанной deepcogito. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF с вариантами точности от BF16 до различных Q- и IQ-квантизаций. Доступны файлы размером примерно от 3,8 до 16,1 ГБ; варианты Q6_K и Q6_K_L обозначены как обеспечивающие качество, близкое к исходному, а Q4_K_M рекомендован как стандартный компромисс между качеством и размером. Для работы предусмотрен формат prompt с системными и пользовательскими сообщениями в стиле Llama 3.1. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными весами. Более компактные варианты экономят оперативную память, но могут уступать по качеству менее сжатым версиям; конкретные поддерживаемые языки, размер контекста, мультимодальные возможности и результаты бенчмарков в README не указаны. Лицензия обозначена как llama3.1.

Это GGUF-квантизированная версия языковой модели cogito-v2-preview-llama-70B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может использоваться в локальных приложениях на базе llama.cpp, включая LM Studio и другие совместимые проекты. В основе лежит модель класса Llama с заявленным размером 70B параметров. Доступны варианты квантования от Q8_0 до Q2_K_L и IQ3/IQ4, различающиеся размером файла, требованиями к памяти и качеством вывода. Более качественными и рекомендуемыми в README названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; модели с более низкой разрядностью экономят память, но могут заметно уступать в качестве. Формат GGUF и imatrix-квантование облегчают локальный запуск, однако даже компактные варианты требуют значительных ресурсов. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура исходной модели, мультимодальные возможности и лицензия. Шаблон чата также не задан и может требовать проверки по карточке исходной модели; приведённый формат основан на служебных токенах Llama. Условия использования в представленном README не указаны.

DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF — это набор квантизированных версий текстовой генеративной модели DeepSeek-R1-Distill-Qwen-32B-abliterated. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходную модель разработала huihui-ai. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая LM Studio и llama.cpp. Модель содержит около 32 миллиардов параметров и распространяется в формате GGUF с вариантами от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, включая IQ-варианты. Размер файлов составляет примерно от 15,94 до 65,54 ГБ в зависимости от варианта. README не указывает поддерживаемые языки, размер контекстного окна и мультимодальные возможности, поэтому подтверждено только текстовое применение. Ключевые преимущества — широкий выбор вариантов квантизации, возможность локального запуска и сохранение высокого качества у версий Q6 и Q5; Q4_K_M обозначена как вариант по умолчанию для большинства сценариев. Более компактные версии подходят для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель помечена как abliterated и uncensored, однако подробные характеристики, ограничения и лицензия в README не указаны.

bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF — набор GGUF-квантизированных версий модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от BF16 до низкобитных Q3 и IQ3, а также Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Версии с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; варианты Q4 и Q5 предлагают компромисс между качеством и потреблением ресурсов, а Q3 рассчитаны на системы с ограниченным объёмом памяти. Квантизация выполнена с использованием imatrix и llama.cpp release b4514. Это текстовая модель, однако README не содержит достоверных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре исходной модели, результатах оценки или специализированных сценариях применения. Лицензия в предоставленных данных также не указана. Для работы следует использовать рекомендованный формат prompt с системным сообщением, запросом пользователя и ответом ассистента.

distil-labs дообучила LiquidAI/LFM2.5-350M на датасете distil-labs/distil-SHELLper для многошагового вызова инструментов, связанных с файловой системой и shell. Модель преобразует запросы на естественном языке в структурированные вызовы функций с Bash-командами и поддерживает многошаговый диалог. Это компактная плотная языковая модель семейства LFM2 с 444,6 млн параметров и контекстом до 128 000 токенов; репозиторий содержит веса Safetensors. Модель предназначена для автоматизации shell-задач: например, для построения команд по запросу пользователя и последовательного взаимодействия с инструментом выполнения команд. В README приведены результаты на задаче Berkeley Function Calling Leaderboard Gorilla для файловой системы, однако это показатели авторов карточки и они не гарантируют такую же точность в других сценариях. Для использования необходима среда выполнения, совместимая с форматом вызовов инструментов модели. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в карточке модели.

dolphin-2.8-mistral-7b-v02-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.8-mistral-7b-v02, основанной на alpindale/Mistral-7B-v0.2-hf. Исходная модель опубликована организацией cognitivecomputations, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска совместимых LLM-приложений. Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q5_0, Q4_K_M, Q4_K_S, IQ4_NL, IQ4_XS, Q4_0, Q3_K_L, Q3_K_M, IQ3_M, IQ3_S, Q3_K_S и Q2_K; их размер варьируется примерно от 2,71 до 7,69 ГБ, а качество снижается при более агрессивном сжатии. В README не указаны поддерживаемые языки, размер контекста, результаты тестирования или специальные модальности, поэтому модель следует рассматривать как текстовую. Сильная сторона модели — возможность подобрать баланс между качеством, потреблением памяти и скоростью локального запуска; для большинства сценариев рекомендуется вариант Q6_K, тогда как Q3 и Q2 ориентированы на системы с ограниченной оперативной памятью и заметно уступают по качеству. Ограничения включают потерю качества из-за квантизации и отсутствие данных о бенчмарках, языковой специализации и безопасностных характеристиках. Лицензия в README не указана.

EVA-Yi-1.5-9B-32K-V1-GGUF — это набор GGUF-квантизованных версий языковой модели EVA-Yi-1.5-9B-32K-V1, разработанной EVA-UNIT-01 и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. В README указана поддержка контекста до 32K токенов; сведения о языках и мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. В набор входят варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций размером примерно от 3,6 до 17,7 ГБ. Квантизации выполнены с использованием imatrix на базе llama.cpp, что позволяет выбирать между качеством ответов, требованиями к памяти и скоростью инференса. В README наиболее качественными и рекомендуемыми названы варианты Q5–Q6, а Q4 — как компромисс для ограниченных ресурсов; низкобитные варианты экономичнее, но могут заметно терять в качестве. Для некоторых Q4-вариантов предусмотрена оптимизация под ARM с требованиями к аппаратным расширениям. Используется лицензия Apache-2.0.

FineLlama-3.1-8B-GGUF — это набор GGUF-квантизированных вариантов языковой модели FineLlama-3.1-8B, разработанной mlabonne и подготовленной квантизацией bartowski с использованием llama.cpp и калибровочного imatrix-датасета. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio и совместимые инструменты llama.cpp. В README указан английский язык и тип задачи text-generation; сведения о мультимодальности отсутствуют. Доступны варианты от F32 до низкобитных Q2 и IQ2, поэтому можно выбирать между качеством и требованиями к памяти: размер файлов составляет примерно от 2,95 до 32,13 ГБ. Варианты Q5–Q6 и Q4_K_M отмечены как обеспечивающие высокое или хорошее качество, а низкобитные варианты позволяют работать при ограниченном объёме RAM, но сильнее теряют в качестве. Точный размер контекста, архитектурные детали исходной модели и рекомендуемый формат промпта в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

FuseO1-DeepSeekR1-QwQ-SkyT1-Flash-32B-Preview-GGUF — это набор GGUF-квантизаций базовой модели FuseO1-DeepSeekR1-QwQ-SkyT1-Flash-32B-Preview, разработанной FuseAI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. Доступны варианты от полного BF16 до более компактных Q8_0, Q6, Q5, Q4, Q3 и IQ-квантизаций. Размер файлов составляет примерно от 17,25 до 65,54 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b4546. Для работы рекомендуется применять указанный в README формат prompt. Сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не приведены. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к памяти: варианты Q6 и Q5 заявлены как высококачественные, Q4_K_M — как рекомендуемый вариант для большинства сценариев, а Q3 предназначены для систем с ограниченным объёмом оперативной памяти. Ограничения связаны с необходимостью значительных вычислительных ресурсов даже для компактных вариантов и потенциальной потерей качества при использовании низких уровней квантизации. Лицензия модели — Apache-2.0.

Gemma 1.1 2B Instruct — языковая instruction-tuned модель Google, представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель содержит около 2 миллиардов параметров и предназначена для текстовой генерации и работы с инструкциями. Модель подходит для диалогов, ответов на вопросы, творческих задач, многошагового общения, программирования, автодополнения и других универсальных сценариев. По сравнению с первоначальной версией Gemma заявлены улучшения качества ответов, работы с кодом, фактической точности, следования инструкциям и многораундового диалога. Небольшой размер делает её подходящей для устройств с ограниченными ресурсами и обеспечивает быстрый отклик. Сильной стороной модели являются связные, подробные и преимущественно образовательные ответы. При этом стиль может быть менее разговорным, чем ожидается, а результаты генерации кода требуют проверки: в приведённом примере присутствует ошибка порядка объявления функций. Системные промпты модель не поддерживает; используется шаблон Google Gemma Instruct. Сведения о поддерживаемых языках и размере контекста в README не указаны. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; в карточке указана лицензия gemma. Дата выпуска в метаданных — 5 апреля 2024 года.

cortexso/gemma2 — это семейство текстовых генеративных моделей Gemma, разработанное Google и подготовленное для использования в экосистемах Cortex и Jan. Модели обучались на сочетании синтетических данных и отфильтрованных общедоступных веб-данных с акцентом на качество и задачи, требующие рассуждений. Семейство предназначено для генерации и обработки текста в локальных приложениях и через интерфейсы Cortex CLI или Jan. В README указаны варианты Gemma2-2b, Gemma2-9b и Gemma2-27b; конкретные архитектурные параметры, поддерживаемые языки и модальности не описаны. Также приведена информация о вариантах контекстной длины 8K и 128K, но соответствие этих значений отдельным версиям не уточнено. Сильными сторонами заявлены качество данных обучения и ориентация на рассуждения, однако сведения о результатах тестирования, ограничениях и рекомендуемых сценариях отсутствуют. Лицензия указана как Gemma; оригинальная лицензия доступна в условиях Google Gemma.

MaziyarPanahi/gemma-3-4b-it-GGUF — набор файлов модели в формате GGUF для Google Gemma 3 4B Instruct, разработанной Google и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие инструменты экосистемы GGUF. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит. Формат GGUF разработан командой llama.cpp как замена устаревшему GGML и поддерживает запуск с ускорением на GPU, а в некоторых инструментах — совместимые API и интеграцию с фреймворками. Эти варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако README не содержит точных сведений об архитектуре, контекстном окне, языках, модальностях и характеристиках производительности модели. Основные преимущества — возможность локального развертывания, широкий выбор уровней квантизации и поддержка несколькими популярными клиентами. Ограничения связаны с потерями качества, возможными при квантизации, а также зависимостью от конкретного рантайма и аппаратной конфигурации. Лицензия в README не указана.