II.2Создание и понимание программного кода

shawnw3i/Qwen3.6-27B-AWQ-MTP — квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в README она классифицирована как image-text-to-text. Вариант ориентирован на запуск через vLLM и ускоренное инференс-развёртывание. Модель имеет размер 27 млрд параметров и использует квантизацию AWQ. Поддерживаются ядро AWQ Marlin с автоматической конвертацией vLLM во время выполнения и MTP speculative decoding, позволяющее ускорять генерацию за счёт спекулятивного декодирования. Для запуска в README указан максимальный размер контекста 65 536 токенов, а также reasoning parser qwen3. Заявлена производительность более 110 токенов в секунду на одном ускорителе A800 80 GB при использовании vLLM 0.21.0, MTP и FP8 KV cache. Сильные стороны модели — сочетание относительно крупного размера, AWQ-квантизации, поддержки Marlin и встроенного MTP для эффективного инференса. README не содержит сведений о языках, точных возможностях мультимодального ввода, результатах бенчмарков, требованиях к другим конфигурациям оборудования или ограничениях качества. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3.6-27B-MLX-4bit — 4-битная квантованная версия модели Qwen3.6-27B, разработанной Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для задач генерации текста и обработки связок изображение—текст, включая сценарии локального запуска через совместимые инструменты. В карточке указана принадлежность к классу image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекстного окна и полном наборе мультимодальных возможностей не приведены. Ключевая особенность модели — 4-битное представление, снижающее требования к памяти по сравнению с полноформатной версией и подходящее для локального использования на Apple Silicon. Ограничения включают возможную потерю качества из-за квантования, а также отсутствие в предоставленных данных конкретных результатов тестирования и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-29B-REAP-Opus-Reasoning-Distill-MTP-GGUF — набор GGUF-квантизаций модели, разработанной barozp. В основе лежит MoE-модель Qwen3.6-35B-A3B, сокращённая методом REAP до 205 из 256 экспертов, объединённая с LoRA-адаптером, дистиллированным из Opus reasoning, и дополненная головкой Multi-Token Prediction (MTP), восстановленной из исходного неприженного чекпойнта. Модель предназначена для генерации текста и задач рассуждения; поддерживаемые языки и размер контекстного окна в README не указаны. Главная особенность версии — поддержка самоспекулятивного декодирования: MTP-головка предварительно предлагает токены, а базовая модель проверяет их. В тестах с llama.cpp это обеспечило ускорение генерации на 39–67% при включённом speculative decoding, без измеримого ухудшения качества по сравнению с версией без MTP. Доступны варианты от BF16 до экстремальных IQ1_M; квантизации Q и IQ различаются требованиями к памяти, совместимостью, скоростью и потерями качества. Для квантизаций до Q4_K_M использовалась importance matrix. Для использования MTP требуется современная сборка llama.cpp или совместимый интерфейс с явным включением режима draft-mtp; без этого модель работает как обычная GGUF-модель, а в некоторых конфигурациях спекулятивное декодирование может почти не ускорять генерацию или даже замедлять её. Требования к ресурсам зависят от квантизации: размер файлов составляет примерно от 7,2 до 57,9 ГБ. Лицензия — Apache-2.0.

SassyDiffusion/Qwen3.6-35B-A3B-heretic-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-35B-A3B, подготовленный для локального запуска. Исходную модель разработала команда Qwen, а данная версия создана на базе llmfan46/Qwen3.6-35B-A3B-uncensored-heretic с использованием Heretic 1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA). Модель предназначена для генерации и обработки текста, включая сценарии, где требуется меньше отказов и ограничений по сравнению с оригинальной версией Qwen3.6-35B-A3B. Модель имеет конфигурацию 35B-A3B; точные сведения об архитектуре, размере активируемой части, длине контекста и поддерживаемых языках в README не указаны. Репозиторий содержит варианты EMB_BF16, в которых таблица token_embd.weight сохраняется без квантизации в формате BF16. Эти embeddings хранятся в системной RAM и не занимают VRAM, что может повысить точность при наличии достаточного объёма оперативной памяти, хотя увеличивает требования к RAM. По заявленным результатам версия демонстрирует 10 отказов из 100 против 83 из 100 у оригинальной модели при KL-дивергенции 0,0015, то есть сохраняет близкое поведение исходной модели при значительно меньшем числе отказов. Ограничением является отсутствие подробных данных о качестве на широком наборе задач, языках и контекстном окне, а также повышенные требования к оперативной памяти для EMB_BF16-квантизаций. В метаданных указана лицензия Apache-2.0.

Qwen3.8-27B-Bonsai-MLX-3bit — 27-миллиардная плотная языковая модель семейства Qwen3.5, подготовленная Hermes Agent на основе Ternary-Bonsai-2 от Prism ML. Это 3-битная квантизированная версия для генерации текста и диалогов, включая сценарии с вызовом инструментов. Метод folded quantization переносит Hadamard-преобразование из инференса в веса, чтобы модель запускалась в стандартных mlx-lm и oMLX без пользовательских ядер и специального рантайма. Модель предназначена для локального запуска на системах Apple Silicon, ответов на запросы, рассуждений и агентных сценариев. В README заявлено оценочное качество около 93–95% от FP16 и размер 12,8 ГБ; стандартные бенчмарки ещё не проводились. Репозиторий распространяется по лицензии Apache-2.0. README описывает производную от квантованной модели PrismML, поэтому исходная квантизация и ограничения базовой Qwen3.8-27B могут влиять на качество.

Это семейство GGUF-квантизированных вариантов модели Qwen3.8-27B, опубликованное разработчиком MagicQuant и основанное на базовой модели Qwen/Qwen3.8-27B. Релиз предназначен для генерации текста и диалоговых сценариев, а также для локального запуска моделей через совместимое с GGUF программное обеспечение, включая инструменты llama.cpp. В набор входят гибридные конфигурации MagicQuant и варианты Unsloth с разными уровнями квантования — от MQ-Q6_K_1 и MQ-Q6_K_2 до MQ-IQ2_XXS_1. Размер файлов составляет примерно от 8,27 до 29,03 ГБ. README описывает сравнительное тестирование по метрике KLD и отбор конфигураций, показавших лучшие компромиссы между размером и сохранением характеристик исходной модели. Точные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях кроме текстовой генерации не указаны. Основные преимущества — широкий выбор размеров, возможность подобрать вариант под доступную память и сохранение качества при использовании более крупных квантов; однако степень потери качества зависит от выбранной конфигурации, а наиболее компактные варианты имеют существенно более высокий KLD. Условия распространения указаны как Apache-2.0.

Qwen3.8 27B Uncensored — GGUF — это набор общественно подготовленных квантованных версий языковой модели Qwen3.8 с примерно 27 млрд параметров. Репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки; конкретный разработчик исходной модели в README не указан, указано лишь семейство Qwen и формат community GGUF quantizations. Модель предназначена для локальной генерации текста, диалоговых сценариев, экспериментов с инференсом и сравнения компромиссов между качеством, скоростью и потреблением памяти. Доступны варианты от исходной точности F16 размером около 52 ГБ до Q2_K размером около 11 ГБ. Рекомендуемым универсальным вариантом назван Q4_K_M размером примерно 16 ГиБ; более высокие уровни квантования обычно требуют больше памяти, а варианты Q3 и Q2 рассчитаны на ограниченные ресурсы. Ключевое преимущество набора — широкий выбор форматов квантования, полученных непосредственно из исходной F16-версии, что позволяет подбирать конфигурацию под оборудование и рабочую нагрузку. Ограничения включают потери качества, неизбежные при квантовании, причём они становятся заметнее на низких разрядностях. Результаты также зависят от контекста, промптов, параметров сэмплирования, оборудования и движка инференса; авторитетные сравнительные бенчмарки на момент описания отсутствуют. В README указана лицензия Apache-2.0, при этом условия исходной модели, включая требования к использованию и атрибуции, сохраняются.

Guile/Qwen3.8-27B-Uncensored-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный автором Guile. Модель предназначена для генерации текста и запуска в llama.cpp, включая локальный инференс, а также сценарии со speculative decoding и обработкой изображений при использовании vision-файлов. Поведение отказов существенно снижено с помощью метода abliteration на базе Heretic, но не устранено полностью; дополнительное обучение и новые данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Поддерживаются английский и китайский языки. README указывает наличие vision-компонентов, однако применение изображений зависит от поддержки vision tower базовой моделью и совместимости runtime. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. Сохранённая MTP-голова может ускорять генерацию, но после изменения основной модели коэффициент принятия draft-токенов может немного снизиться; на качество проверяемых токенов это не должно влиять. Сильные стороны модели — большой контекст, поддержка текста и изображений в соответствующих сборках, широкий выбор квантизаций и сохранённая MTP-голова. Ограничения включают неполное устранение отказов, требования к значительным ресурсам и зависимость vision- и speculative-decoding-сценариев от возможностей конкретного runtime. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-Vision-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, диалоговые сценарии и обработку изображений при использовании vision-варианта, если соответствующая система поддерживается базовой моделью. Заявлены языки English и Chinese. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ; в него встроена MTP-голова для speculative decoding. В README указано, что отказное поведение было существенно снижено с помощью Heretic без дообучения и дополнительных данных, но не устранено полностью. При обычном прямом проходе MTP-блок не влияет на качество вывода, а speculative decoding может ускорить генерацию, хотя коэффициент принятия черновых токенов может немного снизиться. К сильным сторонам относятся большой контекст, поддержка мультимодального ввода, сохранённая MTP-структура и относительно компактное представление Q4_K_M. Ограничения включают зависимость от поддержки vision и MTP со стороны конкретного рантайма, а также возможное ухудшение качества квантования по сравнению с f16; для Q4_K_M в README приведена perplexity 7,1814 на wikitext-2. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-35B-A3B-Distill GGUF — это набор общественных GGUF-квантизаций текстовой MoE-модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленный пользователем ngquocvinh. Модель предназначена для локальной генерации текста с помощью llama.cpp и совместимых сред. Это неофициальный релиз Qwen3.8 и не результат дополнительного обучения или дообучения. Исходная модель содержит 35 млрд параметров, из которых примерно 3 млрд активируются для каждого токена, использует 256 экспертов и маршрутизацию к 8 экспертам. Архитектура включает гибридные компоненты внимания, а заявленная длина контекста в конфигурации исходной модели составляет 262 144 токена. В карточке указана поддержка английского языка и текстовой модальности. Доступны варианты квантизации от Q8_0 размером около 35,22 GiB до IQ2_XS размером около 10,01 GiB, что позволяет выбирать между качеством и требованиями к памяти. Сильной стороной релиза является возможность запуска крупной MoE-модели локально на совместимом оборудовании, а также наличие измерений отклонения квантизированных вариантов от BF16-источника. Q4_K_M обозначен как практичный баланс качества и потребления памяти; варианты Q3_K_M, Q2_K и IQ2_XS имеют существенно большее отклонение и считаются экспериментальными. Поддержка длинного контекста, вызова инструментов и других специализированных функций зависит от исходной модели и используемой среды, поэтому требует отдельной проверки. Релиз распространяется по лицензии Apache-2.0, унаследованной от исходной модели. Квантизации являются общественным проектом и не означают официального одобрения со стороны авторов исходной модели.

lmstudio-community/Qwen3-8B-MLX-4bit — это 4-битная квантизированная версия модели Qwen/Qwen3-8B, преобразованная в формат MLX сообществом lmstudio-community с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, преимущественно на устройствах Apple Silicon, поддерживающих экосистему MLX. Модель относится к классу языковых моделей с параметрами порядка 8 миллиардов и работает в текстовой модальности. Она подходит для диалогов, продолжения текста и других задач генерации, которые поддерживаются базовой моделью Qwen3-8B. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекстного окна, результатах тестирования или специализированных сценариях применения. Ключевое преимущество версии — 4-битное представление, которое снижает требования к памяти и делает локальный запуск более доступным, однако может сопровождаться потерей качества по сравнению с полноразмерной версией. Для использования требуется установка mlx-lm и совместимое окружение MLX. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-6bit-MTP — это 6-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, подготовленная Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для Apple Silicon и реализована в архитектуре qwen4_exp: vision-language модель с разреженной Mixture-of-Experts архитектурой, поддерживающая работу с текстом и изображениями. Общий размер языковой части составляет 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно указаны 51 млрд параметров hashed bigram/trigram embeddings и 4 млрд параметров native MTP-блока. Модель использует Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, vision encoder и контекст до 262 144 токенов. Квантование выполнено методом uniform 6-bit affine с group size 32; мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Встроенный native MTP с одним draft-блоком предназначен для speculative decoding и может ускорять генерацию. Сильными сторонами являются большой контекст, поддержка изображений, высокая вычислительная эффективность за счёт MoE и native MTP, а также проверенная совместимость с MLX-VLM, MLX и oMLX. В тестах на Apple M3 Studio включение MTP увеличило скорость генерации с 20,65 до 25,94 токена в секунду. Ограничения включают значительный размер весов — около 158,08 ГБ, необходимость совместимого runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Языки и точные мультимодальные возможности в предоставленных данных не указаны. Модель распространяется по Qwen Community License 1.0. Токенизатор, chat template, vision processor, конфигурации генерации и native MTP унаследованы от исходной модели.

Qwen_Qwen3.5-27B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-27B, разработанной командой Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и обработки изображений с текстом; запуск возможен через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README указан pipeline image-text-to-text, однако подробности о поддерживаемых языках и максимальном контексте не приведены. Доступны варианты от исходных весов BF16 размером 54,66 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M указан как стандартный вариант для большинства сценариев. Меньшие варианты экономят память, но могут заметно снижать качество ответов. Для ускорения генерации поддерживаются MTP-слои при использовании соответствующей функции llama.cpp. Модель удобна для локального запуска на совместимом оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость совместимости от обновлений используемого программного обеспечения и возможное ухудшение качества при сильной квантизации. Лицензия — Apache-2.0.

Akshat131/splade-multi-static-pruned-v2 — разреженная модель семейства SPLADE для семантического поиска по технической документации и корпусам кода. Это дообученная и дистиллированная версия SPLADE-v3-doc от Naver с укороченным до трёх слоёв BERT-энкодером; в README указано 45,75 млн параметров, тогда как метаданные каталога указывают 51,8 млн. Модель формирует взвешенные разреженные представления документов для поиска через статический инвертированный индекс. Для запросов предусмотрена статическая таблица весов токенов, поэтому их обработка не требует нейронного прохода во время поиска. Модель предназначена прежде всего для поиска по документации библиотек и техническим текстам. В README приведены результаты на корпусах NumPy, Pandas и PyBind11, а также на SciFact из BEIR. Метаданные указывают поддержку английского языка и контекст до 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Для практического использования потребуется совместимый процесс подготовки индекса и обработки документов; README описывает статическую обработку запросов, но не приводит подробности интеграции.

stackoverflow_mpnet-base — модель эмбеддингов предложений, разработанная в рамках Community Week Hugging Face для проекта по обучению моделей sentence embeddings. Она основана на microsoft/mpnet-base и дообучена сиамской сетью с контрастивной целью на 18,56 млн пар заголовков и текстов вопросов Stack Overflow; в качестве эмбеддинга используется mean pooling скрытых состояний. Веса доступны в формате PyTorch, размер модели — 136,7 млн параметров, контекст — до 514 токенов. Модель кодирует текст в векторы для семантического поиска, сравнения сходства и кластеризации. Она ориентирована на технические вопросы и ответы Stack Overflow, поэтому особенно подходит для поиска похожих вопросов и семантической навигации по базе знаний разработчиков. Карточка описывает обучение с последовательностями до 128 токенов; более длинные входы могут не соответствовать режиму обучения. Лицензия в предоставленных данных не указана.

ZOZ-Function-Master-3B — дообученная модель на 3,1 млрд параметров на базе Qwen2.5-3B-Instruct, разработанная для вызова функций, выбора инструментов и генерации структурированных JSON-ответов. Она использует плотную архитектуру Qwen2 и рассчитана на сценарии с агентами и локальное развёртывание; заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст, включая аргументы вызовов функций и JSON. В карточке заявлены проверки типов, параллельные вызовы инструментов и разбор вложенных структур; приведённый общий результат тестирования — 83,3%, поэтому безошибочное соблюдение схем не гарантируется. Указана лицензия Apache-2.0.

jondurbin создал эту диалоговую модель на базе LLaMA с 32,3 млрд параметров, дообучив её методом QLoRA на синтетических данных, созданных GPT-4. Она предназначена для генерации ответов в формате чата и задач, включающих викторины, математику и рассуждения, программирование, вопросы с выбором ответа и заполнение пропусков, а также ответы на вопросы с опорой на предоставленный контекст. Для диалога используется шаблон Vicuna 1.1. Особый акцент сделан на ответах по заданному контексту: модель обучали опираться на предоставленные сведения и ограничивать ответ ими, чтобы уменьшить галлюцинации. Контекстное окно составляет 2048 токенов. README отмечает, что навыки математики и рассуждений остаются слабыми; следовательно, ответы требуют проверки. Модель выпущена под лицензией CC BY-NC 4.0, которая запрещает коммерческое использование.

Olmo-3.1-32B-Think-GGUF — это квантизированная версия текстовой генеративной модели Olmo-3.1-32B-Think, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, включая IQ-квантизации. Размер файлов варьируется примерно от 14 до 64 ГБ, поэтому модель можно адаптировать под доступные ресурсы, выбирая компромисс между качеством и потреблением памяти. Указан английский язык; сведения об архитектуре, максимальном контексте, мультимодальности и поддерживаемых языках, кроме английского, не предоставлены. Сильной стороной модели являются варианты с высокой точностью, близкой к исходной, а также возможность локального запуска на совместимом оборудовании. Низкобитные варианты экономят память, но могут снижать качество генерации; некоторые форматы имеют устаревшие особенности или не рекомендуются из-за более низкого качества. Модель распространяется по лицензии Apache-2.0.

ARIA 70B V2 — это большая языковая модель в формате GGUF, разработанная Faradaylab и квантизированная TheBloke. Репозиторий содержит варианты модели для запуска через llama.cpp и совместимые интерфейсы и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp, Faraday.dev, ctransformers и llama-cpp-python. Исходная модель доступна в формате PyTorch FP16, а также существуют варианты AWQ и GPTQ. Модель основана на архитектуре Llama и предназначена для генерации текста, диалоговых сценариев, ролевого общения, образовательных задач и, согласно метаданным, работы с кодом. Заявлены английский и французский языки. Для общения используется шаблон Llama-2-Chat с системными инструкциями о полезных, безопасных и непредвзятых ответах. Размер модели — 70B параметров; сведения о длине контекста и поддержке дополнительных модальностей в README не указаны. Ключевое преимущество этой версии — поддержка нескольких уровней 2-, 3-, 4-, 5-, 6- и 8-битного квантования, позволяющая запускать модель с использованием CPU и GPU и выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают высокие аппаратные требования для 70B-модели, возможное снижение качества из-за квантования и отсутствие подтверждённых характеристик производительности. Указанная лицензия — llama2.

MisterAI/bigscience_bloom-560m — дообученная версия BLOOM-560m, многоязычной трансформерной языковой модели BigScience. В карточке указаны дополнительные наборы данных для французских вопросов и ответов и кибербезопасности. Модель содержит 659,6 млн параметров, использует плотную архитектуру BloomForCausalLM и предназначена для генерации текста; также её можно адаптировать к задачам вроде ответов на вопросы, извлечения информации и суммаризации. Модель подходит для экспериментов, прототипов и генерации текста на поддерживаемых языках. Метаданные репозитория указывают также поддержку кода и наличие весов в PyTorch, safetensors и GGUF Q4_K_M. Используется лицензия bigscience-bloom-rail-1.0. Как и исходная BLOOM-560m, модель может выдавать фактические ошибки, повторы и предвзятый или нежелательный контент; она не подходит для критически важных решений.

Модель CodeBERT, дообученная Manuel Romero на наборе CodeXGLUE Defect Detection для бинарного обнаружения потенциально небезопасного исходного кода. Она классифицирует фрагменты кода как небезопасные или безопасные; среди примеров проблем в карточке указаны утечки ресурсов, use-after-free и уязвимости типа DoS. В основе — архитектура RoBERTa для классификации последовательностей, около 151,8 млн параметров и контекст до 514 токенов. Модель предназначена для проверки кода и исследовательских сценариев анализа уязвимостей; карточка приводит точность 61,05% для RoBERTa на тестовом наборе, что следует учитывать при использовании результатов.

DatacampLlama-3.1-8B-GGUF — набор GGUF-квантизированных версий модели DatacampLlama-3.1-8B, опубликованной mlabonne. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через llama.cpp и LM Studio; в README заявлена поддержка английского языка и формат чата с ролями system, user и assistant. Модель относится к семейству Llama 3.1 и имеет размер 8B параметров. Доступны варианты от исходных весов F16 размером около 16,07 ГБ до компактных форматов Q2 и IQ3 размером примерно 3,66–4,78 ГБ, а также более качественные варианты Q4–Q8. Высокие уровни квантизации обеспечивают лучшее сохранение качества, тогда как компактные версии требуют меньше оперативной памяти, но могут заметнее уступать в качестве генерации. Отдельные варианты оптимизированы для CPU и ARM-инференса. README не указывает размер контекста, мультимодальные возможности, результаты бенчмарков или подробности обучения, поэтому модель следует рассматривать как текстовую, без подтвержденной поддержки изображений и других модальностей. Лицензия — Apache 2.0.

bartowski/deepcogito_cogito-v1-preview-qwen-14B-GGUF — это квантизированная версия языковой модели cogito-v1-preview-qwen-14B, разработанной deepcogito. Модель предназначена для генерации текста и поставляется в формате GGUF для запуска через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется шаблон диалога с ролями system, user и assistant. Доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Версии с более высокой разрядностью обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4 и Q3 уменьшают требования к ресурсам ценой снижения качества и подходят для локального запуска при ограниченном объёме ОЗУ. Размер базовой модели составляет 14 млрд параметров, однако сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны. Квантизация выполнена bartowski с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0.

unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Llama-70B. Модель создана на основе DeepSeek-R1-Distill-Llama-70B, разработанной командой DeepSeek, а данный вариант опубликован Unsloth. Это текстовая модель для генерации ответов и решения задач в диалоговом и общем текстовом режимах; в примере README она используется для рассуждений и простых математических вопросов через llama.cpp. Модель содержит 70 млрд параметров и основана на архитектуре семейства Llama; точная версия базовой архитектуры и размер контекстного окна в README не указаны. Поддерживаемый язык обозначен как английский. Формат GGUF предназначен для локального запуска с llama.cpp и поддерживает квантованные варианты, включая Q4_K_M и Q8_0. Для ускорения возможна частичная выгрузка слоёв на GPU, однако из-за размера модели запуск требует значительных вычислительных ресурсов. К сильным сторонам относятся большой размер, возможности дистиллированной модели DeepSeek-R1 и удобство локального использования в llama.cpp с разными уровнями квантования. Ограничения — высокая требовательность к памяти и отсутствие в предоставленных данных сведений о точности на тестах, мультимодальности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии llama3.3.

DeepSeek-V2-Lite-IMat-GGUF — это GGUF-квантизированная версия языковой модели DeepSeek-V2-Lite, разработанной deepseek-ai. Квантизацию выполнил legraphista с использованием llama.cpp и метода IMatrix, предназначенного для снижения размера модели с сохранением качества. Модель относится к задачам генерации текста и рассчитана на запуск через совместимые инструменты, включая llama.cpp. В репозитории доступны варианты от исходных FP16 и BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серии. Размер файлов составляет примерно от 5,64 до 31,42 ГБ. IMatrix применяется в вариантах с более низкой точностью, включая Q4_K, Q3_K, Q2_K и IQ-квантизации; для FP16, BF16, Q8_0 и некоторых других вариантов он не используется. Исходная модель имеет тип данных BF16. Сильная сторона сборки — широкий выбор компромиссов между качеством, размером и требованиями к ресурсам, а IMatrix может улучшать сохранение качества при агрессивной квантизации. README не содержит сведений об архитектуре, числе параметров, длине контекста, поддерживаемых языках, мультимодальности, результатах оценивания или лицензии, поэтому эти характеристики нельзя достоверно определить по представленным данным.

mlx-community/DeepSeek-V4-Flash-8bit — это версия модели DeepSeek-V4-Flash, опубликованная сообществом mlx-community и предназначенная для генерации текста. Модель подготовлена для работы с библиотекой MLX и запуска через mlx-lm; в README также указана поддержка шаблона диалога, если он доступен в токенизаторе. Известно, что модель использует 8-битное представление и относится к категории text-generation. Она может применяться для диалоговой генерации и других задач создания текста, однако сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых языках и модальностях в README отсутствуют. К сильным сторонам относятся интеграция с MLX и возможность локального запуска через mlx-lm. Ограничения и точные требования к аппаратному обеспечению не указаны. Лицензия в предоставленных материалах не обозначена.

Dolphin-2.9.3-Mistral-Nemo-12B-Patched — текстовая генеративная модель, опубликованная AIOpsInSpace и созданная на основе cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для локального запуска и генерации текста, включая работу с длинными запросами и документами. В README заявлена специализация на английском языке. Модель имеет плотную архитектуру с 12 млрд параметров и поддерживает контекст длиной до 128K токенов. Версия распространяется в формате GGUF и содержит исправление ошибок сопоставления токенов в tokenizer, из-за которых некоторые локальные backend могли аварийно завершаться или зацикливаться при генерации на длинных промптах. Это является её ключевым преимуществом для локального использования и сценариев с большим контекстом. Ограничения включают отсутствие сведений о точных изменениях относительно базовой модели, результатах независимых тестов, требованиях к оборудованию, производительности и поддерживаемых языках помимо английского. В README указана лицензия Apache-2.0.

FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview-GGUF — это GGUF-квантизированная версия instruct-модели FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview, разработанной FuseAI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В основе лежит модель с 32 миллиардами параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp b4514. Более высокие форматы сохраняют лучшее качество, а варианты Q4 и Q3 требуют меньше оперативной памяти; наиболее универсальным в README назван Q4_K_M. Указан специальный шаблон промпта с ролями system, User и Assistant. Модель ориентирована на локальный инференс и сценарии, где важны автономность, выбор размера файла и баланс между качеством и требованиями к памяти. README не содержит сведений о поддерживаемых языках, длине контекста, мультимодальности, результатах бенчмарков или ограничениях качества. Лицензия в предоставленных данных не указана.

gemma-2-27b-it-IMat-GGUF — это GGUF-квантизированная версия модели Gemma 2 27B Instruction Tuned, разработанной Google. Версия подготовлена пользователем legraphista с помощью llama.cpp и предназначена для локального запуска задач генерации текста и диалогового взаимодействия в совместимых средах, включая llama.cpp. Модель основана на исходной версии google/gemma-2-27b-it с исходным форматом BF16. Доступны варианты от BF16 и FP16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-вариантов размером примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера. README не содержит достоверных сведений о поддерживаемых языках, длине контекста, модальностях помимо текста или конкретных результатах тестирования. Основное преимущество сборки — широкий выбор уровней квантизации для подбора компромисса между качеством, требованиями к памяти и скоростью локального вывода. Ограничения связаны с большими требованиями к ресурсам даже у компактных вариантов, а качество низкобитных версий может отличаться от исходной модели. Для доступа и использования действует лицензия Gemma от Google; на Hugging Face требуется принять условия лицензии.

Gemma-2-9B-It-SPPO-Iter3-GGUF — квантизированная версия языковой модели Gemma-2-9B-It-SPPO-Iter3, опубликованная UCLA-AGI и подготовленная в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, включая диалоговые и другие сценарии применения текстовых LLM. Обучение или дообучение связано с датасетом openbmb/UltraFeedback. Модель содержит около 9 миллиардов параметров и поддерживает английский язык. Доступны варианты от F32 до низкобитных квантований Q2 и IQ2, размером примерно от 3,43 до 36,97 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp b3389; варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. README не указывает размер контекста и модальности, поэтому эти характеристики неизвестны. Для работы требуется соблюдать формат prompt, основанный на специальной разметке ролей Gemma. Модель не поддерживает system prompt. Качество и требования к памяти зависят от выбранного варианта квантования: более компактные файлы экономят ресурсы, но могут заметно снижать качество. Лицензия указана как gemma; конкретные условия её применения следует уточнять в документации Gemma.