II.2Создание и понимание программного кода

legraphista/K2-ckpt_360-IMat-GGUF — это набор квантованных моделей в формате GGUF, созданный legraphista на основе LLM360/K2 из ветки ckpt_360. Исходная модель имела тип данных FP16, а квантование выполнено с помощью llama.cpp b3058 с применением IMatrix для ряда вариантов. Модель предназначена для генерации текста и указана как англоязычная. Доступны варианты с разными уровнями квантования — от FP16 и Q8_0 до Q2_K и IQ2, включая Q6_K, Q5_K, Q4_K и Q3_K. Размер файлов составляет примерно от 20,78 до 130,58 ГБ; некоторые высокоточные варианты разделены на несколько частей. IMatrix применяется в вариантах с более низкой разрядностью, включая Q4, Q3 и Q2, что рассчитано на улучшение сохранения качества при уменьшении размера модели. Архитектура, число параметров, поддерживаемая длина контекста и дополнительные модальности в README не указаны; по назначению это текстовая, а не мультимодальная модель. Основные преимущества — широкий выбор компромиссов между размером, требованиями к памяти и ожидаемым качеством, а также совместимость с экосистемой llama.cpp и форматом GGUF. Ограничения включают значительные требования к дисковому пространству и памяти, возможное снижение качества в низкоразрядных вариантах, а также отсутствие в предоставленных данных подробных оценок производительности и характеристик контекста. Указана лицензия Apache-2.0.

Kimi-K2.5-UD-Q4_K_XL-layers — пакет весов в формате GGUF, подготовленный Mesh LLM для распределённого запуска модели Kimi-K2.5 на кластере локальных машин. Пакет получен из unsloth/Kimi-K2.5-GGUF: исходное распределение GGUF разделено на артефакты по слоям; вариант квантования — UD-Q4_K_XL. Модель предназначена для локального чат-инференса, в том числе на нескольких компьютерах, когда полный файл модели трудно разместить на одном узле. Через Mesh LLM она может обслуживать совместимый с OpenAI API endpoint для запросов чата и генерации текста. Карточка не приводит размер параметров, длину контекста или список поддерживаемых языков; для архитектуры, шаблона чата и условий лицензии она отсылает к карточке исходной модели.

kompress-v2-base — англоязычная модель для извлечения значимых фрагментов текста и сжатия промптов перед передачей LLM. Она присваивает каждому токену оценку сохранения и метку keep/drop; оставшиеся токены образуют сокращённый текст, сохраняющий смысл исходного ввода. Модель разработана на базе answerdotai/ModernBERT-base: использует LoRA-адаптер и дополнительную голову классификации токенов со свёрточным слоем для анализа последовательностей. Размер базовой модели — 149 млн параметров; обучаемая часть адаптера — 3,4 млн параметров. Модель предназначена для интеграции в прокси-сервисы LLM и другие конвейеры, где нужно уменьшить расход токенов, сохранив важные сведения. Порог оценки позволяет выбирать компромисс между степенью сжатия и полнотой сохранения критичных элементов. В тестировании на 7 037 примерах при пороге 0,5 указаны F1 0,918, полнота сохранения важных элементов 0,974 и сокращение числа токенов примерно на 18%. Заявлен контекст до 8 192 токенов. Репозиторий включает варианты Core ML, ONNX и safetensors, а карточка описывает запуск Core ML на устройствах Apple Silicon. Обучение охватывало 17 областей, включая диалоги, код, трассы агентов, медицину, финансы, государственные и научные документы, веб-тексты и вызовы инструментов; это не означает одинаково подтверждённое качество для каждого домена. Лицензия — Apache-2.0. Описанные метрики получены на тестовом наборе автора и сами по себе не гарантируют качества на новых данных; подтверждена поддержка английского языка.

Jongbin-kr разработал экспериментальный чекпойнт Llama 3.1 8B Instruct, преобразовав MLP-блоки декодера в разреженную MoE-архитектуру с четырьмя изначально одинаковыми экспертами и маршрутизацией top-1 без отбрасывания токенов. Модель содержит 7,5 млрд параметров, принимает текст и предназначена для диалоговой генерации текста и выполнения инструкций; заявленная длина контекста — 131 072 токена. Она основана на инструкционно настроенной Llama 3.1 8B Instruct от Meta и распространяется в формате safetensors для библиотеки Transformers. Для загрузки карточка указывает необходимость `trust_remote_code=True`. Сведения о лицензии в предоставленных данных отсутствуют.

imone/Llama-3-8B-fixed-special-embedding — вариант базовой Llama 3 8B, в котором разработчик переинициализировал веса специальных токенов в слоях embed и lm_head. Веса этих токенов заданы как среднее значение весов остальных токенов, чтобы уменьшить риск NaN-градиентов при обучении. Модель предназначена для генерации текста и может служить базой для дальнейшего обучения. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом 8192 токена. В репозитории используются веса safetensors; карточка не приводит сведения о поддерживаемых естественных языках. Лицензия указана как other, поэтому условия использования следует проверять отдельно для этой модели и базовой Llama 3.

MaziyarPanahi/M7Yamshadowexperiment28_Experiment24Experiment26 — объединённая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment24Experiment26-7B. В её основе архитектура Mistral с плотной сетью причинного языкового моделирования; размер составляет 7,1 млрд параметров, а максимальная длина контекста — 32 768 токенов. Модель подходит для генерации продолжений текста и других задач текстовой генерации. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не уточняет языки обучения и ограничения качества.

Marco-o1-GGUF — набор квантованных версий языковой модели Marco-o1, разработанной AIDC-AI. Релиз подготовлен пользователем bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, с применением специального шаблона prompt format на основе тегов system, user и assistant. Доступны варианты от исходных весов f32 размером 30,47 ГБ до квантовок IQ2_M размером 2,78 ГБ. Рекомендуемыми указаны версии Q4_K_M, Q5_K_M, Q5_K_S, Q5_K_L, Q6_K и Q6_K_L; старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Для некоторых версий предусмотрены оптимизации под ARM и AVX, однако отдельные ARM-варианты не следует использовать на Mac или с GPU согласно описанию. README не содержит сведений об архитектуре, числе параметров, контекстном окне, поддерживаемых языках, обучающих данных или специализированных сценариях применения, поэтому эти характеристики нельзя достоверно указать. Лицензия модели обозначена как Apache-2.0. Качество и требования к ресурсам зависят от выбранного уровня квантизации.

MiniCPM5-2B-Base-GGUF — это набор GGUF-квантизованных версий базовой языковой модели openbmb/MiniCPM5-2B-Base, разработанной командой OpenBMB. Квантизацию выполнил mradermacher. Модель предназначена для генерации и продолжения текста, локального запуска на устройствах с ограниченными ресурсами и edge-сценариев; в метаданных также заявлена поддержка длинного контекста и вызова инструментов. Указанные языки — английский и китайский. Модель относится к классу компактных моделей примерно на 2 млрд параметров и связана с архитектурой Llama; точная архитектура и максимальная длина контекста в README не указаны. Доступны варианты от Q2_K размером около 1,1 ГБ до F16 размером около 5,1 ГБ, включая рекомендуемые по скорости Q4_K_S и Q4_K_M, а также Q8_0 с наилучшим качеством среди перечисленных вариантов. Чем сильнее квантизация, тем ниже требования к памяти, но потенциально ниже качество. Это базовая, а не явно дообученная для диалога версия, поэтому её возможности в прикладных сценариях могут зависеть от используемого шаблона промпта и дополнительной адаптации. Лицензия — Apache-2.0.

bartowski/moxin-chat-7b-GGUF — набор GGUF-квантизаций чат-модели moxin-chat-7b, разработанной moxin-org. Квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через llama.cpp и LM Studio; в README указан специальный формат приглашений с системным сообщением и пользовательским запросом. В основе лежит модель размером 7 млрд параметров. Доступны варианты от F16 размером 16,23 ГБ до сильно сжатых IQ2_M размером 2,79 ГБ, включая Q4_K_M размером 4,89 ГБ как типичный компромисс между качеством и требованиями к памяти. Более высокие варианты Q5 и Q6 обеспечивают качество, близкое к исходному, а варианты Q2 и Q3 экономят память, но заметно уступают по качеству. Для некоторых вариантов embedding- и output-веса сохранены в формате Q8_0. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель подходит для локального текстового чат- и инференс-сценариев на совместимом оборудовании. Основные преимущества — широкий выбор уровней квантизации, поддержка GGUF и возможность запуска с llama.cpp или LM Studio. Ограничения включают потенциальную потерю качества при низких уровнях квантизации и отсутствие сведений о языках, контекстном окне и результатах оценки. Указанная лицензия — Apache-2.0.

MS-Meadowlark-22B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели MS-Meadowlark-22B, разработанной allura-org. Модель относится к семейству моделей, созданных с использованием mergekit, и предназначена для генерации текста. Квантизацию выполнил bartowski с помощью llama.cpp и imatrix, что позволяет запускать модель локально, в том числе через LM Studio. Для взаимодействия в README указан шаблон prompt: <s> [INST] запрос [/INST]. Модель имеет размер 22B параметров; доступны варианты от полноразмерных F16 до более компактных Q2, Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 8,47 до 44,50 ГБ. Более качественные варианты Q5 и Q6 рекомендованы для сохранения исходных возможностей, тогда как Q3 и Q2 предназначены для систем с ограниченным объёмом оперативной памяти и обеспечивают более низкое качество. Отдельные варианты оптимизированы для ARM и требуют поддержки SVE или i8mm; они не рекомендуются для Mac и Windows. Данные о поддерживаемых языках, длине контекста, архитектуре базовой модели, мультимодальности и результатах тестирования не указаны. Распространение выполняется по лицензии MRL-0.1 от Mistral AI.

Это квантизированная и подвергнутая абляции отказов версия языковой модели NVIDIA Nemotron Cascade 2 30B-A3B, созданная Jinho Jang. Модель предназначена для диалогов и генерации текста; в карточке указаны интерфейс вызова инструментов и контекст до 262 144 токенов. Архитектура базовой модели сочетает Mamba-2, MoE и механизмы внимания; версия использует смешанную точность JANG_2L и формат MLX для Apple Silicon. README описывает вариант JANG_2L как модель размером около 10 ГБ. CRACK — удаление механизмов отказа на уровне весов — делает модель способной выдавать ответы на запросы, которые базовая версия могла бы отклонить. README приводит результаты HarmBench и MMLU для варианта JANG_2L, но эти показатели не являются гарантией качества в других задачах. Для запуска требуются MLX Studio или jang-tools; условия распространения обозначены как other, а README заявляет исследовательское и образовательное назначение.

Nemotron-Orchestrator-8B-GGUF — это набор файлов модели в формате GGUF для оригинальной модели Nemotron-Orchestrator-8B, разработанной NVIDIA и квантованной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска с использованием совместимых инструментов и библиотек, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие решения с поддержкой GGUF. Ключевая характеристика этой версии — наличие вариантов квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством вывода. Из README известен размер базовой модели — 8 миллиардов параметров; сведения об архитектуре, поддерживаемых языках, длине контекста и мультимодальности не указаны. Формат GGUF удобен для запуска на локальных системах и может поддерживать ускорение на GPU, однако фактическая производительность зависит от выбранной квантовки и используемого оборудования. README не содержит сведений о лицензии модели. Также не приведены результаты тестирования, специализированные сценарии применения или ограничения качества, поэтому их нельзя оценить по имеющимся данным.

OREAL-DeepSeek-R1-Distill-Qwen-7B-GGUF — квантованная версия модели OREAL-DeepSeek-R1-Distill-Qwen-7B, разработанной командой internlm. Формат GGUF подготовлен bartowski на основе релиза llama.cpp b4688; модель предназначена для локального запуска и генерации текста, в том числе через LM Studio. Объём базовой модели составляет 7B параметров согласно её названию, однако конкретный вариант квантования в README не указан. Модель ориентирована на задачи текстовой генерации и диалогового взаимодействия. В качестве исходных данных указано использование набора internlm/OREAL-RL-Prompts. Сведения о точной архитектуре, поддерживаемых языках, длине контекста, модальностях, производительности и рекомендуемых аппаратных требованиях отсутствуют, поэтому эти характеристики нельзя определить по представленному README. К преимуществам относятся формат GGUF и совместимость с llama.cpp-совместимыми инструментами, что подходит для локального запуска с ограниченными ресурсами. Ограничения связаны с отсутствием подробной технической документации и неизвестными параметрами квантования, а также с возможностью получения неточных, вредных или неподходящих ответов, характерной для подобных генеративных моделей. Лицензия указана как Apache-2.0.

Phi-3-mini-4k-instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционной модели microsoft/Phi-3-mini-4k-instruct, подготовленная legraphista с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты экосистемы llama.cpp. В README заявлена поддержка английского языка. Модель поставляется в форматах GGUF с различными вариантами точности и степенью сжатия: от FP16 и BF16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и форматов IQ. Для ряда вариантов применена imatrix-квантизация, рассчитанная на сохранение качества при уменьшении размера модели. Доступны файлы объёмом примерно от 1,32 до 7,64 ГБ; конкретные требования к памяти и производительность зависят от выбранного варианта и оборудования. Из идентификатора базовой модели следует контекст 4K токенов. Сильной стороной является широкий выбор уровней квантизации, позволяющий подобрать баланс между качеством, размером и скоростью локального запуска. Ограничения включают преимущественно англоязычную заявленную область применения, ограниченный контекст и возможные потери качества при использовании наиболее компактных вариантов квантизации. Распространение указано по лицензии MIT, унаследованной от исходной модели Microsoft.

Prismatic-12b-GGUF — набор GGUF-квантизаций модели Prismatic-12b, разработанной ProdeusUnity. Квантизации подготовлены пользователем bartowski с помощью llama.cpp релиза b4058 и метода imatrix; исходная модель также помечена как merge-модель. Репозиторий предназначен для локального запуска задач генерации текста, в частности через LM Studio и совместимые инструменты на базе llama.cpp. Доступны варианты от исходных весов F16 размером 24,50 ГБ до компактных квантизаций IQ2 и Q2 размером около 4,4–4,8 ГБ. В README рекомендуются варианты Q4_K_M, Q5, Q6 и некоторые другие как обеспечивающие хороший или очень высокий баланс качества и размера; низкобитные варианты подходят для систем с ограниченным объёмом оперативной памяти, но снижают качество. Отдельные варианты оптимизированы для ARM и требуют поддержки SVE или i8mm, поэтому не рекомендуются для Mac и Windows. Модель имеет размер 12 млрд параметров и относится к текстовым генеративным моделям, однако сведения об архитектуре, поддерживаемых языках, максимальной длине контекста, формате промпта и специализированных сценариях в README отсутствуют. Лицензия также не указана; условия использования следует уточнять на странице исходной модели ProdeusUnity/Prismatic-12b.

ProCreations_grug-3b-GGUF — это квантизированная версия текстовой генеративной модели ProCreations/grug-3b, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста, включая сценарии с рассуждениями, эффективным использованием токенов, адаптивным reasoning и tool use. Указанный язык — английский. Модель имеет размер около 3 млрд параметров; точные сведения об архитектуре и размере контекста в README не приведены. Доступны варианты от BF16 до низкобитных квантов Q2–Q8 и IQ, что позволяет выбирать между качеством и требованиями к оперативной памяти. Для большинства сценариев рекомендуются варианты Q4–Q6; низкобитные версии подходят для систем с ограниченной памятью, но могут заметно уступать по качеству. Модель совместима с llama.cpp и рядом локальных интерфейсов, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. README не содержит результатов сравнительных тестов, поэтому фактическое качество рассуждений, использования инструментов и генерации текста следует оценивать самостоятельно. Лицензия — Apache-2.0.

QuantFactory/Qwen2.5-7B-Instruct-Uncensored-GGUF — квантованная версия модели Orion-zhen/Qwen2.5-7B-Instruct-Uncensored, созданная QuantFactory с использованием llama.cpp. В основе лежит Qwen2.5-7B-Instruct от Qwen. Исходная модель дообучалась методами SFT и DPO на наборах данных с токсичными, нерефусальными и китайско- и англоязычными инструкциями. Модель предназначена для генерации текста, диалоговых сценариев, выполнения инструкций, ролевых взаимодействий и задач, где требуется меньше ограничений на содержание ответов. Заявлены языки zh и en. Архитектура — языковая модель Qwen2.5 с 7 миллиардами параметров; формат GGUF подходит для запуска через совместимые инструменты экосистемы llama.cpp. Точная схема квантования и размер контекстного окна в карточке не указаны. К сильным сторонам относятся сохранение исходных возможностей Qwen2.5-7B-Instruct при снижении склонности к отказам и возможность локального запуска в квантованном формате. Ограничение модели состоит в том, что даже после дообучения она может не создавать подробные описания некоторых экстремальных сценариев; кроме того, характеристики производительности зависят от конкретного варианта квантования и аппаратного обеспечения. Модель распространяется по лицензии GPL-3.0.

Qwen3.5-4B-MNN — 4-битная квантованная версия модели Qwen3.5-4B, экспортированная в формат MNN с помощью инструмента llmexport из проекта Alibaba MNN. Модель опубликована в репозитории taobao-mnn/Qwen3.5-4B-MNN и предназначена для запуска средствами MNN-LLM. Модель относится к классу text-generation и ориентирована на генерацию текста и чат-сценарии. В README указано, что её базовая модель имеет размер 4B; поддерживается текстовая модальность, а заявленный язык — английский. Формат MNN и 4-битная квантизация рассчитаны на более эффективное локальное выполнение и снижение требований к памяти по сравнению с полноразмерной моделью. Размер контекста, точная архитектура, показатели качества и перечень поддерживаемых языков не указаны. Для запуска требуется собрать MNN с поддержкой LLM и использовать исполняемый файл llm_demo вместе с конфигурацией модели и входным текстом. К преимуществам относятся уменьшенный объём весов и возможность локального запуска через MNN; при этом квантизация может влиять на точность и качество генерации, однако количественные данные о таком влиянии отсутствуют. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-abliterated-ROCmFP4 — версия Qwen 3.6 с архитектурой MoE, преобразованная в GGUF и квантованная в ROCmFP4 с помощью ROCmFPX. Модель основана на wangzhang/Qwen3.6-35B-A3B-abliterated-v2 и предназначена для генерации текста и диалогов; автор описывает её как abliterated, то есть с ослабленными ограничениями на ответы. Сборка оптимизирована для видеокарт AMD и поддерживает запуск через Vulkan или ROCm. Для ускорения генерации предусмотрено спекулятивное декодирование Multi-Token Prediction (MTP); в README приведён пример с контекстом 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает результаты сравнительных тестов качества.

Genesis Hermes V7 — это мультимодальная модель на архитектуре Qwen3.6-35B-A3B, опубликованная автором проекта Genesis и основанная на дообученной модели HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. Автор сообщает о переносе данных дообучения на датасете Hermes function calling из модели DJLougen/hermes-qwen3.5-35b-a3b-GGUF и о собственной постобработке весов Genesis; в репозитории доступны GGUF-веса, включая F16. Модель предназначена для диалогов, анализа изображений, локального ролевого общения и агентных сценариев с обработкой команд Hermes. Карточка также описывает её как uncensored и приводит рекомендации по запуску в llama.cpp, включая наличие отдельного mmproj-файла для поддержки изображений и контекст не менее 128K токенов. Указана лицензия Apache-2.0. Заявления автора об улучшении стабильности и качестве основаны на его описании метода; независимые результаты бенчмарков в карточке не представлены.

Репозиторий содержит веса Qwen3.8-27B в формате native 8-bit tiled, упакованные для запуска через Splash и ускорения генерации с помощью Multi-Token Prediction и speculative decoding. В README заявлены 27 млрд параметров, 64 слоя и оптимизация для Apple Silicon с Metal; состав файлов также включает черновую модель, vision-модель, токенизатор и manifest. Метаданные классифицируют модель как плотную causal language model семейства splash-packed-q8 с архитектурой Qwen38ForCausalLM и задачей text-generation. Модель предназначена для генерации текста и высокопроизводительного вывода на Apple Silicon. README сообщает о проверенной полноте файлов и приводит результаты бенчмарка для Apple M-series с 64 ГиБ памяти, но эти цифры зависят от оборудования и указанной реализации Splash. Для запуска требуется совместимая Q8-версия Metal runtime: upstream Splash 1.0, по заявлению карточки, поддерживает только форматы Q4 и не принимает этот пакет. Лицензия репозитория — Apache-2.0.

Qwen3.8-27B-Uncensored-Aggressive-i1-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B-Uncensored-Aggressive, разработанной philbert440 и подготовленной квантизацией mradermacher. Модель относится к семейству Qwen3, имеет около 27 млрд параметров и предназначена для генерации и обработки текста; README также обозначает её как vision-модель, поддерживающую работу с изображениями при наличии соответствующих mmproj-файлов. Заявленный язык — английский. Доступны варианты квантизации i1 с размерами примерно от 11 до 22,5 ГБ, включая Q2_K, Q3_K, IQ3, Q4, Q5 и Q6. Они позволяют выбирать компромисс между требованиями к памяти, скоростью и качеством; для повседневного использования рекомендован i1-Q4_K_M, а i1-Q4_0 отмечен как быстрый, но обладающий более низким качеством. Контекстное окно, точная архитектура и результаты тестирования в README не указаны. Модель описана как uncensored и abliterated, поэтому её поведение и защитные ограничения могут отличаться от исходной модели. Распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-102B-A5B-Niwaki-v2.4-3bit-gguf — GGUF-сборка разреженной модели Mixture-of-Experts семейства Qwen, подготовленная проектом Niwaki для запуска через llama.cpp. Модель содержит 102 млрд параметров, из которых активно около 5,3 млрд; в ней 48 слоёв и 512 маршрутизируемых экспертов с выбором top-10. Веса распределены по типам квантования с учётом структуры модели, преимущественно Q3_K для экспертов и более высокой точностью для ряда других компонентов. Модель предназначена для генерации текста и диалогов, а также для задач рассуждения, отслеживания переменных и арифметики. README приводит результаты измерений на WikiText-2 и проверках программного состояния; авторы отмечают, что качество в целом близко к базовой модели, но числа и узкие технические сведения менее надёжны. Карточка описывает оценивание на англоязычных веб-данных и предупреждает о наследовании смещений базовой модели. Для загрузки требуется форк llama.cpp от neopolita: стандартная версия пока не поддерживает используемую раскладку тензоров. На Apple Silicon рекомендованной сборке требуется около 40,8 ГиБ видеопамяти плюс память для контекста. Модель разработана командой Qwen как базовая, а обрезку, восстановительное обучение и GGUF-сборку выполнил проект Niwaki. Метаданные указывают лицензию other; README отсылает к лицензии базовой модели, поэтому конкретные условия следует проверять в карточках обеих моделей.

bartowski/Qwen_Qwen3.5-0.8B-GGUF — это набор GGUF-квантизированных версий модели Qwen3.5-0.8B, разработанной Qwen и преобразованной bartowski с использованием llama.cpp. Модель предназначена для задач image-text-to-text и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты от BF16 до Q2_K_L, включая популярные квантизации Q4, Q5, Q6 и Q8; размер файлов составляет примерно от 0,50 до 1,56 ГБ. В README также указана поддержка MTP-слоёв и запуска с параметром --spec-type draft-mtp. Модель поставляется в формате GGUF и использует шаблон диалога с системными, пользовательскими и ассистентскими сообщениями. К сильным сторонам относятся небольшой размер, возможность локального использования и широкий выбор компромиссов между качеством и потреблением памяти. Более низкие уровни квантизации экономят ресурсы, но могут заметно снижать качество генерации; для некоторых вариантов требуется актуальная версия поддерживающего ПО. В README не указаны точные размер контекста, языки, архитектурные детали исходной модели и результаты бенчмарков. Лицензия — Apache-2.0.

sfmbaselinefiltered-8k9k10k11k12kweightedavgmerge — объединённая предобученная языковая модель, созданная с помощью mergekit. В README указан метод Linear: чекпойнт global_step11921 использован как базовый, а также объединены чекпойнты global_step8000, global_step9000, global_step10000 и global_step11000. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров. Она предназначена для генерации текста; максимальный контекст составляет 16 384 токена. В репозитории доступны веса в формате safetensors. Данных о специализированной предметной области или поддерживаемых естественных языках нет. В карточке не указаны сведения о качестве, безопасном поведении или рекомендуемых сценариях применения, поэтому их следует оценивать отдельно. Лицензия в предоставленных данных не указана.

ShuttleAI Shuttle 2.5 Mini GGUF — это набор квантизированных файлов модели shuttleai/shuttle-2.5-mini, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и поставляется в формате GGUF, совместимом с инструментами локального запуска, поддерживающими этот формат. В репозитории доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размер файлов составляет примерно от 4,6 до 12,4 ГБ, поэтому варианты позволяют выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества. Сведения об архитектуре, количестве параметров, модальностях, поддерживаемых языках и размере контекста в README не указаны. Модель подходит для задач текстовой генерации и локального или удалённого развёртывания при наличии совместимого программного обеспечения. Основное преимущество — широкий выбор уровней квантизации и возможность подобрать файл под доступные аппаратные ресурсы. Ограничения связаны с отсутствием в README подробных характеристик, результатов тестирования и рекомендаций по выбору конкретного варианта. Лицензия модели и условия её использования не указаны.

steiner-32b-preview-GGUF — это набор квантизированных GGUF-версий языковой модели steiner-32b-preview, разработанной peakji и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского и китайского языков, однако сведения о точной архитектуре, размере контекста, мультимодальности и результатах тестирования отсутствуют. Доступны варианты от BF16 и Q8_0 до низкобитных Q2 и Q3, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Для квантования использовался imatrix в llama.cpp; автор рекомендует варианты Q4_K_M, Q5, Q6 и некоторые IQ-версии, тогда как низкобитные варианты имеют заметно более низкое качество. Модель использует формат диалога с маркерами <|im_start|> и <|im_end|>. Распространяется по лицензии Apache-2.0.

TopEvolution-DPO-32K-GGUF — это набор файлов модели в формате GGUF, подготовленный MaziyarPanahi для модели mergekit-community/TopEvolution-DPO-32K. Исходную модель разработало сообщество mergekit-community, а данный репозиторий предоставляет её квантизированные варианты для локального запуска и инференса. Модель предназначена для генерации текста и совместима с инструментами и библиотеками, поддерживающими GGUF, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Формат позволяет использовать модель с аппаратным ускорением на различных платформах и подключать её через локальные интерфейсы или OpenAI-совместимые серверы, если это поддерживается выбранным клиентом. В README указаны варианты квантизации с разрядностью от 2 до 8 бит, а также совместимость с экосистемой Transformers и тегами Mistral. Заявлены текстовая модальность и контекст до 32K токенов, однако подробные сведения об архитектуре, размере модели, поддерживаемых языках, качестве и результатах тестирования не приведены. Ограничения включают зависимость производительности и качества от выбранного уровня квантизации и использующего приложения. Лицензия в предоставленных данных не указана.

Tulu V2.5 DPO 13B PRM800k Phase 2 — англоязычная диалоговая модель-помощник, разработанная AllenAI. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, дообученная на базе allenai/tulu-2-13b. После обучения на смеси инструкций Tulu V2 модель прошла выравнивание методом DPO на данных PRM800k, фаза 2; карточка также относит её к серии, обучавшейся с использованием DPO и PPO. Модель принимает текст и генерирует текст в формате диалога; для качественной генерации следует использовать предусмотренный токенизатором шаблон чата. Длина контекста — 4096 токенов. Модель предназначена для ответов на инструкции и ведения диалогов с помощником на английском языке. Она может выдавать проблемные ответы: авторы отмечают, что модели Tulu не были специально выровнены для безопасных завершений в RLHF и не используют фильтрацию ответов во время работы. Распространяется по лицензии Apache 2.0.

momergul/userlm_sft_llama3_1_8B_instruct — чат-модель на архитектуре Llama, дообученная методом supervised fine-tuning с использованием TRL. Она предназначена для генерации ответов на пользовательские сообщения и диалогового общения; карточка показывает запуск через Transformers с задачей text-generation. В репозитории указано 7,5 млрд параметров, контекст до 131 072 токенов и веса в формате safetensors. Карточка не раскрывает набор обучения, языковой охват или результаты оценки качества, поэтому их нельзя уверенно охарактеризовать. Лицензия в предоставленных данных не указана.