II.2Создание и понимание программного кода

gemma-4-31B-it-GGUF — квантованная модель Gemma 4 с 31 млрд параметров, разработанная Google и представленная в формате GGUF организацией ggml-org. Это instruction-tuned модель на базе google/gemma-4-31B-it, предназначенная для запуска и инференса в совместимых средах, включая llama.app. По указанным метаданным модель поддерживает сценарии image-text-to-text, то есть обработку текстовых и визуальных входных данных с генерацией текста. Ключевая особенность этой версии — формат GGUF и квантование, направленные на снижение требований к памяти и упрощение локального запуска. README не содержит сведений о конкретном варианте квантования, размере файла, длине контекста, поддерживаемых языках, аппаратных требованиях или результатах тестирования, поэтому эти характеристики нельзя определить по предоставленным данным. Модель автоматически преобразована с использованием инструментария ggml-org/convert, что может влиять на совместимость и доступные способы запуска. Модель распространяется по лицензии Apache 2.0. Ограничения README не описывает; при практическом использовании следует учитывать ограничения исходной Gemma 4, особенности квантованной версии и возможности выбранного движка инференса.

GLM-4.7-Flash-5bit — это версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в программных окружениях, совместимых с MLX. Модель поддерживает английский и китайский языки и относится к классу text-generation. Вариант 5bit использует 5-битное представление параметров, что может снизить требования к памяти по сравнению с полноформатной версией, однако README не содержит точных сведений о размере модели, архитектуре, длине контекста, доступных модальностях и производительности. Для работы требуется библиотека mlx-lm; в README приведён пример загрузки модели, применения chat template и генерации ответа. Модель распространяется по лицензии MIT. Ограничения, связанные с качеством, безопасностью и областью применения базовой модели, в предоставленных данных отдельно не описаны.

RedHatAI/GLM-5.2-MXFP4xMXFP8 — квантизированная версия языковой модели zai-org/GLM-5.2, разработанная RedHatAI. Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM, предназначенная для генерации текста и инференса, в том числе с использованием vLLM. Заявленные языки — английский и китайский. Модель использует квантование весов MoE-линейных слоёв, включая экспертные и shared expert-компоненты, до 4-битного формата MXFP4, а активаций — до MXFP8 с динамическим масштабированием. Среднее число бит на параметр снижено примерно до 4,5: размер модели на диске уменьшается приблизительно с 1,47 ТБ в формате BF16 до 424 ГБ, а потребность в дисковой и GPU-памяти — примерно на 72%. Остальные компоненты трансформерных блоков не квантизуются. Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении возможности инференса крупной MoE-модели. Чекпойнт подготовлен в формате compressed-tensors с помощью LLM Compressor и рассчитан на развёртывание в vLLM; в README приведена конфигурация с tensor parallelism на 8 устройств, FP8 KV-cache, speculative decoding и поддержкой вызова инструментов. При этом поддержка данного квантизированного чекпойнта в vLLM обозначена как экспериментальная, а квантование выполнено методом RTN без калибровочных данных, что может ограничивать качество по сравнению с исходной моделью. Лицензия в предоставленных данных не указана. Контекстное окно, точное число параметров, мультимодальные возможности и результаты оценки качества также не раскрыты.

ibm-granite/granite-3.3-8b-instruct-FP8 — это версия модели Granite-3.3-8b-Instruct в формате FP8, разработанная IBM. Модель предназначена для генерации текста и использования в сценариях, требующих следования инструкциям; карточка указывает pipeline text-generation и совместимость с библиотекой Transformers. Модель основана на ibm-granite/granite-3.3-8b-instruct и содержит 8 миллиардов параметров, однако в представленном README не приведены сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Формат FP8 может быть полезен для более эффективного хранения и инференса, но конкретные требования к оборудованию и показатели качества не указаны. Модель распространяется по лицензии Apache-2.0. Для полного описания возможностей и ограничений рекомендуется обратиться к карточке базовой модели, поскольку текущий README содержит только краткую информацию о FP8-версии.

Hermes-3-Llama-3.1-8B-MLX — англоязычная диалоговая модель семейства Llama 3.1 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Репозиторий mlx-community содержит версию модели в формате MLX, преобразованную из NousResearch/Hermes-3-Llama-3.1-8B с помощью mlx-lm 0.23.2. Модель предназначена для генерации текста в диалоге, следования инструкциям и взаимодействия с инструментами. Она поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В метаданных указана лицензия llama3; для запуска README описывает использование mlx-lm.

InternLM2.5-7B-Chat-GGUF — квантизированная версия чат-модели InternLM2.5-7B-Chat, разработанной командой InternLM и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-взаимодействие и использование инструментов. Она рассчитана на запуск через LlamaEdge и совместимые среды, использует шаблон запросов ChatML, а для вызовов инструментов предусмотрен отдельный шаблон internlm-2-tool. Модель содержит 7 миллиардов параметров, поддерживает контекст до 32 000 токенов и относится к текстовым, а не мультимодальным моделям. Доступны варианты квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,01 до 15,5 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S предлагают более низкую потерю качества при большем размере. Более сильная квантизация уменьшает требования к памяти, но может заметно снижать качество. README не содержит сведений о поддерживаемых языках, внутренней архитектуре, результатах тестирования, сильных сторонах и ограничениях исходной модели. Лицензия указана как other, без дополнительных условий или подробностей; перед использованием необходимо ознакомиться с лицензией исходной модели и репозитория.

InternLM3-8B-Instruct-GGUF — это 8-миллиардная instruction-модель семейства InternLM, опубликованная командой InternLM и представленная в формате GGUF. Данный набор квантованных версий подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp или LM Studio. Формат prompt не указан, поэтому для корректного применения следует обратиться к странице исходной модели. Доступны варианты от полноточных F32 и F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 3,82 до 35,22 ГБ. Квантованные версии снижают требования к памяти, сохраняя различный уровень качества; README рекомендует несколько вариантов Q6, Q5 и Q4 как оптимальные по соотношению качества и размера. Сведения о поддерживаемых языках, длине контекста, модальностях и конкретной архитектуре в README не приведены. Модель распространяется под лицензией Apache-2.0.

EXAONE-4.0-32B-GGUF — это набор GGUF-квантизаций языковой модели EXAONE-4.0-32B, разработанной LGAI-EXAONE. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5934 и imatrix на основе исходной модели LGAI-EXAONE/EXAONE-4.0-32B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером около 64 ГБ до компактных IQ3 и Q3 размером примерно 13–17 ГБ, а также более качественные Q4–Q8. Рекомендуемым вариантом по умолчанию указан Q4_K_M; варианты Q5 и Q6 обеспечивают более высокое качество при значительных требованиях к памяти, а низкобитные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Из README известно, что модель содержит 32 миллиарда параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки, размер контекстного окна и точные характеристики исходной модели здесь не указаны. Шаблон чата также не задан: в README приведён предполагаемый формат, который может быть некорректным и требует проверки по карточке оригинальной модели. Лицензия в предоставленных данных не указана.

kechengcode/Llama-3.1-5B-Instruct-18Layers — компактная текстовая генеративная модель на архитектуре Llama, созданная методом passthrough merge из слоёв Meta Llama 3.1 8B Instruct с помощью mergekit. В репозитории указаны 4,5 млрд параметров, формат safetensors и библиотека Transformers; метаданные указывают контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и интерфейсов вызова инструментов. Её можно использовать для ответов на вопросы, черновиков текстов и подключения языковой модели к приложениям с инструментами. Карточка не описывает отдельную специализацию по предметной области или языкам; исходная модель — Llama 3.1 8B Instruct. Лицензия в предоставленных данных не указана. Сокращённый набор слоёв может влиять на качество и поведение относительно исходной модели; отдельные результаты оценки не приведены.

MaziyarPanahi/Llama-3-16B-Instruct-v0.1-GGUF — набор файлов модели в формате GGUF, созданный и квантованный MaziyarPanahi на основе MaziyarPanahi/Llama-3-16B-Instruct-v0.1. Модель относится к семейству Llama 3 и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Основной сценарий использования — локальный запуск через совместимые инструменты, включая llama.cpp, с применением специального шаблона промпта Llama 3. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, конкретные характеристики вариантов квантования и лицензия. Сильной стороной модели является наличие нескольких GGUF-вариантов для локального инференса и адаптации под разные аппаратные ограничения. Ограничения включают возможную потерю качества при низкоразрядном квантовании, необходимость использовать корректный шаблон Llama 3 и отсутствие в предоставленных данных сведений о лицензии и детальных технических характеристиках.

Hitmanguy/Llama_3.1_GRPO_AMD — текстовая генеративная модель семейства Llama с числом параметров около 7,5 млрд и нативным контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указаны библиотеки Transformers, а также инструменты Unsloth, TRL и метод GRPO, что указывает на использование соответствующего стека для обучения или дообучения модели. Модель может применяться для создания ответов на запросы, продолжения текста, прототипирования диалоговых ассистентов и интеграции в приложения на базе Transformers. README автоматически сгенерирован и почти не содержит сведений о разработчике, исходной модели, языках, обучающих данных, оценивании и лицензии, поэтому качество, область применимости и условия использования требуют дополнительной проверки.

Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия инструкционной языковой модели Llama-3-Instruct-8B-SPPO-Iter3, разработанной UCLA-AGI. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом формате с системными и пользовательскими инструкциями. Модель имеет около 8 миллиардов параметров, поддерживает текстовую модальность и ориентирована на английский язык. В репозитории доступны варианты квантизации от Q8 до Q2, различающиеся размером файла, требованиями к памяти и качеством генерации. Версии Q5–Q8 характеризуются высоким качеством, тогда как варианты Q3 и Q2 экономят память, но заметно уступают по качеству; некоторые варианты с суффиксом L используют F16 для весов эмбеддингов и выходного слоя и обозначены как экспериментальные. Модель подходит для локального запуска и ресурсоограниченных сценариев, где важен баланс между качеством и потреблением памяти. Ограничения включают зависимость результатов от выбранного уровня квантизации, отсутствие заявленной поддержки других модальностей и отсутствие в README сведений о размере контекстного окна и результатах бенчмарков. Для корректного использования следует применять указанный формат промпта Llama 3. Модель распространяется по лицензии Apache-2.0.

Malvos-7B-Instruct — плотная текстовая модель семейства Qwen2, разработанная SHIKARI2 и дообученная на unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit. Репозиторий содержит веса Safetensors; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0. README не уточняет набор обучающих данных, специальные области применения или результаты оценки качества.

DevQuasar-12/meta-llama.Llama-4-Scout-17B-16E-Instruct-GGUF — это квантованная версия языковой модели meta-llama/Llama-4-Scout-17B-16E-Instruct, опубликованная DevQuasar. Модель предназначена для генерации текста и работы в сценариях инструкционного взаимодействия, включая ответы на запросы пользователя и выполнение текстовых задач. Модель относится к семейству Llama 4 Scout; в её обозначении указаны конфигурация 17B и 16E. Формат GGUF предназначен для использования в совместимых инструментах локального запуска квантованных моделей. Согласно README, модель работает только с текстом; сведения о поддерживаемых языках, размере контекста и конкретном варианте квантования не приведены. К сильным сторонам относятся инструкцийная настройка исходной модели и возможность локального использования квантованной версии, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием мультимодальных возможностей и недостатком данных о качестве, точности, требованиях к оборудованию и параметрах квантования. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной публикации отдельно.

MiniCPM5-2B-Claude-Fable5-heretic — языковая модель для генерации текста и агентских сценариев, созданная RACER IS OP на основе SauravMahalik/MiniCPM5-2B-Claude-Fable5. Родительская модель получена дообучением openbmb/MiniCPM5-2B на агентских трассах, дистиллированных из Claude Fable-5 и других передовых моделей, а затем в этой версии поведение отказов было подавлено методом Heretic v1.4.0 посредством направленного редактирования весов, без дополнительного дообучения. Модель предназначена для многошагового следования инструкциям, диалогов, вызова функций и инструментов, а также разработки локальных и автономных агентов. Она поддерживает английский и китайский языки, имеет архитектуру Llama и около 2,57 млрд параметров. Доступны версии Safetensors и GGUF различных уровней квантования, благодаря чему модель рассчитана на запуск на потребительских GPU, CPU, Apple Silicon и небольших устройствах через llama.cpp, Ollama, LM Studio или Jan. Размер контекста в README не указан. К сильным сторонам относятся компактный размер, сохранение заявленных способностей к использованию инструментов и агентскому диалогу, а также значительно сниженное количество отказов по сравнению с родительской моделью: 3 из 100 против 89 из 100 в приведённом авторами тесте. При этом модель является uncensored-вариантом без исходных защитных ограничителей, поэтому её ответы требуют дополнительной проверки и мер безопасности. Приведённые показатели основаны на тестах авторов и не являются независимой оценкой; влияние абляции и квантования на качество может различаться. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Mistral-7B-Instruct-RDPO-GGUF — квантизированная версия модели princeton-nlp/Mistral-7B-Instruct-RDPO, созданная с использованием llama.cpp. Исходная модель связана с исследовательской работой SimPO: Simple Preference Optimization with a Reference-Free Reward, опубликованной Princeton NLP; подробности представлены в репозитории проекта SimPO. Модель предназначена для генерации текста и использования в сценариях инструкционного следования, где требуется применять предпочтения, полученные в ходе оптимизации без эталонной reward-модели. В README указаны библиотека Transformers и задача text-generation. Базовая архитектура — Mistral с 7 миллиардами параметров; формат GGUF и квантизация предназначены для более компактного хранения и запуска через совместимые инструменты, включая llama.cpp. В доступных данных не указаны поддерживаемые языки, размер контекста, конкретный метод и уровень квантизации, результаты тестирования, аппаратные требования и ограничения качества. Лицензия также не указана, поэтому условия использования следует уточнять в исходном репозитории или карточке базовой модели.

Это набор GGUF-квантизованных файлов модели Mistral Nemo Instruct 2407, разработанной Mistral AI и квантизованной командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, поэтому может использоваться в диалоговых приложениях, локальных ассистентах и других сценариях text-generation при наличии совместимого ПО для работы с форматом GGUF. В репозитории представлены варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 4,6 до 12,4 ГБ. Квантизация позволяет выбирать компромисс между размером файла, требованиями к ресурсам и сохранением качества, однако README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста. Сильная сторона представленной версии — широкий выбор уровней квантизации для развёртывания на оборудовании с разными ограничениями по памяти. Ограничения качества и производительности зависят от выбранного варианта и среды запуска; конкретные результаты в README не приведены. Лицензия модели и условия её использования в предоставленных данных не указаны.

QuantFactory/Nous-Hermes-2-Mistral-7B-DPO-GGUF — квантизированная версия модели Nous-Hermes-2-Mistral-7B-DPO, разработанной NousResearch. Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска и диалогового применения. Она создана с использованием llama.cpp и распространяется в формате GGUF. В основе лежит Mistral с 7 миллиардами параметров, дообученная с применением DPO; в описании также упоминаются RLHF и синтетические данные. Доступны варианты квантизации IQ3_S, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством генерации. Сильной стороной модели является возможность запуска через llama.cpp с выбором подходящего уровня квантизации. README не содержит результатов тестирования, сведений о контекстном окне, поддерживаемых модальностях кроме текста, а также подробного описания ограничений качества, поэтому производительность в конкретных задачах требует самостоятельной проверки. Лицензия — Apache 2.0.

NousResearch_Hermes-4-14B-GGUF — набор квантованных версий языковой модели Hermes-4-14B, разработанной NousResearch и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от исходных весов BF16 размером около 29,54 ГБ до квантований Q2 и IQ3 размером примерно 6,38–15,70 ГБ. В README рекомендуются варианты Q4–Q6 как компромисс между качеством и требованиями к памяти; версии с более низкой разрядностью подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для модели доступны только текстовые сценарии, сведения о поддерживаемых языках, длине контекста, архитектурных деталях и формате промптов в этом README не указаны. Основные преимущества — широкий выбор размеров файлов, возможность локального запуска и применение imatrix-калибровки при квантовании. Ограничения связаны с потерями качества в низкоразрядных вариантах, зависимостью от совместимого ПО и отсутствием в предоставленных данных информации о лицензии оригинальной модели и квантованных файлов.

Это GGUF-квантизированная версия языковой модели Hermes-4-405B, разработанной NousResearch и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В основе лежит модель размером 405 млрд параметров; README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, рассчитанные на компромисс между качеством, требованиями к памяти и скоростью инференса. Для квантизации использовался llama.cpp с imatrix и калибровочными наборами данных. Наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, однако даже компактные варианты требуют значительного объёма памяти. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в экосистеме llama.cpp. Ограничения — очень крупный размер файлов, снижение качества у низкобитных вариантов и отсутствие указанного формата промпта: README рекомендует уточнять его на странице исходной модели. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель относится к классу текстовых генеративных моделей и имеет размер 7B параметров. Доступны варианты от исходных BF16-весов до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ-семейств; размер файлов составляет примерно от 3,55 до 15,24 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти. Для работы используется chat-шаблон с ролями system, user и assistant. Сильная сторона репозитория — широкий выбор вариантов GGUF для разного баланса качества, размера и производительности, включая варианты, оптимизированные для отдельных сценариев CPU и Apple Silicon. Ограничения, максимальная длина контекста, поддерживаемые языки, конкретные архитектурные особенности исходной модели и результаты бенчмарков в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели NVIDIA и соответствующего репозитория.

OpenHercules-2.5-Mistral-7B — объединённая модель на базе Mistral, созданная с помощью LazyMergekit из Locutusque/Hercules-2.5-Mistral-7B и teknium/OpenHermes-2.5-Mistral-7B. Веса объединены методом SLERP с настройками для слоёв внимания и MLP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста и диалогового использования. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и ориентирована на английский язык. Файлы представлены в safetensors; README также упоминает варианты квантования EXL2, GGUF и AWQ. Модель распространяется по лицензии Apache-2.0. Показатели в README включают среднее значение 66,55, результат 64,25 на AI2 Reasoning Challenge и 84,84 на HellaSwag; эти оценки не гарантируют качество на конкретных пользовательских задачах.

bartowski/open-thoughts_OpenThinker2-32B-GGUF — это набор квантованных GGUF-версий модели OpenThinker2-32B, разработанной open-thoughts. Квантование выполнено bartowski с использованием llama.cpp release b5035 и метода imatrix на основе датасета OpenThoughts2-1M. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio, а также для непосредственного использования через llama.cpp и производные проекты. Модель содержит 32 миллиарда параметров и распространяется в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,39 до 65,54 ГБ. Более высокие уровни квантования обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4_K_M и IQ4_XS предлагают компромисс между качеством и требованиями к ресурсам. Поддерживаемые модальности, языки и размер контекста в README не указаны. Для работы рекомендуется использовать формат prompt с ролями system, user и assistant через специальные токены ChatML. Сильными сторонами являются локальный запуск, широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничения включают необходимость значительных объёмов оперативной или видеопамяти для крупных вариантов, возможное снижение качества у низкобитных квантований и отсутствие в предоставленных данных результатов оценки. Модель и квантованные файлы распространяются по лицензии Apache-2.0.

bartowski/open-thoughts_OpenThinker-32B-GGUF — набор GGUF-квантизаций модели OpenThinker-32B, разработанной проектом open-thoughts. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; исходная модель обучена на датасете open-thoughts/open-thoughts-114k. Модель относится к генеративным текстовым моделям и предназначена для запуска локально через llama.cpp, LM Studio и совместимые проекты. Варианты доступны в форматах от F16 до Q3 и IQ3/IQ4 с размерами примерно от 13,71 до 65,54 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как варианты с меньшей разрядностью требуют меньше оперативной памяти, но могут заметно уступать по качеству. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности. Для работы следует использовать шаблон сообщений с маркерами <|im_start|> и <|im_end|>. Модель распространяется по лицензии Apache-2.0. Ограничения включают высокие требования к памяти для полноразмерных и качественных квантованных вариантов, а также возможное снижение качества при использовании низкоразрядных форматов.

OpenThinker3-7B-GGUF — это квантизированная версия текстовой генеративной модели OpenThinker3-7B, разработанной проектом open-thoughts и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Модель содержит 7 миллиардов параметров и поддерживает различные варианты представления весов: от BF16 до квантизаций Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 3,5 до 15,2 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для взаимодействия используется шаблон сообщений с ролями system, user и assistant. Сведения о контекстном окне, языках, мультимодальности и точной архитектуре в README не указаны; по доступным данным это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая версии, оптимизированные для экономии памяти и локального запуска, а также применение imatrix при квантизации на базе llama.cpp. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать полноразмерной или высокоточной квантизации по качеству. Модель распространяется по лицензии Apache-2.0. Датасет, указанный для исходной модели, — open-thoughts/OpenThoughts3-1.2M.

Pinkstack/Phi-4-mini-6b-merge — объединённая языковая модель, созданная на основе microsoft/Phi-4-mini-instruct с использованием слоёв microsoft/Phi-4-mini-reasoning: слои 18–22 взяты из reasoning-модели, остальные — из instruct-модели. По метаданным, модель использует плотную архитектуру семейства Phi-3 с классом Phi3ForCausalLM, содержит 6,3 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Она предназначена для диалогов и генерации текста; в интерфейсе модели также заявлена поддержка вызова инструментов. Карточка предполагает, что увеличенное число слоёв даёт модели потенциал для дообучения, но не приводит результатов оценки качества или подробностей применения. Модель распространяется в формате safetensors по лицензии MIT.

jamal-ibrahim/qwen2.5-1.5b-json-repair — специализированная модель на архитектуре Qwen2, созданная разработчиком jamal-ibrahim для исправления синтаксически повреждённых JSON-ответов больших языковых моделей. Она принимает текст с некорректной JSON-структурой и генерирует попытку исправленного JSON; предусмотрена для узла постобработки в агентных конвейерах, проверок JSON и восстановления аргументов function calling. Модель получена дообучением Qwen/Qwen2.5-3B-Instruct с дистилляцией и структурным прореживанием: в описании указаны 18 слоёв вместо 36 и сокращение вычислений примерно на 50%. Размер по метаданным — 1,7 млрд параметров, контекст — 32 768 токенов. Репозиторий содержит веса safetensors для Transformers; лицензия — Apache 2.0. По собственной оценке автора на 100 тестовых примерах, корректный для разбора JSON получался в 55% случаев, точное совпадение с эталоном — в 14%. Возможны потеря верхнеуровневых полей, изменение ключей, усечение структуры, продолжение текста после JSON и повторы. Модель не предназначена для общего рассуждения, сложной смысловой коррекции или генерации кода.

Qwen2.5-72B-0.6x-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели Qwen2.5-72B-0.6x-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp b4058 и метода imatrix. Модель предназначена для текстовой генерации и диалоговых сценариев, включая работу в LM Studio; README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Доступны варианты квантизации от Q8_0 размером 77,26 ГБ до IQ1_M размером 25,49 ГБ. Версии Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендованные благодаря хорошему соотношению качества и размера, при этом более сильная квантизация уменьшает требования к памяти, но может снижать качество ответов. Q3 и Q2-варианты рассчитаны на системы с ограниченным объёмом RAM и характеризуются более низким качеством. Некоторые форматы оптимизированы для ARM и AVX, а Q4_0_8_8 требует поддержки SVE на ARM и не рекомендуется для Mac. Модель использует лицензию Qwen; ссылка на текст лицензии ведёт к лицензии исходной модели Qwen2.5-72B-Instruct. В README не указаны архитектурные детали, размер контекстного окна, полный список поддерживаемых языков, мультимодальные возможности и результаты бенчмарков, поэтому эти характеристики нельзя надёжно определить по предоставленным данным.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

Cyronius создал Qwen3.6-27B-A2.8B — производную модель Qwen3.6-35B-A3B для диалоговой генерации текста и вызова инструментов на CPU и встроенной графике. Разработчик удалил 10 из 40 слоёв базовой модели, дообучил оставшуюся модель с помощью LoRA для восстановления качества и подготовил сборки GGUF; в репозитории также указаны файлы safetensors. В модели 26,2 млрд параметров, из которых активно 2,83 млрд на токен, и 30 слоёв. В GGUF-сборках сохранена голова MTP для спекулятивного декодирования через llama.cpp. Модель рассчитана на быстрый локальный запуск на оборудовании с общей памятью без дискретной видеокарты. Доступны сбалансированная сборка Q4_K_M и более компактная IQ3_S для экспертов с Q4_K для выходного слоя; последняя быстрее и меньше, но может уступать в точности. В тестах авторов сбалансированная сборка показала хорошие результаты на вызове инструментов, однако точность GSM8K и perplexity уступают базовой модели. Проверка проводилась на небольших внутренних наборах и может не отражать качество на других задачах. Лицензия — Apache-2.0.