II.2Создание и понимание программного кода

KasugaiSakura/Qwen3.8-27B-Uncensored-JonathanColetti-GGUF — это набор GGUF-квантизаций модели Qwen/Qwen3.8-27B, опубликованный KasugaiSakura. Вариант модифицирован с помощью Heretic для существенного снижения отказов в ответах; дополнительное обучение и новые данные не использовались, а основные возможности, обучающие данные и архитектура унаследованы от базовой модели. Модель предназначена для генерации текста и запуска через совместимые среды, включая llama.cpp, а также поддерживает обработку изображений при использовании vision-проектора и совместимого runtime. Архитектура обозначена как Qwen3_5ForConditionalGeneration и включает 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 10,6 до 29 ГБ. Сохранён MTP-head для speculative decoding, позволяющий ускорять генерацию, а опубликованные варианты включают как объединённые файлы, так и отдельные target/draft-модели. Заявлены языки English и Chinese. Сильными сторонами являются большой контекст, поддержка текста и изображений, широкий выбор уровней квантизации и возможность ускоренной генерации с MTP. Поведение отказов существенно ослаблено, но не устранено полностью; это может быть полезно для менее ограниченных сценариев, однако не означает отсутствия механизмов безопасности. Качество и требования к памяти зависят от выбранной квантизации: IQ2_M занимает меньше памяти, но показывает заметно более высокую perplexity, тогда как варианты от IQ4_XS и выше ближе к исходной точности. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной Qwen. Модель предназначена для генерации текста и, при использовании совместимого mlx-vlm, обработки изображений. Сборка ориентирована на локальный запуск на устройствах Apple Silicon через MLX и сохраняет совместимость со стандартным mlx-lm без патчей. Модель содержит 27 млрд параметров и использует векторное квантование с эффективностью около 4,5 бит на вес; размер чекпойнта составляет примерно 14,45 GiB, включая vision tower в формате bf16. В метаданных указан английский язык, однако полный набор поддерживаемых языков и размер контекстного окна не приведены. Для загрузки требуется версия mlx-lm с поддержкой параметра model_file, а для работы с изображениями — mlx-vlm версии 0.6.16 или новее. Главное преимущество сборки — заметно меньший размер при качестве, близком к bf16 и немного лучшем, чем у указанной локальной 4-битной affine-квантизации: согласие по наиболее вероятному токену составляет 90,1%, а расхождение с bf16-версией — 40,3 millinats на токен. Ограничения включают зависимость от Apple Silicon и совместимых версий MLX, необходимость корректной загрузки встроенного runtime, а также снижение точности по сравнению с bf16 и более качественными 6- и 8-битными вариантами. Лицензия — Apache-2.0.

lmstudio-community/Qwen3-8B-MLX-8bit — это 8-битная версия модели Qwen3-8B, преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Исходная модель опубликована в репозитории Qwen/Qwen3-8B; в README указано назначение для генерации текста и совместимость с библиотекой mlx-lm. Модель предназначена для локального запуска на устройствах, поддерживающих MLX, а также для диалоговой генерации с использованием chat template. Ключевые характеристики: около 8 миллиардов параметров, 8-битное представление и текстовая модальность. Архитектура, поддерживаемые языки, размер контекста, сильные стороны и ограничения в README не описаны, поэтому их нельзя достоверно оценить по предоставленным данным. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной для распространения Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для обработки текста и изображений, включая мультимодальные и агентские сценарии. Для запуска рекомендуется использовать llama.cpp или Unsloth Desktop; также заявлена поддержка ускорения инференса с помощью MTP. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при работе, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибридную связку Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и 10 маршрутизируемыми плюс одним общим активным экспертом, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживаемые языки в README не указаны. К сильным сторонам относятся разреженное внимание на уровне блоков, рассчитанное на снижение задержки при длинном контексте, экономичное масштабирование параметров и малая доля активных параметров относительно общего размера модели. Ограничения связаны с экспериментальным статусом архитектуры, потенциально высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленном README подробных результатов бенчмарков и описания языкового покрытия. Модель распространяется по лицензии qwen-community-1.0; указанный тип лицензии — other.

Qwen1.5-32B-Chat GGUF — набор квантизированных версий диалоговой языковой модели Qwen/Qwen1.5-32B-Chat, разработанный сообществом Featherless AI Quants. Модель предназначена для генерации текста и ведения диалогов; формат GGUF подходит для локального запуска и совместимых инструментов инференса, поддерживающих этот формат. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размеры файлов или наборов файлов составляют примерно от 11,7 до 33,0 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Модель относится к текстовой модальности; сведения о языках, архитектуре, размере контекста, результатах оценки и конкретных сценариях применения в README не указаны. Сильной стороной является наличие нескольких уровней квантизации для адаптации запуска под доступные аппаратные ресурсы. Ограничения включают значительные требования к памяти даже для наиболее компактных вариантов, а также возможные потери качества из-за квантизации. Лицензия в представленном README не указана.

bartowski/Qwen_QwQ-32B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели QwQ-32B, разработанной Qwen и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогового применения и генерации текста, включая сценарии локального запуска через LM Studio, llama.cpp и совместимые проекты. Модель содержит около 32 миллиардов параметров и работает с текстовой модальностью; в метаданных указан английский язык. Доступны варианты квантования от Q8_0 до Q2_K и IQ-квантов размером примерно от 10,39 до 34,82 ГБ. Более высокие варианты сохраняют лучшее качество, но требуют больше оперативной или видеопамяти, тогда как низкоразрядные версии экономичнее, но заметно уступают по качеству. Архитектура и размер контекста в README не указаны. Сильной стороной набора является широкий выбор квантизаций для различного объёма доступной памяти и возможность локального запуска. Ограничения связаны с компромиссом между размером файла и качеством, а также с тем, что некоторые варианты имеют низкое качество и не рекомендуются. Модель распространяется по лицензии Apache-2.0.

Replete-LLM-Qwen2-7b_Beta-Preview-GGUF — это GGUF-квантизованная версия языковой модели Replete-LLM-Qwen2-7b_Beta-Preview, разработанной Replete-AI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В README также указан обучающий датасет Replete-AI/Everything_Instruct_8k_context_filtered. Модель основана на архитектуре Qwen2 и содержит около 7 млрд параметров. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий; размеры файлов составляют примерно от 3,5 до 15,2 ГБ. Указан английский язык и контекст до 8k, связанный с использованным датасетом. Это текстовая модель без заявленной поддержки других модальностей. Сильная сторона репозитория — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Высококачественными считаются варианты Q6 и Q5, а Q4 предлагают компромисс по размеру. Более сильная квантизация снижает требования к памяти, но может ухудшать качество генерации. Модель распространяется по лицензии Apache-2.0.

Replete-LLM-Qwen2-7b-GGUF — набор GGUF-квантизаций модели Replete-LLM-Qwen2-7b, опубликованный и подготовленный квантизатором bartowski. Базовая модель разработана Replete-AI; в README указано, что квантизация выполнена с помощью llama.cpp release b3509 и метода imatrix. Модель предназначена для генерации текста и использования в локальных средах, включая LM Studio, с применением указанного шаблона prompt format. Это текстовая авторегрессионная модель семейства Qwen2 с заявленным размером 7 млрд параметров и поддержкой английского языка. Доступны варианты от F32 размером 30,47 ГБ до сильно сжатых IQ2_M размером 2,78 ГБ, включая форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что может повышать качество, но эффект зависит от сценария. Сильные стороны набора — широкий выбор размера файлов и компромисса между качеством и требованиями к памяти, а также совместимость с llama.cpp и LM Studio. Ограничения включают потенциальное снижение качества в низкобитных вариантах и отсутствие в README подробных данных о контекстном окне, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия — Apache-2.0; в метаданных также указано, что модель связана с датасетом Replete-AI/Everything_Instruct_8k_context_filtered.

Rombo-Org_Rombo-LLM-V3.0-Qwen-72b-GGUF — это набор GGUF-квантизаций языковой модели Rombo-LLM-V3.0-Qwen-72b, разработанной Rombo-Org и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В качестве исходной модели указана Rombo-Org/Rombo-LLM-V3.0-Qwen-72b; в метаданных также отмечены датасеты Rombo-Org/Optimized_Reasoning и NovaSky-AI/Sky-T1_data_17k. Размер исходной модели составляет 72 миллиарда параметров. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Доступны варианты квантизации от Q2 до Q8, преимущественно размером примерно от 32 до 77 ГБ. Более высокие варианты сохраняют лучшее качество, но требуют больше памяти; Q4_K_M, Q4_K_L, Q5_K_M, Q5_K_S и Q6_K отмечены как рекомендуемые, а низкоразрядные варианты предназначены для экономии оперативной памяти с возможным снижением качества. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка локального запуска и использование imatrix-квантизации на базе llama.cpp. Ограничениями являются значительные требования к памяти даже у компактных вариантов, а также отсутствие в README подробных данных о результатах тестирования, языках и контекстном окне. Для использования указана лицензия Apache-2.0.

Rombos-LLM-70b-Llama-3.3-GGUF — это набор квантизированных GGUF-версий языковой модели Rombos-LLM-70b-Llama-3.3, разработанной rombodawg. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и обработки текста, а также локального запуска через совместимые инструменты, включая LM Studio и llama.cpp. Модель основана на архитектуре Llama 3.3 с заявленным размером 70 млрд параметров и поддерживает только текстовую модальность. В репозитории доступны варианты квантизации от Q8_0 до Q2 и IQ-форматов, включая рекомендуемые Q6_K, Q5_K и Q4_K. Размер файлов составляет примерно от 24 до 75 ГБ, поэтому для запуска требуются значительные ресурсы оперативной или видеопамяти. Формат GGUF удобен для локального инференса на CPU и GPU, а отдельные варианты поддерживают особенности ARM и AVX. Сильной стороной являются различные уровни квантизации, позволяющие выбирать баланс между качеством, размером и требованиями к памяти; версии с более высокой точностью обеспечивают качество, близкое к исходной модели. Ограничения связаны с потерями качества при низкой битности, большими требованиями к памяти и отсутствием в README сведений о языках, размере контекста, результатах тестирования и специализированных сценариях применения. Указанная лицензия — llama3.3.

Steelskull_L3.3-Shakudo-70b-GGUF — это набор квантованных версий языковой модели L3.3-Shakudo-70b, разработанной Steelskull. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может применяться в локальных сценариях, включая работу через LM Studio, llama.cpp и другие проекты на его основе. В набор входят варианты GGUF с разной степенью квантования: от Q8_0 до Q2_K, включая форматы Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и другие. Версия Q6_K описана как близкая к исходному качеству, а Q4_K_M — как стандартный вариант для большинства сценариев с хорошим соотношением качества и размера. Ключевая характеристика модели — размер 70 миллиардов параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильными сторонами являются широкий выбор вариантов для разного объёма оперативной памяти, поддержка локального запуска и сохранение высокого качества при использовании более крупных квантов. Ограничения связаны с компромиссом между размером файлов и качеством: низкобитные варианты требуют меньше памяти, но могут заметно уступать более точным версиям. Для работы рекомендуется использовать указанный prompt format. Модель распространяется по лицензии llama3.3.

Apertus-70B-Instruct-2509-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Apertus-70B-Instruct-2509, разработанной swiss-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локальных inference-сценариев на базе llama.cpp, включая работу через LM Studio и совместимые проекты. В репозитории представлены варианты квантизации Q2_K_L, Q3, Q4, Q5, Q6_K и Q8_0 с размером файлов примерно от 28,32 до 75,02 ГБ. Более крупные варианты обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но могут сильнее терять в качестве. Рекомендуемыми в README названы, в частности, Q4_K_M, Q4_K_S, Q4_K_L, Q5_K_S, Q5_K_M и Q6_K. Точная архитектура, число параметров исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Преимущество модели — возможность локального запуска в распространённом формате GGUF с выбором компромисса между качеством и требованиями к памяти. Ограничения связаны с большими ресурсными требованиями 70B-модели, потерями качества при низких уровнях квантизации и отсутствием указанного в README формата промптов. Лицензия в предоставленных данных не указана.

Tarek07_Legion-V2.1-LLaMa-70B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Legion-V2.1-LLaMa-70B, разработанной Tarek07. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель доступна как Tarek07/Legion-V2.1-LLaMa-70B. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разным уровнем сжатия и качеством: от Q8_0 размером около 75 ГБ до Q2_K размером около 26 ГБ. Рекомендуемыми указаны, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; варианты с более низкой разрядностью требуют меньше оперативной памяти, но снижают качество. Известно, что модель имеет размер 70 миллиардов параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Для работы следует использовать формат подсказок, совместимый с шаблоном Llama 3.3, с секциями system, user и assistant. Лицензия указана как llama3.3; дополнительные условия исходной модели в README не приведены.

WizardLM-2-7B-abliterated-GGUF — это квантизированная версия языковой модели WizardLM-2-7B-abliterated, опубликованная и подготовленная bartowski на основе оригинальной модели fearlessdots. Модель предназначена для генерации текста и запуска локально через llama.cpp; в README указан формат запросов с системным сообщением, ролями USER и ASSISTANT. Модель содержит 7 млрд параметров и представлена в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Доступны сборки размером примерно от 1,61 до 7,69 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. В README не указаны поддерживаемые языки, размер контекстного окна, архитектура исходной модели или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильная сторона семейства — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для высокого качества рекомендуются Q6_K, Q5_K_M, Q5_K_S и некоторые варианты Q4. Более агрессивная квантизация экономит память, но снижает качество, особенно у вариантов IQ1. Модель распространяется по лицензии Apache-2.0.

PrunaAI/WizardLM-2-7B-GGUF-smashed — это сжатая и квантизированная версия WizardLM-2-7B, опубликованная PrunaAI; исходная модель связана с Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio, text-generation-webui или библиотеки llama-cpp-python и ctransformers. Модель имеет архитектуру llama и около 7 млрд параметров. Она распространяется в формате GGUF с вариантами квантизации от Q2_K до Q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. В карточке приведён пример запуска с контекстом 32768 токенов; более длинный контекст требует больше ресурсов. Модель принимает текст и генерирует текст; сведения о поддерживаемых языках и мультимодальности не указаны. К сильным сторонам относятся уменьшенный размер файлов, возможность работы на менее мощном оборудовании и широкий выбор уровней квантизации. Ограничение состоит в том, что качество ответов может отличаться от базовой модели и снижаться при более агрессивном сжатии. Лицензия отдельно не указана: карточка сообщает, что она наследуется от лицензии исходной модели, поэтому перед использованием необходимо проверить условия для WizardLM-2-7B.

Wrench-9B-Q4_K_M-GGUF — модель ClankLabs, созданная на базе плотной Qwen3.5-9B методом LoRA дообучения. Она предназначена для агентских сценариев, включая вызов инструментов и функций, выполнение многошаговых задач, восстановление после ошибок, соблюдение системных инструкций, планирование и безопасное взаимодействие с инструментами. Модель ориентирована на запуск локально через Ollama, llama.cpp или Clank Gateway и может работать примерно на 8 ГБ видеопамяти. Модель поставляется в формате GGUF с квантизацией Q4_K_M и занимает около 5 ГБ. Использованы LoRA rank 32 и alpha 64; контекстное окно составляет 8192 токена. Заявленный язык — английский. Внутреннее обучение проводилось на 1356 примерах из 15 категорий, а опубликованный Clank Agentic Benchmark показывает результат 114 из 120 баллов, включая 15 из 15 за базовое использование инструментов, многошаговые задачи, следование системным инструкциям, планирование, корректность формата вызовов и соблюдение ограничений; за восстановление после ошибок и качество ответов получено по 14 из 15. Ограничениями являются поддержка только заявленного контекста, особенности качества, связанные с квантизацией, и специализация прежде всего на англоязычных агентских задачах. Модель распространяется по лицензии Apache 2.0.

YamT3qm7xp_Experiment28Experiment29 — объединённая модель семейства Mistral на 7,1 млрд параметров, созданная MaziyarPanahi на основе automerger/YamT3qm7xp-7B и automerger/Experiment28Experiment29-7B. Она предназначена для генерации текста и может использоваться в чат-сценариях и других задачах, где требуется продолжение или создание текста. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. В репозитории представлены веса Safetensors. Модель распространяется по лицензии Apache-2.0.

Airoboros 13B HF — русскоязычное описание модели не подразумевает её русскоязычную специализацию: это 13-миллиардная плотная языковая модель семейства LLaMA, дообученная Джоном Дурбином на синтетических инструкциях. Репозиторий TheBloke содержит веса в формате Transformers PyTorch fp16, конвертированные из исходного репозитория fp32 для более удобного хранения и использования. Контекст модели составляет 2048 токенов. Модель предназначена для диалоговых ответов и выполнения текстовых инструкций в формате FastChat/Vicuna. Дополнительный этап обучения включал синтетические примеры по математике, ответам на закрытые вопросы и программированию; автор отмечает, что качество этих задач изначально было слабым. В обучающих данных есть примеры опасных инструкций, поэтому модель может выдавать потенциально вредный контент и не подходит для сценариев, требующих надёжного отказа от таких запросов. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке репозитория и у правообладателей базовой модели. Это конверсия весов fp32 в fp16, а не отдельное дообучение TheBloke; исходная Airoboros сама является дообученной моделью LLaMA.

Alpaca Dragon 72B V1 — плотная языковая модель семейства Llama на 71 млрд параметров, созданная автором карточки дообучением Smaug 72B v0.1 на наборе данных Alpaca с примерами планирования и рассуждений. Она предназначена для генерации текста и разбиения сложных запросов на последовательные шаги и логический план, в том числе при планировании технических и разработческих задач. Модель принимает текст и выдаёт текст; карточка описывает её как англоязычную, а метаданные указывают контекст до 32 768 токенов. В карточке приведены результаты оценок, включая ARC Challenge и HellaSwag, однако заявленное улучшение отдельных тестов отмечено автором как неожиданное, а подробностей о методике обучения и лицензии нет. Репозиторий содержит веса в формате safetensors. Метаданные указывают лицензию other; условия использования следует сверить с файлами репозитория.

Athene-Phi-3.5-mini-instruct-orpo-GGUF — это набор GGUF-квантизированных версий языковой модели Athene-Phi-3.5-mini-instruct-orpo, разработанной EpistemeAI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска, в том числе через llama.cpp и LM Studio. В репозитории представлены варианты от исходных весов F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,88 до 7,64 ГБ. Для взаимодействия используется формат промпта с ролями system, user и assistant. Указан английский язык; сведения о количестве параметров, максимальном контексте, архитектурных деталях и поддержке других модальностей отсутствуют. К сильным сторонам относятся широкий выбор уровней квантизации, возможность подобрать баланс между качеством, размером и требованиями к памяти, а также специальные варианты Q4 для ARM и CPU-инференса. Более компактные версии могут уступать по качеству полноразмерным и менее агрессивно квантизированным вариантам. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-GGUF — мультимодальная модель в формате GGUF, созданная автором Genesis на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive с переносом данных из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF. Модель ориентирована на диалоговые сценарии, агентские задачи, следование инструкциям и function calling; в карточке также заявлена поддержка обработки изображений и текста. Заявленная архитектура — MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров. Указаны английский, китайский и другие языки, однако точный перечень языков и размер контекстного окна не приведены. Автор применил собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения, включая анализ тензоров, восстановление нулевых блоков и снижение шума с использованием кастомного SVD и распределения Марченко—Пастура. К сильным сторонам относятся заявленные улучшения стабильности, ясности контекста, следования инструкциям и агентского поведения, а также отсутствие ограничений на отказы в базовой модели по внутреннему тесту автора. Ограничения включают отсутствие независимых бенчмарков и подробных результатов оценки, а также необходимость корректной настройки MoE, GPU offload и KV-cache. В карточке указана лицензия Apache-2.0; совместимость с лицензиями базовой модели и компонентов следует дополнительно проверить.

Andromeda-70B-GGUF — это квантизированная версия языковой модели Andromeda-70B, разработанной ddh0. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio, llama.cpp и другие проекты на его основе. Модель имеет заявленный размер 70B параметров и поддерживает несколько вариантов квантизации — от Q8_0 до Q2 и IQ-серий. Размер файлов варьируется примерно от 22 до 75 ГБ, поэтому можно выбирать между качеством ответов и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L и Q4_K_M; варианты с более низкой разрядностью экономят память, но заметно уступают по качеству. В README приведён специальный шаблон приглашений с системными и пользовательскими сообщениями, а также датами отсечения знаний: декабрь 2023 года для базы знаний и 26 июля 2024 года как текущая дата шаблона. Архитектура, поддерживаемые языки, размер контекстного окна, результаты тестирования и лицензия не указаны. Условия использования следует уточнять по исходной модели ddh0/Andromeda-70B и соответствующим материалам проекта.

Dolphin-Mistral-24B-Venice-Edition-Patched — текстовая генеративная модель, опубликованная AIOpsInSpace как исправленная версия dphn/Dolphin-Mistral-24B-Venice-Edition. Модель предназначена для диалогового взаимодействия и генерации текста; в описании она позиционируется как открытая, разговорная и «uncensored». Поддерживаемый язык — английский. Это плотная модель размером 24 млрд параметров с архитектурой Mistral и механизмом sliding window attention. Патч восстанавливает параметры скользящего окна внимания, устраняя фрагментацию контекста и зависания при генерации после 4096 токенов. Также исправлены стоп-токены токенизатора. Заявленное контекстное окно составляет 32K токенов. Модель распространяется в формате GGUF и предназначена для использования в совместимых средствах локального запуска. Сильными сторонами являются большой контекст, восстановленная работа sliding window attention и отсутствие заявленных ограничений на содержание ответов. README не содержит точных данных о бенчмарках, производительности, требованиях к оборудованию или конкретных вариантах квантования, поэтому эти характеристики оценить нельзя. Модель распространяется по лицензии Apache-2.0.

DS RAG Embedder v1 — англоязычная модель эмбеддингов Digvijay Waghela для поиска документации по Data Science и машинному обучению в RAG-системах. Она дообучена на базе BAAI/bge-small-en-v1.5 на более чем 600 фрагментах материалов о метриках, утечках данных, кросс-валидации, дисбалансе классов, MLOps, RAG, глубоком обучении, развёртывании и планировании экспериментов. Модель построена на архитектуре BERT, содержит около 40 млн параметров, создаёт векторы размерности 384 и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска по документации, ноутбукам и инструкциям команд по работе с данными; её также можно сочетать с BM25 для гибридного поиска. Для запросов требуется префикс «Represent this Data Science question for retrieving relevant documentation: », который автоматически добавляет метод encode_queries() из описанного в README пакета. В приведённом бенчмарке DS RAG Eval v1 модель показала Recall@1 0,851 и Recall@5 1,000; эти результаты относятся к указанному набору оценки. Доступна по лицензии Apache-2.0. README не рекомендует применять её для общего веб-поиска, а также в юридических и медицинских сценариях без отдельной оценки или для полностью автоматизированных решений с высокими ставками.

matrixportalx/gemma-3-1b-it-GGUF — это конвертированная в формат GGUF версия инструкционной модели google/gemma-3-1b-it, разработанной Google. Конвертация выполнена с использованием llama.cpp и сервиса all-gguf-same-where от ggml.ai. Модель предназначена для генерации текста и может запускаться через llama.cpp или совместимые инструменты, включая llama-cpp-python. Модель имеет размер 1 миллиард параметров и относится к текстовым моделям: в README не заявлена поддержка изображений или других модальностей. Доступны варианты с разными уровнями квантования — от Q2_K до Q8_0, а также F16. Q4_K_M рекомендован как сбалансированный вариант для CPU, Q4_0 — для ARM-устройств, а Q8_0 и F16 ориентированы на более высокое качество с большими требованиями к ресурсам. В примерах указано использование контекста до 2048 токенов, однако максимальный контекст исходной модели в представленном README не указан. К сильным сторонам относятся компактный размер, сниженное потребление памяти, кроссплатформенность и возможность локального запуска на CPU, включая ARM-устройства. К ограничениям относятся неизбежные потери качества при агрессивном квантовании, отсутствие подробных сведений о языках, архитектуре, результатах оценки и фактических возможностях исходной Gemma 3. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии необходимо уточнять в оригинальной карточке модели.

NoxStrix/gemma-4-31B-it-Q4_K_M-GGUF — это конвертированная в формат GGUF инструкциямодель на базе google/gemma-4-31B-it, подготовленная автором NoxStrix с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для локального запуска через llama.cpp, включая интерактивные запросы в CLI и работу в режиме сервера. Из доступных данных известно, что исходная модель имеет размер 31B параметров и относится к мультимодальным моделям image-text-to-text, то есть может обрабатывать изображения и текст и генерировать текстовые ответы. Ключевые характеристики исходной архитектуры, поддерживаемые языки и размер контекстного окна в README не указаны. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией, но README не содержит точных сведений о качестве, скорости и необходимых ресурсах. Для использования требуются llama.cpp и подходящее аппаратное обеспечение; возможна настройка сборки под конкретную платформу, включая Nvidia GPU. В README приведён пример контекста размером 2048 токенов, но это может быть лишь параметром запуска, а не максимальным размером контекста модели. Модель распространяется по лицензии Apache-2.0, при этом для исходной Gemma могут действовать дополнительные условия лицензии Google Gemma.

Vontra/GLM-5.3-Flash-MLX-4bit-MTP — MLX-конверсия модели GLM-5.3-Flash от Z.ai, подготовленная для Apple Silicon. Это мультимодальная sparse MoE-модель архитектуры glm5_next с поддержкой текста и изображений, рассчитанная на работу с английским и китайским языками. Модель распространяется в формате MLX safetensors и сохраняет оригинальные токенизатор, chat template, мультимодальный процессор и настройки генерации. Модель предназначена для локальной генерации текста и обработки изображений в совместимых окружениях MLX и MLX-VLM. Она использует гибридное линейное и разреженное внимание, manifold-constrained hyper-connections и встроенный блок предсказания следующего токена для speculative decoding (native MTP). Заявленный контекст составляет до 1 048 576 токенов. Квантование выполнено методом weight-only post-training quantization: основные подходящие матрицы переведены в 4-bit с group size 64, тогда как vision encoder, projector, embeddings, output head и часть служебных тензоров сохранены в исходной или совместимой точности. К сильным сторонам относятся мультимодальность, очень длинный контекст, поддержка sparse MoE, оптимизация под Apple Silicon и существенное уменьшение размера весов по сравнению с полноточной моделью. Репозиторий занимает около 181,7 ГБ, поэтому для запуска требуется значительный объём объединённой памяти. Native MTP требует специальной интеграции GLM5 Next в runtime; проверена работа с oMLX 0.6.3rc3, MLX 0.32.0 и MLX-VLM 0.6.3 с соответствующей поддержкой. Старые или стандартные сборки без этой интеграции могут работать только без MTP либо не поддерживать модель. Приведённый тест на Apple M3 Ultra показал около 6,27 токена в секунду при отключённом MTP, но фактическая производительность зависит от нагрузки и окружения. Лицензия — MIT.

inferencerlabs/GLM-5.3-MLX-Q4i — квантизированная версия языковой модели GLM 5.3, основанная на zai-org/GLM-5.3-BF16 и подготовленная сообществом inferencerlabs. Модель предназначена для генерации и продолжения текста, локального текстового инференса и других задач, поддерживаемых библиотекой MLX. Данные о размере модели, архитектуре, языках и максимальной длине контекста в README не указаны. Модель использует формат MLX и квантизацию Q4-INF, настроенную методом INF для повышения общей точности при ограничении памяти до 512 GiB. По приведённым данным конверсии GLM 5.1, Q4-INF показала perplexity 1,21093, точность токенов 97,70% и missed divergence 10,65%; эти показатели не следует напрямую считать результатами для GLM 5.3. На M3 Ultra заявлена скорость около 15,8 токена в секунду при обработке последовательности длиной около 1000 токенов и потребление примерно 428,6 GiB памяти. Сильной стороной модели является адаптация под экосистему MLX и сохранение высокой точности при 4-битной квантизации, однако использование требует значительного объёма оперативной памяти и совместимого оборудования или программного окружения. Модальности ограничены текстом согласно указанному pipeline_tag. Лицензия в README не указана.

Это набор GGUF-квантизированных файлов модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, разработанный Gradient AI и квантизированный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, требующих работы с инструкциями, включая локальный или совместимый с GGUF инференс. README не указывает поддерживаемые языки, дополнительные модальности или конкретные прикладные сценарии. В основе лежит Llama 3 с заявленным размером 8B параметров и контекстом 1048k; архитектурные подробности в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0, размером примерно от 3,0 до 8,1 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством, однако результаты конкретных вариантов в README не сравниваются. К сильным сторонам относятся большой заявленный контекст и широкий выбор форматов квантизации. Ограничения — отсутствие в предоставленных данных сведений о качестве, бенчмарках, системных требованиях, поддерживаемых языках и точной архитектуре. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации базовой модели gradientai/Llama-3-8B-Instruct-Gradient-1048k и соответствующего репозитория.

Mungert/granite-3.3-8b-instruct-GGUF — это GGUF-кเวантованная версия инструкционной модели Granite 3.3 с примерно 8 млрд параметров, основанная на IBM Granite 3.3 8B Base. Модель предназначена для генерации текста и запуска локального inference через совместимые инструменты, включая сценарии на устройствах с ограниченной видеопамятью, CPU и edge-оборудовании. Основная особенность репозитория — варианты ultra-low-bit quantization с использованием метода IQ-DynamicGate, который распределяет точность по слоям и защищает embeddings и output layers. Доступны форматы с экстремально низкой разрядностью, включая IQ1 и IQ2, а также другие варианты квантования. Такие форматы существенно снижают требования к памяти, сохраняя больше качества по сравнению со стандартным 1–2-битным квантованием; однако точность всё равно ниже, чем у полноразмерных или высокоточных вариантов, а прирост эффективности зависит от конкретного формата и оборудования. В README приведены результаты тестов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Granite-модели. Языки, точный максимальный контекст, поддерживаемые модальности и подробные результаты именно для данной модели не указаны. Лицензия заявлена как Apache 2.0.