II.2Создание и понимание программного кода

Это GGUF-квантизированная версия языковой модели Step-3.5-Flash, разработанной командой stepfun-ai и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. В набор входят варианты квантования от Q8_0 до Q2_K_L, включая форматы Q4, Q5, Q6, Q3 и IQ. Размер файлов составляет примерно от 70 до 209 ГБ, а многие варианты разделены на несколько частей. Более качественные варианты Q6_K, Q5_K и Q4_K рекомендуются для сохранения исходных характеристик, тогда как варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в представленном README не указаны. Модель рассчитана на локальный инференс, однако для работы потребуются значительные объёмы оперативной или видеопамяти в зависимости от выбранного варианта. Для корректной генерации следует использовать указанный в README шаблон prompt с системными и пользовательскими сообщениями. Распространение выполняется по лицензии Apache-2.0; сведения о дополнительных ограничениях или результатах бенчмарков не приведены.

Ternary-Bonsai-1.7B-gguf — языковая модель, разработанная Prism ML на базе Qwen3-1.7B. Она предназначена для генерации текста и локального запуска через llama.cpp, включая сценарии on-device, интеграцию в приложения, серверное развёртывание и работу на CPU или GPU. Модель содержит 1,72 млрд параметров и использует архитектуру с GQA, SwiGLU MLP, RoPE и RMSNorm. Длина контекста составляет 32 768 токенов, размер словаря — 151 936. Веса представлены в ternary-формате со значениями −1, 0 и +1 и упакованы в GGUF Q2_0 g128 с групповым масштабированием FP16. Размер рекомендуемого файла — около 436 МиБ, что примерно в 7,5 раза меньше FP16-версии. Указанная модальность — текстовая; поддерживаемые языки в README не перечислены. К сильным сторонам относятся очень компактный размер, высокая эффективность памяти, возможность работы на устройствах с ограниченными ресурсами и практически полное совпадение с FP16-базой при данном формате квантования. По опубликованным тестам, средняя оценка модели ниже, чем у исходной Qwen3 1.7B, поэтому компактность достигается с компромиссом по качеству. Для запуска требуется форк llama.cpp от Prism ML с поддержкой Q2_0; в основной ветке llama.cpp эта поддержка пока отсутствует. Модель распространяется по лицензии Apache 2.0.

TheDrummer_Gemma-3-R1-12B-v1-GGUF — это набор квантизированных версий модели Gemma-3-R1-12B-v1, разработанной TheDrummer и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения на базе llama.cpp. Доступны варианты от BF16 до низкобитных квантизаций размером примерно от 5,21 до 23,54 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. К сильным сторонам относятся широкий выбор вариантов сжатия и применение imatrix-калибровки, призванной сохранить качество при квантизации. Рекомендуемыми обозначены, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты Q4–Q6; низкобитные версии рассчитаны на системы с ограниченным объёмом RAM, но могут заметно уступать по качеству. В README не указаны контекстное окно, языки, поддерживаемые модальности, точная архитектура исходной модели и лицензия. Формат промпта также не приведён, поэтому его следует уточнять на странице исходной модели TheDrummer/Gemma-3-R1-12B-v1.

bartowski/TheSkullery_L3.3-exp-unnamed-model-70b-v0.5-GGUF — это набор GGUF-квантизаций текстовой генеративной модели TheSkullery/L3.3-exp-unnamed-model-70b-v0.5, разработанной TheSkullery. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70B параметров и относится к семейству Llama 3.3; в карточке указана лицензия llama3.3. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и IQ4_XS. Они позволяют выбирать между качеством генерации и требованиями к памяти: размер файлов составляет примерно от 30,91 до 74,98 ГБ. Варианты Q4_1 и Q4_0 отмечены как устаревшие форматы, но могут иметь преимущества в отдельных сценариях на Apple Silicon или ARM/AVX-системах. Сильной стороной являются высокое качество старших квантов и возможность локального запуска на широком спектре совместимого оборудования. Ограничения — значительные требования к оперативной или видеопамяти даже у компактных вариантов, а также потенциальная потеря качества при использовании низкобитных квантов. В README не указаны точный размер контекста, поддерживаемые языки, мультимодальные возможности, конкретная архитектура слоёв и результаты бенчмарков, поэтому эти характеристики нельзя достоверно определить.

TigerBot-7B-Base — базовая языковая модель семейства Llama, разработанная TigerResearch. Она предназначена для генерации текста и может служить основой для создания собственных LLM-приложений. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,7 млрд параметров и поддерживает контекст длиной до 2048 токенов. В карточке приведён пример запуска через Transformers и упомянута генерация длиной до 64 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. В описании нет сведений о конкретных языках обучения и оценки, поэтому языковую специализацию определить нельзя.

TildeOpen-30b — базовая языковая модель Tilde.ai, разработанная при поддержке Европейской комиссии через EuroHPC JU Large AI Grand Challenge и обученная на суперкомпьютере LUMI. Это плотный декодерный трансформер семейства Llama примерно с 29,9 млрд параметров и контекстом до 65 536 токенов; модель распространяется в формате Safetensors и предназначена прежде всего для генерации текста на языках Северной, Центральной и Восточной Европы. Модель поддерживает широкий набор европейских языков, включая русский, английский, немецкий, польский, украинский и другие, а также математические доказательства, программный код и XML с переводческими данными. Токенизатор разработан для более равномерного представления разных языков и может повышать эффективность генерации на фокусных языках. Карточка приводит результаты тестов понимания текста и грамматики. Это фундаментальная модель, не настроенная на выполнение инструкций и не снабжённая выравниванием безопасности, поэтому она рассчитана на продолжение текста и исследовательские или прикладные сценарии с дополнительной адаптацией, а не на безопасный диалог напрямую. Лицензия — CC-BY-4.0.

vicgalle-Configurable-Llama-3-8B-v0.1-GGUF — набор GGUF-квантизированных вариантов модели vicgalle/Configurable-Llama-3-8B-v0.1, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в сценариях локального или совместимого с GGUF инференса. README не раскрывает подробности о принципах конфигурируемости, обучении, языках, поддерживаемых модальностях и максимальном размере контекста. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K с размером файлов примерно от 3,0 до 8,1 ГБ. Это позволяет выбирать компромисс между качеством генерации, требованиями к памяти и скоростью работы, однако README не содержит результатов сравнительных оценок и конкретных требований к оборудованию. Модель является текстовой, поскольку заявленный pipeline_tag — text-generation. Информация о лицензии и условиях использования в README отсутствует. Поэтому перед применением в коммерческих или иных регулируемых сценариях необходимо проверить лицензию базовой модели vicgalle/Configurable-Llama-3-8B-v0.1 и условия распространения её квантизированных файлов.

Карточка модели claudios/VulBERTa-MLP-Devign на Hugging Face совпадает с карточкой claudios/VulBERTa-MLP-MVD, поэтому описание составлено по ней. Это неофициальная версия VulBERTa с классификационной MLP-головой, представленная на Hugging Face. Модель разработана Hazim Hanif и Sergio Maffeis из Имперского колледжа Лондона и дообучена на C-коде из набора CodeXGlue Devign для классификации функций исходного кода по наличию уязвимостей. В основе модели — RoBERTa с 151,6 млн параметров; для токенизации используется упрощённый процесс с удалением комментариев. Контекст составляет до 1026 токенов. Модель предназначена для выявления потенциально уязвимого C-кода и может применяться в анализе безопасности и экспериментах по обнаружению дефектов кода. Для токенизации требуется libclang. Лицензия — MIT.

Это неофициальная версия VulBERTa с классификационной MLP-головой, представленная на Hugging Face. Модель разработана Hazim Hanif и Sergio Maffeis из Имперского колледжа Лондона и дообучена на C-коде из набора CodeXGlue Devign для классификации функций исходного кода по наличию уязвимостей. В основе модели — RoBERTa с 151,6 млн параметров; для токенизации используется упрощённый процесс с удалением комментариев. Контекст составляет до 1026 токенов. Модель предназначена для выявления потенциально уязвимого C-кода и может применяться в анализе безопасности и экспериментах по обнаружению дефектов кода. Для токенизации требуется libclang. Лицензия — MIT.

anakin87/zephyr-7b-alpha-sharded — разбитая на шарды копия Zephyr 7B Alpha, модели-ассистента от Hugging Face. Она предназначена для диалогов и генерации ответов на запросы, а эта версия упрощает загрузку модели в Google Colab. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors. Основной язык карточки — английский. Zephyr 7B Alpha дообучена на базе mistralai/Mistral-7B-v0.1 методом Direct Preference Optimization на смеси общедоступных и синтетических наборов данных. В README отмечено, что снятие встроенного выравнивания данных повысило результаты на MT Bench и полезность ответов, но модель может выдавать проблемный текст при соответствующем запросе. Для инференса автор README рекомендует 8-битную квантизацию, чтобы снизить потребление видеопамяти. Лицензия — MIT.

AfriqueQwen3.5-0.8B-50Langs — компактная базовая языковая модель из набора AfriqueLLM, разработанного для работы с африканскими языками. Это причинная языковая модель с архитектурой Qwen3.5 и 0,8 млрд параметров, полученная продолжением предобучения Qwen/Qwen3.5-0.8B-Base на примерно 35,5 млрд токенов многоязычных данных. Для запуска и дообучения используется библиотека Transformers. Модель адаптирована для 50 африканских языков; среди языков, указанных в карточке, — суахили, хауса, игбо, йоруба, амхарский, сомали, зулу, африкаанс, арабский, английский, французский и португальский. Она предназначена для генерации текста и диалоговых сценариев, а также ориентирована на задачи с кодом и математикой. Нативная длина контекста составляет 262 144 токена. Небольшой размер облегчает использование модели по сравнению с более крупными вариантами AfriqueLLM, но качество может уступать крупным моделям, особенно в сложных задачах. Карточка приводит оценки на многоязычных бенчмарках, однако часть сводных таблиц сокращена. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).

Airolima Chronos Grad L2 13B — это текстовая языковая модель для генерации ответов и ведения диалога, созданная kingbri. Модель представляет собой объединение (merge) проектов Airoboros и Chronos на базе архитектуры Llama 2 с 13 млрд параметров. В данном репозитории опубликованы квантизированные файлы в формате GGUF, подготовленные TheBloke для запуска на CPU и GPU. Модель предназначена для общего текстового общения, генерации и продолжения текста, а также сценариев, поддерживаемых интерфейсами llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другими совместимыми библиотеками. Указан английский язык. Поддерживаются шаблоны запросов Alpaca 2 и Airoboros; рекомендуемый размер контекста и другие параметры инференса в представленном README не указаны. К сильным сторонам относятся относительно крупный размер 13B, совместимость с широким набором локальных инструментов и наличие вариантов квантизации от 2 до 8 бит, позволяющих выбирать компромисс между качеством и требованиями к памяти. Ограничения связаны с тем, что это квантизированная версия, а сведения о результатах тестирования, точности, безопасности и поддерживаемых модальностях отсутствуют; модель является текстовой и не заявлена как мультимодальная. Лицензия указана как llama2.

sergeyvi4ev/all-MiniLM-RAGSQL-code — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерностью 384. Она основана на архитектуре BERT, содержит 25,9 млн параметров и принимает текст длиной до 512 токенов. Модель обучена с функцией MultipleNegativesRankingLoss на наборе sergeyvi4ev/sql_questions_triplets и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений в задачах, связанных с SQL. Её можно применять для поиска релевантных SQL-вопросов или текстов по смыслу и группировки похожих запросов. Карточка описывает эмбеддинги общего текстового типа, но не сообщает результаты оценки качества или конкретные ограничения в SQL-сценариях. Файлы модели представлены в формате safetensors; лицензия в доступных данных не указана.

Awanllm-Llama-3-8B-Instruct-ORPO-v0.1-GGUF — набор GGUF-квантизаций инструкционной языковой модели Awanllm-Llama-3-8B-Instruct-ORPO-v0.1, разработанной AwanLLM. Квантизации подготовлены bartowski с использованием llama.cpp версии b2777 и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям; поддерживает формат промптов Llama 3 с ролями system, user и assistant. Модель относится к семейству Llama 3 и содержит 8 миллиардов параметров. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны языки, размер контекста, результаты тестирования и конкретные сценарии применения. Доступны варианты квантизации от Q8_0 до низкобитных IQ2 и Q2, что позволяет выбирать баланс между качеством ответов, размером файла и требованиями к оперативной памяти. Наиболее высокое качество обеспечивают Q8_0 и Q6_K, а Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые; более компактные варианты экономят память, но могут заметно снижать качество. Файлы предназначены для локального запуска в совместимом программном обеспечении, включая llama.cpp. Ограничения включают зависимость качества от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о безопасности, оценках качества и поддерживаемых языках. Указанная лицензия — llama3; условия её применения следует уточнять по лицензии исходной модели и соответствующим требованиям разработчика.

Awqward 2.5 32B Instruct — объединённая модель на архитектуре Qwen2, созданная автором репозитория maldv методом нормализованной интерполяции денойзенных сигналов. В основе лежит Qwen/Qwen2.5-32B-Instruct; в объединение также включены QwQ-32B-Preview, Rombos-LLM-V2.5-Qwen-32b, AiCloser/Qwen2.5-32B-AGI и EVA-Qwen2.5-32B-v0.2. Модель предназначена для диалоговой генерации текста и экспериментов с выводом в XML-подобном формате: автор объединил QwQ с instruct-моделью, чтобы улучшить поведение при таком выводе. Это плотная причинная языковая модель на 32 млрд параметров с контекстом до 32 768 токенов. Карточка указывает английский язык; метаданные отмечают поддержку чата и интерфейс для вызова инструментов. Автор сообщает, что провёл лишь ограниченное первоначальное тестирование, поэтому качество и устойчивость результатов не подтверждены систематической оценкой. Репозиторий распространяется по лицензии Apache-2.0.

Calme-12B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный и квантизированный MaziyarPanahi. Модель основана на MaziyarPanahi/Calme-12B-Instruct-v0.1 и относится к семейству Mistral; размер исходной модели составляет около 12 миллиардов параметров. Вариант предназначен для использования с llama.cpp и совместимыми приложениями и библиотеками, включая локальные графические интерфейсы и серверы инференса. Модель ориентирована на выполнение инструкций и диалоговые сценарии, генерацию текста и локальный запуск с поддержкой CPU и GPU в зависимости от используемого программного обеспечения. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат поддерживает текстовую модальность; сведения о языках и размере контекстного окна в README не указаны. Основные преимущества — наличие нескольких уровней квантизации и широкая совместимость с экосистемой GGUF, благодаря чему модель можно запускать локально на различных конфигурациях. К ограничениям относятся потенциальная потеря качества при более сильной квантизации, а также отсутствие в предоставленных данных бенчмарков, подробных характеристик архитектуры, языковой поддержки и контекстного окна. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизация модели GLM-4.5-Air-REAP-82B-A12B, разработанной Cerebras и подготовленной пользователем bartowski. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K/IQ3 с размером файлов примерно от 39 до 90 ГБ. Обозначение модели указывает на конфигурацию 82B-A12B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в предоставленной карточке не указаны. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении размера модели. Сильная сторона этой версии — широкий выбор уровней квантования для баланса между качеством, требованиями к памяти и скоростью инференса; наиболее рекомендуемыми указаны варианты Q6_K, Q5_K, Q4_K и IQ4_XS. Ограничения включают очень высокие требования к оперативной или видеопамяти даже для компактных вариантов, а также отсутствие указанного chat template: в README отмечено, что используемый шаблон может быть неточным и требует проверки по оригинальной карточке модели. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели cogito-v2-preview-llama-109B-MoE, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Архитектура модели — Mixture of Experts (MoE), общий заявленный размер — 109B параметров. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, с размером файлов примерно от 47,62 до 114,52 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b6014. Более высокие варианты обеспечивают лучшее сохранение качества, а менее точные требуют меньше оперативной памяти; среди рекомендуемых указаны Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Модель подходит для локального текстового инференса при наличии значительных вычислительных ресурсов и объёма памяти, соответствующего выбранному варианту квантизации. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности, точные характеристики базовой архитектуры, лицензия и формальные ограничения использования. Шаблон чата не задан; предложенный формат является значением по умолчанию и может быть некорректным, поэтому его следует сверять с исходной карточкой модели.

Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf-GGUF — это квантизированная GGUF-версия языковой модели Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf, разработанной e-n-v-y и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В основе лежит модель семейства LLaMa с заявленным размером 70B параметров. Доступны варианты квантизации от Q8_0 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; размеры доступных файлов составляют примерно от 31,94 до 74,98 ГБ. Для работы используется форматированный шаблон промпта LLaMA 3 с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска и широкий выбор квантизаций, включая варианты, оптимизированные для ограниченного объёма памяти и некоторых CPU-платформ. Ограничения включают значительные требования к дисковому пространству и памяти, особенно для высококачественных вариантов; при более сильной квантизации качество снижается. Сведения о поддерживаемых языках, размере контекстного окна, мультимодальности и специализированных сценариях в README не указаны. Лицензия обозначена как llama3.3.

Экспериментальная текстовая версия Gemma 3n E2B, подготовленная h4shy на основе предварительной модели Google gemma-3n-E2B-it-litert-preview. Репозиторий содержит обрезанную конверсию без компонента обработки изображений и использует форматы PyTorch и safetensors. Модель предназначена для генерации текста. Это экспериментальная конверсия предварительной версии, поэтому её характеристики и поведение могут отличаться от официального релиза. Указана лицензия Gemma.

mlx-community/gemma-3n-E4B-it-lm-bf16 — версия модели Google Gemma 3n E4B IT, подготовленная сообществом mlx-community для MLX. Репозиторий создан конвертацией из google/gemma-3n-E4B-it с помощью mlx-lm 0.25.2 и содержит веса safetensors в формате BF16. Модель предназначена для диалогов и генерации текста. Исходная Gemma 3n E4B IT — компактная мультимодальная модель Google, способная работать с аудио, изображениями и видео, однако метаданные этой версии подтверждают только задачу text-generation и возможность чата; другие задачи не следует считать подтверждёнными для данной сборки. Лицензия — Gemma. Для запуска в MLX README указывает библиотеку mlx-lm.

Ninjasin/guard-ai-apex-1.5b — дообученная Ninjasin языковая модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 1,5 млрд параметров. Базовая модель — unsloth/qwen2.5-coder-1.5b-instruct-bnb-4bit; при обучении использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. В метаданных указан английский язык и контекст длиной до 32 768 токенов. Весы опубликованы в формате safetensors, лицензия — Apache-2.0. Карточка не уточняет специализацию названия Guard AI Apex, поэтому её защитные или охранные функции нельзя считать подтверждёнными.

Это набор GGUF-квантизованных файлов модели huihui-ai/Qwen2.5-14B-Instruct-abliterated, подготовленный featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, совместимые с базовой instruct-моделью Qwen2.5. Формат GGUF ориентирован на локальный запуск и использование в совместимых средах инференса. Модель имеет размер 14B параметров и поддерживает только текстовую модальность. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размеры составляют примерно от 5,5 до 15 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества, однако README не содержит сведений о языках, размере контекста, архитектурных деталях, результатах тестирования или сравнительных преимуществах. Лицензия в README не указана, поэтому условия использования необходимо уточнять по лицензии базовой модели и репозитория. Также не приведены отдельные сведения об ограничениях, безопасности и качестве варианта abliterated; перед применением в критичных сценариях модель следует самостоятельно протестировать.

Это набор GGUF-квантизованных файлов модели huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, подготовленный и опубликованный командой featherless-ai-quants. Модель относится к классу text-generation и предназначена для генерации текста в диалоговых и инструкционных сценариях, включая локальный запуск совместимых языковых моделей. Суффикс abliterated-v2 является частью названия базовой модели; README не раскрывает подробности её обучения или модификаций. В основе лежит модель Qwen2.5 с 7 млрд параметров в instruct-варианте. Доступны квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Квантизация позволяет выбирать баланс между требованиями к памяти и сохранением качества, однако README не содержит данных о поддерживаемых языках, размере контекстного окна, архитектурных деталях, модальностях, производительности или результатах сравнительных тестов. Сильной стороной набора является широкий выбор форматов GGUF, подходящих для различных аппаратных конфигураций. Ограничения включают отсутствие подробной информации о качестве, безопасности, рекомендуемых параметрах запуска и лицензии. Условия лицензирования в README не указаны.

Kausik-A/Huihui-Qwen3.5-9B-abliterated-GGUF — это набор квантизированных версий языковой модели Huihui-Qwen3.5-9B-abliterated в формате GGUF, подготовленных с помощью llama.cpp. В основе лежит Qwen3.5-9B от Alibaba: базовая модель Qwen3.5-9B-Base, дообученная в формате instruct, затем изменённая huihui-ai методом abliteration для существенного снижения отказов в ответах. Репозиторий Kausik-A содержит варианты с разными уровнями квантизации для локального запуска через llama.cpp, Ollama или LM Studio. Модель предназначена для генерации текста и диалоговых сценариев, включая исследовательское и экспериментальное использование в контролируемой среде. Указана архитектура Qwen3.5 с 32 слоями, скрытым размером 4096, 16 attention heads, 4 KV heads и словарём из 248 320 токенов. Контекстное окно составляет до 262 144 токенов. Исходный размер F16-версии — около 17 ГБ, а доступные варианты занимают примерно от 4,0 ГБ до 17 ГБ. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует описывать как текстовую. Сильная сторона модели — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти, а также сниженное количество встроенных отказов. Ограничения включают экспериментальный proof-of-concept характер abliteration, отсутствие строгой safety-оптимизации и повышенный риск генерации чувствительного, спорного или неприемлемого контента. Для публичных и коммерческих приложений рекомендуется тщательная фильтрация и ручная проверка результатов. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-9B.

Это GGUF-квантизированная версия языковой модели granite-4.0-h-small, разработанной IBM Granite и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K. Квантизация выполнена с использованием imatrix на базе llama.cpp, что позволяет выбирать компромисс между качеством, размером файла и требованиями к памяти. Размер доступных файлов составляет примерно от 14,42 до 64,45 ГБ. Более лёгкие варианты подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество; наиболее качественными считаются BF16, Q8_0, Q6_K и Q5_K. README не содержит достоверных сведений об архитектуре исходной модели, числе параметров, размере контекста, поддерживаемых языках, дополнительных модальностях, точных сценариях применения или лицензии. Формат промптов также не указан, поэтому его следует уточнять на странице исходной модели. Ограничениями являются требования к значительной объёмной памяти даже для компактных квантизаций и возможная потеря качества в низкобитных вариантах.

Это GGUF-квантизированная версия языковой модели invisietch/L3.1-70Blivion-v0.1-rc1-70B. Исходную модель разработала команда или автор invisietch, а квантизации подготовлены featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в совместимых локальных или серверных средах вывода, поддерживающих формат GGUF. Модель имеет размер 70 миллиардов параметров и относится к текстовым моделям: сведения о мультимодальности, поддерживаемых языках, архитектуре исходной модели и размере контекстного окна в README не указаны. Доступны варианты квантизации от IQ4_XS и Q2_K до Q8_0, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и качеством генерации. Размеры вариантов составляют примерно от 25 до 72 ГБ. Сильной стороной является широкий выбор степеней квантизации и совместимость с экосистемой GGUF, однако 70-миллиардная модель требует значительных вычислительных ресурсов, особенно в вариантах с более высокой точностью. Оценки качества, специализированные сценарии, системные требования и ограничения поведения в README не приведены. Лицензия модели и условия её использования также не указаны.

kappa-3-phi-abliterated-GGUF — это версия модели kappa-3-phi-abliterated в формате GGUF для локального запуска и инференса. Базовая модель создана failspy на основе Phi-3 4k Instruct, а файлы GGUF подготовлены и опубликованы afrideva. Модель относится к классу текстовых генеративных моделей и предназначена для диалогов, ответов на вопросы, решения широкого круга задач и генерации текста. Ключевая особенность kappa-3 — уменьшенная склонность к отказам по сравнению с исходной Phi-3 4k Instruct. В описании также заявлены адаптивность, решение прикладных и более сложных задач, а также повышение эффективности за счёт orthogonalization, однако независимые измерения этих свойств не приведены. Из доступных данных известны текстовая модальность, контекст порядка 4K токенов и распространение в формате GGUF; поддерживаемые языки, точный размер модели, архитектурные детали и конкретные уровни квантования не указаны. Модель может быть полезна для локальных приложений, чат-ботов и экспериментов, где важны автономный запуск и менее ограниченное поведение. Ограничениями являются отсутствие benchmark-результатов, неполная информация о языках и вариантах квантования, а также потенциально повышенный риск генерации небезопасного или нежелательного содержания из-за снижения способности к отказам. Лицензия модели указана как MIT.

MLX-версия модели Kimi-K2.5, разработанной Moonshot AI и опубликованной в исходном виде как moonshotai/Kimi-K2.5. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.30.5 с небольшими изменениями. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе с применением chat template для диалоговых сценариев. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях или размере контекста, поэтому эти характеристики нельзя достоверно указать. Также не описаны конкретные сильные стороны, ограничения производительности или требования к оборудованию; из данных следует лишь, что модель адаптирована для экосистемы MLX. Указана лицензия modified-MIT, обозначенная как other в метаданных. Условия использования следует уточнять по тексту лицензии исходной модели и конвертированной версии.

Это пакет слоёв GGUF модели Kimi-K2-Instruct-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска на локальном кластере. Он основан на unsloth/Kimi-K2-Instruct-GGUF и разбивает исходное распределение GGUF на артефакты по слоям для Mesh LLM. Пакет предназначен для приватного локального чат-инференса, распределения вычислений между несколькими машинами, а также для работы через совместимый с OpenAI интерфейс чата и completions. В метаданных указаны библиотека mesh-llm, формат GGUF и поддержка чата; основной тег задачи — text-generation. README отсылает к карточке исходной модели за сведениями об архитектуре, языках, контексте и условиях лицензии, поэтому эти характеристики для данного пакета не подтверждены. Параметры использования и ограничения наследуются от исходной модели; лицензия в предоставленных материалах не указана.