II.2Создание и понимание программного кода

h2o-danube3-4b-chat-GGUF — набор файлов модели h2o-danube3-4b-chat в формате GGUF, разработанный H2O.ai и квантизированный с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в README указан английский язык. Рекомендуемый формат промпта задаёт пользовательский вопрос и ожидаемый ответ модели. Модель имеет размер 4 млрд параметров. Доступны варианты с разными методами и уровнями квантизации: от F16 размером 7,92 ГБ до Q2_K размером 1,51 ГБ. Выбор варианта позволяет находить компромисс между размером файла, скоростью генерации и качеством. В тестах на одной H100 GPU скорость составляла от 479 до 1299 токенов в секунду в зависимости от варианта; наиболее низкоразрядные версии показывали заметное снижение качества по MT-Bench и рост perplexity. Архитектура, размер контекстного окна и поддержка других модальностей в README не указаны. Модель подходит для локального запуска и приложений, которым нужна компактная чат-модель с поддержкой инференса через совместимые с GGUF инструменты. Ограничениями являются отсутствие заявленной мультиязычной и мультимодальной поддержки, а также потенциальная потеря качества при выборе агрессивной квантизации. Распространение указано по лицензии Apache-2.0.

Higgs-Llama-3-70B-IMat-GGUF — это набор GGUF-версий модели Higgs-Llama-3-70B от bosonai, подготовленный пользователем legraphista. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Исходная модель указана в формате FP32, а доступные файлы представлены в вариантах от BF16 и FP16 до различных уровней квантования. Модель относится к семейству Llama 3 и имеет размер 70B параметров. Это текстовая модель без заявленной поддержки дополнительных модальностей; конкретные языки и размер контекстного окна в README не указаны. Для ряда вариантов применена IMatrix-квантизация на основе calibration dataset, что позволяет уменьшить размер файлов при стремлении сохранить качество генерации. Доступны варианты Q2_K–Q8_0, IQ-квантизации и версии без дополнительного применения IMatrix. Размер файлов составляет примерно от 26,38 до 141,12 ГБ, поэтому требования к памяти зависят от выбранного варианта. Сильная сторона репозитория — широкий выбор уровней точности и формата GGUF, позволяющий подобрать компромисс между качеством, скоростью и потреблением памяти. Ограничениями являются значительные аппаратные требования 70B-модели, необходимость совместимого ПО для запуска и потенциальная потеря качества у наиболее агрессивных вариантов квантования. В метаданных указана лицензия other; дополнительные условия лицензирования в README не раскрыты.

Это набор GGUF-квантизованных версий модели huihui-ai/Qwen2.5-7B-Instruct-abliterated, подготовленный организацией featherless-ai-quants. Модель относится к классу text-generation и предназначена для генерации текста и диалогового использования в сценариях, совместимых с instruct-моделями. В README не указаны точные сведения об архитектуре, поддерживаемых языках, размере контекста и модальностях, поэтому эти характеристики нельзя уточнить. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством генерации. Конкретные сильные стороны и ограничения базовой модели в README не описаны; также сведения о лицензии и условиях использования отсутствуют.

Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-i1-GGUF — GGUF-квантизированная версия модели Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated, разработанной Huihui AI и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста, рассуждений и сценариев, связанных с chain-of-thought; в метаданных также указаны distillation, LoRA и mixture-of-experts. Модель заявлена как vision model, однако README не содержит подробностей о поддерживаемых визуальных входах и требованиях к mmproj-файлам. Архитектура относится к mixture-of-experts; в идентификаторе указаны размеры 35B и A3B, но точное значение активных параметров не раскрыто. Указан английский язык, а размер контекста и другие языковые возможности не приведены. Доступны варианты квантизации i1-IQ и i1-Q с различными компромиссами между размером, скоростью и качеством; некоторые малые варианты отмечены как низкокачественные. Сильной стороной является широкий выбор GGUF-квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения включают отсутствие в README результатов тестирования, подробностей о мультимодальности и контекстном окне, а также возможное снижение качества у наиболее компактных вариантов. В названии и тегах модель обозначена как abliterated и uncensored, поэтому её поведение в части защитных ограничений следует оценивать отдельно. Лицензия — Apache 2.0.

AngelSlim/Hy3-GGUF — это низкобитная квантованная версия модели Hy3 (hy_v3), разработанной Tencent, в формате GGUF для запуска через llama.cpp. Репозиторий подготовлен проектом AngelSlim, посвящённым сжатию больших языковых моделей. Модель предназначена для генерации текста и локального или серверного инференса на совместимом CPU или GPU. Доступны варианты квантования IQ1_M и Q4_K_M, включая сборки с MTP-блоком для self-speculative decoding. Архитектура использует shared и routed experts, причём routed experts квантуются агрессивнее, чтобы уменьшить размер файлов; MTP-вариант добавляет блок для ускорения декодирования. Рекомендуемый размер контекста — до 65 536 токенов при соответствующей конфигурации llama.cpp. README не указывает число параметров, поддерживаемые языки и полный перечень модальностей, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — существенно сниженный объём весов, возможность запуска в llama.cpp и поддержка ускоренного MTP-инференса. IQ1_M рассчитан на более жёсткую экономию памяти, а Q4_K_M должен обеспечивать более высокое качество при значительно большем размере. Для работы требуется версия llama.cpp с поддержкой hy_v3; конфигурация зависит от доступной видеопамяти, а экстремальное квантование и ограниченная память могут снижать качество. Модель распространяется по лицензии Apache-2.0.

Ice0.67-25.01-RP — языковая модель, созданная автором репозитория как слияние предварительно обученных моделей с помощью метода SLERP и инструментария mergekit. В слияние вошли daybreak-kunoichi-2dpo-7b и Ice0.66-25.01-RP; конфигурация использует слои 0–31 обеих моделей и точность bfloat16. Модель предназначена для генерации текста и построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. README не уточняет специализацию сценариев и языки, поэтому её можно описать только как модель генерации общего текста. Репозиторий содержит веса Safetensors; сведения о лицензии и конкретных ограничениях в предоставленных данных отсутствуют.

ruGPTlarge Instructions — русскоязычная модель генерации текста на базе GPT-2, дообученная в инструктивном формате. Разработчик сообщает, что модель подходит для выполнения инструкций в режимах zero-shot и few-shot и показывает лучшие результаты на русском языке по сравнению с XGLM 1.7B и mGPT; независимые результаты оценки не приведены. Модель предназначена для ответов на инструкции и промпты, а также для продолжения текста. В метаданных указаны возможности работы с кодом и тематические метки finance и code, но специальных оценок для этих сценариев README не приводит. Контекст составляет 2048 токенов; доступны веса PyTorch и Safetensors для библиотеки Transformers. Модель создана дообучением ruGPTlarge на наборе ru_turbo_alpaca. Лицензия — Apache 2.0. Качество зависит от промпта и параметров генерации; сведения о точности, ограничениях безопасности и подробном составе обучающих данных отсутствуют.

Это GGUF-квантизированная версия чат-модели internlm/internlm2_5-1_8b-chat, подготовленная пользователем legraphista. Модель предназначена для генерации текста и диалогового взаимодействия, а также для локального запуска через совместимые инструменты, включая llama.cpp. Исходные веса имеют формат BF16, а квантизация выполнена с использованием llama.cpp b3524. Репозиторий содержит варианты от BF16 и FP16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серии. Для ряда вариантов применена IMatrix-квантизация, призванная эффективнее сохранять качество при уменьшении размера модели. Размер файлов варьируется примерно от 772 МБ до 3,78 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством генерации. Модель удобна для ресурсоограниченных устройств и локального инференса, однако снижение точности при низких уровнях квантизации может ухудшать качество ответов. В README не указаны архитектурные детали, языки, длина контекста и результаты оценки, поэтому эти характеристики нельзя достоверно определить. Лицензия обозначена как other, без подробных условий использования.

Это квантизированная GGUF-версия модели Jan-v1-edge, разработанной janhq и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты от исходных BF16-весов размером 3,45 ГБ до низкобитных форматов примерно от 0,75 ГБ. Доступны квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ; варианты Q4_K_M, Q5_K_M и Q6_K обозначены как рекомендуемые, а Q4_K_M — как оптимальный размер по умолчанию для большинства сценариев. Квантизация выполнена с использованием imatrix в llama.cpp release b6317. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, контекстном окне, модальностях, конкретных задачах обучения, лицензии и формате промптов. Поэтому сильные стороны и ограничения можно оценивать только на уровне доступных вариантов квантизации: более компактные файлы требуют меньше памяти, но обычно снижают качество по сравнению с BF16 и высокоточными вариантами.

JiRackUltra_1b-i1-GGUF — это набор GGUF-квантизаций модели CMSManhattan/JiRackUltra_1b, подготовленный и опубликованный mradermacher. Модель предназначена для генерации текста и локального запуска на CPU и устройствах с ограниченной памятью; заявленные сценарии включают веб-интерфейсы, маршрутизацию запросов, вызов инструментов и робототехнику. Модель относится к компактному классу примерно на 1 млрд параметров и связана с архитектурами Qwen2.5 и DeepSeek; в метаданных также указаны ternary/BitNet и эффективное 1.58-bit представление. Доступны многочисленные варианты квантизации с размерами примерно от 0,6 до 1,6 ГБ, включая IQ- и Q-варианты, а также imatrix-файл для создания собственных квантизаций. Заявлена поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Мультимодальность и размер контекста в README не указаны. Сильные стороны модели — малый размер, низкие требования к памяти и возможность выбора компромисса между скоростью, размером и качеством. Ограничения зависят от варианта квантизации: наиболее компактные варианты могут заметно снижать качество, а IQ-квантизации часто рекомендуются вместо сопоставимых Q-вариантов. Лицензия — MIT.

Myric/K2-Horizon-MoVA-36B-A4B-APEX-GGUF — это квантизированная GGUF-версия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной Institute of Foundation Models при MBZUAI в рамках линии LLM360/K2. Модель предназначена для генерации текста и локального запуска через llama.cpp; она не связана с Kimi K2 от Moonshot. Распространяется по лицензии Apache-2.0. Модель содержит около 37,445 млрд параметров и использует архитектуру Mixture of Experts: 48 слоёв, включая 3 плотных, 100 FFN-экспертов с выбором top-8 и одним общим экспертом. Её отличительная особенность — механизм MoVA, или Mixture-of-Values Attention: в 45 слоях используется маршрутизация по 64 value-экспертам с выбором top-4. Конфигурация внимания включает 32 головы и 8 KV-голов, размер головы — 128. Контекстное окно составляет 524 288 токенов, словарь — 250 624 токена. Поддержка языков в README не указана. Доступны три варианта квантизации: i-quality размером 21,05 ГиБ, compact размером 16,69 ГиБ и mini размером 14,86 ГиБ. Compact рекомендуется как наиболее сбалансированный вариант по размеру и качеству; i-quality обеспечивает минимальную измеряемую потерю, а mini подходит при жёстких ограничениях памяти. По данным тестов, все варианты сохранили результат 9/9 и 142/142 в указанном agentic-тесте, однако mini демонстрирует заметно большее ухудшение perplexity относительно BF16. Для запуска требуется специальная ветка model/K2Horizon форка MBZUAI-IFM/llama.cpp; стандартная upstream-версия llama.cpp эту архитектуру не загружает. Это существенно ограничивает совместимость и требует сборки специализированного программного обеспечения. Квантизация учитывает чувствительность маршрутизаторов MoE и MoVA, поэтому соответствующие веса сохранены в F32 для уменьшения риска ошибочного выбора экспертов.

QuantFactory/KingNish-Llama3-8b-GGUF — квантизированная версия модели KingNish-Llama3-8b, созданная QuantFactory с использованием llama.cpp. Исходная модель представляет собой объединение VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct и mlabonne/ChimeraLlama-3-8B-v3; в конфигурации слияния также указан nbeerbower/llama-3-gutenberg-8B в качестве базовой модели. Для объединения применён метод dare_ties, параметры включают int8-маскирование и тип данных float16. Модель предназначена для генерации текста и диалоговых сценариев общего назначения. В README приведён пример использования через transformers с chat template, генерацией до 256 новых токенов и настройками sampling. Архитектура, точный размер контекста, поддерживаемые языки и перечень модальностей явно не указаны; по названию и составу это текстовая модель семейства Llama 3 примерно на 8 миллиардов параметров. Квантизация в формате GGUF может снизить требования к памяти и упростить локальный запуск, но конкретный тип квантизации и характеристики производительности не приведены. Модель распространяется по лицензии MIT. README не содержит результатов бенчмарков, подробного описания сильных сторон, известных ограничений или требований к аппаратному обеспечению, поэтому качество на конкретных языках и задачах следует проверять отдельно.

Это GGUF-квантизация модели gpt-oss-120b-heretic-v2, разработанной kldzj и опубликованной в формате llama.cpp пользователем bartowski. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты с разными типами квантования, включая BF16 и MXFP4_MOE, а также семейство квантов GGUF с различными компромиссами между размером, скоростью и качеством. Полная версия BF16 имеет размер около 65,37 ГБ, вариант MXFP4_MOE — около 63,39 ГБ. Для квантования использовался imatrix с калибровочными наборами данных. Модель относится к семейству с заявленным размером 120B параметров и ориентирована на текстовые сценарии, включая диалоговую генерацию и выполнение инструкций. README не содержит достоверных сведений о точной архитектуре, поддерживаемых языках, максимальном размере контекста, мультимодальности или результатах специализированных бенчмарков, поэтому эти характеристики нельзя определить по предоставленным данным. Использование требует значительных вычислительных ресурсов, особенно для крупных вариантов; конкретные требования зависят от выбранного кванта и оборудования. Указанная лицензия — Apache-2.0.

Shining Valiant XS версии 1.2 — чат-модель Valiant Labs на архитектуре Llama 2, дообученная на нескольких сочетаниях открытых и частных данных. Она рассчитана на диалог с дружелюбной, энергичной и увлечённой персоной, а также на творческие и познавательные запросы и повседневные задачи ассистента, например написание писем и помощь с кодом. Модель имеет 12,9 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; заявленная длина контекста — 4096 токенов. Карточка указывает английский язык и формат запросов Llama 2 Chat. Модель распространяется по лицензии Llama 2. Версия 1.2 на момент карточки ожидала оценки Open LLM Leaderboard; результаты независимой оценки не приведены.

Llama-3.1-8B-ArliAI-RPMax-v1.1-GGUF — это GGUF-квантизованная версия текстовой генеративной модели Llama-3.1-8B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp release b3715 и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp и LM Studio. Модель основана на архитектуре Llama 3.1 с размером 8 млрд параметров и работает в текстовой модальности. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемые варианты обеспечивают высокое или хорошее качество, а Q3 и некоторые другие компактные варианты подходят для систем с ограниченными ресурсами. Отдельные сборки оптимизированы для ARM и требуют соответствующей поддержки процессора. Сильной стороной модели является широкий выбор квантизаций и возможность локального запуска с различными аппаратными конфигурациями. Ограничения включают неизбежное снижение качества в более компактных вариантах, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, обучающих данных и специализированных сценариях применения. Для корректной работы следует использовать указанный формат prompt. Лицензия: llama3.

Llama-3.1-8B-Lexi-Uncensored-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Llama-3.1-8B-Lexi-Uncensored, разработанной Orenguteng и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от F32 до низкобитных Q2 и IQ-квантизаций. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio. Объём файлов варьируется примерно от 2,95 до 32,13 ГБ в зависимости от варианта. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; Q6_K_L, Q6_K, варианты Q5 и Q4 отмечены как рекомендуемые, тогда как низкобитные варианты ориентированы на системы с ограниченным объёмом RAM и могут заметно уступать по качеству. Модель использует архитектуру семейства Llama 3.1 с размером 8B параметров и поддерживает текстовый ввод и вывод. В README не указаны точное максимальное окно контекста и перечень языков. Для корректной работы следует применять указанный формат prompt с системными и пользовательскими сообщениями. Лицензия обозначена как llama3.1; дополнительные условия этой лицензии в README не приведены.

shuyuej/Llama-3.2-1B-Instruct-GPTQ — это квантованная версия модели meta-llama/Llama-3.2-1B-Instruct, опубликованная пользователем shuyuej. Модель предназначена для задач генерации текста и следования инструкциям, включая диалоговые и прикладные сценарии, поддерживаемые исходной instruct-моделью. Сведения о языках и точном размере контекста в README не указаны. Модель использует 4-битное симметричное квантование GPTQ с group size 128 и поддержкой ExLlama версии 1. Квантование рассчитано на снижение требований к памяти и ускорение инференса по сравнению с полноразмерной версией, однако может сопровождаться некоторой потерей качества; конкретные результаты оценки не приведены. Использование ExLlama и CUDA FP16 обозначено в конфигурации, но дополнительные требования к оборудованию не указаны. Лицензия — Apache 2.0. Исходный код процедур квантования указан в репозитории vkola-lab/medpodgpt.

onnx-community/Llama-3.2-3B-Instruct-ONNX — это ONNX-версия модели Llama-3.2-3B-Instruct, разработанной Meta, подготовленная сообществом onnx-community для совместимости с библиотекой Transformers.js. Репозиторий содержит ONNX-веса базовой модели и предназначен прежде всего для использования в веб-среде и других сценариях, где требуется формат ONNX. Модель ориентирована на задачи генерации текста и диалогового применения в соответствии с возможностями Llama-3.2-3B-Instruct. Из карточки известно, что размер модели составляет 3 млрд параметров, однако сведения о поддерживаемых языках, длине контекста, модальностях и конкретных вариантах архитектуры не указаны. Преобразование в ONNX облегчает интеграцию с Transformers.js, но README не содержит данных о производительности, требованиях к оборудованию или сравнительных преимуществах. Модель распространяется по лицензии Llama 3.2. Условия лицензии и ограничения использования следует уточнять в документации Meta. Отдельный репозиторий ONNX-весов обозначен как временное решение до более широкого внедрения WebML.

Shining Valiant 2 — разговорная языковая модель, созданная Valiant Labs на основе Meta Llama 3.2 3B Instruct и дообученная на данных разработчика. Это плотная модель семейства Llama с 3,2 млрд параметров, предназначенная для диалога и следования инструкциям; в репозитории веса представлены в формате safetensors, а нативная длина контекста составляет 131 072 токена. Модель ориентирована на технические знания и структурированные рассуждения, с акцентом на физику, химию, биологию, информатику и инженерное дело. Она также обучалась на данных для сложных рассуждений и общего чата, поэтому подходит для объяснения научных и технических тем, ответов на вопросы и помощи в обучении. В карточке указана поддержка английского языка; мультиязычность базовой модели не подтверждает, что дообученная версия одинаково хорошо работает на других языках. Модель выпущена 27 сентября 2024 года и использует лицензию Llama 3.2. Качество ответов и точность фактов не гарантированы; научные и технические ответы следует проверять, особенно перед практическим применением.

duyntnet/Llama-3-Instruct-8B-SPPO-Iter3-imatrix-GGUF — набор GGUF-квантизаций модели UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3. Базовая модель построена на архитектуре Meta Llama 3 8B Instruct и дообучена с применением метода Self-Play Preference Optimization (SPPO), итерация 3. В README также указано, что использовались синтетические ответы и наборы промптов из UltraFeedback, разделённые на три части с помощью Snorkel-Mistral-PairRM-DPO-Dataset. Модель предназначена для генерации текста и преимущественно ориентирована на английский язык. Она содержит около 8 миллиардов параметров и представлена в формате GGUF с imatrix-квантизациями, что делает её пригодной для локального запуска через llama.cpp и совместимые интерфейсы, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. README не сообщает размер контекстного окна, точные варианты квантизации или характеристики производительности. Основные сильные стороны модели — инструкционное дообучение, ориентация на английские NLP-задачи и возможность локального использования в различных клиентах. Ограничения включают преимущественно англоязычную специализацию, отсутствие данных о поддерживаемых модальностях кроме текста и недостаток сведений о качестве, безопасности и производительности. В метаданных репозитория указана лицензия other, а в описании исходной модели — Apache-2.0; применимые условия следует уточнять для конкретной квантизации и исходной модели.

Magnum-v4-72b-GGUF — это набор GGUF-квантизаций текстогенеративной модели magnum-v4-72b, разработанной anthracite-org и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для диалоговой генерации текста и запуска локально через совместимые приложения, включая LM Studio. README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Модель имеет 72 миллиарда параметров; точная архитектура, размер контекстного окна и поддерживаемые модальности в README не указаны. Представлены варианты квантизации от Q8_0 до IQ1_M с размерами файлов примерно от 23,74 до 77,26 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, а низкие требуют меньше оперативной памяти, но заметно уступают по качеству. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Основные ограничения связаны с большими требованиями к дисковому пространству и памяти, особенно для вариантов высокого качества, а сильное сжатие снижает качество генерации. Некоторые варианты используют Q8_0 для embedding- и output-весов, что может влиять на качество, но автор отмечает отсутствие однозначных выводов. Распространение указано по лицензии Apache-2.0.

MaziyarPanahi/mergekit-slerp-rfdxiqs-GGUF — это набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели mergekit-community/mergekit-slerp-rfdxiqs. Исходная модель создана сообществом mergekit-community и связана с объединением NousResearch/Hermes-2-Pro-Mistral-7B и WizardLM/WizardMath-7B-V1.1 с использованием подхода mergekit SLERP. Точный состав объединения и архитектурные детали в README не раскрыты. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Доступны квантизированные варианты с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Указан класс моделей около 7B параметров, однако точный размер, длина контекста и поддерживаемые языки не приведены. Модель работает только с текстом; сведения о других модальностях отсутствуют. Сильной стороной является широкий выбор GGUF-квантизаций и совместимость с популярными инструментами локального инференса, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Ограничения включают отсутствие в README результатов оценки, подробностей о качестве, языковой специализации, контекстном окне и рекомендуемых параметрах запуска. Лицензия модели или объединённых исходных моделей в предоставленных данных не указана.

Meta-Llama-3.1-8B-Instruct-heretic — это модифицированная версия Meta-Llama-3.1-8B-Instruct, разработанная пользователем saidutta69 на основе модели Meta и созданная с помощью Heretic v1.4.0. Вариант предназначен для генерации текста и диалоговых сценариев, где требуется более прямое следование инструкциям без встроенного поведения отказа. Поддерживается английский язык. Модель сохраняет базовые знания и возможности следования инструкциям исходной Llama 3.1 8B, но подавляет отказы посредством направленных изменений весов в выходных проекциях attention и down-проекциях MLP, без дообучения. Это модель примерно на 8 млрд параметров с текстовой модальностью; README не указывает размер контекста. Доступны веса BF16 и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0, подходящие для запуска на GPU с 8–12 ГБ памяти, потребительском оборудовании, CPU и Apple Silicon. Сильная сторона модели — сохранение возможностей базовой instruct-модели при уменьшении количества отказов и возможность локального запуска через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Ограничение заключается в намеренном отсутствии защитных фильтров: модель может выполнять запросы, от которых исходная версия отказалась, в том числе нежелательные. Ответственность за безопасное применение лежит на пользователе. Модель распространяется по лицензии llama-3.1-community-license, унаследованной от базовой модели.

MiniMax-M2.7-UD-Q4_K_XL-layers — пакет GGUF с весами модели MiniMax-M2.7, подготовленный Mesh LLM для распределённого инференса. Пакет получен из unsloth/MiniMax-M2.7-GGUF и разбит на артефакты по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального приватного чат-инференса, распределённой работы на нескольких машинах, если полный GGUF не помещается на одном узле, и обслуживания запросов через совместимый с OpenAI API. В метаданных указаны задача генерации текста, библиотека mesh-llm и возможность чата; формат весов — GGUF, вариант квантования — UD-Q4_K_XL. README отсылает к исходной карточке за подробностями архитектуры, контекстного окна, языков, рекомендаций по генерации и лицензии, поэтому эти характеристики здесь не уточняются. Условия использования определяются лицензией исходной модели.

unsloth/Mistral-Nemo-Base-2407 — базовая плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров, опубликованная Unsloth. Она предназначена для генерации текста и может служить отправной точкой для дообучения под конкретные задачи; карточка Unsloth описывает ноутбуки для настройки Mistral Nemo и работы с шаблонами диалогов ShareGPT ChatML и Vicuna, а также с обычным продолжением текста. Модель использует архитектуру MistralForCausalLM, доступна в формате safetensors и имеет контекстное окно до 131 072 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0. README посвящён главным образом инструментам и ноутбукам Unsloth для дообучения, поэтому конкретные показатели качества этой модели в нём не приведены.

Motif-3-Mixed-Quant-GGUF — независимая конверсия модели Motif-3 от Motif Technologies, разработанная Baekpica. Это GGUF-артефакт для генерации текста на английском и корейском языках, предназначенный для локального запуска полноразмерной модели на оборудовании с примерно 128 ГБ унифицированной памяти, включая NVIDIA DGX Spark. Релиз не является официальным продуктом Motif Technologies. Модель построена на архитектуре Mixture-of-Experts с 314,8 млрд параметров: 53 слоя, из которых 14 используют полный и 39 — SWA-вариант внимания GDLA. В каждой разреженной слоистой части сохранены все 384 маршрутизируемых эксперта с маршрутизацией top-8, а также общий эксперт; параметры не удалялись, эксперты и слои не отбрасывались. Применена смешанная квантизация, итоговый размер составляет 94,16 ГБ, или 87,70 GiB, в 11 файлах. Заявленный исходный предел контекста — 262 144 токена. Сильной стороной модели является сохранение полной топологии и возможность запуска на ограниченном по памяти оборудовании. Для ds4-dfm заявлена проверка работы с контекстом до 262 080 токенов на одном DGX Spark, включая многооконный режим, а также поддержка OpenAI- и Anthropic-совместимых серверных интерфейсов, инструментов, непрерывной пакетной обработки и retrieval-сценариев. При этом приведённые тесты подтверждают главным образом загрузку и серверное выполнение; качество ответов в README не оценивалось, а результаты зависят от конкретного оборудования, runtime и режима контекста. Лицензия модели — MIT.

NaturalLM-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели NaturalLM-7B-Instruct, разработанной qingy2024. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; запуск возможен, в частности, через LM Studio и совместимые инструменты llama.cpp. В набор входят варианты от исходных весов F16 размером 14,5 ГБ до квантизаций Q3 и Q4 размером примерно 3,2–4,5 ГБ, а также Q5, Q6 и Q8 с более высоким качеством и большим потреблением памяти. Для общения используется формат сообщений с ролями system, user и assistant. README не указывает архитектуру исходной модели, поддерживаемые языки, размер контекста, мультимодальность или точные показатели качества, поэтому эти характеристики нельзя определить по имеющимся данным. Основное преимущество набора — выбор между качеством, размером файлов и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M описан как подходящий для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но снижает качество. Для некоторых вариантов существуют специальные ограничения по аппаратуре: отдельные сборки оптимизированы для ARM или AVX, требуют поддержки конкретных инструкций и не рекомендуются для Mac или GPU. Лицензия в README не указана.

Это набор квантизированных вариантов Nemotron-Cascade-2-30B-A3B от noctrex на основе модели NVIDIA Nemotron-Cascade-2-30B-A3B. Модель предназначена для генерации текста и диалогов; в каталоге для неё указана возможность чата. Варианты используют формат GGUF: тензоры MoE представлены в MXFP4, а остальные сохранены в BF16 или F16. Автор рекомендует BF16 как вариант с наивысшим качеством, хотя на некоторых архитектурах он может работать медленнее; для запуска рекомендуется актуальная версия llama.cpp. Базовая модель NVIDIA построена на архитектуре Nemotron-H и предназначена также для сложных рассуждений и агентных задач с вызовом инструментов, но README этого репозитория отдельно не подтверждает поддержку вызова инструментов. Лицензия и сведения о языках в предоставленных данных не приведены.

QuantFactory/NeuralLlama-3-8B-Instruct-abliterated-GGUF — квантизированная GGUF-версия экспериментальной модели mlabonne/NeuralLlama-3-8B-Instruct-abliterated, созданная с использованием llama.cpp. Разработчик исходной модели — mlabonne; конкретный автор квантизации в README не указан. Модель основана на Llama 3 8B Instruct, дополнительно дообучена методом DPO на полном наборе данных mlabonne/orpo-dpo-mix-40k, а затем адаптирована для формата GGUF. Модель предназначена для генерации текста, диалоговых сценариев и ролевых применений, включая задачи, не требующие выравнивания поведения. В README она описана как uncensored, то есть с ослабленными ограничениями безопасности, поэтому её применение требует самостоятельной оценки рисков и контроля результатов. Указано тестирование в LM Studio с пресетом «Llama 3». Поддерживаемые языки, размер контекста и точные параметры квантизации не приведены. По заявлению авторов, дообучение улучшает результаты исходной abliterated-модели и восстанавливает часть показателей MMLU, утраченных после abliteration. В приведённой оценке Nous модель получила средний результат 52,26, опередив перечисленные в таблице базовую Meta-Llama-3-8B-Instruct и другие сравниваемые модели. Лицензия указана как other, без дополнительных условий в README, поэтому точные правила использования необходимо уточнять в карточке репозитория.

KnutJaegersberg/orca-mini-70b-2bit — 2-битная квантизация модели orca_mini_v3_70b, разработанная на основе семейства Llama. Она предназначена для генерации текста и ответов на инструкции в формате диалога с ролями System, User и Assistant. Автор указывает, что модель можно запускать на видеокарте RTX 3090 без выгрузки весов в память компьютера, хотя генерация может быть медленной. Модель содержит 68,7 млрд параметров и рассчитана на контекст до 4096 токенов. Для загрузки используется библиотека quip#; в карточке также описана интеграция с text-generation-webui. Репозиторий распространяет веса в формате safetensors. Применяются условия лицензии Llama 2. README не описывает языковую специализацию или результаты оценки качества.