II.2Создание и понимание программного кода

Swift-Qwen3.8-27B-MIX_GGUF — набор смешанных GGUF-квантизаций модели ukisai/Swift-Qwen3.8-27b, подготовленный пользователем vmarcelo. Исходная модель является дообученной версией Qwen/Qwen3.8-27B — плотной мультимодальной модели на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также встроенной головой Multi-Token Prediction (MTP). Модель предназначена для работы с текстом и изображениями, включая мультимодальные сценарии, при наличии отдельного файла vision encoder mmproj-F16.gguf. Заявлена поддержка multilingual-задач; точный перечень языков не указан. В набор входят варианты IQ4-MIX размером 14,16 ГБ, IQ3-MIX размером 12,87 ГБ и IQ2-MIX размером 10,12 ГБ. Они рассчитаны на потребительские видеокарты с 16 ГБ VRAM, например AMD Radeon RX 9070 XT. IQ4 ориентирован на лучшее качество при умеренном контексте, IQ3 обеспечивает больший запас памяти и более длинный контекст, а IQ2 предназначен для максимального контекста примерно 131–262 тыс. токенов, но имеет экспериментальное качество и слабее подходит для программирования. Встроенная MTP-голова позволяет использовать speculative decoding без загрузки второго файла. Квантизация выполнена с помощью llama.cpp и importance matrix, при этом наиболее чувствительные компоненты сохраняются в более высокоточных форматах. Основные ограничения связаны с потерей качества из-за квантизации, особенно у IQ2; README прямо предупреждает о заметном ухудшении по сравнению с IQ3. Для обработки изображений требуется загрузка mmproj-файла, а фактическая поддерживаемая длина контекста зависит от выбранного варианта, настроек KV-кэша и доступной памяти. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано общее обозначение лицензии other.

TigerBot-7B-SFT-v2 — языковая модель семейства BLOOM, опубликованная TigerResearch. Карточка представляет её как основу для создания собственных больших языковых моделей; метаданные указывают архитектуру BloomForCausalLM и размер 9,1 млрд параметров. Модель предназначена для генерации текста и может служить основой для приложений на базе LLM. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

Vela Halu — разработанная llm-semantic-router модель для проверки ответов на соответствие предоставленным свидетельствам: она выделяет в ответе фрагменты, не подтверждённые контекстом. Это дообученный энкодер ModernBERT с 306,9 млн параметров, предназначенный для разметки токенов; метки означают «подтверждено» и «галлюцинация», а позиции фрагментов задаются смещениями символов Unicode. Модель принимает ответ вместе с доказательствами, поддерживает до 8 192 токенов по README; метаданные указывают нативный контекст до 32 768 токенов. Использование предусмотрено через Transformers, веса доступны в формате safetensors. Модель подходит для проверки ответов RAG-систем и анализа галлюцинаций в текстах и коде. В опубликованной оценке на 10 698 примерах она показывает F1 по фрагментам 64,7 и F1 по ответам 87,5; результаты зависят от набора данных и протокола оценки. Проверка касается поддержки ответа заданными свидетельствами, а не истинности утверждений в реальном мире: отсутствие отмеченных фрагментов не гарантирует правильность ответа. Арифметические задачи и многошаговые выводы, которые не изложены явно в контексте, могут ошибочно отмечаться как галлюцинации. Лицензия — Apache-2.0.

Kompress-v2-base — англоязычная модель сжатия промптов для прокси LLM, разработанная на базе ModernBERT-base. Она предсказывает для каждого токена метку сохранения или удаления, чтобы сократить входной текст, сохранив его смысл и важные фрагменты. Архитектура включает LoRA-адаптер и две головы: классификатор токенов и свёрточную голову для оценки непрерывных фрагментов. Базовая модель содержит 149 млн параметров, адаптер — 3,4 млн обучаемых параметров; заявлена поддержка контекста до 8192 токенов. Модель предназначена для снижения объёма текста, передаваемого LLM, в том числе в диалогах, коде, трассах агентов и материалах из разных предметных областей. На тестовой выборке при пороге 0,5 указаны F1 0,918, сохранение 81,5% токенов и полнота сохранения критически важных фрагментов 0,974. Порог можно настраивать для компромисса между степенью сжатия и сохранением важных сведений. Выпущена по лицензии Apache-2.0.

MaziyarPanahi/WizardLM-2-8x22B-GGUF — это набор файлов модели в формате GGUF для базовой модели microsoft/WizardLM-2-8x22B, разработанной Microsoft и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы и создание подробных, полезных и вежливых ответов ассистента. Файлы подходят для запуска с совместимыми инструментами, включая llama.cpp; репозиторий содержит шардированные варианты модели. Доступны квантизированные варианты с разной разрядностью: 2-, 3-, 4-, 5-, 6- и 8-битные GGUF-файлы. Исходная архитектура, общее число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель относится к текстовым, мультимодальность не заявлена. Разные уровни квантизации позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако конкретные характеристики каждого варианта не приведены. Лицензия — Apache 2.0. Для использования требуется совместимое программное обеспечение, а параметры запуска зависят от выбранного файла квантизации и средства инференса.

Aether-492B — заявленная в README универсальная языковая модель CortexAether для диалогов, рассуждений, программирования, математики, анализа и творческой генерации. Метаданные Hugging Face описывают её как decoder-only MoE-модель семейства AetherMind с архитектурой AetherMindForCausalLM, библиотекой Transformers и форматом safetensors. При этом метаданные указывают 5,8 млн параметров, контекст 1024 токена и теги языков fa и en; заявленные в названии 492 млрд параметров этому не соответствуют. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, перевода, помощи с кодом и многошаговых задач. Возможны диалоговые и агентные сценарии, в том числе использование в качестве языкового компонента RAG-систем. README заявляет поддержку многоязычного общения, но не приводит результатов оценки; перечисленные там длинный контекст и широкий набор способностей следует считать заявленными, а не подтверждёнными характеристиками. Лицензия — Apache-2.0.

Olmo-3-32B-Think-GGUF — это набор квантизированных GGUF-версий языковой модели Olmo-3-32B-Think, разработанной Allen Institute for AI (allenai) и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Варианты представлены в форматах от BF16 до низкобитных Q- и IQ-квантизаций; размер файлов составляет примерно от 13 до 64 ГБ. Доступен англоязычный режим, поскольку в карточке указано только English. Модель относится к текстовым, а не мультимодальным системам. Архитектура и размер контекстного окна в README не указаны. Главное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q6 и Q5 обеспечивают очень высокое качество, Q4 подходят для большинства сценариев, а Q3 и IQ3 рассчитаны на системы с ограниченным объёмом RAM, но заметно уступают по качеству. Ограничения включают отсутствие заявленной поддержки других языков, неизвестные характеристики контекста и необходимость достаточно производительного оборудования для крупных версий. Квантизация выполнена с использованием imatrix и llama.cpp. Лицензия модели — Apache-2.0.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP — это смешанно-точный квантованный MLX-чекпойнт на базе Qwen/Qwen3.8-27B, преобразованный компанией AutomatosX непосредственно из исходной модели BF16. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через MLX-LM, а также для нативного выполнения в AX Engine и интеграции с oMLX Lightning MTP. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и 27,36 млрд логических параметров. Основной языковой тракт квантован с использованием AXQuant 1.6.2; заявленный класс хранения — 6 bit, измеренный общий показатель с учётом MTP составляет 6,0001 BPW. Голова multi-token prediction и vision tower сохранены в BF16. Поддерживаются текст и vision-сценарии, аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory. Размер весов составляет около 20,84 ГБ, полный загрузочный объём — около 20,86 ГБ. Сильными сторонами являются сохранение повышенной точности для отдельных компонентов, наличие MTP и vision tower, а также оптимизация под Apple Silicon. При этом стандартный запуск через MLX-LM гарантирует только текстовый inference и может не использовать MTP, vision-компоненты и метаданные AXQuant. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, поэтому фактическую производительность следует проверять в целевой конфигурации. Репозиторий содержит MLX Safetensors и не содержит весов PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе DeepSeek-R1-Distill-Llama-8B. Модель предназначена для текстового диалога, генерации ответов и задач, требующих рассуждений; в примере README она формирует рассуждение перед итоговым ответом. Заявленный язык — английский. Модель основана на Llama 3.1 с размером 8B параметров и рассчитана на запуск через llama.cpp. Доступны квантизированные варианты GGUF, включая Q4_K_M; README также упоминает динамические квантизации Unsloth с разрядностью 1,58 и 2 бита, направленные на улучшение точности по сравнению со стандартными 1- и 2-битными вариантами. Поддерживается выгрузка части слоёв на GPU, что может ускорить обработку при наличии подходящего оборудования. Сильными сторонами являются относительно компактный размер, возможность локального запуска и наличие квантизированных сборок для снижения требований к памяти. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования; контекстное окно, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как llama3.1.

Experiment27Inex12-7B — автоматически слитая модель генерации текста, созданная Maxime Labonne на основе yam-peleg/Experiment27-7B и MSL7/INEX12-7b. Она использует архитектуру Mistral с плотной сетью и 7,1 млрд параметров; слияние выполнено методом SLERP с настройками, различающимися для слоёв self-attention и MLP. Модель предназначена для генерации текста с контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.

MaziyarPanahi/Falkor-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это квантованная версия языковой модели Falkor-7b-Mistral-7B-Instruct-v0.2-slerp, разработанная и подготовленная MaziyarPanahi. Модель основана на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и выполнения инструкций в локальных и серверных сценариях. Модель поставляется в формате GGUF, совместимом с llama.cpp и рядом приложений и библиотек для локального запуска, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Это позволяет выбирать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Точное число параметров указано как 7B; поддерживаются текстовые задачи, однако сведения о языках и размере контекстного окна в README отсутствуют. Сильными сторонами являются уменьшенный размер квантованных файлов и возможность запуска на широком спектре локальных конфигураций с поддержкой CPU и GPU через совместимые инструменты. Ограничения включают потенциальное снижение качества при использовании более агрессивного квантования, а также отсутствие в README подробных результатов оценки, описания архитектуры с дополнительными деталями и характеристик мультимодальности. Модель распространяется по лицензии Apache-2.0.

FIxtral — диалоговая языковая модель, опубликованная zaursamedov1 и основанная на объединении модели mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для генерации текста и ответов на инструкции в дружелюбном пошаговом стиле; в карточке приведён пример использования через Transformers. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors. Модель распространяется по лицензии Apache-2.0.

bartowski/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Google Gemma 2 27B IT, подготовленный bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, при запуске через llama.cpp и совместимые инструменты. В README не указаны поддерживаемые языки, максимальный размер контекста и дополнительные модальности, поэтому модель следует считать текстовой. Доступны варианты от F32 размером 108,91 ГБ до низкобитных Q2 и IQ2 размером около 9,40 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6 и Q5 сохраняют очень высокое или высокое качество, а Q4 ориентированы на более экономное использование памяти. Низкобитные варианты требуют меньше ресурсов, но снижают качество и могут быть менее стабильными. Модель не поддерживает системный промпт; для диалогов необходимо использовать указанный в README формат ролей Gemma. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma. README не содержит полного текста лицензии, поэтому перед использованием необходимо ознакомиться с её условиями и проверить их применимость к конкретному сценарию.

unsloth/gemma-2-it-GGUF — это набор GGUF-квантованных вариантов инструкционной модели Gemma 2, подготовленный Unsloth на основе модели Google. README указывает, что доступны популярные варианты квантования, а исходная модель относится к семейству Gemma 2 и представлена как минимум в версиях на 2B и 9B параметров. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для последующего дообучения на пользовательских датасетах и экспорта в GGUF или vLLM. Заявлен английский язык; другие языки и мультимодальные возможности не указаны. Ключевая особенность — 4-битное квантование с использованием bitsandbytes, снижающее требования к памяти и позволяющее запускать и дообучать модель на более доступном оборудовании. Для Gemma 2 README приводит ориентиры дообучения на GPU Tesla T4: для версии 9B заявлены примерно двукратное ускорение и снижение потребления памяти на 63%, однако эти показатели относятся к описанным сценариям и не гарантируют аналогичную производительность при инференсе. Архитектура, размер контекста, точные параметры GGUF-вариантов и системные требования не приведены. Лицензия указана как gemma. Ограничения, связанные с качеством ответов, безопасностью, поддерживаемыми языками и конкретными режимами квантования, в README подробно не описаны; перед использованием следует проверить условия лицензии Google Gemma и характеристики выбранного файла.

Это квантизированная версия Gemma 3 12B IT, разработанная Google и преобразованная пользователем nocturne23 в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для запуска через llama.cpp в CLI-режиме или как сервер для генерации ответов и выполнения задач, поддерживаемых исходной инструкционной моделью. Известно, что модель основана на google/gemma-3-12b-it и имеет размер 12 миллиардов параметров. Вариант Q4_K_M использует 4-битную квантизацию, что уменьшает требования к памяти по сравнению с полной версией, но может снижать точность. В метаданных указана мультимодальная задача image-text-to-text, однако подробные сведения о поддерживаемых языках, длине контекста, архитектуре и возможностях работы с изображениями в README отсутствуют. В качестве ограничения также следует учитывать зависимость от llama.cpp и необходимость настройки под используемое оборудование. Для доступа и использования модели требуется принять лицензию Google Gemma на Hugging Face; в README лицензия обозначена как gemma. Условия коммерческого и иного применения следует проверять в исходной лицензии Google и оригинальной карточке модели.

Instruct Mixtral 8X7B V0.1 Dolly15K — это инструкционная языковая модель на архитектуре Mixtral, дообученная компанией Brillibits на наборе данных databricks-dolly-15k. Представленная версия распространяется в формате GGUF и подготовлена TheBloke с использованием квантования. Модель предназначена для генерации текста по инструкциям и может использоваться в локальных приложениях для диалога, ответов на вопросы и других задач text-generation. В названии указано 8 экспертов по 7B параметров, однако README не содержит дополнительных сведений о фактическом числе активируемых параметров, размере контекста, языках и поддерживаемых модальностях. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат совместим с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All и LM Studio. Сильной стороной модели является возможность локального запуска на CPU и GPU благодаря GGUF и нескольким уровням квантования. Ограничения включают возможные потери качества при сильном квантовании, а также отсутствие в README подробных результатов оценки и характеристик производительности. Лицензия модели — Apache-2.0.

InternLM2-Chat-1.8B — диалоговая языковая модель второго поколения семейства InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 1,7 млрд параметров, предназначенная для общения, следования инструкциям и генерации текста; в карточке также отмечены функция вызова инструментов и применение для downstream-сценариев. Модель прошла supervised fine-tuning, а затем дополнительное выравнивание с помощью онлайн-RLHF поверх InternLM2-Chat-1.8B-SFT. Метаданные указывают контекст до 32 768 токенов. README семейства заявляет поддержку очень длинных входов до 200 000 символов и сильные результаты на задачах работы с длинным текстом, а также улучшения в рассуждениях, математике и программировании; это характеристики серии InternLM2, а не отдельная оценка данного чекпойнта. Модель подходит для чат-ботов, ответов на инструкции и генерации текста на китайском и английском языках. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Код распространяется по Apache-2.0; для весов заявлен свободный доступ для академических исследований и возможность запросить бесплатное разрешение на коммерческое использование.

AtomicChat/Laguna-XS-2.1-GGUF — это квантизированная в формате GGUF версия языковой модели poolside/Laguna-XS-2.1, подготовленная Atomic Chat на основе оригинальных весов Poolside. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск, а также задачи с поддержкой инструментов и опциональным пошаговым рассуждением. Модель содержит 33,4 млрд параметров и использует архитектуру Mixture-of-Experts с 256 экспертами, из которых для каждого запроса выбираются 8. Она включает 40 слоёв, гибридное внимание с локальным скользящим окном на 512 токенов и глобальными слоями внимания в соотношении 3:1, 48 голов внимания и 8 KV-голов. Максимальная длина контекста заявлена на уровне 262 144 токонов, словарь содержит 100 352 токена. Поддерживается только текстовая модальность. KV-кэш квантизируется в FP8, что снижает расход памяти на токен. Репозиторий предоставляет варианты Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Квантизация выполнена Atomic Chat с использованием матрицы важности для каждого тензора; Q4_K_M рекомендуется как баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при большем потреблении памяти. Для корректной работы требуется применять chat template Laguna XS 2.1 через параметр --jinja. Ограничения включают значительные требования к памяти и зависимость качества от выбранного уровня квантизации; приведённые в README результаты относятся к базовой модели Poolside и не являются независимыми измерениями этой сборки. Исходная модель распространяется по лицензии OpenMDW-1.1, квантизированная версия подготовлена Atomic Chat.

QuantFactory/Llama3.1-8B-ShiningValiant2-GGUF — квантизированная версия чат-модели Shining Valiant 2, созданная QuantFactory с использованием llama.cpp на основе ValiantLabs/Llama3.1-8B-ShiningValiant2. Исходную модель разработала Valiant Labs; она дообучена на базе Meta-Llama-3.1-8B-Instruct, релиз от 6 августа 2024 года. Модель предназначена для диалогов и генерации текста, включая общие вопросы, объяснение научных и инженерных тем, технические задачи и структурированное рассуждение. Она ориентирована на дружелюбные, воодушевляющие, содержательные и познавательные ответы. Указан английский язык, текстовая модальность и архитектура Llama; размер — 8 миллиардов параметров. Модель использует формат промптов Llama 3.1 Instruct. Размер контекста в README не указан. К сильным сторонам относятся специализация на научно-технических знаниях, улучшенная согласованность ответов и гибкость общения. К ограничениям относятся зависимость качества от базовой модели и выбранного квантизированного формата; сведения о точности, конкретных вариантах квантования, системных требованиях и ограничениях безопасности не приведены. Лицензия указана как llama3.1.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Llama-3-8B-Instruct-GGUF — квантизированная GGUF-версия языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия с использованием шаблона запросов llama-3-chat, а также для локального запуска через llama.cpp и LlamaEdge. Модель относится к архитектуре Llama и содержит 8 миллиардов параметров. Это текстовая модель с поддержкой английского языка и контекстом до 8192 токенов. Доступны варианты квантизации от 2 до 8 бит, а также версия f16; размеры файлов составляют примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Основные преимущества модели — относительно компактный размер, возможность локального развертывания и выбор между несколькими уровнями квантизации. Существенным ограничением является потеря качества у низкобитных вариантов, особенно Q2 и Q3; README также не содержит результатов бенчмарков или подробных сведений о безопасности и ограничениях применения. Указана лицензия Llama 3 с обозначением llama3; условия использования следует уточнять в лицензии Meta.

LPT-6.1 Thinking — разговорная языковая модель от LiskCell, представленная как флагман экосистемы xLYR и ассистент Deta. Модель предназначена для диалогов, творческих задач, технических вопросов и многошаговых рассуждений; в репозитории заявлена поддержка английского и иврита. В карточке указаны архитектура семейства Kimi K2.5 с классом KimiK25ForConditionalGeneration, библиотека Transformers и формат весов safetensors. Модель позиционируется как дообученная и настроенная для экосистемы xLYR; её размер и длина контекста в предоставленных данных не приведены. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

Meta-Llama-3-120B-Instruct-GGUF — GGUF-квантизированная версия community-модели Meta-Llama-3-120B-Instruct, созданной Maxime Labonne (mlabonne) с использованием self-merge через MergeKit на базе Meta-Llama-3-70B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения и диалогового взаимодействия, включая работу в LM Studio. Модель относится к семейству Llama 3, имеет заявленный размер 120B параметров и поддерживает текстовую модальность. Точные сведения о контексте, языках и конфигурации архитектуры в README не указаны. Для корректного взаимодействия рекомендуется использовать шаблон запросов Llama 3 и системный промпт помощника. Self-merge направлен на расширение возможностей без дополнительных затрат на обучение, однако README не содержит независимых результатов оценки качества. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия обозначена как other; конкретные условия использования в README не раскрыты, их следует уточнять на странице исходной модели.

Meta-Llama-3.1-8B-Claude-GGUF — набор GGUF-квантизаций модели Meta-Llama-3.1-8B-Claude, базовой моделью которой указана Undi95. Квантизации подготовлены bartowski с использованием llama.cpp версии b3472 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio; для работы используется формат промпта Llama 3 с ролями system, user и assistant. Доступны варианты от полных весов F32 размером 32,13 ГБ до низкобитных IQ2_M размером 2,95 ГБ. Рекомендуемые варианты включают Q4_K_M, Q5_K_M, Q6_K и другие; более высокие уровни квантизации обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти, но могут заметно снижать качество генерации. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста, модальности или лицензия, поэтому эти характеристики нельзя достоверно определить.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

MaziyarPanahi/Ministral-3-14B-Reasoning-2512-GGUF — это набор файлов модели в формате GGUF для исходной модели Ministral-3-14B-Reasoning-2512, разработанной компанией Mistral AI. Квантизацию и публикацию этой версии выполнил MaziyarPanahi. Модель относится к классу генеративных текстовых моделей и предназначена для задач text-generation, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на эффективный запуск моделей, в том числе с использованием llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и других поддерживающих его инструментов. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Заявленный размер исходной модели — 14B параметров. README не содержит сведений об архитектуре, поддерживаемых языках и модальностях, размере контекстного окна, результатах тестирования или конкретных ограничениях качества. Лицензия в предоставленных данных также не указана, поэтому условия использования необходимо уточнять в карточке исходной модели и репозитории. Для работы требуется совместимое программное обеспечение с поддержкой GGUF; конкретные требования к оборудованию зависят от выбранной разрядности и режима запуска.

Mistral-7B-Instruct-v0.1 — чат-модель Mistral AI, полученная дообучением Mistral-7B-v0.1. Она предназначена для диалогов и генерации ответов на запросы; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. README показывает форматирование запросов через токенизатор Mistral и генерацию текста с помощью mistralinference. Модель подходит для диалоговых приложений, ответов на вопросы и демонстрации адаптации базовой модели к инструкциям. По README, у неё нет механизмов модерации, поэтому выходы могут не соответствовать требованиям приложений, которым нужны встроенные защитные ограничения. Лицензия — Apache-2.0.

Это квантованная версия Mistral Small 3.1 24B Instruct в формате GGUF. Исходную модель разработал mrfakename, а файлы GGUF подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие поддерживаемые клиенты. Ключевая характеристика репозитория — наличие вариантов квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Точные сведения об архитектуре, размере контекста, поддерживаемых языках и модальностях в README не указаны, поэтому модель следует описывать как текстовую instruct-модель без дополнительных подтверждённых характеристик. Сильной стороной является возможность запуска в различных локальных средах с поддержкой CPU и GPU, включая серверные и OpenAI-совместимые интерфейсы некоторых клиентов. Ограничения зависят от выбранного уровня квантования и используемого программного обеспечения; более агрессивное квантование может влиять на качество. Лицензия в README не указана.

Это набор файлов GGUF с весами модели Meta-Llama-3.1-70B-Instruct в варианте BF16, опубликованный featherless-ai-quants на основе mlx-community/Meta-Llama-3.1-70B-Instruct-bf16-CORRECTED. Модель семейства Llama 3.1 с 70 млрд параметров предназначена для генерации текста в диалоговом режиме; карточка указывает несколько вариантов квантования, включая IQ4_XS, Q2_K и Q3_K_L. Модель можно использовать для ответов на вопросы, диалогов и генерации текста. В карточке не приведены сведения о контекстном окне, поддерживаемых языках и лицензии, поэтому эти характеристики здесь не уточняются. Качество и требования к памяти зависят от выбранного варианта квантования; это крупная модель, для запуска которой нужны значительные вычислительные ресурсы.

Nemotron-3.5-Lightning-30B-A3B-CRACK-GGUF — производная GGUF-версия модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная Dealign.ai для запуска через llama.cpp. Это языковая модель для генерации текста, рассуждений и исследовательских сценариев, включая авторизованное red-teaming. Поддерживаются английский и китайский языки. Модель использует гибридную архитектуру Mamba-2 SSM, Mixture-of-Experts и attention: 52 слоя, включая 23 слоя Mamba-2, 23 MoE-слоя и 6 attention-слоёв; всего 128 маршрутизируемых экспертов, около 3 млрд активных параметров. Заявлен контекст до 262K токенов, а режим рассуждений включён по умолчанию. Репозиторий содержит квантизации Q8_0, Q4_K_M и Q2_K размером около 35,0, 25,4 и 18,7 ГБ соответственно; Q4_K_M обозначена как сбалансированный рекомендуемый вариант. Во все варианты встроена native MTP-голова для спекулятивного декодирования без отдельной draft-модели. Abliteration CRACK удаляет поведение отказа при сохранении знаний, рассуждений и многоязычности, однако по тесту MMLU результат снизился с 78,3% у базовой модели до 74,2%, особенно в STEM и гуманитарных дисциплинах. По HarmBench модель продемонстрировала 100% выполнения вредоносных запросов без отказов, поэтому имеет существенно сниженные защитные ограничения и требует ответственного и законного применения. Лицензия — NVIDIA Open Model License; модель является производной квантизированной версией базовой модели NVIDIA.