II.2Создание и понимание программного кода

Это GGUF-представление модели una-cybertron-7b-v2-bf16-Mistral-7B-Instruct-v0.2-slerp от MaziyarPanahi, основанной на Mistral-7B-Instruct-v0.2. Модель предназначена для диалоговой генерации текста и может запускаться локально через llama.cpp и совместимые приложения. В репозитории представлены варианты квантования GGUF, позволяющие выбирать компромисс между размером файлов и точностью. Архитектура — плотная Mistral; модель поддерживает чат. README не сообщает конкретный размер параметров или длину контекста. Лицензия — Apache-2.0. Качество и точность могут различаться между уровнями квантования; для работы требуется совместимый GGUF-исполнитель.

Это набор GGUF-квантизованных файлов модели varox34/Llama-3-Mistral-v0.2-Instruct-slerp, подготовленный организацией featherless-ai-quants. Модель предназначена для генерации текста и инструкционного взаимодействия, включая запуск локально или в совместимых средах инференса, поддерживающих формат GGUF. README не содержит сведений о точной архитектуре, числе параметров, языках, размере контекста или мультимодальности. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,6 до 7,35 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством генерации, однако конкретные характеристики производительности в README не приведены. Сильная сторона набора — широкий выбор степеней квантизации и совместимость с экосистемой GGUF. Ограничения и условия лицензирования исходной модели или квантизованных файлов в README не указаны, поэтому перед использованием необходимо проверить лицензию базовой модели отдельно.

Airochronos L2 13B GGUF — это квантизированная версия текстовой языковой модели Airochronos L2 13B, созданной kingbri и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре LLaMA 2 и предназначена для генерации текста и диалогового взаимодействия на английском языке. Доступны варианты с квантизацией от 2 до 8 бит, что позволяет запускать модель для CPU+GPU-инференса с различными требованиями к памяти и компромиссами между качеством и производительностью. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами. В README приведены шаблоны запросов Alpaca 2 и Airoboros. Размер модели составляет 13 млрд параметров; сведения о длине контекста, мультимодальности и результатах бенчмарков не указаны. Сильными сторонами являются широкий выбор уровней квантизации, возможность локального запуска и поддержка множества интерфейсов и библиотек. Ограничения включают отсутствие подтвержденных характеристик качества, неизвестную длину контекста и отсутствие мультимодальных возможностей в заявленных данных. Модель распространяется по лицензии llama2.

Bonsai 2 27B Ternary CRACK GGUF — языковая и мультимодальная модель, созданная исследовательской командой dealignai на основе тернарной версии Bonsai от PrismML и Qwen3.8-27B от Qwen. Из модели на уровне весов удалены механизмы отказа, при этом заявлено сохранение базовых возможностей, режимов рассуждения, использования инструментов и многоходового диалога. Модель предназначена для генерации текста, задач с рассуждением, работы с инструментами и сценариев, где требуется обработка изображений; конкретные поддерживаемые языки и размер контекстного окна в README не указаны. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120, отдельная vision tower. Применяется тернарное квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для работы с изображениями используются отдельные mmproj-файлы в форматах BF16 или Q8_0. Запуск поддерживается через форк llama.cpp от PrismML на CPU, CUDA и Metal, что позволяет использовать модель на ноутбуке или одной GPU. Сильными сторонами являются малый размер для модели класса 27B, поддержка vision, рассуждений и инструментов, а также сохранение общей производительности относительно базовой тернарной версии: на указанной выборке MMLU разница составила −0,62 процентного пункта. Ограничения включают крайне низкую точность тернарного квантования, зависимость от специального форка llama.cpp и совместимых файлов проекторов, а также отсутствие встроенных механизмов отказа, что делает модель неподходящей для сценариев, требующих строгих защитных ограничений. README также предупреждает об исправлении прежней ошибки зацикливания токенов в режимах low и xhigh; рекомендуется использовать сборку, опубликованную после 18 сентября 2026 года. Лицензия — Apache-2.0.

Это GGUF-квантизация модели c4ai-command-r-v01, разработанной CohereForAI. Репозиторий duyntnet содержит варианты квантования с использованием imatrix для запуска модели в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев; в исходном README приведён пример применения через transformers с chat template Command R. Указана поддержка английского языка и задача text-generation. Архитектура, число параметров, размер контекста и точный набор вариантов квантования в предоставленных данных не указаны. Ключевое преимущество этой версии — возможность использовать квантизированную модель в формате GGUF, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием подробностей о характеристиках конкретных квантов, производительности и совместимости. Лицензия обозначена как other; дополнительные условия использования не приведены.

Dolphin-Mistral-24B-Venice-Edition-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin-Mistral-24B-Venice-Edition, разработанной cognitivecomputations. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5835 и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, а также для генерации текста по заданному системному промпту и пользовательскому запросу. Размер исходной модели составляет 24 млрд параметров; доступны варианты от BF16 размером 47,15 ГБ до более компактных квантовок Q3 и Q4, а также Q5, Q6 и Q8. В README указана только текстовая модальность и формат взаимодействия через системный промпт и инструкцию. Контекстное окно, поддерживаемые языки, конкретные обучающие данные и результаты независимого тестирования не указаны. Основное преимущество набора — широкий выбор уровней квантизации, позволяющий выбирать между качеством генерации, размером файла и требованиями к памяти. В README варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Ограничения включают зависимость характеристик от выбранной квантовки и отсутствие подробных сведений о качестве, языках и контексте. Лицензия модели указана как Apache-2.0.

DeepSeek-R1-Distill-Qwen-7B-Uncensored-Reasoner-GGUF — это GGUF-версия дистиллированной 7-миллиардной модели рассуждений на базе Qwen, подготовленная h34v7 на основе модели nicoboss/DeepSeek-R1-Distill-Qwen-7B-Uncensored-Reasoner. Модель ориентирована на локальный запуск и генерацию ответов общего назначения с акцентом на рассуждения; README отдельно указывает возможность запуска на Android-устройствах с Snapdragon 8 Gen 2, Snapdragon 8 Gen 3 или Snapdragon Elite через Ollama и Termux. Для работы рекомендуется не менее 8,4 ГБ оперативной памяти, при этом на менее производительных устройствах возможна более низкая скорость. Ключевые сведения об архитектуре, точном размере файла, формате квантования, максимальном контексте, поддерживаемых языках и модальностях в README не приведены; по имеющимся данным, это текстовая языковая модель. В описании заявлена «uncensored»-настройка, однако её фактическое поведение и качество не подтверждены отдельными тестами. Модель распространяется по лицензии MIT.

EZForever/gemma-4-26B-A4B-it-qat-uncensored-heretic-UDmerge-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, созданная EZForever на основе объединения моделей Unsloth и llmfan46. Распространяется в формате GGUF и предназначена для запуска совместимых локальных inference-систем. Модель ориентирована на диалоговые и текстовые задачи, а при использовании файлов mmproj также поддерживает обработку изображений; файлы mtp обеспечивают поддержку MTP. Вариант UDmerge использует квантизацию Q4_0 для аблированных тензоров и имеет заявленный размер около 14,2 ГБ. В README также упоминается вариант UDmerge-Q4_K_XXL с квантизацией Q8_0 отдельных тензоров, но идентификатор модели указывает именно на UDmerge-GGUF без уточнения этого варианта. Для модели заявлены результаты MMLU-val 81,38%, PPL 5,236 и KLD 0,0448; авторы отмечают, что показатели отказов получены на ограниченном тесте и могут быть неточными. Сильными сторонами являются компактный квантизованный формат, мультимодальная поддержка, относительно небольшое отклонение от BF16-версии и высокая производительность на MMLU в приведённом сравнении. Ограничения включают возможные потери качества из-за квантизации, экспериментальный характер слияния и неопределённость результатов тестов. Контекстное окно, поддерживаемые языки и точные требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0; для работы с Gemma могут применяться дополнительные условия лицензии Google Gemma.

gemma-4-31B-it-GGUF — это набор статически квантизированных моделей в формате GGUF на базе google/gemma-4-31B-it. Репозиторий подготовлен пользователем giladgd для запуска через node-llama-cpp и llama.cpp. Модель относится к классу instruction-tuned и предназначена для диалогового взаимодействия и задач image-text-to-text, однако подробные сведения о поддерживаемых языках и возможностях обработки изображений в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16. Размер файлов составляет от 11,9 до 61,4 ГБ; более лёгкие варианты требуют меньше памяти, но могут сильнее уступать по качеству исходной модели, тогда как BF16 обеспечивает наиболее близкое к исходному представление при значительно больших требованиях к ресурсам. Архитектура, максимальный контекст и точное число параметров в README явно не описаны, кроме обозначения 31B в идентификаторе базовой модели. Модель можно использовать локально через node-llama-cpp или llama.cpp, включая CLI и серверный режим. Основные ограничения связаны с большими требованиями к дисковому пространству и оперативной или видеопамяти, особенно для высокоточных вариантов, а также с возможными потерями качества при агрессивной квантизации. Указана лицензия Apache 2.0; для Gemma также приведена отдельная ссылка на условия лицензии Google.

Gemma-4-31B-it-ROCmFP4-GGUF — это мультимодальная квантизированная GGUF-версия модели Gemma-4-31B-it, разработанной Google и подготовленной пользователем kingjones777. Модель предназначена для генерации и анализа текста, а также для обработки изображений; для визуального ввода в репозиторий включён отдельный проектор mmproj-BF16.gguf. В репозитории представлены четыре варианта квантизации: 4-битный ROCmFP4 и 6- или 8-битные ROCmFPX, размером примерно от 16,44 до 30,04 ГиБ. Модель рассчитана прежде всего на AMD Strix Halo с графикой gfx1151, включая Ryzen AI MAX+ 395, и поддерживает ускорение через ROCmFPX. Заявленный контекст в проверках составлял 4096 токенов; языки явно не указаны. Для ускорения генерации поддерживается speculative decoding с drafter-моделью Gemma-4-31B-it-assistant. На рекомендованном 4-битном варианте измерена скорость до 21,68 токена в секунду с MTP и около 11,81 токена в секунду без него. Сильные стороны модели — мультимодальность, наличие нескольких вариантов точности, проверенная работа с текстом и изображениями на реальном оборудовании, а также заметное ускорение за счёт speculative decoding. Основное ограничение — необходимость специальной сборки llama.cpp с поддержкой ROCmFPX: стандартные llama.cpp, Ollama и LM Studio эти типы файлов не загружают. Для обработки изображений требуется отключить flash attention, а использование MTP может зависеть от версии сборки и операционной системы. Модель распространяется по лицензии Gemma. Условия использования следует уточнять в лицензии Google Gemma; README не приводит дополнительных ограничений.

Gemma-4-31B-JANG_4M-CRACK-GGUF — набор GGUF-квантизаций модели Gemma-4-31B-JANG_4M-CRACK на базе google/gemma-4-31b-it. Конвертацию и публикацию выполнил douyamv. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio, Ollama и других совместимых с GGUF средах. Это плотный Transformer Gemma 4 с 31 млрд параметров и 60 слоями, гибридным вниманием Sliding/Global Attention, а также поддержкой текста, изображений и аудио. В карточке указаны английский язык и pipeline text-generation. Модель получила CRACK abliteration, направленную на удаление отказов, и JANG v2 mixed-precision quantization. Доступны варианты от Q3_K_M примерно на 14 ГБ до Q8_0 примерно на 33 ГБ; Q4_K_M заявлен как оптимальный баланс размера и качества, а Q8_0 — как наиболее близкий к исходной модели. Для запуска требуется ориентировочно от 20 до 40 ГБ оперативной памяти в зависимости от варианта квантизации, при рекомендуемом объёме от 24 до 48 ГБ. Качество ограничивается исходной квантизацией JANG v2 и последующей переквантизацией в GGUF, хотя дополнительная потеря качества заявлена как минимальная. У модели удалены защитные ограничения, поэтому её применение требует осторожности и соблюдения законодательства. Распространение регулируется Gemma License.

GLM-4.5-Air-GGUF — квантованная версия модели GLM-4.5-Air, опубликованная организацией ggml-org. Исходная модель разработана zai-org. Формат GGUF предназначен для локального запуска и совместим с инструментами экосистемы llama.cpp; в карточке также указан запуск через llama.app. Модель относится к классу text-generation и предназначена для генерации текста и других сценариев работы с текстовыми запросами. В доступных данных не указаны точная архитектура, количество параметров, поддерживаемые языки, размер контекстного окна, набор модальностей и конкретные результаты тестирования, поэтому оценить её производительность и область применения более детально невозможно. Квантование может снизить требования к памяти, однако потенциально сопровождается потерей качества по сравнению с исходной моделью. Модель автоматически конвертирована с использованием инструмента ggml-org/convert. Лицензия — MIT, если условия исходной модели не устанавливают дополнительных ограничений.

GLM-5.2-4bit — это 4-битная квантованная версия модели GLM-5.2, преобразованная сообществом mlx-community из исходной модели zai-org/GLM-5.2 в формат MLX с использованием mlx-lm версии 0.31.3. Модель предназначена для генерации текста и локального запуска в экосистеме MLX, например через mlx-lm. Ключевые характеристики включают формат MLX, 4-битное квантование и поддержку сценариев text-generation. Данные о размере модели, архитектуре, языках, модальностях и длине контекста в README не указаны. В текущей версии квантования отсутствует блок MTP, что может ограничивать функциональность или производительность по сравнению с исходной моделью. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-Alis-MLX-6bit — это 6-битная квантованная версия модели GLM-5.3-Flash, разработанной организацией zai-org и конвертированная avlp12 в формат MLX для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживается библиотекой mlx-vlm с архитектурой glm5_next. Базовая модель имеет конфигурацию 320B-A18B и архитектуру Mixture-of-Experts. В README также указана vision tower в формате bfloat16, однако подробности поддерживаемых визуальных сценариев и языков не приведены. Квантование выполнено в 6 бит с использованием схемы g64 affine для экспертов, attention, dense/shared MLP, embeddings и output head. Маршрутизатор MoE, correction bias, параметры mHC и KDA decay, а также отдельные нормы, свёртки и другие компоненты сохранены без 6-битного квантования; MTP layer 45 удалён. На M3 Ultra 512GB заявлена скорость декодирования около 24,6–26,3 токена в секунду в зависимости от длины промпта. По приведённым измерениям эта сборка имеет меньшую ошибку относительно 8-битной версии, чем указанные 4-битные варианты, но результаты получены на закрытой тестовой панели и не сопоставимы напрямую с оценками относительно BF16. Модель ориентирована на локальный инференс на Apple Silicon и требует mlx-vlm с поддержкой glm5_next. Для корректной работы рекомендуются ветки с исправлениями swiglu clamp, fp32-обработки вспомогательных параметров mHC/KDA и eps. Преимуществами являются сохранение точности маршрутизации MoE и высокая для 6-битной сборки скорость работы; ограничениями — очень большой размер базовой модели, требования к памяти и зависимость от актуальной поддержки MLX. Модель распространяется по лицензии MIT.

MaziyarPanahi/gpt-oss-20b-Derestricted-GGUF — это набор файлов модели в формате GGUF для ArliAI/gpt-oss-20b-Derestricted. Исходную модель разработала ArliAI, а конвертацию и публикацию GGUF-файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Сведения об архитектуре, размере контекста, поддерживаемых языках и мультимодальности в README не указаны. Лицензия также не указана, поэтому условия использования по этим данным определить нельзя.

lmstudio-community/gpt-oss-20b-MLX-8bit — 8-битная квантованная версия модели gpt-oss-20b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX и библиотеки mlx_lm; модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-сценариях и других задачах text-generation, поддерживаемых исходной моделью. В README не указаны точные архитектурные характеристики, фактический размер в параметрах, языки, модальности и длина контекста, поэтому оценить эти свойства по имеющимся данным нельзя. Ключевое преимущество — 8-битное представление, ориентированное на более эффективный локальный запуск на Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и отсутствие подробных сведений о качестве, поддерживаемых языках и ограничениях исходной модели. Модель распространяется по лицензии Apache-2.0.

Hercules-5.0-Qwen2-7B-GGUF — это GGUF-квантизированная версия языковой модели Locutusque/Hercules-5.0-Qwen2-7B, подготовленная пользователем bartowski с использованием llama.cpp и калибровочного набора данных imatrix. Модель предназначена для генерации текста и локального запуска в совместимых приложениях на базе llama.cpp и других инструментов, поддерживающих формат GGUF. В README указан шаблон диалога с системными и пользовательскими сообщениями в формате ChatML. Модель относится к семейству Qwen2 и имеет размер 7B параметров; она работает с текстовой модальностью. Доступны варианты от F32 до низкобитных Q2–Q8, включая Q4_K_M как компромисс между размером и качеством, а также варианты Q5 и Q6 с более высоким качеством. Квантизация позволяет снизить требования к памяти, но по сравнению с полной точностью может ухудшать качество, особенно в младших вариантах. Языки, размер контекстного окна, результаты оценивания и специализированные сценарии применения в README не указаны. Распространение заявлено по лицензии Apache-2.0.

DevQuasar/huihui-ai.GLM-4-32B-0414-abliterated-GGUF — это квантованная версия модели huihui-ai/GLM-4-32B-0414-abliterated, опубликованная проектом DevQuasar. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется локальный запуск квантованной языковой модели. Из README известно, что исходная модель относится к семейству GLM-4 и имеет размер 32B параметров. Формат GGUF указывает на подготовку к использованию в совместимых средах локального инференса, однако конкретный тип квантования, требования к памяти, размер контекста, поддерживаемые языки и модальности в предоставленных данных не указаны. Также отсутствуют сведения о результатах тестирования, сильных сторонах и ограничениях модели. Лицензия и точные условия использования в README не указаны; перед применением необходимо проверить их для исходной и квантованной моделей.

ibm-granite_granite-4.1-3b-GGUF — это квантизированная версия языковой модели Granite 4.1 3B, разработанной IBM (ibm-granite). Модель предназначена для генерации текста и запускается в формате GGUF через llama.cpp и совместимые приложения, включая LM Studio, Ollama-подобные среды на базе llama.cpp, KoboldCpp, Jan AI и Text Generation Web UI. Для диалогов используется специальный шаблон промпта с ролями system, user и assistant. В набор входят варианты с разными уровнями квантизации: от BF16 и Q8_0 до более компактных Q4, Q3 и IQ-форматов. Размер файлов составляет примерно от 1,6 до 6,8 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. В README не указаны архитектура, поддерживаемые языки, размер контекстного окна и мультимодальные возможности; по имеющимся данным модель относится к текстовым генеративным моделям и не заявлена как мультимодальная. Сильная сторона набора — широкий выбор квантизаций для локального запуска, включая варианты, рекомендованные для баланса качества и размера, а также форматы, оптимизированные для отдельных CPU-платформ. Более агрессивная квантизация снижает требования к памяти, но может ухудшать качество генерации. Модель распространяется по лицензии Apache-2.0; конкретные условия использования следует проверять с учетом лицензии исходной модели IBM.

Это GGUF-квантизированная версия языковой модели OREAL-32B, разработанной internlm и опубликованной в виде квантований пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В качестве исходной модели указана internlm/OREAL-32B, а для квантования использован llama.cpp b4688 с методом imatrix и набором данных internlm/OREAL-RL-Prompts. Модель имеет размер 32B параметров; в README не указаны её архитектурные детали, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты GGUF с квантованием от Q8_0 до Q2_K и IQ2/IQ3/IQ4, размером примерно от 11 до 35 ГБ. Более высокие уровни квантования обеспечивают лучшее качество, но требуют больше памяти; варианты Q4_K_M, Q5, Q6 и Q8_0 описаны как качественные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Основные преимущества — возможность локального запуска, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с распространёнными инструментами llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и значительными требованиями к памяти для крупных вариантов. Лицензия указана как Apache-2.0.

MLX-версия модели Kimi-K2-Thinking, разработанная сообществом mlx-community на основе модели moonshotai/Kimi-K2-Thinking. Модель предназначена для генерации текста и запуска в экосистеме MLX с использованием библиотеки mlx-lm, включая сценарии диалогового взаимодействия через chat template. Известно, что модель имеет формат MLX и была преобразована с помощью mlx-lm версии 0.28.4. В карточке указано назначение text-generation, однако сведения об архитектуре, размере, объёме контекста, поддерживаемых языках и модальностях отсутствуют. Для работы требуется библиотека mlx-lm; в примере используется загрузка модели через mlx_lm.load и генерация ответа через mlx_lm.generate. Лицензия обозначена как modified-MIT с типом other. Подробные условия лицензии, а также ограничения и результаты оценки качества в карточке не приведены.

Llama-3-11.5B-V2-GGUF — набор квантизированных версий языковой модели Llama-3-11.5B-V2, опубликованный bartowski. Исходная модель разработана Replete-AI, а квантизация выполнена с использованием llama.cpp версии b3024 и метода imatrix. Модель предназначена для генерации текста и локального запуска в форматах GGUF, включая работу через llama.cpp и совместимые инструменты. Модель содержит около 11,5 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации с размером файлов примерно от 3,63 до 12,24 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие снижают требования к оперативной памяти и видеопамяти, но сильнее теряют в качестве. Для запуска рекомендуется выбирать вариант, помещающийся в доступный объём RAM и VRAM; наиболее сбалансированными в README названы Q6_K, Q5_K и Q4_K. Преимущество набора — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также пригодность для локального инференса. Ограничения включают отсутствие точного описания архитектуры, контекстного окна, языков, результатов оценивания и корректного chat template; указанный шаблон может быть неверным. Модель распространяется по лицензии Llama 3; конкретные условия определяются лицензией Meta, ссылка на которую приведена в карточке.

Llama-3.1-70B-Instruct-lorablated-GGUF — набор GGUF-квантизаций модели Llama-3.1-70B-Instruct-lorablated, подготовленный bartowski с использованием llama.cpp и imatrix. Базовая модель разработана mlabonne и основана на Llama 3.1 70B Instruct; README также указывает теги lorablated и uncensored, однако подробности этих изменений не приведены. Модель предназначена для генерации текста и запуска локально через llama.cpp, в том числе в LM Studio. Она поддерживает диалоговый формат Llama 3.1 с системными и пользовательскими сообщениями. Доступны варианты квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, размером примерно от 19 до 75 ГБ; более крупные варианты обычно обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но сильнее теряют в качестве. README не содержит сведений о языках, размере контекста и мультимодальности. Для использования требуется совместимое локальное окружение и достаточный объём памяти, зависящий от выбранной квантизации. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_L, Q4_K_M и IQ4_XS. Лицензия указана как llama3.1; дополнительные ограничения или условия распространения в README не раскрыты.

LLaMA3-iterative-DPO-final-GGUF — это набор квантованных версий языковой модели LLaMA3-iterative-DPO-final, опубликованный bartowski на основе исходной модели RLHFlow/LLaMA3-iterative-DPO-final. Модель предназначена для генерации текста и запуска через llama.cpp; в README приведён формат чата с системными, пользовательскими и ассистентскими сообщениями. Модель поставляется в формате GGUF с различными уровнями квантования: от Q8_0 размером 8,54 ГБ до наиболее компактных вариантов IQ1 и IQ2. Версии Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые; более низкие уровни экономят оперативную память, но снижают качество. Квантование выполнено с использованием imatrix и llama.cpp версии b2854. README не содержит сведений о числе параметров, архитектурных деталях исходной модели, поддерживаемых языках, размере контекста, мультимодальности или результатах бенчмарков. Модель распространяется по лицензии llama3; условия этой лицензии следует учитывать при использовании.

LocalAI-io/LocalAI-Llama3.1-8b-Function-Call-v0.3 — дообученная модель семейства Llama 3.1, разработанная LocalAI-io на пользовательском датасете и данных Glaive. Она предназначена для диалогов с вызовом инструментов в LocalAI: в режиме инструментов модель формирует ответы в JSON, что подходит для работы с ограниченной грамматикой вывода. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров, принимает текст и выдаёт текст. Указанная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors; лицензия — llama3.

Meta-Llama-3-8B-Instruct-FP8 — это квантизированная версия текстовой инструкционной модели Meta-Llama-3-8B-Instruct, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных ассистентских чат-сценариях: диалогов, ответов на вопросы и генерации текста. Она принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и рассчитана на эффективный инференс с использованием vLLM версии 0.5.0 и выше. В основе модели лежит архитектура Meta-Llama-3 с 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP8, что примерно на 50% снижает требования к дисковому пространству и GPU-памяти по сравнению с 16-битным представлением. Квантизация выполнена с помощью AutoFP8 на 512 последовательностях из UltraChat; применяется симметричная по-тензорная схема масштабирования. Средний результат на OpenLLM Leaderboard v1 составил 68,22 против 68,71 у неквантизированной версии, что указывает на небольшое снижение качества при существенной экономии ресурсов. Модель оптимизирована для англоязычных задач и не предназначена для использования на других языках согласно заявленным ограничениям. Она доступна по лицензии Llama 3, условия которой определяются лицензией Meta. Использование должно соответствовать применимым законам и требованиям лицензии.

alicecomfy/miqu-openhermes-full — чат-модель на архитектуре Llama с 68,7 млрд параметров и контекстом 32 764 токена. По карточке, это слияние LoRA с дообученной моделью на основе Miqu 70B, которую автор README называет утечкой Mistral AI; базовую модель предварительно деквантизировал пользователь 152234h. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста в диалогах. Автор сообщает, что результаты выглядят хорошо, но работа с промптами может быть нестабильной. Для генерации в его окружении потребовалась поддержка Flash Attention 2; также указано высокое требование к видеопамяти — около 130 ГБ. Лицензия в предоставленных данных не указана.

RESMPDEV/Mistral-7B-v0.2 — конвертированная сборка весов Mistral AI на основе Mistral-7B-v0.2. Репозиторий содержит плотную авторегрессионную модель MistralForCausalLM примерно с 7,1 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате PyTorch и safetensors. Модель предназначена для генерации текста и диалогового использования. Автор карточки сообщает, что веса FP16 были напрямую преобразованы из монолитного файла pickle в safetensors с построением индекса. В README отмечены неоптимальность конвертации и возможное смешение файлов Mistral-7B-v0.1 и v0.2; эту сборку автор описывает как предварительную и рекомендует дождаться официального релиза весов FP16 от Mistral AI. Лицензия — Apache-2.0.

Nemostein-3-Hermes-Omni-30b-a3b — модель на базе GestaltLabs/Nemostein-3-Hermes-Omni-30b-a3b, опубликованная в формате GGUF и квантизированная mradermacher. По доступным метаданным, это текстовая conversational-модель на базе Transformers с архитектурой Mixture-of-Experts; в названии указаны параметры 30b и a3b. Заявлен английский язык. Модель предназначена для генерации текста и диалоговых сценариев, включая reasoning, tool use и function calling. В метаданных также указаны SFT, LoRA и Unsloth, однако подробности обучения, поддерживаемые модальности, размер контекста и результаты тестирования не приведены. Поэтому возможности, связанные с обозначением Omni, нельзя подтвердить по представленному README. Доступно множество вариантов квантизации GGUF с объёмом файлов примерно от 18 до 33,6 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать по качеству; среди рекомендованных автором указаны i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

Карточка модели DewEfresh/neo_7b на Hugging Face совпадает с карточкой m-a-p/neo_7b, поэтому описание составлено по ней. NEO 7B — базовая плотная языковая модель семейства LLaMA, разработанная командой Neo. Репозиторий содержит базовую версию модели; в карточке проекта также упоминаются отдельные версии с supervised fine-tuning и настройкой на выполнение инструкций. Модель насчитывает 7,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст длиной до 8192 токенов. Модель предназначена для генерации текста и может использоваться как основа для диалоговых приложений и последующей адаптации под конкретные задачи. Она распространяется в формате safetensors по лицензии Apache 2.0. В README заявлена открытость кода, весов, обучающих данных и деталей обучения, но эта карточка не описывает конкретные языки, оценки качества или ограничения.