II.3Рефакторинг, миграция и модернизация

VICIOUS_MESH-12B-NEMO — текстовая генеративная модель на 12,1 млрд параметров, созданная автором репозитория методом слияния TIES с помощью mergekit. В качестве основы использована mistralai/Mistral-Nemo-Instruct-2407, а в слияние также вошла bamec66557/VICIOUS_MESH-12B-BETA. Модель построена на архитектуре MistralForCausalLM и предназначена для диалога и генерации текста по запросу; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH, но они сами по себе не гарантируют качество на пользовательских задачах. Репозиторий распространяется по лицензии Apache-2.0. Языки отдельно не перечислены; языковые возможности унаследованы от базовой модели Mistral Nemo Instruct.

Xing4.0-29B-A4B-CRACK-GGUF — набор GGUF-квантизированных версий модели Xing4.0-29B-A4B, подготовленный dealignai на базе модели XingChen-AGI/China Telecom AI. Это reasoning-модель с архитектурой Mixture of Experts: 29 млрд общих параметров, около 4 млрд активных при генерации, 64 маршрутизируемых эксперта с выбором 4 экспертов и одним общим. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальные сценарии с ограниченными ресурсами. Доступны семь вариантов квантизации размером примерно от 12,9 до 30,9 ГБ. Архитектура включает MLA с параметрами q_lora=768 и kv_lora=512, mHC Hyper-Connections с четырьмя каналами, MTP-head, 40 слоёв и скрытое представление размерностью 3584. Заявлена поддержка контекста до 256K токенов, с масштабированием до 512K через YARN. В README явно указаны китайский язык и данные калибровки imatrix на основе WikiText-2, исходного кода и китайской Википедии; полный набор поддерживаемых языков не приведён. Для работы требуется специальная ветка shuxiaoqiong/llama.cpp с портом xing4_0. Сильной стороной модели заявлено существенное снижение отказов и ограничений безопасности на уровне весов, однако это одновременно означает повышенные риски при использовании в чувствительных или вредоносных сценариях. Качество зависит от выбранной квантизации: в приведённых тестах MMLU составляет от 55,5% до 68,2%, а результаты более компактных вариантов ниже. Ограничения включают необходимость совместимого runtime, значительный объём памяти и возможную потерю качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

fiveflow/8b_128 — генеративная языковая модель, опубликованная пользователем fiveflow на Hugging Face. По метаданным она относится к семейству Qwen3, предназначена для генерации текста и поддерживает conversational-сценарии.

GigaChat3-702B-A36B-preview-GGUF — квантизированная GGUF-версия текстовой генеративной модели ai-sage/GigaChat3-702B-A36B-preview. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к архитектурам MoE и предназначена для генерации и обработки текста, в частности на русском и английском языках. Её можно запускать через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README не указаны точный объём контекста, количество параметров активной части MoE, поддерживаемые уровни квантизации, модальности кроме текста и результаты тестирования, поэтому оценить производительность и ограничения по этим параметрам нельзя. Доступна по лицензии MIT; конкретные требования к аппаратным ресурсам зависят от выбранного варианта квантизации и не приведены.

GLM-4-32B-Base-32K-GGUF — это квантизированная версия базовой языковой модели GLM-4-32B-Base-32K, разработанной arcee-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая llama.cpp и LM Studio. Модель имеет размер 32 млрд параметров и поддерживает контекст до 32 000 токенов. В карточке указаны китайский и английский языки. Доступны варианты от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-квантизаций, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству версиям с высокой точностью. Модель является базовой, поэтому её поведение в диалогах и форматирование ответов могут требовать самостоятельной настройки промптов; готовый формат промпта в README не указан. Для запуска необходима совместимая среда и объём памяти, соответствующий выбранному файлу: размер вариантов варьируется примерно от 13,66 до 65,14 ГБ. Лицензия модели — MIT.

ASTRA-14B-Thinking-v1 — дообученная командой проекта ASTRA модель на базе Qwen/Qwen3-14B, предназначенная для многошаговых задач с использованием инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 на 14 млрд параметров; она поддерживает диалог и интерфейс вызова инструментов. Для обучения применялись supervised fine-tuning на траекториях работы с инструментами и многошаговое обучение с подкреплением по проверяемым наградам. Контекстное окно составляет 133 120 токенов. Модель рассчитана на планирование действий, построение цепочек вызовов инструментов и структурированные рассуждения в агентных сценариях. В README сообщается о высоком результате на многоходовой подзадаче BFCL-V3 среди моделей сопоставимого размера. Поддерживаемые языки в карточке не перечислены; модель предназначена для работы с текстом и выдаёт текст, включая вызовы инструментов. Лицензия — Apache-2.0. README указывает исследовательское и образовательное назначение; это ограничение само по себе не определяет зрелость модели.

Bonsai-8B-GGUF-1bit — языковая модель, разработанная Prism ML и распространяемая в формате GGUF для llama.cpp. Она предназначена для генерации текста, локального запуска чат-ассистентов и интеграции в приложения на устройствах с GPU или CPU, включая системы на CUDA, Apple Metal и Android. Модель может использоваться через специализированную сборку llama.cpp с 1-битными ядрами; также доступна отдельная версия для MLX. Модель основана на плотной архитектуре Qwen3-8B и содержит 8,19 млрд параметров, из которых около 6,95 млрд не относятся к embedding-слоям. В ней 36 decoder-блоков Transformer, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Все основные веса, включая embeddings, attention- и MLP-проекции, а также LM head, представлены в формате Q1_0 с эффективными 1,125 битами на вес. Ключевое преимущество — компактность и энергоэффективность: память параметров занимает около 1,15 ГБ против 16,38 ГБ у FP16, что примерно в 14 раз меньше; заявлено также ускорение до 6,2 раза на RTX 4090 и снижение энергопотребления на токен в 4–5 раз. Ограничения связаны с экстремальным 1-битным квантованием, которое может влиять на качество по сравнению с полной точностью, а для запуска требуются совместимые 1-битные ядра и сборка llama.cpp от Prism ML. Модель распространяется по лицензии Apache 2.0.

Это GGUF-квантизированная версия языковой модели CohereForAI/c4ai-command-r-plus-08-2024, подготовленная пользователем legraphista с использованием llama.cpp и метода IMatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через совместимые инструменты llama.cpp. Доступны варианты с разными уровнями квантования — от 16-битного FP16 до 1–8-битных форматов, включая Q4_K, Q3_K и Q2_K; часть вариантов использует IMatrix для улучшения качества при уменьшенном размере. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. К сильным сторонам относятся широкий выбор квантованных вариантов, возможность локального использования и компромисс между качеством, размером файлов и требованиями к памяти. При этом README не содержит сведений о точной архитектуре, числе параметров, размере контекста и результатах оценки, а низкие уровни квантования могут снижать качество по сравнению с исходной FP16-моделью. Распространение осуществляется по лицензии CC-BY-NC-4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

bartowski/deepcogito_cogito-v1-preview-llama-8B-GGUF — это GGUF-квантизированная версия языковой модели cogito-v1-preview-llama-8B, разработанной deepcogito. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF с вариантами точности от BF16 до различных Q- и IQ-квантизаций. Доступны файлы размером примерно от 3,8 до 16,1 ГБ; варианты Q6_K и Q6_K_L обозначены как обеспечивающие качество, близкое к исходному, а Q4_K_M рекомендован как стандартный компромисс между качеством и размером. Для работы предусмотрен формат prompt с системными и пользовательскими сообщениями в стиле Llama 3.1. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными весами. Более компактные варианты экономят оперативную память, но могут уступать по качеству менее сжатым версиям; конкретные поддерживаемые языки, размер контекста, мультимодальные возможности и результаты бенчмарков в README не указаны. Лицензия обозначена как llama3.1.

Это GGUF-квантизированная версия языковой модели cogito-v1-preview-qwen-32B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Она может применяться для диалогов, написания и преобразования текста, а также других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит около 32 млрд параметров и доступна в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix, что позволяет уменьшить требования к памяти при сохранении высокого качества; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые, а Q3 предназначены для систем с ограниченным объёмом RAM и дают более низкое качество. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и специализированные ограничения базовой модели. Для работы следует использовать формат prompt с маркерами ролей ChatML. Модель распространяется по лицензии Apache-2.0.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit — это 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B в формат MLX с использованием mlx-lm версии 0.20.2. Модель предназначена для генерации текста и диалогового использования в экосистеме MLX, в частности через библиотеку mlx-lm. В README приведён пример запуска с чат-шаблоном токенизатора, поэтому её можно использовать для ответов на запросы и интерактивного общения. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Ключевая характеристика модели — 4-битное представление, ориентированное на более эффективное использование памяти при локальном запуске в MLX. Ограничения, точные сильные стороны, лицензия и условия распространения в README не указаны. Для работы требуется установить библиотеку mlx-lm.

DeepSeek-R1-ReDistill-Qwen-7B-v1.1-GGUF — набор GGUF-квантизованных версий модели mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1, опубликованный ThomasBaruzier. Базовая модель — deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизация выполнена с помощью llama.cpp с использованием imatrix и калибровочного файла Bartowski. Модель предназначена для локального запуска задач генерации текста и диалогового применения через совместимое с GGUF программное обеспечение, включая llama.cpp. Доступны варианты квантизации от IQ1_S и IQ1_M до более точных Q4, Q5 и других форматов; размер файлов в представленной таблице составляет примерно от 1,8 до 5,1 ГБ. Для отдельных вариантов указаны значения perplexity и accuracy: более крупные и точные квантизации обычно обеспечивают лучшее качество при повышенных требованиях к памяти. Ключевые характеристики архитектуры, поддерживаемые языки, максимальная длина контекста и мультимодальные возможности в README не указаны. Основные преимущества — широкий выбор компромиссов между размером, потреблением ресурсов и качеством, а также формат GGUF для локального инференса. Ограничения связаны с потерями качества при агрессивной квантизации и зависимостью от совместимого рантайма; приведённые метрики относятся к тестированию конкретных квантов и не гарантируют качество в любых сценариях. Распространение указано по лицензии MIT.

DeepSeek-V4-Flash-162B-GGUF — это квантизированная версия модели DeepSeek-V4-Flash-162B в формате GGUF, опубликованная пользователем 0xSero. Модель предназначена для текстовой генерации и локального запуска в совместимых средах, включая сценарии развёртывания на NVIDIA DGX Spark. Репозиторий содержит профиль Q2-REAP-ds4, созданный на основе checkpoint с применением метода REAP для сжатия MoE-модели. Модель содержит 162 млрд параметров, занимает около 149 ГБ на диске и использует специализированную схему квантизации: IQ2_XXS для маршрутизируемых gate/up-экспертов, Q2_K для маршрутизируемых down-экспертов и Q8_0 для общих, выходных и attention-проекций. Заявлена поддержка контекста до 200 000 токенов; валидация проводилась на DGX Spark. Данные о количестве слоёв, размере скрытого представления, активных параметрах, языках и мультимодальности в README не указаны. Сильными сторонами являются существенно уменьшенный размер относительно полноточной версии, поддержка длинного контекста и наличие опубликованных измерений производительности. Ограничение заключается в том, что эти GGUF-файлы используют специфическую структуру тензоров и метаданные DeepSeek-V4 Flash и не предназначены для generic llama.cpp без поддержки соответствующего формата. В README указана лицензия MIT, унаследованная от базовой модели.

DeepSeek-V4-Flash-162B-REAP-GGUF — это набор GGUF-квантизаций модели DeepSeek-V4-Flash-162B, подготовленный сообществом на основе модели 0xSero/DeepSeek-V4-Flash-162B. Модель предназначена для генерации текста и локального инференса через llama.cpp на конфигурациях с несколькими GPU. Указаны варианты Q2_K размером 56 ГБ и Q3_K_M размером 73 ГБ; для них заявлены контекст до 200K и 128K токенов соответственно при использовании Q4 KV-cache. Поддерживаемые языки — английский и китайский. Архитектура основана на DeepSeek-V4 с pruning REAP, уменьшившим исходный размер с 284B до 162B параметров. Модель использует MoE со 144 экспертами, веса экспертов в формате MXFP4 и MHC (Manifold Hyper-Connections). Вариант Q2_K на двух GPU с суммарно 96 ГБ VRAM показывает около 28–29 токенов в секунду, тогда как Q3_K_M — около 13 токенов в секунду. Для работы требуется многопроцессорная конфигурация с двумя GPU по 48 ГБ VRAM, не менее 112 ГБ оперативной памяти и дисковое пространство 56–73 ГБ. Необходима пропатченная версия llama.cpp: стандартная версия может аварийно завершаться из-за нестандартной маршрутизации экспертов REAP. В README также отмечена нестабильность варианта Q3_K_M. Модель и связанные патчи распространяются по лицензии MIT.

MaziyarPanahi/dolphin-2.6-mistral-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это набор файлов модели в формате GGUF, разработанный и квантованный MaziyarPanahi. Модель основана на MaziyarPanahi/dolphin-2.6-mistral-7b-Mistral-7B-Instruct-v0.2-slerp, связанном с Mistral-7B-Instruct-v0.2 и dolphin-2.6-mistral-7b. Она предназначена для генерации текста и запуска локальных систем на базе llama.cpp и совместимых приложений и библиотек. Модель относится к семейству 7B и поддерживает несколько вариантов квантования, включая 2-, 3-, 4-, 5-, 6- и 8-битные варианты; в README подробно описаны схемы GGML_TYPE_Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Разные варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти, скоростью и сохранением качества. Формат поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Сильными сторонами являются возможность локального запуска, широкий выбор уровней квантования и совместимость с популярными средствами инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точных характеристиках архитектуры, результатах тестирования или качестве на конкретных задачах. Квантование может снижать точность по сравнению с исходной моделью, а степень снижения зависит от выбранного варианта. Модель распространяется по лицензии Apache-2.0.

Jebadiah/dolphin-hermes-stone-l3-8b-1m — слитая разговорная языковая модель на архитектуре Llama 3, созданная с помощью mergekit из cognitivecomputations/dolphin-2.9-llama3-8b-1m и NousResearch/Hermes-2-Pro-Llama-3-8B. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалогах и ответов на инструкции. Заявленная длина контекста — 1 048 576 токенов. Модель доступна в формате safetensors и рассчитана на использование через Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Лицензия в предоставленных данных не указана.

Gemma-2-27B-it-SimPO-37K-100steps-GGUF — набор GGUF-квантизаций модели AALF/gemma-2-27b-it-SimPO-37K-100steps, подготовленный пользователем bartowski с помощью llama.cpp и imatrix. Это текстовая instruction-tuned модель для генерации ответов по запросам, диалога и других задач обработки текста; запуск предусмотрен через llama.cpp и совместимые приложения, включая LM Studio. Модель имеет заявленный размер 27 млрд параметров и поставляется в вариантах от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Более точные варианты обеспечивают лучшее сохранение качества, но требуют больше памяти; компактные варианты подходят для систем с ограниченным объёмом RAM, при этом качество снижается. Для ARM доступны специальные варианты Q4_0, требующие поддержки соответствующих инструкций процессора. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и результаты оценивания. К сильным сторонам относятся широкий выбор размеров файлов, возможность локального запуска и применение imatrix-квантования, а также наличие высококачественных вариантов Q6_K_L и Q6_K. Ограничения связаны с существенными требованиями к памяти у крупных вариантов и неизбежной потерей качества при сильном квантовании; сравнительные показатели и область наилучшего применения не приведены. Модель распространяется по лицензии Gemma.

Это квантизированная GGUF-версия текстовой генеративной модели gemma-2-27b-it-SimPO-37K, созданная пользователем bartowski на основе AALF/gemma-2-27b-it-SimPO-37K. Квантизация выполнена с помощью llama.cpp b3615 и метода imatrix; модель предназначена для запуска локально, в том числе через LM Studio. Модель относится к семейству Gemma 2 и имеет размер 27B параметров. Она работает с текстом и предназначена для генерации ответов в диалоговом формате с использованием специального шаблона prompt format Gemma. В README не указаны поддерживаемые языки, размер контекстного окна и точные сведения об архитектуре или исходном обучении, поэтому эти характеристики нельзя надежно определить. Доступно множество вариантов квантизации от F16 до Q2_K и IQ2_M, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q6_K и Q6_K_L описаны как близкие к исходному качеству, а Q4_K_M — как компромиссный вариант. Более сильная квантизация экономит память, но снижает качество; самые компактные варианты характеризуются как низкокачественные. Модель распространяется по лицензии Gemma.

MaziyarPanahi/gemma-3-4b-it-GGUF — набор файлов модели в формате GGUF для Google Gemma 3 4B Instruct, разработанной Google и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие инструменты экосистемы GGUF. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит. Формат GGUF разработан командой llama.cpp как замена устаревшему GGML и поддерживает запуск с ускорением на GPU, а в некоторых инструментах — совместимые API и интеграцию с фреймворками. Эти варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако README не содержит точных сведений об архитектуре, контекстном окне, языках, модальностях и характеристиках производительности модели. Основные преимущества — возможность локального развертывания, широкий выбор уровней квантизации и поддержка несколькими популярными клиентами. Ограничения связаны с потерями качества, возможными при квантизации, а также зависимостью от конкретного рантайма и аппаратной конфигурации. Лицензия в README не указана.

gemma-4-31B-it-GGUF — квантованная модель Gemma 4 с 31 млрд параметров, разработанная Google и представленная в формате GGUF организацией ggml-org. Это instruction-tuned модель на базе google/gemma-4-31B-it, предназначенная для запуска и инференса в совместимых средах, включая llama.app. По указанным метаданным модель поддерживает сценарии image-text-to-text, то есть обработку текстовых и визуальных входных данных с генерацией текста. Ключевая особенность этой версии — формат GGUF и квантование, направленные на снижение требований к памяти и упрощение локального запуска. README не содержит сведений о конкретном варианте квантования, размере файла, длине контекста, поддерживаемых языках, аппаратных требованиях или результатах тестирования, поэтому эти характеристики нельзя определить по предоставленным данным. Модель автоматически преобразована с использованием инструментария ggml-org/convert, что может влиять на совместимость и доступные способы запуска. Модель распространяется по лицензии Apache 2.0. Ограничения README не описывает; при практическом использовании следует учитывать ограничения исходной Gemma 4, особенности квантованной версии и возможности выбранного движка инференса.

GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.

RedHatAI/GLM-5.3-NVFP4 — текстовая генеративная языковая модель, разработанная Red Hat AI на основе модели zai-org/GLM-5.3. Она предназначена для генерации текста, следования инструкциям и решения задач, требующих рассуждений, включая математические и научные вопросы. Заявлены поддерживаемые языки английский и китайский, а входом и выходом модели является текст. Модель использует архитектуру GlmMoeDsaForCausalLM и формат compressed-tensors. Это вариант с квантованием весов и активаций в NVFP4/FP4 E2M1 с двухуровневым масштабированием; слои вне маршрутизируемых экспертов оставлены без квантования. Чекпойнт оптимизирован для инференса на GPU Blackwell и создан с применением LLM Compressor и калибровочных данных perfectblend. Для запуска рекомендуется vLLM; в примере конфигурации используются четыре устройства B200, FP8 E4M3 KV-кэш и speculative decoding. По приведённым оценкам, модель сохраняет близкую к базовой FP8-версии точность на задачах следования инструкциям, математики, рассуждений и научных вопросов. Наиболее сильные результаты показаны на GSM8K Platinum и MATH-500, однако на IFEval, AIME 2025 и GPQA Diamond она уступает базовой модели в FP8. Ограничения включают зависимость от совместимой инфраструктуры Blackwell и специализированного стека инференса; размер модели, длина контекста и точные требования к памяти в README не указаны. Модель распространяется по лицензии glm-5.3, обозначенной как other.

Это набор GGUF-квантизированных файлов модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, разработанный Gradient AI и квантизированный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, требующих работы с инструкциями, включая локальный или совместимый с GGUF инференс. README не указывает поддерживаемые языки, дополнительные модальности или конкретные прикладные сценарии. В основе лежит Llama 3 с заявленным размером 8B параметров и контекстом 1048k; архитектурные подробности в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0, размером примерно от 3,0 до 8,1 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством, однако результаты конкретных вариантов в README не сравниваются. К сильным сторонам относятся большой заявленный контекст и широкий выбор форматов квантизации. Ограничения — отсутствие в предоставленных данных сведений о качестве, бенчмарках, системных требованиях, поддерживаемых языках и точной архитектуре. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации базовой модели gradientai/Llama-3-8B-Instruct-Gradient-1048k и соответствующего репозитория.

Grafted-Hermetic-Platypus-B-2x7B — языковая модель для диалогов и генерации текста, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-100K. Модель построена на архитектуре Mixtral с механизмом смеси экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для ответов на инструкции, диалогов и других задач генерации текста. В README указаны два варианта формата запросов: Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты оценок на нескольких тестах, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Данные о поддерживаемых языках и специфических ограничениях качества в предоставленных материалах отсутствуют.

ibm-granite/granite-4.2-30b-fp8 — это версия модели Granite-4.2-30B в формате FP8, разработанная IBM и опубликованная в семействе моделей IBM Granite. Репозиторий предназначен для использования с библиотекой Transformers и содержит модель, оптимизированную по формату представления чисел FP8 относительно исходной версии ibm-granite/granite-4.2-30b. Модель относится к языковым моделям, однако README не содержит подробностей о её архитектуре, точном числе параметров, поддерживаемых языках, размере контекста, модальностях, целевых сценариях применения, производительности или известных ограничениях. За дополнительными характеристиками README направляет к карточке исходной модели Granite-4.2-30B. Модель распространяется по лицензии Apache-2.0. Практические условия запуска и требования к аппаратному обеспечению в предоставленных данных не указаны.

ibm-granite/granite-4.2-8b-nvfp4 — это версия модели Granite-4.2-8B в формате NVFP4, разработанная IBM. Репозиторий основан на базовой модели ibm-granite/granite-4.2-8b и предназначен для использования с библиотекой Transformers. Из доступных данных известно, что модель относится к языковым моделям и имеет размер 8 миллиардов параметров в базовой версии. Формат NVFP4 ориентирован на более компактное представление модели, однако конкретные сведения о поддерживаемых языках, архитектуре, длине контекста, модальностях, целевых сценариях и результатах оценки в карточке не приведены. Модель может быть полезна как оптимизированное представление Granite-4.2-8B для задач, где важны совместимость с Transformers и снижение требований к хранению или вычислениям, но преимущества и ограничения NVFP4 для конкретного оборудования не указаны. Модель распространяется по лицензии Apache-2.0.

Keural-Cortex-8B — разговорная модель компании MKD Co., Ltd. из Пусана, Южная Корея, созданная на базе Qwen/Qwen3-8B-Base. Модель содержит 7,6 млрд параметров и поддерживает контекст до 65 536 токенов. Её обучали на корейских текстах, расширяли контекст с помощью YaRN и дообучали на инструкциях и диалогах; веса опубликованы в формате safetensors. Модель предназначена для общения на корейском и английском языках, ответов на вопросы, помощи с текстами и кодом, а также для сценариев с вызовом инструментов. По результатам сравнительных тестов из карточки она достигает заявленной цели по корейскому языку, а по английскому сопоставима с Qwen3-8B-Instruct. При этом у неё есть заметная слабость на тестах с выбором фиксированного ответа, включая задачи на логическое следование и ответы «да/нет»; результаты таких тестов могут недооценивать способность модели отвечать на те же вопросы в обычном диалоге. Модель может уверенно выдавать неверные сведения и не проходила оптимизацию предпочтений. Разработчик не рекомендует использовать её для медицинских, юридических и финансовых советов, сведений о самой MKD Co., Ltd., сценариев, требующих thinking mode, или цепочек зависимых вызовов инструментов без внешнего управления порядком. Лицензия — Apache-2.0.

AtomicChat/Laguna-XS-2.1-GGUF — это квантизированная в формате GGUF версия языковой модели poolside/Laguna-XS-2.1, подготовленная Atomic Chat на основе оригинальных весов Poolside. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск, а также задачи с поддержкой инструментов и опциональным пошаговым рассуждением. Модель содержит 33,4 млрд параметров и использует архитектуру Mixture-of-Experts с 256 экспертами, из которых для каждого запроса выбираются 8. Она включает 40 слоёв, гибридное внимание с локальным скользящим окном на 512 токенов и глобальными слоями внимания в соотношении 3:1, 48 голов внимания и 8 KV-голов. Максимальная длина контекста заявлена на уровне 262 144 токонов, словарь содержит 100 352 токена. Поддерживается только текстовая модальность. KV-кэш квантизируется в FP8, что снижает расход памяти на токен. Репозиторий предоставляет варианты Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Квантизация выполнена Atomic Chat с использованием матрицы важности для каждого тензора; Q4_K_M рекомендуется как баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при большем потреблении памяти. Для корректной работы требуется применять chat template Laguna XS 2.1 через параметр --jinja. Ограничения включают значительные требования к памяти и зависимость качества от выбранного уровня квантизации; приведённые в README результаты относятся к базовой модели Poolside и не являются независимыми измерениями этой сборки. Исходная модель распространяется по лицензии OpenMDW-1.1, квантизированная версия подготовлена Atomic Chat.

Lamarck-14B-v0.7-GGUF — это квантизированная версия текстовой генеративной модели Lamarck-14B-v0.7, разработанной sometimesanotion и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp и LM Studio. Указан английский язык, а рекомендуемый формат промпта использует шаблон с ролями system, user и assistant. Модель имеет размер 14B параметров; точные сведения об архитектуре и размере контекста в README не приведены. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций: более крупные варианты обеспечивают качество, близкое к исходной модели, а компактные снижают требования к оперативной памяти, но заметнее теряют в качестве. Для большинства сценариев рекомендуются Q4_K_M, Q5- и Q6-варианты; отдельные форматы оптимизированы для CPU и Apple Silicon. Квантизации созданы с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0; конкретные ограничения исходной модели следует проверять отдельно.

TheBloke/Llama-2-70B-Chat-GPTQ — это GPTQ-квантизированная версия диалоговой языковой модели Llama 2 70B Chat, разработанной Meta. Репозиторий подготовлен TheBloke и содержит варианты модели для запуска с разными параметрами квантования. Базовая модель — meta-llama/Llama-2-70b-chat-hf; тип задачи — генерация текста, основной заявленный язык — английский. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей и создания текста в формате ассистента. Для корректного взаимодействия используется шаблон Llama-2-Chat с системными инструкциями, ориентированными на полезные, безопасные и честные ответы. Доступны варианты GPTQ с разной разрядностью, размером групп и настройками Act Order, что позволяет выбирать баланс между требованиями к VRAM, скоростью и точностью; поддерживается запуск на GPU, включая совместимые с ExLlama конфигурации для 4-битных моделей. Ключевое преимущество — существенно меньшие требования к памяти по сравнению с исходной моделью в формате fp16 при сохранении назначения и диалоговых возможностей Llama 2 70B Chat. Ограничения включают возможное снижение точности из-за квантования, зависимость характеристик от выбранных параметров и программного обеспечения, а также отсутствие в предоставленных данных подробностей об архитектуре, максимальном контексте и результатах оценки. Модель распространяется по лицензии Llama 2; условия исходной лицензии Meta следует учитывать при использовании.