II.3Рефакторинг, миграция и модернизация

KeinNiemand/DeepSeek-V4-Flash-0731-IK_GGUF — набор смешанных по точности GGUF-квантизаций базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Квантизации созданы с использованием ik_llama.cpp и матрицы важности; модель предназначена для локального запуска задач генерации текста с уменьшенным потреблением памяти по сравнению с исходной версией. Варианты представлены в диапазоне примерно от 65,4 до 149,2 ГБ, со средней точностью от 1,841 до 4,200 бит на вес. Архитектура исходной модели включает mixture-of-experts, а маршрутизируемые тензоры MXFP4 и тензоры, полученные из FP8, квантизированы с учётом их исходного представления. Другие характеристики исходной модели, включая число параметров, поддерживаемые языки и точный размер контекста, в README не указаны; отмечено лишь наличие очень большого контекстного окна. Доступны варианты XS_IQ1_KT, IQ1_KT, IQ2_KT, IQ2_KS, IQ2_KL, IQ3_KS, IQ3_K и IQ4_KSS. Более крупные варианты обычно обеспечивают лучшее сохранение качества; среди протестированных IQ2_KL показал наилучшие значения perplexity, mean KLD и согласия top-1. IQ2_KT близок по размеру к IQ2_KS, но медленнее на CPU и при гибридном CPU/GPU-запуске. IQ3_KS, IQ3_K и IQ4_KSS в приведённых тестах не оценивались. Файлы требуют свежей сборки ik_llama.cpp с поддержкой специфичных типов тензоров IK IQK и IQT. Стандартные llama.cpp и многие приложения, включая некоторые версии LM Studio, KoboldCpp и text-generation-webui, могут их не загрузить. Необходимо явно задавать размер контекста и оставлять дополнительную память для KV-кэша и служебных буферов. Распространение указано под лицензией MIT.

Qwythos-9B-v2-GGUF — это квантизированная версия языковой модели Qwythos-9B-v2, разработанной Empero AI. Представлена в формате GGUF и подготовлена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и задач, требующих рассуждений; в метаданных также указаны поддержка английского языка, long-context и uncensored-настройка. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах точности: от bf16 и Q8_0 до более компактных Q2–Q6 и IQ-квантов. Размер файлов составляет примерно от 5,1 до 18,4 ГБ. Квантование позволяет запускать модель локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты, выбирая компромисс между качеством и требованиями к памяти. Точная архитектура, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным это текстовая модель без заявленной поддержки изображений, аудио или видео. Сильные стороны модели — локальный запуск, широкий выбор квантов и возможность подобрать вариант под доступный объём RAM или VRAM. Более высокие варианты, включая Q6_K_L, Q6_K, Q5 и Q4_K_M, ориентированы на сохранение качества, тогда как Q3 и Q2 подходят для систем с ограниченными ресурсами, но дают более низкое качество. Модель распространяется по лицензии Apache-2.0.

Experiment26Yamshadow_Experiment24Inex12 — объединённая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Inex12-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Контекст составляет до 32 768 токенов; веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает отдельные специализации или подтверждённые языковые предпочтения модели.

Falcon3-10B-Instruct-abliterated-GGUF — это квантизированная версия инструкционной языковой модели Falcon3-10B-Instruct-abliterated, опубликованная в формате GGUF пользователем bartowski. Базовая модель разработана huihui-ai и относится к семейству Falcon3. Квантизация выполнена с помощью llama.cpp, версии b4381, с использованием метода imatrix и специализированного набора данных. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, совместимых с llama.cpp и форматом GGUF. Поддерживаются английский, французский, испанский и португальский языки. Архитектура, размер контекста, точные параметры исходной модели и поддержка модальностей, кроме текста, в README не указаны; по назначению это текстовая модель без заявленной обработки изображений или других типов данных. Для общения используется шаблон с ролями system, user и assistant. Доступны варианты от F16 размером 20,62 ГБ до компактных IQ3_M и Q3-разрядных сборок. Версии Q4–Q6 заявлены как обеспечивающие хорошее или очень высокое качество при меньшем потреблении памяти, а Q3-варианты рассчитаны на системы с ограниченным объёмом RAM, но имеют более низкое качество. Ограничения качества зависят от выбранного уровня квантизации, при этом конкретные результаты тестирования не приведены. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке.

FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview-GGUF — это GGUF-квантизированная версия instruct-модели FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview, разработанной FuseAI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В основе лежит модель с 32 миллиардами параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp b4514. Более высокие форматы сохраняют лучшее качество, а варианты Q4 и Q3 требуют меньше оперативной памяти; наиболее универсальным в README назван Q4_K_M. Указан специальный шаблон промпта с ролями system, User и Assistant. Модель ориентирована на локальный инференс и сценарии, где важны автономность, выбор размера файла и баланс между качеством и требованиями к памяти. README не содержит сведений о поддерживаемых языках, длине контекста, мультимодальности, результатах бенчмарков или ограничениях качества. Лицензия в предоставленных данных не указана.

bunnycore/Gemma-2-2B-TitanFusion-v2 — разговорная языковая модель, созданная слиянием предварительно обученных моделей Gemma 2 с помощью mergekit и метода Model Stock. В качестве базовой использована bunnycore/Gemma-2-2b-TitanFusion; в слияние также вошли варианты All-in-One, Gemma2-2B-mixed и Mixer-Lora. Модель предназначена для генерации текста в диалогах и ответов на инструкции. Каталог также указывает помощь с рассуждениями и кодом как возможности базовых моделей. Архитектура — плотная Gemma 2 для авторегрессионной генерации, размер — 2,7 млрд параметров, контекст — до 8192 токенов. Модель распространяется в формате Safetensors для Transformers. Сведения о лицензии в доступных данных отсутствуют.

Gemma3.5-48B-A4B-Q4_K_M — созданная сообществом модель для диалогов и следования инструкциям, опубликованная XxACCOxX в формате GGUF. Она объединяет поведение Gemma 3 27B с базовой архитектурой Gemma 4 26B A4B: к исходным экспертам Gemma 4 добавлен банк экспертов, полученный дистилляцией активаций Gemma 3. В модели 48,1 млрд параметров, из которых на один токен задействуется около 3,8 млрд; используется 8 экспертов из 256. Контекст составляет 262 144 токена, квантование — Q4_K_M. Модель предназначена для локального общения в режиме прямых ответов, решения математических задач, технических запросов и вопросов на общие знания. Автор приводит результат 63,21% на подвыборке MMLU-Pro из 280 заданий без режима рассуждений; это результат описанного теста, а не гарантия качества для других задач. Для запуска предназначены стеки локального инференса, например llama.cpp и Ollama. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced-Ollama — это модифицированная и квантизированная версия Gemma 4 26B A4B, основанная на Google Gemma 4 26B A4B Instruct. Модель опубликована braydenh563, а вариант без ограничений разработан HauhauCS. Она предназначена для творческого письма, ролевых сценариев, эмоционально-интеллектуального общения, исследований, программирования и агентных задач с инструментами. Версия Balanced ориентирована на минимальное число отказов и обычно предоставляет полный ответ после краткой оговорки о безопасности, хотя в отдельных случаях может сначала уклониться от ответа. Модель использует архитектуру Mixture-of-Experts: около 25,2 млрд параметров всего и примерно 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, выбор 8 экспертов и одного общего эксперта. В ней 30 слоёв, гибридное внимание со скользящим окном на 1024 токена и периодическим глобальным вниманием, Proportional RoPE и нативный контекст до 256K токенов. Это нативно мультимодальная модель для текста и изображений; для обработки изображений поставляется отдельный mmproj, поддерживающий переменные бюджеты визуальных токенов от 70 до 1120 на изображение. В README заявлен английский язык. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, мультимодальность, стабильность семплирования в длинных сессиях и специальные K_P-квантизации с оптимизацией по важности тензоров. Ограничения включают отсутствие приведённых независимых бенчмарков, зависимость качества и требований к памяти от выбранной квантизации, а также менее высокую пригодность для агентного программирования по сравнению с Qwen3.6, согласно автору README. Удаление отказов снижает встроенные защитные ограничения и требует самостоятельного контроля безопасного применения. Модель распространяется по лицензии Apache-2.0 в форматах GGUF; размеры доступных вариантов составляют примерно от 10 до 27 ГБ, а файл mmproj занимает около 1,2 ГБ.

furiosa-ai/gemma-4-31B-it-FP8-block — оптимизированная сборка мультимодальной модели Gemma 4 31B, разработанной Google, с упаковкой Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Модель предназначена для диалоговых и генеративных задач, а исходная версия также поддерживает обработку изображений вместе с текстом. В текущей FXB-реализации доступен только режим текст-текст, поэтому она подходит для текстового инференса и развёртывания через OpenAI-совместимый API. Архитектура модели — плотная Gemma 4 с vision encoder и transformer decoder, сочетающим слои sliding-window и full attention. Текстовый трансформер подвергнут статическому FP8 block quantization линейных слоёв с блоками 128×128; активации динамически квантизуются в FP8 группами по 128 значений. Vision tower, embeddings, output head и KV cache сохраняются в 16-битной точности. Для работы на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. К сильным сторонам относятся мультимодальная архитектура исходной модели, поддержка опционального reasoning и native tool calling на уровне upstream-модели, а также снижение требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения текущей FXB — отсутствие поддержки изображений, reasoning parser и tool-call parser в Furiosa-LLM; автоматический выбор инструментов и соответствующие расширенные режимы поэтому недоступны. Модель распространяется по лицензии Apache 2.0.

Это версия модели OpenAI gpt-oss-20b, подготовленная Richard Young с помощью Heretic v1.4.0 методом abliteration для снижения частоты отказов. Модель построена на архитектуре GPT-OSS с разреженной смесью экспертов (MoE) и предназначена для генерации текста и диалогов; её можно использовать для рассуждений, задач разработчика и агентных сценариев с вызовом инструментов. Карточка сообщает о формате Harmony и возможности менять уровень рассуждений, а также приводит результат: 77 отказов из 100 запросов против 98 у исходной модели. Метаданные указывают 1,6 млрд параметров, контекст до 131 072 токенов и веса safetensors в формате MXFP4. Это производная модель от openai/gpt-oss-20b; лицензия Apache 2.0. Меньшее число отказов не означает их полного отсутствия и не гарантирует точность ответов. Для корректной работы следует использовать формат Harmony.

bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.

InternLM3-8B-Instruct-GGUF — это 8-миллиардная instruction-модель семейства InternLM, опубликованная командой InternLM и представленная в формате GGUF. Данный набор квантованных версий подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp или LM Studio. Формат prompt не указан, поэтому для корректного применения следует обратиться к странице исходной модели. Доступны варианты от полноточных F32 и F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 3,82 до 35,22 ГБ. Квантованные версии снижают требования к памяти, сохраняя различный уровень качества; README рекомендует несколько вариантов Q6, Q5 и Q4 как оптимальные по соотношению качества и размера. Сведения о поддерживаемых языках, длине контекста, модальностях и конкретной архитектуре в README не приведены. Модель распространяется под лицензией Apache-2.0.

Iris-mini APEX-I-MiniPlus-V2.1 GGUF — квантизированная версия модели AllSpark-Research/Iris-mini, подготовленная IsValorum для запуска через llama.cpp и совместимые инструменты. Это текстовая генеративная модель со sparse Mixture-of-Experts: заявлены 40 слоёв и 256 микроэкспертов. Модель поддерживает контекст до 256K токенов и предназначена для локального запуска на рабочих станциях с ограниченной видеопамятью, включая частичный или полный offload в системную RAM. Квантизация использует смешанную схему APEX-I-MiniPlus V2.1: маршрутизаторы gate_inp сохранены в F32, выходная матрица — в Q6_K, attention-компоненты используют Q4_K и Q6_K, attention gates — Q8_0, а основные эксперты — IQ3_XXS; общий размер заявлен примерно 13,74 GiB. Это ориентировано на сохранение качества рассуждений, синтаксической стабильности и устойчивости при длинном контексте при меньшем размере, чем у менее агрессивных квантизаций. В README приведён показатель WikiText-2 perplexity 5,3735 ± 0,1214, но независимые условия тестирования не описаны. Модель предназначена для генерации текста, рассуждений и задач, где важны большие контекстные окна; заявлена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Сильными сторонами являются компактный размер, сохранение маршрутизации MoE и возможность использовать системную RAM для KV-кэша и вычислений. Ограничениями остаются зависимость скорости от видеопамяти, пропускной способности RAM и архитектуры процессора, а также возможная потеря качества, характерная для квантизированных моделей. Распространяется по лицензии Apache-2.0.

K2-Horizon-MoVA-36B-A4B-GGUF — квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, опубликованная abenzerps в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и поддерживает сценарии диалогов и вызова инструментов; доступен формат tool calling с вариантами xml, json и xml_typed. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Исходная модель поддерживает контекст до 524 288 токенов (512K), а заявленный язык — английский. Модель текстовая и не требует vision projector. Доступны варианты квантования Q3_K_M, Q4_K_M, Q4_0, Q5_K_M, Q6_K и Q8_0 размером примерно от 17,66 до 39,83 ГБ. Ключевое преимущество модели — сочетание большого контекстного окна, разреженной MoE-архитектуры и нескольких вариантов квантования для выбора компромисса между качеством и требованиями к памяти. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, включая форк MBZUAI-IFM до появления поддержки в основной ветке. Лицензия исходной модели — Apache-2.0; фактическая производительность зависит от выбранной квантовки и доступной памяти.

MLX-квантизированная версия языковой модели Kimi-K2.6, разработанной Moonshot AI (исходная модель — moonshotai/Kimi-K2.6) и преобразованной сообществом mlx-community с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на компьютерах Apple, прежде всего на Mac Studio с чипом M3 Ultra и 512 ГБ памяти, через библиотеку MLX и инструмент mlx-lm. Ключевая особенность — схема динамической смешанной квантизации DQ3_K_M. Большинство тензоров сохраняется в 8-битном представлении, а экспертные тензоры — в смешанном 3- и 4-битном формате с отдельными участками повышенного качества. Такой подход рассчитан на качество, близкое к 4-битной квантизации, при меньшем размере, чем у стандартной 4-битной версии, чтобы сохранить память для контекстного окна. За это приходится платить небольшим снижением скорости генерации. README не сообщает точный размер модели, архитектуру, максимальную длину контекста, поддерживаемые языки и набор специализированных задач. Для использования требуется установить mlx-lm; запуск предусматривает параметр trust-remote-code. Модель распространяется по лицензии modified-MIT, обозначенной как other. Условия лицензии следует проверять по исходной карточке модели, поскольку README не приводит её полный текст.

Это неофициальная community-квантизация в формате GGUF модели Kimi-Linear-48B-A3B-Instruct, разработанной Moonshot AI. Квантизация выполнена с использованием метода APEX и предназначена для запуска через llama.cpp; модель не связана с Moonshot AI и не endorsed этой организацией. Модель представляет собой гибридную MoE-архитектуру с 48 млрд параметров всего и примерно 3 млрд активных параметров. В большинстве слоёв используется KDA (Kimi Delta Attention, gated-delta linear attention), а в отдельных слоях — полноценное MLA-внимание; FFN построен на 256 маршрутизируемых и одном общем эксперте. Заявленное окно контекста достигает 1 048 576 токенов, однако размер контекста необходимо явно задавать при запуске. Модель предназначена для генерации текста, диалогов и сценариев с инструментами; README не указывает перечень поддерживаемых языков. Доступны варианты APEX-balanced, APEX-i-quality и экспериментальный APEX-handroll. Рекомендуется APEX-balanced: его размер около 33 ГБ, тогда как i-quality занимает около 29 ГБ и показывает увеличение perplexity примерно на 0,34% относительно эталонной версии bf16. Ключевое преимущество — существенное уменьшение размера при сохранении качества, но для работы требуются сборка llama.cpp с поддержкой архитектуры kimi_linear и kimi-k2 pre-tokenizer, а также значительные ресурсы RAM/VRAM. Лицензия MIT распространяется на компоненты, указанные в README.

Llama-3-8B-Instruct-GGUF — квантизированная GGUF-версия языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия с использованием шаблона запросов llama-3-chat, а также для локального запуска через llama.cpp и LlamaEdge. Модель относится к архитектуре Llama и содержит 8 миллиардов параметров. Это текстовая модель с поддержкой английского языка и контекстом до 8192 токенов. Доступны варианты квантизации от 2 до 8 бит, а также версия f16; размеры файлов составляют примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Основные преимущества модели — относительно компактный размер, возможность локального развертывания и выбор между несколькими уровнями квантизации. Существенным ограничением является потеря качества у низкобитных вариантов, особенно Q2 и Q3; README также не содержит результатов бенчмарков или подробных сведений о безопасности и ограничениях применения. Указана лицензия Llama 3 с обозначением llama3; условия использования следует уточнять в лицензии Meta.

LLamaPhi3 — языковая модель семейства Llama, созданная bunnycore путём объединения частей двух моделей с помощью Mergekit: Dolphin-2.9.1-Phi-3-Kensho-4.5B-abliterated-v3 и HyperLlama-3.1-8B. В конфигурации указаны метод passthrough и формат весов bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса Safetensors, а заявленный контекст составляет 131072 токена. Модель насчитывает 6,2 млрд параметров. Лицензия — Apache-2.0. Карточка не описывает языковую специализацию или подробные ограничения качества, поэтому их нельзя надёжно уточнить.

Lorenzo-8B-Merge — генеративная языковая модель для продолжения и создания текста, опубликованная пользователем qingy2024 на Hugging Face. Модель предназначена для использования через библиотеку Transformers и относится к семейству Llama согласно метаданным. В карточке модели не приведены сведения о точной архитектуре слияния, исходных моделях, разработчиках, обучающих данных и методике обучения. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Она может применяться для генерации ответов, написания и продолжения текстов, диалоговых сценариев и построения приложений на базе больших языковых моделей. Лицензия, поддерживаемые естественные языки, результаты оценки, рекомендуемые параметры запуска и специализированные ограничения в карточке не указаны. Перед использованием в продуктивных системах следует самостоятельно проверить качество на целевых данных, устойчивость к ошибкам и условия распространения.

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

ProCreations/MiMo-V2.6-Flash-RL-NVFP4 — это вариант модели MiMo-V2.6-Flash-RL, опубликованной XiaomiMiMo, преобразованный в формат NVFP4. Репозиторий содержит точную перекодировку уже квантизированных MXFP4-весов маршрутизируемых экспертов без калибровки, обрезания, оптимизации или округления к ближайшему коду. Модель предназначена для генерации текста, включая работу с кодом, математическими задачами, английским и китайским языками. В конфигурации указана архитектура Mixture-of-Experts; точное общее число параметров и размер контекста исходной модели в README не приведены. Сохранены мультимодальные энкодеры, аудиотокенизатор и сопутствующие файлы, однако конкретные поддерживаемые модальности не описаны. Ключевое отличие — смешанная точность W4A16_NVFP4 для экспертных весов при отсутствии требования квантизации активаций FP4. Корневой массив тензоров занимает около 193,96 ГБ без вспомогательных файлов. Полная проверка заявляет идентичность кодов экспертных весов и практически полное совпадение значений при сравнении с исходной моделью; в тесте на 65 504 токенах показатели perplexity совпали с исходной MXFP4-версией, а согласие наиболее вероятного токена составило 99,988–100% в зависимости от домена. Это не гарантирует идентичность результатов при других типах вычислений, ядрах внимания, квантизации активаций или настройках генерации. Проверенный путь загрузки использует vLLM 0.29.0, tensor parallelism 2 и две видеокарты RTX PRO 6000 Server Edition по 96 ГБ; заявленный максимальный контекст в примере запуска — 12 288 токенов. README не содержит широких бенчмарков качества, подтверждений производительности, валидации CPU-offloading или speculative decoding. Модель и исходный чекпойнт распространяются по лицензии MIT.

Это сборка Mistral 7B Instruct v0.2 от Mistral AI, подготовленная Mozilla AI в формате llamafile. В её основе — плотная диалоговая модель Mistral, дообученная для генерации текста по инструкциям; базовая версия содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий включает варианты квантования разной разрядности, в том числе с заметной потерей качества на самых компактных настройках. Модель подходит для локального чат-общения, ответов на вопросы и выполнения текстовых инструкций через llama.cpp и совместимые интерфейсы. Формат llamafile упрощает запуск на обычных системах с ARM64 и AMD64; конкретные требования к памяти и качество зависят от выбранного файла. Модель не имеет встроенных механизмов модерации. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3-GGUF — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной mistralai и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для диалогового взаимодействия и запуска локальных сервисов генерации текста, включая сценарии с использованием инструментов через LlamaEdge. Модель имеет размер 7B параметров и поддерживает контекст до 32 000 токенов. В репозитории представлены варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 2,72 до 14,5 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество. Сведения о модальностях и поддерживаемых языках в README не указаны. Модель подходит для локального чата, генерации текста и интеграции в приложения через LlamaEdge с шаблонами Mistral Instruct и Mistral Tool. К ограничениям относятся компромиссы между размером файла и качеством, характерные для квантизированных версий, а также отсутствие в предоставленных данных результатов тестирования и подробностей об аппаратных требованиях. Распространяется по лицензии Apache-2.0.

Это базовая инструктивная языковая модель Mistral v0.3 с плотной авторегрессионной архитектурой MistralForCausalLM и 7,1 млрд параметров. Репозиторий опубликован Unsloth и содержит веса в формате safetensors; карточка описывает модель как основу для инструктивного дообучения, включая разговорные сценарии с шаблонами ShareGPT, ChatML и Vicuna, а также генерацию продолжений текста. Модель предназначена для генерации текста и ответов на инструкции. Указанное контекстное окно — 32 768 токенов, язык карточки — английский. Unsloth предоставляет ноутбуки для дообучения Mistral на доступном оборудовании и экспорта результатов в GGUF, vLLM или Hugging Face. Лицензия Apache-2.0 разрешает широкое использование при соблюдении её условий. Качество и поведение при конкретных задачах зависят от промпта и последующего дообучения; README не приводит результаты оценки модели.

Это GGUF-квантизированная версия модели Devstral-Small-2507, разработанной Mistral AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b5856 и метода imatrix. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В карточке указана мультимодальная категория image-text-to-text, однако подробные сведения об архитектуре, количестве параметров и поддерживаемом контексте не приведены. Заявлена поддержка множества языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, украинский и другие. Доступны варианты от BF16 до различных уровней квантизации; размеры файлов составляют примерно от 10 до 47 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти. Основные преимущества версии — возможность локального запуска, широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают отсутствие в README подробных данных о характеристиках исходной модели, результатах оценки и требованиях к оборудованию; качество заметно зависит от выбранного варианта квантизации. Модель распространяется по лицензии Apache-2.0.

Magistral-Small-2507-GGUF — это набор квантованных версий языковой модели Magistral-Small-2507, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Доступны варианты от исходных BF16-весов размером около 47,15 ГБ до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ3/IQ4 размером примерно от 9,91 до 25,05 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, а более компактные варианты снижают требования к оперативной памяти. В README не указаны архитектурные параметры, размер модели в миллиардах параметров, поддерживаемые языки, длина контекста, мультимодальность и лицензия. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файлов и требованиями к ресурсам; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как стандартный вариант для большинства сценариев. Ограничения зависят от выбранного квантования: компактные Q3-варианты могут заметно уступать по качеству, а для крупных версий требуется значительный объём памяти. Условия лицензирования в предоставленных данных не указаны.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2509, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разной точностью и размером: от BF16 объёмом 47,15 ГБ до IQ3 и Q3 объёмом около 10–13 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5, Q6 и другие версии, отмеченные автором как рекомендуемые. Более компактные квантизации экономят оперативную память, но могут заметнее снижать качество; низкобитные варианты подходят при ограниченных ресурсах с соответствующими компромиссами. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, формате промпта или лицензии. Поэтому эти характеристики и условия юридического использования по представленным данным определить нельзя.

bamec66557/Mistral-Nemo-VICIOUS_MESH-12B-2407 — языковая модель, созданная разработчиком bamec66557 слиянием моделей VICIOUS_MESH-12B-BETA и VICIOUS_MESH-12B-OMEGA методом SLERP с помощью mergekit. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс для вызова инструментов. Нативная длина контекста — 131 072 токена. Карточка приводит результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество для конкретных задач. Модель распространяется в формате safetensors по лицензии Apache-2.0. В предоставленной карточке не перечислены поддерживаемые естественные языки и конкретные ограничения применения.

Muse-Glimmer-30B-CRACK-GGUF — мультимодальная модель семейства Muse Glimmer, подготовленная Dealign.ai на основе meta-models/Muse-Glimmer-30B. Это GGUF-квантизации для запуска через llama.cpp. Модель ориентирована на английский и китайский языки, поддерживает работу с текстом и изображениями, рассуждения с регулируемой интенсивностью и вызов инструментов в формате ATEM. Доступны варианты Q8_0 размером 29,6 ГБ, Q4_K_M размером 16,9 ГБ и Q2_K размером 10,7 ГБ; разработчик рекомендует Q4_K_M как сбалансированный вариант. Для обработки изображений требуется дополнительный vision projector mmproj-Muse-Glimmer-30B-f16.gguf размером 3,8 ГБ. В примерах запуска используется контекст 8192 токена. Интенсивность рассуждений можно выбирать между low, medium, high и xhigh, а вызовы инструментов передаются через совместимый с OpenAI интерфейс llama.cpp. Сильными сторонами являются сохранение знаний и показателей MMLU, близких к базовой модели, поддержка мультимодальных сценариев, управляемого рассуждения и инструментов, а также несколько вариантов квантизации для разного объёма памяти. Ограничение модели — существенно сниженные защитные ограничения: поведение отказа удалено, поэтому модель может отвечать на вредоносные и незаконные запросы. Это исследовательский артефакт, требующий ответственного и законного использования. Распространяется по лицензии Apache 2.0 с оговоркой о применении политики использования upstream Muse Glimmer.

Muse-Glimmer-30B-M — это средняя по степени сжатия 4-битная квантованная версия языковой модели Muse-Glimmer-30B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования LLM, включая агентские задачи, диалоги, обучение с учителем и работу с длинным контекстом. Подробные сведения об исходной архитектуре, размере контекстного окна и поддерживаемых языках в данной карточке не указаны. Квантование выполнено методом асимметричного целочисленного представления с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные случайные преобразования Адамара; также использованы посттренировочное квантование и дистилляция с учётом квантования. По внутренним оценкам KL эта версия сопоставима с Unsloth UD-Q4_K_XL GGUF. Основные ограничения — поддержка инференса только на Apple silicon и зависимость характеристик, возможностей и ограничений от исходной модели Muse-Glimmer-30B. Лицензия — Apache-2.0.