II.3Рефакторинг, миграция и модернизация

MaziyarPanahi/Phi-3.5-mini-instruct-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе microsoft/Phi-3.5-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в локальных приложениях и интерфейсах, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие совместимые инструменты. В репозитории представлены квантизованные варианты с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером модели, требованиями к памяти и качеством генерации. README не содержит сведений о точном размере модели, архитектуре, длине контекста, поддерживаемых языках, модальностях и лицензии. Формат GGUF ориентирован на эффективный локальный запуск, включая сценарии с GPU-ускорением, однако конкретные требования к оборудованию зависят от выбранного варианта квантизации и программного обеспечения.

bunnycore/Phi-4-Model-Stock — объединённая языковая модель на основе unsloth/phi-4, созданная методом Model Stock с помощью mergekit. В объединение вошли Phi-4-Avg, Phi-4-Empathetic, Phi-4-Math-IO и Phi-4-QwQ; размер модели — 14,1 млрд параметров, максимальная длина контекста — 16 384 токена. Модель предназначена для генерации текста и диалогов, включая задачи рассуждения и математики. Модель использует архитектуру LlamaForCausalLM и распространяется в формате safetensors. Карточка приводит результаты оценок на IFEval и BBH, но не описывает языковое покрытие или гарантии качества для отдельных задач. Лицензия — MIT.

bunnycore/Qwen2.5-7B-R1-Bespoke-Stock — объединённая языковая модель, созданная с помощью mergekit методом Model Stock. В качестве базовой использована huihui-ai/Qwen2.5-7B-Instruct-abliterated-v3; в объединение также вошли bunnycore/Qwen2.5-7B-R1-Bespoke-Task, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и bespokelabs/Bespoke-Stratos-7B. Модель построена на архитектуре Qwen2 с плотной causal language model, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Она может применяться для ответов на запросы и многошаговых рассуждений; базовая DeepSeek-R1-Distill-Qwen-7B ориентирована, в частности, на математику и программирование, но README не приводит отдельных оценок возможностей именно этого объединения. Репозиторий содержит веса в формате safetensors и рассчитан на библиотеку Transformers. Язык лицензии в предоставленных данных не указан.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

Hob-forge/Qwen3.5-4B-Instruct-GGUF — это текстовая GGUF-квантизованная версия Qwen3.5-4B, разработанной командой Qwen. Издатель Hob Forge не обучал модель, а подготовил собственную редакцию: выполнил конвертацию и квантизацию, проверил шаблон чата и вызов инструментов, а также измерил скорость, потребление памяти и потери качества. Базовая модель распространяется по лицензии Apache-2.0. Модель предназначена для диалогов, генерации текста, помощи в программировании и использования инструментов на компьютерах с ограниченными ресурсами. Она поддерживает режим рассуждений, включённый по умолчанию, и может работать через llama.cpp, Ollama и совместимые приложения. Доступны варианты Q4_K_M, Q5_K_M, Q6_K, Q8_0 и IQ4_XS; рекомендуемым вариантом назван Q4_K_M размером около 2,58 GiB. Указана архитектура с гибридным вниманием: 8 слоёв полного внимания, линейное внимание DeltaNet и однослойный блок MTP. Благодаря этому KV-кэш заметно меньше, чем у плотной модели сопоставимого размера: около 256 MiB при контексте 8K и 1 GiB при 32K. Сильные стороны модели — небольшие требования к памяти, поддержка длинного контекста, высокая скорость на совместимом оборудовании и проверенная работа инструментов. Вариант Q4_K_M, по приведённым измерениям, помещается примерно в 4 GB памяти даже при контексте 32K, хотя такой режим может быть ограничен по запасу ресурсов. Ограничения связаны с размером 4B: модель не относится к передовым и уступает более крупным моделям в сложных задачах. IQ4_XS экономит место, но существенно медленнее на RTX-картах. GGUF-файлы являются текстовыми: визуальные компоненты исходной мультимодальной модели не включены. Для работы требуется современная версия llama.cpp с поддержкой данной архитектуры.

Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это мультимодальная языковая модель на базе Qwen3.5-9B, разработанная HauhauCS и преобразованная TheCluster в формат MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и видео, а также для сценариев, где требуется модель без встроенных отказов на запросы. Модель содержит 9 миллиардов плотных параметров и 32 слоя. Она использует гибридную архитектуру с линейным вниманием Gated DeltaNet и полным softmax-вниманием в соотношении 3:1, поддерживает Multi-Token Prediction и контекст длиной 262 тысячи токенов с возможностью расширения до 1 миллиона через YaRN. Заявлены нативная мультимодальность для текста, изображений и видео, словарь на 248 тысяч токенов и поддержка 201 языка, включая английский, китайский и русский. Ключевая особенность — агрессивное удаление отказов: согласно карточке, модель не отказывается отвечать на запросы, сохраняя заявленные возможности исходной модели. При этом она может иногда добавлять краткие дисклеймеры в конце ответа. Модель квантизована в формате mxfp4 с эффективностью 4,821 бит на вес, поэтому её характеристики следует оценивать с учётом квантизации. Для использования доступны отдельные рекомендуемые параметры генерации для режимов с рассуждением и без него. Модель распространяется по лицензии Apache 2.0.

lyf/Qwen3.8-27B-Heretic-ARA-NVFP4-MTP-VL — мультимодальная версия модели Qwen3.8-27B-Heretic-ARA, подготовленная lyf и распространяемая как квантизированный релиз на базе heretic-org/Qwen3.8-27B-heretic-ara. Модель предназначена для генерации текста, рассуждений, вызова инструментов, а также анализа изображений и видео через vision/video tower. Поддерживаются английский и китайский языки. Основные веса преобразованы в формат NVFP4 W4A4 с использованием compressed-tensors, при этом vision/video tower и 15 нативных BF16-тензоров MTP сохранены. MTP поддерживает speculative decoding с рекомендуемым числом спекулятивных токенов 3. Релиз ориентирован на запуск в vLLM с CUDA 13 на GPU Blackwell, в частности RTX 5090. Для текстового режима заявлена практическая длина контекста до 192K токенов и агрессивная конфигурация до 256K; мультимодальный режим требует существенно больше видеопамяти и обычно ограничивается диапазоном 32K–96K. Сильными сторонами являются сочетание низкой разрядности, мультимодальности, длинного контекста и ускорения генерации через MTP. Ограничения включают зависимость от совместимого стека vLLM/CUDA и GPU Blackwell, высокие требования к видеопамяти, рекомендованную однопоточную конфигурацию и необходимость самостоятельно проверять лимиты изображений, видео и кэша энкодера перед эксплуатацией. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-nvfp4full-NInfer — квантованная версия модели Qwen3.8-27B, подготовленная пользователем cometkim для выполнения в формате NInfer. Артефакт содержит текстовый, визуальный и MTP-компоненты, а также встроенный спекулятивный модуль DFlash2 из модели z-lab/Qwen3.8-27B-DFlash2. Модель предназначена для диалоговых и мультимодальных сценариев, генерации текста, рассуждений и обработки длинного контекста. Основная модель имеет 27 млрд параметров. Значительная часть весов представлена в формате NVFP4, отдельные компоненты используют BF16 и W8G32_F16S. Встроенный DFlash2-драфтер имеет 2 млрд параметров, пять слоёв и скользящее окно 2048 токенов. Размер единого файла артефакта составляет около 18,07 GiB. В README не указаны точный список поддерживаемых языков и максимальная длина контекста. К преимуществам относятся уменьшенный размер весов, единый файл с основной моделью и DFlash2-драфтером, а также поддержка спекулятивного декодирования. В приведённых проверках модель получила точность 87,88% на GPQA-Diamond, 93,33% на AIME 2026 и 67,41% на LongBench v2; эти результаты относятся к указанным условиям оценки. К ограничениям относятся зависимость от движка NInfer v3 и соответствующей аппаратной и программной конфигурации, а также невозможность использовать артефакт напрямую в Transformers, Safetensors или GGUF. Лицензия — Apache 2.0.

Qwen_Qwen3.5-35B-A3B-GGUF — это набор квантованных версий модели Qwen3.5-35B-A3B, подготовленный пользователем bartowski на основе оригинальной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, а GGUF-формат позволяет запускать её локально через llama.cpp и совместимые приложения, включая LM Studio, Jan AI, KoboldCpp и Text Generation Web UI. В набор входят варианты от BF16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 17 до 71 ГБ. Обозначение 35B указывает на 35 миллиардов параметров, а A3B относится к архитектуре исходной модели; подробности об архитектуре, поддерживаемых языках и размере контекста в README не приведены. Квантизации выполнены с использованием imatrix и llama.cpp, для некоторых конфигураций доступна поддержка MTP-слоёв. Сильная сторона набора — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью локального запуска; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как типичный выбор для большинства сценариев. Низкобитные варианты экономят память, но могут снижать качество. Для использования требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

XVERSE-MoE-A4.2B — базовая многоязычная языковая модель, разработанная Shenzhen Yuanxiang Technology. Она предназначена для генерации текста и может служить основой для диалоговых и других приложений на базе языковой модели. Модель использует архитектуру Decoder-only Transformer с механизмом смеси экспертов (MoE): всего 25,8 млрд параметров, из которых при вычислении активируются 4,2 млрд. В ней 64 неспециализированных и 2 общих эксперта, а маршрутизатор выбирает экспертов для каждого вычисления. Модель обучалась на последовательностях длиной 8 тысяч токенов; в метаданных также указано контекстное окно 8192 токена. README приводит разные значения объёма обучающих данных: 2,7 трлн токенов в китайской версии и 3,2 трлн в английской. Модель обучалась на более чем 40 языках, включая китайский, английский, русский и испанский; разработчик отмечает особенно сильные результаты на китайском и английском. README приводит результаты тестов по пониманию языка, вопросам и ответам, рассуждениям, математике и программированию. Это базовая модель, а не Chat-версия, поэтому для диалоговых сценариев может потребоваться дополнительное выравнивание. Как и другие большие языковые модели, она может выдавать неточные, предвзятые или оскорбительные ответы; разработчик рекомендует проверять безопасность перед развёртыванием. Лицензия — Apache-2.0.

BigFalcon3-from10B — языковая модель для генерации текста и диалогов, созданная ehristoforu с помощью объединения весов через mergekit. В README указана модель tiiuae/Falcon3-10B-Instruct как единственная включённая в объединение; метаданные каталога классифицируют результат как дообучение этой базовой модели. Архитектура плотная, семейства Llama; модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, а также может использовать интерфейс вызова инструментов. Метаданные базовой модели указывают на сценарии рассуждений, программирования и математики. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

bartowski/c4ai-command-r-v01-GGUF — это набор квантованных версий большой языковой модели c4ai-command-r-v01, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может использоваться в локальных сценариях через совместимые реализации llama.cpp. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Архитектура, количество параметров, модальности и размер контекста не указаны. Доступны варианты квантования Q2_K–Q8_0 размером примерно от 13,81 до 37,17 ГБ; Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, а Q8_0 — как вариант максимального доступного качества. Более сильное квантование обычно сохраняет лучшее качество, но требует больше места и памяти; варианты Q3 и Q2 экономичнее, однако сопровождаются заметным снижением качества. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-abliterated — 32-миллиардная языковая модель для генерации текста и диалогов. Репозиторий mlx-community содержит версию в формате MLX, преобразованную из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated с помощью mlx-lm 0.21.1. По метаданным, модель построена на плотной архитектуре Qwen2, поддерживает контекст до 131 072 токенов и предназначена для текстовых задач, включая рассуждения. Вариант abliterated модифицирован для уменьшения отказов. Лицензия в предоставленных данных не указана.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

puwaer/DeepSeek-V4-Flash-0731-reap-200b-gguf — это GGUF-сборка модели puwaer DeepSeek-V4-Flash-0731-reap-200b, подготовленная для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и задач с вызовом инструментов; встроенный шаблон чата поддерживает режим рассуждений и tool calling в OpenAI-совместимом формате. Это разреженная Mixture-of-Experts-модель с 178 маршрутизируемыми экспертами на слой вместо 256 у базовой версии. Сборка доступна в вариантах MXFP4_MOE, Q3_K_M, IQ3_XXS, Q2_K и IQ1_M размером примерно от 56,36 до 103,85 GiB. Вариант MXFP4_MOE численно идентичен исходному safetensors-чекпойнту, а остальные варианты являются повторной квантизацией уже 4-битных данных и могут заметнее снижать качество. В README подтверждён контекст 4096 токенов для примера запуска; поддерживаемые языки и точный максимальный контекст не указаны. Сильные стороны модели — существенно меньший размер по сравнению с базовой версией на 284B параметров, сохранение высокой точности на ряде тестов и поддержка рассуждений и инструментов. Бенчмарки квантованных вариантов отдельно не проводились, поэтому их качество не измерено. Для запуска рекомендуется полный GPU-offload; самая крупная сборка занимает 103,85 GiB и не помещается на одной видеокарте с 96 GiB памяти. Частичный offload и распределённый запуск не были проверены. Модель распространяется по лицензии MIT.

Weyaxi/Dolphin2.1-OpenOrca-7B — текстовая генеративная модель Weyaxi, созданная слиянием TIES двух моделей: ehartford/dolphin-2.1-mistral-7b и Open-Orca/Mistral-7B-OpenOrca. Она предназначена для диалогов, ответов на вопросы и генерации текста. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Слияние объединяет веса Dolphin 2.1 Mistral 7B и Mistral 7B OpenOrca; в README приведены коэффициенты весов и плотности для каждой исходной модели. Репозиторий содержит веса в формате safetensors. Указанная лицензия — Apache-2.0. Доступны отдельные квантизированные версии GPTQ, GGUF и AWQ от TheBloke.

Это GGUF-квантизации модели gemma-3-27b-it-ultra-uncensored-heretic, созданной независимым разработчиком LLMfan46 на основе Google Gemma 3 27B Instruct от Google DeepMind. Модель модифицирована с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), чтобы уменьшить склонность исходной модели к отказам и ограничениям при сохранении её исходных возможностей. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Это мультимодальная модель с текстовым и графическим вводом и текстовым выводом; заявлена поддержка более 140 языков. Контекстное окно составляет 128K токенов, максимальный объём вывода — 8192 токена. Для работы с изображениями требуется отдельный vision projector, совместимый с выбранной квантизацией. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к памяти. По данным README, модифицированная версия показала 5 отказов из 100 против 98 из 100 у исходной модели, а KL divergence составила 0,0616; это указывает на значительно меньшее число отказов при относительно близком поведении к оригиналу. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Используется лицензия Gemma; применяются условия использования Google.

Gemma-4-31B-IT-NVFP4-GGUF — квантизированная версия мультимодальной модели Google Gemma-4-31B-it, подготовленная LibertAI для запуска через llama.cpp. Модель предназначена для генерации и понимания текста, а с дополнительным файлом mmproj — также для обработки изображений и аудио. Указан английский язык поддержки. Это плотная decoder-модель примерно на 30,7 млрд параметров с гибридной схемой локального скользящего и глобального внимания, unified KV в глобальных слоях и Proportional RoPE для длинного контекста. Тензоры dense FFN квантизированы в NVFP4, а остальные компоненты используют варианты GGUF-квантизации Q4_K_M, Q8_0 или BF16. Доступны файлы размером примерно от 17 до 30 ГБ; для мультимодального ввода требуется отдельный mmproj-файл размером около 1,2 ГБ. В README приведены примеры запуска с контекстом до 32768 токенов и результаты тестов на NVIDIA RTX 5090. Главное преимущество NVFP4-варианта — уменьшенный объём видеопамяти и высокая производительность на NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200; вариант Q4_K_M рекомендован для наиболее эффективной работы. На старых GPU модель запускается, но преимуществ в производительности NVFP4 может не быть. Большой KV-кэш Gemma-4 ограничивает высокую конкурентную нагрузку, а более точные варианты требуют больше памяти. Модель распространяется по лицензии Gemma, унаследованной от исходной модели Google.

Gemopus-4-31B-it — дообученная Jackrong версия инструкционной модели Google Gemma 4 31B-it. Это плотная текстовая генеративная модель для диалогов и следования инструкциям; при настройке автор стремился сохранить исходный стиль рассуждений Gemma 4 и улучшить качество, структуру, ясность и последовательность ответов. Модель обучалась с использованием исправленного стека Unsloth и Transformers. Модель рассчитана на повседневную работу с текстом: подготовку структурированных ответов и сводок, редактирование текста и интерактивное программирование. В README автор отдельно отмечает улучшения в организации длинных ответов, объяснении технических тем и естественности диалога. В метаданных указаны английский, китайский, корейский и японский языки; мультимодальные возможности базовой модели не следует автоматически считать возможностями этой текстовой версии. Автор предупреждает, что модель может уступать более крупным облачным моделям в объёме знаний и сложных математических или логических рассуждениях; в узкоспециализированных темах возможны ошибки и галлюцинации. Автор называет веса экспериментальными. Лицензия — Apache-2.0.

Gixtral 100B — разговорная языковая модель для генерации текста и выполнения инструкций, созданная ehristoforu путём объединения нескольких моделей семейства Mixtral и WizardLM, включая Mixtral-8x22B-Instruct-v0.1, Mixtral-8x7B-Instruct-v0.1, Dolphin и WizardLM-2-8x22B. Архитектура — Mixtral с разреженной экспертной структурой (MoE); в метаданных указано 9,7 млрд параметров и контекстное окно 32 768 токенов. Модель подходит для диалогов, ответов на запросы, следования инструкциям и генерации текста на английском, французском, немецком, испанском и итальянском языках. Для объединения использованы наборы данных, включающие примеры для программирования и инструктивных диалогов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README описывает модель как объединение моделей, хотя в метаданных среди базовых моделей также указаны Dolphin и WizardLM. Практические результаты объединения и сравнительные оценки в карточке не приведены; фактическое качество может зависеть от запроса и используемой конфигурации.

RedHatAI/GLM-5.2-NVFP4-FP8 — квантизированная версия модели zai-org/GLM-5.2, разработанная RedHatAI. Это текстовая авторегрессионная модель для генерации текста, построенная на архитектуре GlmMoeDsaForCausalLM. Она принимает текст и возвращает текст, поддерживает английский и китайский языки и предназначена прежде всего для высокопроизводительного инференса и развёртывания через vLLM, включая сценарии с рассуждениями и вызовом инструментов. Модель использует смешанную точность: веса и активации механизмов внимания представлены в FP8 с блочным масштабированием, а эксперты MoE — в FP4 (NVFP4). Такая оптимизация снижает среднее число битов на параметр примерно с 16 до 4–5, уменьшая размер на диске и потребность в GPU-памяти примерно на 70–75% по сравнению с исходной версией BF16. Контекстная длина в README не указана; для конфигураций с контекстом до 1M токенов предлагается обращаться к рецепту vLLM для GLM-5.2. Главное преимущество модели — существенное сокращение требований к памяти при сохранении большей части качества исходной модели: на GPQA Diamond она набрала 89,1 против 91,2 у незаквантизированной версии, что соответствует восстановлению 97,7% результата. Ограничения включают небольшое снижение точности, зависимость от совместимой версии vLLM и необходимость исправления из pull request #47780. Модель распространяется по лицензии MIT.

Granite 4.2 30B GGUF — квантизированная версия языковой модели IBM Granite 4.2 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.2-30b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев и вызова инструментов. Модель содержит около 29 млрд параметров и работает с текстовыми входными данными. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. В карточке не указаны архитектура и размер контекстного окна. Спекулятивное декодирование не поддерживается. Для работы предусмотрен специальный шаблон запросов с системными и пользовательскими сообщениями, а также секцией рассуждений <think>. Главное преимущество этой версии — выбор множества вариантов квантизации с разным соотношением качества, размера и требований к памяти: от BF16 и Q8_0 до компактных вариантов Q2 и IQ3. В README наиболее сбалансированным вариантом назван Q4_K_M размером 18,03 ГБ, а варианты Q5 и Q6 характеризуются как высококачественные. При этом снижение разрядности может ухудшать качество ответов, особенно у компактных вариантов, а для запуска требуются значительные ресурсы. Лицензия модели — Apache-2.0.

Infinity-Instruct-3M-0625-Yi-1.5-9B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная следовать инструкциям. Это плотная авторегрессионная модель семейства Yi-1.5 с 8,6 млрд параметров, рассчитанная на генерацию текста и диалог в формате чата. Контекст составляет 4096 токенов; для работы используются веса SafeTensors. Модель дообучена на наборах Infinity-Instruct-3M и Infinity-Instruct-0625 без обучения с подкреплением на основе отзывов людей (RLHF). Она предназначена для ответов на вопросы и многошагового диалога, включая повседневные запросы, математику и код. Авторы сообщают о результатах на бенчмарках AlpacaEval 2.0 и MT-Bench. В карточке указана лицензия Apache-2.0, однако README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.

Meta Llama 4 Maverick 17B 128E Instruct FP8 — инструкционная квантованная версия модели семейства Llama 4, разработанная Meta. Она предназначена для диалоговых сценариев и генерации текста, включая ответы на запросы, выполнение инструкций и интеграцию в приложения на базе Transformers. Модель заявлена как мультиязычная и поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. В идентификаторе указаны 17B и 128E, однако README не раскрывает архитектурные детали, длину контекста, точные модальности и характеристики качества. Обозначение FP8 указывает на 8-битное представление весов, но конкретные преимущества и ограничения этой версии не приведены. Модель распространяется по Llama 4 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая передачу текста лицензии, атрибуцию «Built with Llama» и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено получение отдельной лицензии Meta.

MaziyarPanahi/Meta-Llama-3.1-405B-Instruct-GGUF — это набор файлов модели в формате GGUF для Meta-Llama-3.1-405B-Instruct, разработанной Meta (meta-llama) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в локальных приложениях на базе llama.cpp и совместимых библиотек и интерфейсов. Модель имеет размер 405 миллиардов параметров, относится к текстовым моделям и поддерживает языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В репозитории представлены варианты квантизации с разрядностью 2 и 3 бита; конкретные характеристики зависят от выбранного файла. В примере указано контекстное окно до 131 072 токенов. Формат GGUF упрощает локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами. Сильными сторонами являются большой размер исходной модели, поддержка нескольких языков, инструкционное обучение, длинный контекст и возможность локального использования с квантизированными файлами. Ограничениями остаются очень высокие требования к вычислительным ресурсам, возможные потери качества из-за агрессивной квантизации и отсутствие в README подробных данных о точности, производительности и рекомендуемом оборудовании. Модель распространяется по лицензии Llama 3.1.

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF — это квантованное представление инструкционно настроенной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленное QuantFactory в формате GGUF. Модель предназначена для генерации текста и взаимодействия по инструкциям, включая ответы на вопросы и другие задачи обработки естественного языка. В метаданных указаны английский язык и назначение text-generation. Формат GGUF ориентирован на локальный запуск и совместим с программами, поддерживающими этот формат, однако конкретный тип квантования, требования к памяти, максимальный размер контекста и поддерживаемые аппаратные платформы в предоставленных данных не указаны. Модель является текстовой и не заявлена как мультимодальная. Её сильные стороны — компактный размер по сравнению с более крупными моделями и возможность использования локальных средств инференса; ограничения, точные характеристики производительности и качество на отдельных языках по README не определены. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение требуемого уведомления об атрибуции и соблюдение применимой политики допустимого использования. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено требование получить отдельную лицензию Meta.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.

Mistral-Large-Instruct-2407-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной mistralai и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы с инструкциями и запуска локальных сервисов через LlamaEdge. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Максимальный контекст составляет 128000 токенов при запуске как LlamaEdge-сервиса; для командного приложения приведён контекст 32000 токенов. Доступны варианты квантизации от Q2_K до Q5_K_M с разным размером файлов и компромиссом между требованиями к ресурсам и качеством. Рекомендуемым назван вариант Q4_K_M, обеспечивающий сбалансированное качество. Сильными сторонами являются большой контекст, многоязычность и возможность запуска в формате GGUF через LlamaEdge. Более низкие уровни квантизации уменьшают размер модели, но могут существенно ухудшать качество; для Q2_K и ряда Q3/Q4-вариантов README прямо указывает значительную или высокую потерю качества. Архитектура, количество параметров и поддерживаемые модальности в предоставленных данных не указаны; по описанию это текстовая языковая модель. Модель распространяется по лицензии MRL-0.1, обозначенной в README как license: other.