I.14Автоматизация процессов и AI-агенты

Tsuna57/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-Q8_0-GGUF — это квантованная версия модели DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель основана на Qwen3.6 и имеет размер 27 млрд параметров; в карточке также указаны многоэтапная настройка, объединение моделей, режимы thinking и reasoning, а также поддержка MTP-квантов. Квантование Q8_0 предназначено для запуска через llama.cpp. Модель ориентирована на широкий спектр текстовых сценариев, включая программирование, творческое письмо, создание историй и художественной прозы разных жанров, ролевые диалоги и задачи общего назначения. Заявлена поддержка английского и китайского языков. В метаданных указан pipeline image-text-to-text, однако подробности о фактических возможностях обработки изображений в README отсутствуют. К сильным сторонам относятся формат GGUF, совместимость с llama.cpp и возможность локального запуска через CLI или сервер. Ограничения и точные показатели качества, размер контекста, требования к оборудованию, особенности мультимодальности и результаты оценки в карточке не приведены; в примере запуска указан контекст 2048 токенов, но это не обязательно максимальное значение модели. Лицензия — Apache-2.0.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-8bit — текстовая 8-битная MLX-квантизация модели Qwen/Qwen3.8-27B, разработанная mlasli. Это версия v2.1.0 с изменённым выравниванием, ориентированная на более прямые ответы и сниженное количество отказов. Модель предназначена для генерации текста, диалогов, ролевых сценариев и других задач локального inference на устройствах Apple Silicon через mlx-lm. В карточке указан английский язык; сведения о размере контекста отсутствуют. Модель содержит около 27 млрд параметров, занимает примерно 28,6 ГБ и использует групповую 8-битную квантизацию с размером группы 64. Репозиторий содержит только языковую часть модели: vision tower удалён, поэтому обработка изображений не поддерживается. MTP-голова также не сохраняется, из-за чего inference выполняется одной головой и может быть медленнее сборок с поддержкой speculative decoding. Сильной стороной является близкое к исходной BF16-версии качество при существенно меньшем размере, а также высокая доля прямых ответов: в приведённом тесте thinking-OFF модель дала 90% прямых ответов на вредоносные запросы и 100% на безвредные. При включённом thinking поведение менее стабильно: возрастает доля уклончивых и пустых ответов. Abliteration удаляет защитное выравнивание, поэтому модель требует ответственного применения. Распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-8B-MLX-4bit — это 4-битная квантизированная версия модели Qwen/Qwen3-8B, преобразованная в формат MLX сообществом lmstudio-community с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, преимущественно на устройствах Apple Silicon, поддерживающих экосистему MLX. Модель относится к классу языковых моделей с параметрами порядка 8 миллиардов и работает в текстовой модальности. Она подходит для диалогов, продолжения текста и других задач генерации, которые поддерживаются базовой моделью Qwen3-8B. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекстного окна, результатах тестирования или специализированных сценариях применения. Ключевое преимущество версии — 4-битное представление, которое снижает требования к памяти и делает локальный запуск более доступным, однако может сопровождаться потерей качества по сравнению с полноразмерной версией. Для использования требуется установка mlx-lm и совместимое окружение MLX. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next Q4_0-Q8out-v3 — это GGUF-чекпойнт модели Qwen3.8-Flash-Next, опубликованный nitinpanj и предназначенный для локального запуска на компьютерах Apple Silicon. Модель ориентирована на генерацию текста и диалоговые сценарии через llama.cpp и OpenAI-совместимый сервер. Архитектура использует mixture-of-experts, а чекпойнт оптимизирован для потоковой загрузки редко используемых экспертных весов с SSD, благодаря чему модель размером около 95,5 ГиБ может запускаться на Mac с 64 ГиБ unified memory. Вариант v3 сочетает квантование Q4_0 с Q8_0 для output.weight и дополнительными изменениями квантования отдельных групп тензоров. По данным README, это снизило perplexity с 5,2777 до 4,3148 и повысило принятие черновых токенов при speculative decoding с 0,751 до 0,817. При использовании отдельной draft head объёмом около 1,9 ГиБ заявлена скорость генерации примерно 27,6 токена в секунду на Apple M5 Pro с 64 ГиБ памяти; без неё — около 18,0–18,6 токена в секунду. В конфигурации запуска указан контекст 98 304 токена, при этом скорость снижается по мере заполнения контекста. Главное ограничение — модель не работает со стандартной версией llama.cpp: требуется форк npanj/llama.cpp с поддержкой --moe-stream и сборкой Metal. Рекомендуется около 100 ГиБ свободного места на внутреннем SSD, поскольку экспертные веса постоянно считываются с диска; внешний USB-накопитель будет существенно медленнее. Ниже 64 ГиБ памяти запуск не проверен и, вероятно, потребует уменьшения кэша с потерей скорости. Лицензия в README не указана.

Qwen3-step32k-1e5 — диалоговая модель генерации текста на базе Qwen3 с 7,6 млрд параметров, дообученная Etienne Bamas на датасете SFT от formalmathatepfl/qwen3-cpt. Она предназначена для текстовых запросов и диалоговых сценариев; использует плотную архитектуру Qwen3 и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Карточка не описывает конкретные специализации, результаты оценки или известные ограничения качества. Лицензия указана как other, поэтому условия использования следует сверять с лицензией в репозитории модели и базовой модели.

prithivMLmods/Qwen3-VL-8B-Thinking-abliterated-v1-GGUF — GGUF-квантизированная версия 8-миллиардной vision-language модели Qwen3-VL-8B-Thinking, разработанная prithivMLmods на базе модели Alibaba. Она предназначена для мультимодального понимания и генерации текста по изображениям и видео, включая описание сцен, визуальное рассуждение, анализ сложного или чувствительного контента, работу с художественными, техническими и абстрактными материалами, а также задачи OCR и визуальных датасетов. Модель ориентирована преимущественно на английский язык, при этом заявлена поддержка OCR на 32 языках и адаптация к многоязычным запросам. Модель поддерживает различные соотношения сторон и разрешения, видео, сложные макеты, пространственное восприятие, длинный контекст более 256K токенов и механизм Interleaved-MRoPE. Доступны варианты квантования от Q2_K до Q8_0, IQ4_XS и F16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ, а для мультимодального проектора требуются отдельные файлы mmproj. Для запуска в README указаны Transformers с GPU и ориентировочная потребность в 16–24 ГБ видеопамяти; также заявлена совместимость с llama.cpp. Сильными сторонами являются мультимодальное рассуждение, анализ изображений и видео, OCR, пространственное понимание и большой контекст. Abliterated-вариант позиционируется как менее ограниченный стандартными фильтрами, поэтому может генерировать откровенный или потенциально небезопасный контент и требует осторожного применения в продуктивных системах. Модель распространяется по лицензии Apache-2.0.

Reflection-Llama-3.1-70B-GGUF — это набор GGUF-квантизаций модели Reflection-Llama-3.1-70B, разработанной mattshumer и подготовленной для распространения и запуска bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие рассуждений и самопроверки. Для запуска рекомендуется использовать llama.cpp или совместимые приложения, например LM Studio. В основе лежит 70-миллиардная текстовая модель семейства Llama 3.1. В README указана поддержка специальных токенов для оформления блоков рассуждений, итогового ответа и рефлексии; для их отображения в llama.cpp требуется включить параметр --special. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, примерно от 30,91 до 74,98 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Сведения о языках и размере контекста не приведены. Сильными сторонами являются большой размер модели, варианты высококачественной квантизации и поддержка сценариев с рассуждением и исправлением ошибок. Ограничения зависят от выбранного типа квантизации: более компактные варианты снижают качество. README также предупреждает, что опубликованные веса могут быть неправильными, поэтому модель не следует загружать до устранения проблемы. Для улучшенного рассуждения рекомендован специальный системный промпт. Лицензия указана как llama3.1.

samantha-mistral-instruct-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная MaziyarPanahi слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и Samantha-Mistral-Instruct-7B. Она предназначена для генерации текста в формате диалога и выполнения инструкций; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст. Модель распространяется по лицензии Apache-2.0. Карточка описывает состав и конфигурацию слияния, но не приводит отдельных оценок качества или специализированных сценариев; применимость к конкретным задачам следует проверять на собственных данных.

SEC-Calme-7B-Instruct — объединённая диалоговая языковая модель от Arcee AI. Она создана с помощью mergekit методом SLERP на основе arcee-ai/sec-mistral-7b-instruct-1.2-epoch и MaziyarPanahi/Calme-7B-Instruct-v0.2, с выборочным смешиванием слоёв внимания и MLP. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в формате чата: она принимает текстовые запросы и выдаёт текстовые ответы. Родной размер контекстного окна — 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или специализированных сценариев применения.

Skywork_MindLink-72B-0801-GGUF — это квантизированная версия языковой модели Skywork/MindLink-72B-0801, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Базовая модель имеет размер 72B параметров. Доступны варианты квантования от Q8_0 до Q2 и IQ-квантов, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; облегчённые варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Для модели не указан официальный chat template, поэтому предложенный формат промпта может потребовать проверки по исходной карточке модели. README не содержит сведений о языках, длине контекста, точной архитектуре, специализированных сценариях применения или лицензии. Для использования необходима среда, совместимая с llama.cpp, а выбор варианта следует делать с учётом доступной памяти и требуемого качества.

Skywork-OR1-7B-GGUF — это квантизированная версия текстовой генеративной модели Skywork-OR1-7B, разработанной командой Skywork. Пакет подготовлен пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; исходная модель обучалась на датасете Skywork-OR1-RL-Data. Модель предназначена для генерации текста и локального инференса в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты от BF16 до низкобитных квантований Q8_0, Q6, Q5, Q4, Q3 и Q2, благодаря чему можно выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размер модели — 7B параметров; конкретный объём файлов составляет примерно от 3,35 до 15,24 ГБ в зависимости от варианта квантования. Сильной стороной является широкий выбор квантованных сборок, включая рекомендуемые варианты Q4_K_M, Q5 и Q6, позволяющие запускать модель локально на различных конфигурациях. Ограничения включают возможное снижение качества при использовании низкобитных вариантов, а также отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия в предоставленных данных не указана. Для корректной генерации следует использовать рекомендованный в README формат промпта.

SmolVLM-Instruct — компактная мультимодальная модель Hugging Face для диалога по изображениям и тексту. Она принимает текстовые запросы и одно или несколько изображений, в том числе в чередующихся последовательностях, и формирует текстовые ответы. Модель построена на архитектуре Idefics3, объединяющей языковую модель SmolLM2-1.7B-Instruct и визуальную основу SigLIP SoViT-400m; репозиторий содержит веса Safetensors и формат ONNX. Лицензия — Apache 2.0. Модель подходит для ответов на вопросы об изображениях, описания визуального содержимого, подписей к изображениям, понимания документов и диаграмм, а также историй по нескольким изображениям. Компактная архитектура и сжатое представление изображений рассчитаны на эффективный запуск, в том числе на устройствах с ограниченными ресурсами. Основной язык карточки — английский; модель также может работать как языковая модель без изображений. Она не генерирует изображения. Ответы могут быть фактически неточными, поэтому модель не предназначена для решений, влияющих на благополучие или средства к существованию людей.

Synatra-V0.1-7B-Instruct-Mistral-7B-Instruct-v0.1 — чат-модель, созданная объединением Mistral-7B-Instruct-v0.1 и maywell/Synatra-V0.1-7B-Instruct методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В метаданных карточки указан корейский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает о специальных ограничениях применения или проверках качества; результаты могут зависеть от формулировки запроса и не гарантируют точности ответов.

Hunyuan-A13B-Instruct-GGUF — квантизированная версия языковой модели Hunyuan-A13B-Instruct, разработанной Tencent. Модель предназначена для генерации текста и работы в инструкционном диалоговом формате. Квантизация выполнена пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; доступны варианты от Q2_K_L до Q8_0 размером примерно от 29 до 85 ГБ. Модель можно запускать через llama.cpp, LM Studio и другие совместимые проекты. README не раскрывает точную архитектуру, число активных и общих параметров, максимальный контекст, поддерживаемые языки или дополнительные модальности. Основное преимущество представленной версии — широкий выбор уровней квантизации: более высокие варианты сохраняют лучшее качество, а компактные требуют меньше оперативной памяти. При этом сильное сжатие снижает качество ответов, а для запуска большинства вариантов необходим значительный объём памяти. Для корректной работы требуется специальный формат промпта с токенами <|startoftext|>, <|extra_4|> и <|extra_0|>. Модель распространяется по лицензии Tencent Hunyuan A13B; ссылка на текст лицензии приведена в исходном репозитории Tencent. Условия лицензии следует проверить перед коммерческим или иным использованием.

MaziyarPanahi/TheTop-5x7B-Instruct-S2-v0.1 — текстовая генеративная модель, созданная MaziyarPanahi путём слияния пяти моделей 7B с помощью метода SLERP. Она построена на архитектуре Mistral и предназначена для генерации ответов и других текстов по запросу; заявленное контекстное окно составляет 32 768 токенов, а размер модели по метаданным — 7,1 млрд параметров. Модель подходит для диалоговых сценариев, ответов на вопросы и общих задач генерации текста. В карточке приведены результаты тестов на академических наборах, включая ARC и HellaSwag; эти оценки сами по себе не гарантируют качество в конкретном приложении. Репозиторий содержит веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0.

GLM-Z1-9B-0414-GGUF — это квантизированная версия языковой модели GLM-Z1-9B-0414, разработанной THUDM и подготовленной к публикации в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Заявлена поддержка китайского и английского языков. Модель содержит около 9 миллиардов параметров; точная архитектура и размер контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантизация выполнена с использованием llama.cpp и метода imatrix; также отмечено исправление токенизатора. Сильной стороной модели является возможность локального запуска на широком спектре конфигураций с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают возможное снижение качества у низкобитных вариантов, отсутствие сведений о результатах оценки, точной архитектуре и контекстном окне, а также необходимость соблюдать указанный формат промпта. Модель распространяется по лицензии MIT.

Typhoon-0219 — инструктивная языковая модель команды SCB10X AI, предназначенная для диалогов и выполнения пользовательских инструкций на тайском и английском языках. Это плотная авторегрессионная модель с 7,1 млрд параметров на архитектуре Mistral, основанная на Typhoon 7B и дообученная на разнообразном наборе данных для настройки инструкций объёмом более миллиона примеров. Модель поддерживает системные сообщения и шаблон диалога ChatML; родной контекст составляет 32 768 токенов. Модель подходит для создания тайскоязычных и англоязычных чат-ботов, ответов на вопросы и других задач генерации текста по инструкциям. Указана лицензия Apache-2.0. Разработчики отмечают, что модель всё ещё развивается и может выдавать неточные, предвзятые или нежелательные ответы; её поведение следует оценивать для конкретного применения.

Vigogne 2 7B Instruct — языковая модель на архитектуре Llama, разработанная bofenghuang и опубликованная в формате GGUF с квантованием TheBloke. Это 7-миллиардная instruct-модель, предназначенная для генерации текста и выполнения пользовательских инструкций в диалоговых и прикладных сценариях. В метаданных указан французский язык; сведения о поддерживаемых дополнительных языках и длине контекста не приведены. Модель подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие инструменты с поддержкой GGUF. Формат поддерживает метаданные и специальные токены, а варианты квантования от 2 до 8 бит позволяют выбирать компромисс между размером файлов, требованиями к памяти и сохранением качества. Модель поддерживает CPU- и GPU-инференс в зависимости от используемого программного обеспечения и конфигурации. Ключевое ограничение — README не содержит результатов оценки качества, подробностей обучения, точного контекстного окна и характеристик отдельных квантованных вариантов, поэтому производительность в конкретных задачах определить нельзя. Для использования следует применять шаблон запросов Alpaca, указанный для модели. Лицензия обозначена как llama2; исходная неквантованная версия доступна отдельно в формате PyTorch.

Это квантованные файлы в формате GGUF базовой инструкционной языковой модели wisenut-nlp-team/wisenut-llama-3-8B-0.9-Instruct. Квантования подготовлены командой featherless-ai-quants; исходный разработчик базовой модели указан как wisenut-nlp-team. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или совместимого с GGUF запуска. В названии указано 8B, однако README не приводит подробностей об архитектуре, языках, модальностях или размере контекста. Доступны варианты с разной степенью квантования: от Q2_K и Q3_K до Q8_0, с заявленным размером файлов примерно от 3,0 до 8,1 ГБ. Более компактные варианты могут снизить требования к памяти, тогда как варианты с более высокой точностью обычно лучше сохраняют качество, но требуют больше ресурсов. README не содержит результатов тестирования, описания сильных сторон, ограничений или рекомендаций по выбору квантования. Лицензия модели в предоставленных данных не указана, поэтому условия использования определить невозможно.

WomboCombo-R1-14B-Preview — экспериментальная объединённая языковая модель на архитектуре Qwen2, опубликованная RDson. Она создана методом sce с помощью mergekit на основе Qwen/Qwen2.5-14B-Instruct и объединяет веса DeepSeek-R1-Distill-Qwen-14B, Virtuoso-Small, DRT-o1-14B и Fusion4-14B-Instruct. Модель содержит 14 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса safetensors для Transformers. Модель предназначена для диалога и генерации ответов, включая задачи, в которых полезны возможности объединённых инструкционных и reasoning-моделей. Метаданные отмечают интерфейс вызова инструментов, но сами по себе не подтверждают качество или совместимость такого режима. Это предварительная версия с небольшим числом загрузок; отдельные оценки качества и список поддерживаемых языков в предоставленных данных отсутствуют. Лицензия в доступных данных не указана.

YamshadowInex12_PasticheAlloyingotneoy — слитая модель генерации текста, созданная объединением automerger/YamshadowInex12-7B и automerger/PasticheAlloyingotneoy-7B. Модель разработана на архитектуре Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста и диалоговых ответов. Контекстное окно составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

YamshadowStrangemerges_32_Experiment28Strangemerges_32 — слитая языковая модель на архитектуре Mistral, созданная объединением automerger/YamshadowStrangemerges_32-7B и automerger/Experiment28Strangemerges_32-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель содержит 7,1 млрд параметров, веса представлены в формате safetensors. Репозиторий использует лицензию Apache-2.0. Карточка не описывает специальные предметные области или конкретные ограничения качества.

YamshadowStrangemerges_32_NeuralsirkrishnaShadow — объединённая модель генерации текста на архитектуре Mistral, созданная на основе automerger/YamshadowStrangemerges_32-7B и automerger/NeuralsirkrishnaShadow-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по текстовым запросам. Веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0.

YamT3qm7xp_ShadowOgno — объединённая методом слияния модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и принимает текстовые запросы; максимальная длина контекста составляет 32 768 токенов. Модель объединяет automerger/YamT3qm7xp-7B и automerger/ShadowOgno-7B. Она распространяется в формате safetensors по лицензии Apache-2.0. Доступные сведения подтверждают назначение для генерации текста, но не описывают специальные навыки или ограничения качества.

byroneverson/Yi-1.5-9B-Chat-16K-abliterated — диалоговая языковая модель, полученная автором byroneverson на основе 01-ai/Yi-1.5-9B-Chat-16K. Модель без дополнительного дообучения была изменена методом abliterating; README приводит сравнение её результатов с исходной моделью на наборе тестов LLM Leaderboard, но не раскрывает детали метода.

Yi-6B — базовая большая языковая модель семейства Yi, разработанная 01.AI и обученная с нуля. Это плотная авторегрессионная модель на архитектуре Transformer, совместимая с экосистемой Llama, но не являющаяся производной от Llama и не использующая её веса. В репозитории представлены веса PyTorch и Safetensors; размер модели — 5,8 млрд параметров, контекст — до 4096 токенов. Модель предназначена для генерации текста и может служить основой для диалоговых систем, ответов на вопросы, чтения и понимания текста, рассуждений и адаптации под прикладные задачи. Серия Yi ориентирована прежде всего на английский и китайский языки и обучалась на мультиязычном корпусе. Для этой базовой версии доступна лицензия Apache 2.0. Карточка описывает возможности серии Yi в целом, поэтому приведённые в ней сравнительные результаты отдельных моделей серии не следует считать оценкой Yi-6B.

GLM-4.5-Air-GGUF — это набор квантизированных версий языковой модели GLM-4.5-Air, разработанной zai-org и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b6085 и метода imatrix с отдельным датасетом. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В README не указаны архитектура исходной модели, количество параметров, поддерживаемые языки, размер контекста или дополнительные модальности, поэтому эти характеристики нельзя подтвердить. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 39,62 до 117,46 ГБ; Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и ряд других вариантов отмечены как рекомендуемые. Более компактные варианты экономят память, но снижают качество, а Q2 и IQ1-варианты описаны как низкокачественные или очень низкокачественные. Для модели не найден формат промпта, его следует уточнять на странице исходной модели. Лицензия в README не указана.

GLM-4.7-Flash-GGUF — это квантизированная версия текстовой генеративной модели GLM-4.7-Flash, разработанной zai-org и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README заявлена поддержка английского и китайского языков. Доступны варианты от BF16 до компактных IQ- и Q-квантований размером примерно от 12,71 до 59,91 ГБ. Квантизация выполнена с использованием imatrix; для ряда вариантов рекомендуется Q6_K или Q6_K_L как близкие к исходному качеству, а Q4_K_M описан как стандартный вариант для большинства сценариев с хорошим соотношением качества и размера. Архитектура, число параметров, максимальная длина контекста и мультимодальные возможности в предоставленных данных не указаны. Модель подходит для локального текстового инференса при наличии совместимого оборудования и обновлённой версии llama.cpp. Ограничения зависят от выбранного уровня квантизации: более компактные варианты экономят память, но могут заметно уступать по качеству; некоторые низкобитные варианты отмечены как низкокачественные или нерекомендуемые. Для корректной работы может потребоваться отключить Flash Attention и использовать обновлённую поддержку модели в llama.cpp. Указанная лицензия — MIT.

GLM-5.1-GGUF — набор квантизированных версий языковой модели GLM-5.1, разработанной zai-org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Поддерживаются английский и китайский языки. Модель поставляется в формате GGUF с вариантами квантизации от Q8_0 до Q2_K и IQ-серии. Размер файлов составляет примерно от 226,60 до 801,34 ГБ; некоторые варианты разделены на несколько частей. Версии с более высокой разрядностью обычно обеспечивают лучшее качество, но требуют значительно больше памяти, тогда как низкоразрядные варианты экономичнее, но заметно уступают по качеству. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q4_K_L, Q5_K_M, Q5_K_S и Q6_K. Это текстовая модель без заявленной поддержки изображений или других модальностей. Архитектура, число параметров и размер контекста в README не указаны. Квантизация выполнена с использованием imatrix и llama.cpp; для недавно поддерживаемых моделей может потребоваться обновление используемого приложения. Модель распространяется по лицензии MIT.

Qwen2.5-72B-Instruct-GPTQ-Int8 — инструкционно дообученная крупная языковая модель семейства Qwen2.5, разработанная командой Qwen, связанной с Alibaba Cloud. Это каузальная текстовая модель для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 72,7 млрд параметров, из которых 70 млрд не относятся к эмбеддингам, и построена на архитектуре Transformer с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и GQA. Она имеет 80 слоёв, 64 головы внимания для Q и 8 для KV. Модель поддерживает более 29 языков, включая английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. К сильным сторонам относятся улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. GPTQ-квантизация до 8 бит снижает требования к памяти по сравнению с исходной версией, но модель остаётся ресурсоёмкой из-за большого размера. При использовании статического YaRN производительность на коротких запросах может снижаться. Для работы рекомендуется актуальная версия Transformers; лицензия указана как Qwen с отдельным файлом условий.