I.14Автоматизация процессов и AI-агенты

Mistral-Small-Sisyphus-24b-2503-GGUF — это набор GGUF-квантизаций текстовой генеративной модели allura-org/Mistral-Small-Sisyphus-24b-2503. Исходную модель разработала allura-org, а квантизации подготовил bartowski с использованием llama.cpp и imatrix. Модель ориентирована на генерацию текста и выполнение инструкций; заявлены английский и китайский языки. Доступны варианты с разными уровнями квантизации — от Q8_0 до Q3 и IQ4, объёмом примерно от 12,4 до 25,05 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие снижают требования к оперативной памяти. Модель предназначена для локального запуска в LM Studio, llama.cpp и других совместимых проектах. Архитектура в README дополнительно не описана; размер исходной модели указан как 24B параметров, сведения о контекстном окне и мультимодальности отсутствуют. Главные преимущества — широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с популярными средствами локального инференса. Ограничения связаны с потерями качества при более агрессивной квантизации и высокими требованиями к памяти для крупных вариантов. Лицензия — Apache-2.0.

Lambent/arsenic-v1-qwen2.5-14B — объединённая разговорная языковая модель на архитектуре Qwen2, созданная Lambent с помощью mergekit и метода SLERP. В состав объединения вошли Lambent/arsenic-v0.1-dpo-qwen2.5-14B и Lambent/qwen2.5-reinstruct-alternate-lumen-14B; первая модель также связана в метаданных с вариантом Qwen2.5 Reinstruct Alternate Lumen. Размер модели — 14 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалоговой генерации текста и структурированных ответов. Автор сообщает о результате 78.0391 на EQ-Bench и 100% разбираемости ответов в своей оценке, но не приводит подробностей методики. В обучении использовались наборы данных Gutenberg и toxic-DPO, а также небольшой экспериментальный синтезированный датасет. Метка карточки предупреждает, что модель может быть не для всех аудиторий; лицензия в предоставленных данных не указана.

Badger/δ Llama 3 Instruct 32k — чат-модель семейства Llama 3, созданная автором maldv путём рекурсивной интерполяции и объединения нескольких моделей. В репозитории указано, что для неё настроен масштаб RoPE 4; автор сообщает, что ответы сохраняют связность при контексте 16–32 тыс. токенов. Метаданные указывают 7,5 млрд параметров, архитектуру LlamaForCausalLM, формат safetensors и нативный контекст 8192 токена. Модель предназначена для диалоговой генерации текста и инструктивных запросов. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 69,49, но этих результатов недостаточно, чтобы судить о качестве во всех задачах. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование; перед применением следует соблюдать её условия.

BLOOMZ-7B1-mt — многоязычная генеративная языковая модель, созданная BigScience путём дообучения BLOOM на смеси кросс-языковых задач xP3. Она предназначена для выполнения инструкций на естественном языке без отдельного дообучения под каждую задачу: модель может отвечать на вопросы, переводить, классифицировать текст и создавать связные тексты. Архитектура — плотная авторегрессионная BLOOM с 7,1 млрд параметров; модель работает с текстом, поддерживает десятки языков и имеет контекст до 2048 токенов. Среди сильных сторон — следование инструкциям и перенос между языками и задачами в режиме zero-shot. Качество ответов зависит от формулировки запроса: README рекомендует явно обозначать границу инструкции и указывать желаемый язык и контекст. Модель может продолжать входной текст вместо ответа, если запрос сформулирован неоднозначно. Распространяется по лицензии BigScience BLOOM RAIL 1.0.

calme-2.1-qwen2-72b-GGUF — это квантизированная версия дообученной языковой модели calme-2.1-qwen2-72b, разработанная и квантизированная MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и выполнение инструкций. Она распространяется в формате GGUF с вариантами квантования от 2 до 8 бит, а также 16-битной версией, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы, в том числе при локальном запуске через llama.cpp. Архитектура, модальности, поддерживаемые языки и размер контекста в README не указаны. Для взаимодействия используется шаблон ChatML. В приведённых оценках модель получила accuracy 0,6761 на TruthfulQA, 0,8248 на Winogrande, 0,7184 нормализованной accuracy на ARC-Challenge и до 0,8893 exact match на GSM8K; эти результаты характеризуют отдельные тесты и не гарантируют качество в любых прикладных сценариях. Квантизация может уменьшать требования к ресурсам, но потенциально сопровождается потерей качества по сравнению с исходной точностью. Лицензия обозначена как other; в качестве лицензии указана tongyi-qianwen, а ссылка ведёт на лицензию Qwen/Qwen2-72B-Instruct. Условия использования следует уточнять по указанному лицензионному документу.

Это GGUF-квантизация модели GLM-4.5-Air-REAP-82B-A12B, разработанной Cerebras и подготовленной пользователем bartowski. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K/IQ3 с размером файлов примерно от 39 до 90 ГБ. Обозначение модели указывает на конфигурацию 82B-A12B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в предоставленной карточке не указаны. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении размера модели. Сильная сторона этой версии — широкий выбор уровней квантования для баланса между качеством, требованиями к памяти и скоростью инференса; наиболее рекомендуемыми указаны варианты Q6_K, Q5_K, Q4_K и IQ4_XS. Ограничения включают очень высокие требования к оперативной или видеопамяти даже для компактных вариантов, а также отсутствие указанного chat template: в README отмечено, что используемый шаблон может быть неточным и требует проверки по оригинальной карточке модели. Лицензия в предоставленных данных не указана.

Chuluun-Qwen2.5-72B-v0.01-GGUF — набор GGUF-квантизаций модели Chuluun-Qwen2.5-72B-v0.01, подготовленный bartowski на базе оригинальной модели DatToad. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указан английский язык и формат диалога с ролями system, user и assistant. Модель основана на архитектуре Qwen2.5 с заявленным размером 72B параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-серии, объёмом примерно от 27,94 до 77,26 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Квантизация выполнена с использованием imatrix и llama.cpp версии b4418. Основные преимущества — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью инференса, а также поддержка локального запуска. Низкобитные варианты требуют меньше оперативной памяти, но могут заметно уступать более крупным версиям по качеству; варианты Q2 и Q3 характеризуются как низкокачественные или пригодные при ограниченных ресурсах. Сведения о контекстном окне, точных возможностях исходной модели, мультимодальности и лицензии в представленном README отсутствуют.

Codepy-Deepthink-3B — дообученная модель PrithivMLmods на базе meta-llama/Llama-3.2-3B-Instruct для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Она предназначена для диалогов, пошаговых объяснений, помощи в программировании, учебных задач и творческого письма. Модель использует плотную архитектуру Llama с 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык; формат весов — safetensors. Лицензия — CreativeML OpenRAIL-M. В README приведён пример генерации пароля, но он помечен как неприменимый, поэтому качество выполнения конкретных задач программирования по карточке подтвердить нельзя.

CrystalMistral_7b_v.04 — диалоговая языковая модель, созданная Crystalcareai слиянием моделей CrystalMistral_7b_v.01 и CrystalMistral_7b_v.02 методом SLERP с помощью LazyMergekit. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов по запросам. Модель принимает текст и выдаёт текст. Заявленная длина контекста — 32 768 токенов. В карточке не приведены сведения о поддерживаемых естественных языках или специализированных областях применения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

DeepSeek-V4.1-Flash GGUF — это набор GGUF-конвертаций и смешанных квантований базовой модели DeepSeek-V4.1-Flash, разработанной DeepSeek и квантованной smalinin. Модель предназначена для задач генерации текста и работы в экспериментальном runtime DeepSeek-V4.1 на базе специальной ветки smalinin/llama.cpp с поддержкой CUDA. Представленные файлы являются текстовыми: vision tower в них отсутствует, поэтому мультимодальный ввод изображений не поддерживается. Архитектура исходной модели обозначена как DeepseekV41ForCausalLM и включает sparse attention, hyper-connections, MoE-слои и две крупные n-gram Engram lookup tables. Доступны варианты Q2_K с Q5_K Engram размером 335,382 ГБ и эффективным 3,58 BPW, IQ3_XS с Q8_0 Engram размером 434,024 ГБ и 4,64 BPW, а также MXFP4 с Q8_0 Engram размером 507,954 ГБ и 5,43 BPW. Первый вариант лучше подходит при ограничениях по диску, оперативной памяти или совокупной памяти GPU; более крупные варианты ориентированы на сохранение качества квантования. Для работы требуется именно ветка my_build_deepseek41 из smalinin/llama.cpp и CUDA; совместимость со стандартной upstream-версией llama.cpp не заявлена. Необходимо скачать все десять сегментов выбранного варианта. Более низкий BPW может приводить к повторениям и снижению качества, поэтому варианты следует оценивать на собственных запросах. Репозиторий распространяется по лицензии MIT.

KeinNiemand/DeepSeek-V4-Flash-0731-IK_GGUF — набор смешанных по точности GGUF-квантизаций базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Квантизации созданы с использованием ik_llama.cpp и матрицы важности; модель предназначена для локального запуска задач генерации текста с уменьшенным потреблением памяти по сравнению с исходной версией. Варианты представлены в диапазоне примерно от 65,4 до 149,2 ГБ, со средней точностью от 1,841 до 4,200 бит на вес. Архитектура исходной модели включает mixture-of-experts, а маршрутизируемые тензоры MXFP4 и тензоры, полученные из FP8, квантизированы с учётом их исходного представления. Другие характеристики исходной модели, включая число параметров, поддерживаемые языки и точный размер контекста, в README не указаны; отмечено лишь наличие очень большого контекстного окна. Доступны варианты XS_IQ1_KT, IQ1_KT, IQ2_KT, IQ2_KS, IQ2_KL, IQ3_KS, IQ3_K и IQ4_KSS. Более крупные варианты обычно обеспечивают лучшее сохранение качества; среди протестированных IQ2_KL показал наилучшие значения perplexity, mean KLD и согласия top-1. IQ2_KT близок по размеру к IQ2_KS, но медленнее на CPU и при гибридном CPU/GPU-запуске. IQ3_KS, IQ3_K и IQ4_KSS в приведённых тестах не оценивались. Файлы требуют свежей сборки ik_llama.cpp с поддержкой специфичных типов тензоров IK IQK и IQT. Стандартные llama.cpp и многие приложения, включая некоторые версии LM Studio, KoboldCpp и text-generation-webui, могут их не загрузить. Необходимо явно задавать размер контекста и оставлять дополнительную память для KV-кэша и служебных буферов. Распространение указано под лицензией MIT.

DeepSeek-V4-Flash-162B-REAP-GGUF — это набор GGUF-квантизаций модели DeepSeek-V4-Flash-162B, подготовленный сообществом на основе модели 0xSero/DeepSeek-V4-Flash-162B. Модель предназначена для генерации текста и локального инференса через llama.cpp на конфигурациях с несколькими GPU. Указаны варианты Q2_K размером 56 ГБ и Q3_K_M размером 73 ГБ; для них заявлены контекст до 200K и 128K токенов соответственно при использовании Q4 KV-cache. Поддерживаемые языки — английский и китайский. Архитектура основана на DeepSeek-V4 с pruning REAP, уменьшившим исходный размер с 284B до 162B параметров. Модель использует MoE со 144 экспертами, веса экспертов в формате MXFP4 и MHC (Manifold Hyper-Connections). Вариант Q2_K на двух GPU с суммарно 96 ГБ VRAM показывает около 28–29 токенов в секунду, тогда как Q3_K_M — около 13 токенов в секунду. Для работы требуется многопроцессорная конфигурация с двумя GPU по 48 ГБ VRAM, не менее 112 ГБ оперативной памяти и дисковое пространство 56–73 ГБ. Необходима пропатченная версия llama.cpp: стандартная версия может аварийно завершаться из-за нестандартной маршрутизации экспертов REAP. В README также отмечена нестабильность варианта Q3_K_M. Модель и связанные патчи распространяются по лицензии MIT.

Zynerji/Ektome-Qwen3.8-27B-PristinelyUncensored-GPTQ-MTP — это 4-битная GPTQ-модель для генерации текста, созданная Ektomē на базе Qwen/Qwen3.8-27B. По заявлению автора, модель подверглась «weight surgery»: из языкового декодера удалено направление, связанное с отказами, без дополнительного обучения или fine-tuning. Веса упакованы в формат GPTQ с оптимизациями Marlin; 407 из 503 декодерных Linear-слоёв квантизованы, а исключённые модули оставлены в bfloat16. MTP-голова и vision tower сохранены, однако MTP-голова не квантизована и отключена по умолчанию. Модель предназначена для локального inference и сценариев генерации текста, включая программирование и другие задачи, где полезно speculative decoding с multi-token prediction. Автор сообщает о приросте скорости при включении MTP до 35% на коротких запросах, 30% при batch 8 и 63% на глубоком кодировании, но результаты получены на RTX PRO 6000 Blackwell и не гарантируют аналогичную производительность на другом оборудовании. Размер весов составляет около 17,7 GiB, поэтому модель рассчитана на видеокарты с 24 ГБ памяти с доступным пространством для KV-cache. Для загрузки требуется vLLM или SGLang; стандартный transformers эту конфигурацию не поддерживает. На Python 3.11 может потребоваться удалить flashinfer-python либо использовать Python 3.12. Максимальный контекст именно этой сборки в README не указан. Измерения на тестах автора показывают сохранение базовых возможностей после редактирования, но не подтверждают улучшение качества; speculative decoding также дал не полностью идентичные результаты в одном из тестов. Лицензия — Apache-2.0.

Qwythos-9B-v2-GGUF — это квантизированная версия языковой модели Qwythos-9B-v2, разработанной Empero AI. Представлена в формате GGUF и подготовлена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и задач, требующих рассуждений; в метаданных также указаны поддержка английского языка, long-context и uncensored-настройка. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах точности: от bf16 и Q8_0 до более компактных Q2–Q6 и IQ-квантов. Размер файлов составляет примерно от 5,1 до 18,4 ГБ. Квантование позволяет запускать модель локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты, выбирая компромисс между качеством и требованиями к памяти. Точная архитектура, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным это текстовая модель без заявленной поддержки изображений, аудио или видео. Сильные стороны модели — локальный запуск, широкий выбор квантов и возможность подобрать вариант под доступный объём RAM или VRAM. Более высокие варианты, включая Q6_K_L, Q6_K, Q5 и Q4_K_M, ориентированы на сохранение качества, тогда как Q3 и Q2 подходят для систем с ограниченными ресурсами, но дают более низкое качество. Модель распространяется по лицензии Apache-2.0.

EVA-Yi-1.5-9B-32K-V1-GGUF — это набор GGUF-квантизованных версий языковой модели EVA-Yi-1.5-9B-32K-V1, разработанной EVA-UNIT-01 и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. В README указана поддержка контекста до 32K токенов; сведения о языках и мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. В набор входят варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций размером примерно от 3,6 до 17,7 ГБ. Квантизации выполнены с использованием imatrix на базе llama.cpp, что позволяет выбирать между качеством ответов, требованиями к памяти и скоростью инференса. В README наиболее качественными и рекомендуемыми названы варианты Q5–Q6, а Q4 — как компромисс для ограниченных ресурсов; низкобитные варианты экономичнее, но могут заметно терять в качестве. Для некоторых Q4-вариантов предусмотрена оптимизация под ARM с требованиями к аппаратным расширениям. Используется лицензия Apache-2.0.

EXAONE-3.5-2.4B-Instruct-GGUF — двуязычная инструкционно дообученная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста и диалоговых сценариев на английском и корейском языках, включая запуск на небольших устройствах и системах с ограниченными ресурсами. Модель представлена в формате GGUF и рассчитана на инференс с использованием llama.cpp, а также может применяться через TensorRT-LLM, vLLM, SGLang и Ollama. Модель содержит 2,14 млрд параметров без учёта эмбеддингов, 30 слоёв и использует Grouped-Query Attention с 32 Q-heads и 8 KV-heads. Размер словаря составляет 102 400 токенов, максимальная длина контекста — 32 768 токенов. Доступны варианты квантования Q8_0, Q6_0, Q5_K_M, Q4_K_M и IQ4_XS, а также веса BF16. К сильным сторонам относятся компактный размер, поддержка длинного контекста и оптимизация для ресурсоограниченного развёртывания. Модель может генерировать некорректные, устаревшие, предвзятые или потенциально неподходящие ответы и не гарантирует отражение актуальной информации или позиции LG AI Research. Лицензия — EXAONE AI Model License Agreement 1.1 - NC; условия следует уточнять в прилагаемом файле LICENSE.

MaziyarPanahi/Experiment26Yam_YamYam — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/Experiment26Yam-7B и automerger/YamYam-7B. Модель содержит 7,1 млрд параметров и принимает текстовые запросы для генерации текста; заявленная длина контекста — до 32 768 токенов. Модель подходит для генерации продолжений и ответов на текстовые запросы, а также для диалоговых сценариев на её основе. В репозитории размещены веса в формате Safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/Experiment28M7_Experiment26Experiment26 — объединённая модель для генерации текста, созданная на основе automerger/Experiment28M7-7B и automerger/Experiment26Experiment26-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, принимающая текст и поддерживающая контекст до 32 768 токенов. Модель предназначена для генерации продолжений текста и ответов на текстовые запросы. Карточка не описывает специализацию по языкам или предметным областям, поэтому её следует рассматривать как модель общего назначения. Весовые файлы представлены в формате safetensors; лицензия — Apache-2.0.

Experiment28M7_Experiment29Pastiche — объединённая модель для генерации текста, созданная путём слияния automerger/Experiment28M7-7B и automerger/Experiment29Pastiche-7B. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Веса представлены в формате Safetensors. Лицензия — Apache-2.0.

FlexOlmo-7x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это модель типа Mixture-of-Experts: в ней объединены семь независимо обученных экспертов для публичных данных, новостей, математики, кода, академических текстов, творческого письма и публикаций Reddit. Общий размер указан в карточке как 6,9 млрд параметров, а в README — как 33 млрд; README также сообщает, что публичный эксперт обучен на 1 трлн токенов, а остальные получены его дообучением на отдельных корпусах. Маршрутизатор экспертов не обучен. Модель предназначена для генерации текста и диалогового применения, в том числе для задач, связанных с перечисленными тематическими корпусами. Поддерживает английский язык, работает с текстом и имеет контекст до 4096 токенов. Для запуска README рекомендует Transformers версии 4.57.0 или новее. Репозиторий распространяется под лицензией Apache-2.0. В README приведены результаты оценки по ряду языковых и тематических бенчмарков, однако они относятся к отдельным плотным моделям, а не обязательно к этому MoE-чекпойнту. Отсутствие обученного маршрутизатора ограничивает выводы о фактическом выборе экспертов и качестве итоговой модели.

Gemma-2-27B-it-SimPO-37K-100steps-GGUF — набор GGUF-квантизаций модели AALF/gemma-2-27b-it-SimPO-37K-100steps, подготовленный пользователем bartowski с помощью llama.cpp и imatrix. Это текстовая instruction-tuned модель для генерации ответов по запросам, диалога и других задач обработки текста; запуск предусмотрен через llama.cpp и совместимые приложения, включая LM Studio. Модель имеет заявленный размер 27 млрд параметров и поставляется в вариантах от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Более точные варианты обеспечивают лучшее сохранение качества, но требуют больше памяти; компактные варианты подходят для систем с ограниченным объёмом RAM, при этом качество снижается. Для ARM доступны специальные варианты Q4_0, требующие поддержки соответствующих инструкций процессора. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и результаты оценивания. К сильным сторонам относятся широкий выбор размеров файлов, возможность локального запуска и применение imatrix-квантования, а также наличие высококачественных вариантов Q6_K_L и Q6_K. Ограничения связаны с существенными требованиями к памяти у крупных вариантов и неизбежной потерей качества при сильном квантовании; сравнительные показатели и область наилучшего применения не приведены. Модель распространяется по лицензии Gemma.

Gemma-2-9b-it-4bit — языковая модель семейства Gemma 2, разработанная Google и доработанная сообществом mlx-community для формата MLX. Модель преобразована из google/gemma-2-9b-it с использованием mlx-lm версии 0.15.0 и предназначена для запуска в экосистеме MLX. Это instruction-tuned модель для генерации текста и диалоговых сценариев: она может использоваться для ответов на запросы, ведения беседы и других задач, связанных с обработкой и созданием текста. В карточке указано обозначение размера 9B, а также 4-битное квантование, которое снижает требования к памяти по сравнению с полноточным представлением. Поддерживаются библиотека transformers как метаданные и библиотека mlx-lm для загрузки и генерации. README не содержит сведений о поддерживаемых языках, длине контекста, результатах тестирования, точных архитектурных характеристиках, сильных сторонах или ограничениях качества. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; конкретные условия следует проверять в тексте этой лицензии.

princeton-nlp/gemma-2-9b-it-DPO — авторская DPO-версия Gemma 2, дообученная командой Yu Meng, Mengzhou Xia и Danqi Chen из Princeton NLP на наборе предпочтений princeton-nlp/gemma2-ultrafeedback-armorm. Это плотная причинная языковая модель на 9 млрд параметров для диалога и генерации текста; она принимает текстовые запросы и выдаёт текстовые ответы. Контекст модели составляет 8192 токена. Модель основана на google/gemma-2-9b-it и использует лицензию Gemma. DPO-настройка предназначена для улучшения соответствия ответов предпочтениям людей. Модель подходит для диалоговых помощников, ответов на вопросы, написания и редактирования текста, а также суммаризации. В опубликованной таблице оценок она превосходит базовую Gemma 2 9B IT по ряду показателей, включая AE2 и AlpacaEval 2, но результаты зависят от набора данных и протокола оценки. Для запуска доступны веса в формате safetensors; метаданные указывают поддержку Transformers и интерфейс диалога. Следует учитывать, что модель унаследовала ограничения базовой Gemma и может выдавать неточные или предвзятые ответы; README не приводит отдельного перечня таких ограничений.

MaziyarPanahi/gemma-3-4b-it-GGUF — набор файлов модели в формате GGUF для Google Gemma 3 4B Instruct, разработанной Google и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие инструменты экосистемы GGUF. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит. Формат GGUF разработан командой llama.cpp как замена устаревшему GGML и поддерживает запуск с ускорением на GPU, а в некоторых инструментах — совместимые API и интеграцию с фреймворками. Эти варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако README не содержит точных сведений об архитектуре, контекстном окне, языках, модальностях и характеристиках производительности модели. Основные преимущества — возможность локального развертывания, широкий выбор уровней квантизации и поддержка несколькими популярными клиентами. Ограничения связаны с потерями качества, возможными при квантизации, а также зависимостью от конкретного рантайма и аппаратной конфигурации. Лицензия в README не указана.

jenerallee78/gemma-4-26B-A4B-it-ara-abliterated — мультимодальная instruction-tuned модель, созданная на базе Google Gemma 4 26B-A4B-IT с применением метода Adaptive Refusal Abliteration (ARA). Разработчик заявляет, что модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями; в метаданных указан английский язык. Это модификация с ослабленными встроенными ограничениями на отказы, поэтому её применение требует самостоятельной оценки безопасности. Модель использует MoE-архитектуру со 128 экспертами и 8 активными экспертами на токен, примерно 4 млрд активных параметров на токен, 30 слоями и контекстом до 262 144 токенов. Она поддерживает мультимодальный ввод благодаря vision encoder на базе SigLIP; каждое изображение преобразуется примерно в 280 soft tokens. Доступны варианты BF16 SafeTensors и GGUF для Transformers, vLLM, SGLang и llama.cpp, а также смешанная 4-битная MLX-квантизация для Apple Silicon. Размеры файлов составляют около 48 ГБ для BF16, 20 ГБ для Q5_K_M GGUF и 15 ГБ для MLX-варианта. По приведённым автором результатам, на наборе из 507 тестовых вредоносных запросов доля отказов составила 7,7%, средняя оценка качества соблюдения запроса — 4,6 из 5, а KL-дивергенция относительно базовой модели — 0,1299. Эти показатели относятся к заявленной методике и конкретным бенчмаркам и не гарантируют аналогичное поведение в других условиях. Модель распространяется по лицензии Apache 2.0.

GLM-5.3-Flash-UNCENSORED-GGUF — мультимодальная модель семейства GLM, разработанная на основе архитектуры Zhipu AI / ZAI. Некензурированные веса предоставлены dealignai, а GGUF-квантизация и мультимодальный релиз выполнены Solstice-AI. Модель предназначена для генерации и понимания текста, анализа изображений и видео, а также запуска через llama.cpp и совместимые инструменты. В качестве базовой модели указана dealignai/GLM-5.3-Flash-UNCENSORED-FP8. Релиз включает мультимодальный проектор mmproj-BF16.gguf размером 1,11 ГБ с Vision Transformer и временным и пространственным объединением патчей. Поддерживаются английский и китайский языки; заявлены модальности текста, изображений и видео. Для работы указан контекст до 131 072 токенов. В комплект также входят веса DFlash 2 для speculative decoding, позволяющие ускорить генерацию при использовании совместимой конфигурации. Доступны варианты GGUF-квантизации, включая Q4_K_M и Q8_0, а также BF16-компоненты. Сильными сторонами модели являются мультимодальный анализ, поддержка видео, большой контекст, интеграция с llama.cpp и возможность ускорения вывода посредством speculative decoding. Ограничения связаны с необходимостью отдельного мультимодального проектора, совместимого рантайма и, вероятно, значительных вычислительных ресурсов; конкретные требования к памяти и производительности в README не указаны. Модель распространяется по лицензии MIT.

Huihui-Qwen3.5-9B-abliterated-GGUF — набор файлов модели в формате GGUF, созданный на основе huihui-ai/Huihui-Qwen3.5-9B-abliterated и опубликованный Abiray. Модель предназначена для локального запуска и генерации текста в совместимых приложениях, включая LM Studio, Ollama, Jan, text-generation-webui и llama.cpp. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q4_K_S до Q8_0 с размером файлов примерно от 5,1 до 9,6 ГБ. Рекомендуемый вариант Q4_K_M обеспечивает баланс между скоростью, потреблением памяти, размером и сохранением качества рассуждений; более высокие уровни квантования требуют больше RAM или VRAM и дают качество, близкое к исходной модели F16. README не содержит сведений о точном контекстном окне, поддерживаемых языках, модальностях, лицензии и конкретной архитектуре, поэтому эти характеристики нельзя уточнить.

Huihui-Qwen3.5-9B-abliterated-GPTQ-Pro-4bit-g64 — это квантизированный GPTQ-Pro чекпойнт, опубликованный groxaxo на базе huihui-ai/Huihui-Qwen3.5-9B-abliterated. Модель предназначена для генерации текста, локального или размещённого инференса, открытой оценки и воспроизводимых экспериментов. README указывает англоязычную конфигурацию и совместимость с Transformers, GPTQModel и vLLM при поддержке соответствующего формата и архитектуры. Модель содержит около 9 миллиардов параметров в 4-битном представлении GPTQ-Pro с размером группы 64. Для квантизации использовались 128 калибровочных образцов. По сравнению с исходной моделью заявлены близкие показатели языкового моделирования: perplexity на Wikitext-2 составляет 9,6579 против 9,5234 у оригинала, средняя деградация — 1,41%, KL-дивергенция — 0,03423, совпадение наиболее вероятного следующего токена — 91,96%, а совпадение в топ-5 — 99,98%. Квантизация должна заметно снизить потребление памяти, однако фактические требования зависят от длины контекста, размера кэша, параллелизма и аппаратной конфигурации. Сильной стороной модели является сохранение поведения исходного чекпойнта при более эффективном использовании памяти. Ограничения включают возможное изменение числового поведения, качества и пропускной способности после квантизации, а также необходимость проверять результаты на собственных задачах. Название базовой модели указывает на модифицированную или сниженную фильтрацию, но README не гарантирует одинаковое поведение для всех запросов. Лицензия обозначена как other; для условий использования и распространения необходимо изучить карточку базовой модели. Мультимодальность и размер контекста в README не указаны.

Hy3-heretic — разговорная модель генерации текста на архитектуре HY-V3 с mixture-of-experts, представленная пользователем trohrbaugh. По метаданным, модель содержит 16,6 млрд параметров и поддерживает контекст до 262 144 токенов; формат весов — safetensors, лицензия — Apache-2.0. Она предназначена для диалогов и генерации ответов с ослабленным отказом: в README приведено сравнение, где вариант Hy3-heretic отказал в 1 из 100 запросов против 99 из 100 у исходной модели. Модель можно применять для общения, ответов на запросы и других сценариев генерации текста. Карточка описывает метод abliteration и сообщает о KL divergence 0,2398 относительно исходной модели. README также содержит общие сведения о Hy3 от команды Tencent Hy, включая заявленные возможности для рассуждений, работы с длинным контекстом, программирования и агентных сценариев; эти характеристики относятся к семейству Hy3 и не подтверждены отдельно для данного варианта. В карточке указана лицензия Apache-2.0.

djuna/L3.1-Purosani-2-8B — объединённая плотная языковая модель семейства Llama, созданная разработчиком djuna с помощью mergekit. В качестве основы использована unsloth/Meta-Llama-3.1-8B; слияние выполнено методом della_linear с включением нескольких моделей для инструкционного диалога, длинных ответов и других сценариев генерации текста. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст, выдавая текст. Метаданные указывают контекст до 131 072 токенов и поддержку чата. Она подходит для диалоговых ассистентов и генерации развернутых ответов. В README приведены результаты оценок Open LLM Leaderboard, включая средний балл 22,85 и IFEval 49,88; эти показатели не гарантируют качество в конкретном приложении. Языки и предметные области отдельно не заявлены. Лицензия в предоставленных данных не указана.