II.10Разработка и эксплуатация AI/ML-систем

Qwen2-VL-7B-Instruct-GGUF — мультимодальная instruction-модель семейства Qwen, разработанная командой Qwen и представленная в GGUF-квантизации bartowski на основе llama.cpp. Модель основана на Qwen2-VL-7B-Instruct и предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений различного разрешения и соотношения сторон, визуального вопросно-ответного взаимодействия, мультимодального рассуждения и сценариев агентской автоматизации, где требуется интерпретация визуальной информации. Заявлена поддержка нескольких языков и контекста до 32K токенов. Размер базовой модели — 7B параметров; точные характеристики конкретного уровня квантизации в README не указаны. К сильным сторонам относятся сочетание языкового и визуального понимания, способность обрабатывать изображения разных форматов и поддержка длинного контекста. Ограничения включают возможные неточности, неподходящие или вредоносные ответы, характерные для генеративных моделей; конкретные ограничения качества и производительности для выбранной квантизации не описаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели histakes/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored на Hugging Face совпадает с карточкой DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored, поэтому описание составлено по ней. DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored — текстовая MoE-модель для генерации ответов и творческого письма. По карточке автора, это объединение 12 дистиллированных моделей Qwen3 по 4 млрд параметров, включая модели с рассуждением; пользователь может выбирать экспертов, указывая их имена в запросе. В метаданных указаны архитектура Qwen3 MoE, 3,7 млрд параметров, библиотека Transformers и контекст до 262 144 токенов; автор заявляет об активации двух экспертов по умолчанию и возможности задействовать до 12. Модель предназначена для диалогов, рассуждений, математики, программирования и создания художественных текстов, в том числе хоррора и романтики. Сильная сторона — переключение между экспертами для разных запросов; результат и скорость зависят от выбранных экспертов и их числа. Автор предупреждает, что модели нужно явно задавать желаемый стиль и уровень откровенности, а чрезмерное квантование может заметно ухудшить работу. По README, модель аблитерирована для уменьшения отказов и рассчитана на генерацию откровенного, в том числе NSFW-контента. Лицензия в метаданных — Apache-2.0.

ZuzeTt/Qwen3-4B-Thinking-2507-Heretic-Imatrix-GGUF — это GGUF-квантизации модели Qwen3-4B-Thinking-2507-Heretic, созданной becnic на основе Qwen3-4B-Thinking-2507. Репозиторий подготовлен ZuzeTt с использованием llama.cpp версии b7120 и предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к каузальным языковым моделям для генерации текста и задач рассуждения. Она содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к embedding, и имеет 36 слоёв. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Доступны варианты от f16 до Q2_K размером примерно от 1,67 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ключевая особенность — модификация Heretic с применением abliteration. По приведённому сравнению, модель демонстрирует 6 отказов из 100 против 96 из 100 у исходной Qwen3-4B-Thinking-2507, при KL-дивергенции 0,06 относительно оригинала. Это может расширять применимость модели к запросам, которые исходная версия чаще отклоняет, но также повышает риск нежелательной или небезопасной генерации. В README не указаны размер контекста, результаты комплексных бенчмарков, мультимодальные возможности и подробные рекомендации по аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-4B-NVFP4-GGUF — квантованная сборка мультимодальной модели Qwen3.5-4B, опубликованная FreedomAISVR. Веса представлены в формате GGUF с квантизацией NVFP4; для понимания изображений в репозитории также есть проектор mmproj в F16. Модель основана на Qwen/Qwen3.5-4B и использует гибридную архитектуру Gated DeltaNet и Gated Attention. Карточка заявляет контекст до 262 144 токенов и поддержку 201 языка. Модель предназначена для диалога и генерации текста, а при использовании вместе с проектором — для описания изображений и ответов на вопросы по ним. NVFP4 ориентирован на ускорение на видеокартах NVIDIA Blackwell; карточка рекомендует другие форматы для более старых GPU и CPU. Заявленные характеристики производительности и сохранения качества относятся к описанию автора и не сопровождаются в карточке результатами независимой оценки. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели VasyaIT/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED на Hugging Face совпадает с карточкой DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED, поэтому описание составлено по ней. DavidAU собрал эту мультимодальную модель на базе Qwen3.5-9B-heretic-v2: автор сообщает о дообучении через Unsloth на дистиллированном наборе рассуждений Claude 4.6. Модель принимает текст и изображения и генерирует текст; карточка заявляет поддержку vision и диалогового режима. В README указаны 9 млрд параметров, архитектура Qwen3.5 с языковой моделью и vision encoder, а также контекст 262 144 токена с возможностью расширения. Заявленная основная область применения — рассуждения, диалог и анализ изображений; автор также приводит результаты на нескольких тестах и сообщает о снижении отказов. README рекомендует квантизацию не ниже Q4_K_S или IQ3_S с imatrix. Видео не тестировалось. Указанные языки карточки — английский и китайский; более широкая языковая поддержка описана для исходной модели Qwen3.5, но отдельно для этого дообучения не подтверждена. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизация текстовой модели Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop. Квантизации подготовлены пользователем larue316 на основе модели DavidAU с использованием llama.cpp b9192. Модель имеет около 12 млрд параметров и ориентирована на генерацию текста с поддержкой рассуждений; заявленные языки — английский и китайский. Модель предназначена для локального запуска и использования в совместимых движках вывода, включая LM Studio, llama.cpp, Ollama и другие системы с поддержкой GGUF. Доступны варианты квантизации от Q8_0 размером 11,57 ГБ до Q2_K размером 4,60 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В README отдельно отмечен вариант Q4_K_M как оптимальный баланс качества и размера. К сильным сторонам относятся широкий выбор квантизаций и возможность локального использования без исходной полноразмерной модели. Ограничения связаны с потерями качества, зависящими от выбранного уровня квантизации; для наиболее компактных вариантов качество указано как приемлемое или минимально пригодное. Архитектура, размер контекстного окна, мультимодальные возможности и точные характеристики обучения в README не указаны. Лицензия модели — Apache 2.0.

MLX-версия языковой модели Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, разработанная на основе модели AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 и конвертированная в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации и продолжения текста, диалоговых приложений и локального запуска на устройствах, поддерживающих MLX. Модель имеет около 27 млрд параметров и представлена в 8-битном формате MLX; исходная модель использует BF16. В метаданных указаны архитектурные компоненты hybrid attention, Mamba и gated-deltanet, а также поддержка английского, китайского и мультиязычного текста. Длина контекста в README не указана. Для работы требуется библиотека mlx-lm и совместимое с MLX окружение. К сильным сторонам относятся крупный размер, оптимизация для экосистемы MLX и возможность локального использования. Ограничения включают отсутствие данных о качестве на конкретных тестах, производительности, точном наборе поддерживаемых языков и размере контекста. Модель помечена как abliterated и uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности; это следует учитывать при практическом применении. Лицензия — Apache 2.0.

LuffyTheFox/Qwen3.6-27B-Uncensored-Genesis-MTP-GGUF — мультимодальная локальная модель семейства Qwen3.6, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive. Автор применяет собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения или дообучения, стремясь уменьшить шум в тензорах и повысить стабильность генерации. Базовая модель связана с Tongyi Lab команды Alibaba Group, однако сведения о точном авторстве исходной архитектуры в README ограничены. Модель предназначена прежде всего для локального использования, включая программирование и работу в LM Studio с агентом Bionic. Она поддерживает текст, изображения и видео; для работы с изображениями требуется отдельный файл mmproj. Заявлены языки English, Chinese и многоязычная поддержка. Модель содержит 27 млрд плотных параметров, 64 слоя, 48 слоёв линейного внимания и 16 слоёв полноформатного gated attention. Нативный контекст составляет 262 тысячи токенов и может быть расширен примерно до 1 млн с помощью YaRN. К сильным сторонам относятся большой контекст, мультимодальность, ориентация на локальный запуск и заявленная автором коррекция деградации весов. При этом README не содержит независимых результатов тестирования, поэтому преимущества Genesis над исходной моделью нельзя считать подтверждёнными. Для запуска рекомендуется квантование Q3_K_M при наличии около 16 ГБ VRAM или Q4_K_M при 24 ГБ VRAM, максимальная выгрузка на GPU и F16 для K/V cache. Модель обозначена как uncensored, поэтому её поведение и защитные ограничения могут отличаться от стандартных версий Qwen. Указана лицензия Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-mxfp4-vision-mtplx — независимая community-конверсия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 в формат MLX, выполненная Shiftedx. Это неофициальный релиз AEON-7 или Qwen. Модель предназначена для генерации текста и обработки изображений, включая сценарии image-text-to-text, локальный запуск на устройствах Apple через MLX и ускоренное декодирование с помощью MTPLX. Модель использует плотную архитектуру семейства Qwen3.5 с гибридными механизмами attention/GDN и 64 языковыми слоями. Языковая часть квантизирована в MXFP4, 4 бита, group size 32; 333 исходных BF16-тензора vision-компонента сохранены, а patch embedding адаптирован к осям MLX. Заявленный размер индексированного артефакта — 14,98 GiB, настроенный контекст — до 262 144 токенов. Сохраняются токенизатор, chat template, processor metadata и происхождение лицензии Apache-2.0. В состав также входят 15 BF16-тензоров для multi-token prediction; на эталонном Apple M4 Max с 64 ГБ unified memory выбранная конфигурация D2 показала медианную скорость декодирования 45,61 токена в секунду, однако результаты зависят от оборудования, промпта, контекста и версии MTPLX. К сильным сторонам относятся поддержка текста и изображений, большой контекст, компактное 4-битное представление и возможность ускоренного инференса с MTPLX. Ограничения включают экспериментальный статус, неполную квалификацию заявленного контекста и зависимость производительности от локальной конфигурации. Это аблированный, намеренно несогласованный checkpoint: он может генерировать небезопасные или незаконные материалы, поэтому операторы несут ответственность за модерацию, контроль доступа, журналирование и человеческую проверку. Модель распространяется по лицензии Apache-2.0, при этом перед использованием следует учитывать предупреждения исходной модели.

vumpt/Qwen3.8-Flash-Next-GGUF — это GGUF-конверсия экспериментальной гибридной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для запуска и инференса через llama.cpp; заявленные сценарии включают обработку текста, а также задач image-text-to-text. Исходные веса имеют формат BF16, а представленная версия использует квантизацию Q4_K_M и занимает около 120 ГБ. Архитектура сочетает Gated DeltaNet, Qwen Sparse Attention, разреженную MoE-структуру с 512 экспертами и таблицу n-граммных эмбеддингов PLE. Всего модель содержит около 125 млрд параметров MoE, из которых активно используется около 6 млрд, дополнительно 51 млрд параметров приходится на n-граммную таблицу и 4 млрд — на MTP; суммарно заявлено около 180 млрд параметров. Эксперты, attention и FFN преимущественно квантизированы в Q4_K_M, эмбеддинги и выходной слой — в Q6_K, а таблица PLE — в Q5_0. Сильной стороной модели является сочетание крупной общей ёмкости с малым числом активных MoE-параметров, что потенциально снижает вычислительную нагрузку при сохранении возможностей большой модели. Основное ограничение — экспериментальная архитектура поддерживается только специальной веткой llama.cpp, связанной с PR #27742; актуальная основная ветка на момент публикации её не загружает. Языки и размер контекстного окна в README не указаны. Лицензия обозначена как qwen-community-1.0.

logic65/Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF — это квантизированная GGUF-версия модели Whittle MoE 27B (A18B), разработанной logic65 на основе Qwen3.8-27B. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, где важны рассуждения, структурированные ответы и корректное завершение генерации. Доступны варианты с разным уровнем квантизации от Q8_0 до Q3_K_M; размер файлов составляет примерно от 13,9 до 28,7 ГБ в зависимости от версии. Архитектура использует mixture-of-experts: на каждом токене активируется 16 из 64 экспертных блоков, а маршрутизатор сохраняется в формате F16. Точные поддерживаемые языки и размер контекста в README не указаны. К сильным сторонам относятся улучшенное завершение ответов и цепочек рассуждений, снижение риска зацикливания и обрыва генерации, а также наличие динамических квантизаций DQ, которые сохраняют повышенную точность для маршрутизатора, общих экспертов, механизма внимания, эмбеддингов и выходной головы. Версия v2.2.1 исправляет большинство случаев завершения внутри блока рассуждений, однако модель по-прежнему слаба в длинных списках и точном подсчёте заданного количества элементов; повторение 4-грамм остаётся выше целевого уровня. Для использования визуальных входов предусмотрен отдельный опциональный проектор mmproj-qwen38.gguf, но полноценные возможности и поддерживаемые модальности в README описаны неполно. Модель распространяется по лицензии Apache-2.0. Для запуска требуются совместимые инструменты GGUF, например llama.cpp, и объём оперативной или видеопамяти, зависящий от выбранного варианта квантизации; рекомендуемые требования для отдельных файлов приведены в карточке модели.

Qwen3-Swallow-8B-CPT-v0.2 — плотная авторегрессионная языковая модель на 7,6 млрд параметров из семейства Qwen3, разработанная проектом Swallow при Токийском технологическом институте. Это версия после непрерывного предварительного обучения (CPT) на базе Qwen3; веса доступны в формате safetensors по лицензии Apache-2.0. Модель рассчитана на генерацию текста и диалог на японском и английском языках, включая перевод между ними, а также задачи математики и программирования. Обучение включало японские и англоязычные корпуса, параллельные тексты, математические и кодовые данные, а также материалы для диалога и рассуждений. Контекст модели заявлен до 40 960 токенов; разработчики рекомендуют ограничивать длину контекста 32 768 токенами или меньше. Модель предназначена для экспериментов и приложений, которым нужна двуязычная японско-английская генерация с навыками работы с кодом и математикой. Она не обучена специально для вызова инструментов, а переключение режима рассуждений не поддерживается. Разработчики отмечают, что модель находится на раннем этапе разработки и не настроена для надёжного соответствия человеческим намерениям и требованиям безопасности.

Gilgamesh-72B-GGUF — это GGUF-квантизация языковой модели Gilgamesh-72B, разработанной rubenroy и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, чат-взаимодействия и разговорных сценариев. В метаданных она связана с архитектурой Qwen2 и обучалась с использованием наборов данных GammaCorpus-v2-5m, GammaCorpus-CoT-Math-170k и GammaCorpus-Fact-QA-450k. Заявленный язык — английский. Модель имеет 72 миллиарда параметров и доступна в вариантах квантизации от Q8_0 до Q2 и IQ-квантов, с размером файлов примерно от 27 до 77 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q6_K обеспечивает качество, близкое к исходному, а Q4_K_M представляет компромисс между качеством и требованиями к памяти. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Длина контекста в README не указана, мультимодальность не заявлена. Для работы следует использовать формат prompt с ролями system, user и assistant, совместимый с шаблоном Qwen. Модель распространяется по лицензии, обозначенной как other, с указанием лицензии Qwen и ссылкой на лицензию Qwen2.5-72B-Instruct. Конкретные условия лицензии исходной модели необходимо проверить отдельно.

Seraph-openchat-3.5-1210-Slerp — текстовая генеративная модель на архитектуре Mistral, созданная Weyaxi слиянием моделей через mergekit и метод Slerp. В конфигурации указаны Weyaxi/Seraph-7B и openchat/openchat-3.5-1210; базовой моделью названа mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества или детальных результатов тестирования.

Stylizer-V2-LLaMa-70B — объединённая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit и метода SCE. Основой слияния послужила huihui-ai/Llama-3.3-70B-Instruct-abliterated; также объединены модели Nemotron, Euryale, Hermes и Negative LLAMA. Модель содержит 69,5 млрд параметров и рассчитана на генерацию текста и диалоги. Метаданные указывают контекст длиной до 131072 токенов и библиотеку Transformers. Модель принимает текст и выдаёт текст; карточка не описывает более узкую специализацию или гарантированные преимущества по сравнению с исходными моделями. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Ternary Bonsai 2 27B MLX 2-bit — мультимодальная модель Prism ML на архитектуре Qwen3.8-27B, упакованная для инференса в MLX с поддержкой signed-Hadamard-преобразований. Репозиторий сохраняет исходные упакованные 2-битные веса, модуль обработки изображений, токенизатор и шаблон диалога модели Prism ML. Модель принимает текст и изображения и формирует текстовые ответы. Она предназначена для диалога по тексту и изображениям, рассуждений и вызова инструментов через шаблон модели и совместимый парсер. Заявленная длина контекста — 262 144 токена; практически доступная длина зависит от оборудования и политики сервинга. Для запуска нужны преобразования signed-Hadamard: веса нельзя загружать как обычный Qwen с аффинной 2-битной квантизацией или без изменений преобразовывать в BF16. Поддержка в нескольких рантаймах проходит проверку; гарантий производительности в продакшене нет. Лицензия — Apache-2.0.

ABrunsch/Unlimited-OCR-repacked — перепакованная копия мультимодальной модели Unlimited-OCR, разработанной Baidu. По README, веса соответствуют оригинальной версии; отличие репозитория — разбиение Safetensors на четыре файла для хранения и передачи. Модель предназначена для распознавания текста и разбора длинных документов по изображениям; README также описывает преобразование PDF-страниц в изображения для подачи модели. Архитектура — плотная UnlimitedOCRForCausalLM с 559,7 млн параметров и контекстом 32 768 токенов. Модель работает с изображениями и текстом, заявлена как мультиязычная. Метаданные указывают задачи image-text-to-text и text-generation; для сценария OCR основная задача — image-text-to-text. Репозиторий использует Transformers и формат Safetensors. Лицензия — MIT. Для запуска README приводит GPU-ориентированные варианты Transformers, vLLM и SGLang.

UTC-DeBERTa-base — модель универсальной классификации токенов от Knowledgator, основанная на DeBERTaV3-base и дообученная на нескольких задачах классификации токенов, включая задачи, которые можно представить в таком формате. Архитектура — DeBERTa-v2 для классификации токенов; модель содержит 211,6 млн параметров и обрабатывает до 512 токенов за контекст. Она работает с текстом на английском языке. Модель предназначена для извлечения сущностей и другой информации из текста. Карточка описывает сценарии распознавания именованных сущностей с нулевым обучением, ответов на вопросы, извлечения отношений, разрешения кореференции, очистки и суммаризации текста. Авторы приводят результаты оценки на CrossNER для областей ИИ, литературы, музыки, политики и науки. Модель доступна в формате PyTorch через библиотеку Transformers, а для распознавания сущностей авторы рекомендуют pipeline `ner`. Лицензия — Apache-2.0. README не уточняет ограничения сверх длины контекста и английского языка, указанных в метаданных.

Vigogne 2 7B Instruct — языковая модель на архитектуре Llama, разработанная bofenghuang и опубликованная в формате GGUF с квантованием TheBloke. Это 7-миллиардная instruct-модель, предназначенная для генерации текста и выполнения пользовательских инструкций в диалоговых и прикладных сценариях. В метаданных указан французский язык; сведения о поддерживаемых дополнительных языках и длине контекста не приведены. Модель подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие инструменты с поддержкой GGUF. Формат поддерживает метаданные и специальные токены, а варианты квантования от 2 до 8 бит позволяют выбирать компромисс между размером файлов, требованиями к памяти и сохранением качества. Модель поддерживает CPU- и GPU-инференс в зависимости от используемого программного обеспечения и конфигурации. Ключевое ограничение — README не содержит результатов оценки качества, подробностей обучения, точного контекстного окна и характеристик отдельных квантованных вариантов, поэтому производительность в конкретных задачах определить нельзя. Для использования следует применять шаблон запросов Alpaca, указанный для модели. Лицензия обозначена как llama2; исходная неквантованная версия доступна отдельно в формате PyTorch.

XLM-Align — предобученная многоязычная модель на архитектуре XLM-RoBERTa, представленная авторами исследования ACL 2021 «Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment». Она использует саморазмеченное выравнивание слов для улучшения межъязыковых представлений и поддерживает 94 языка. Модель содержит 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Модель подходит для заполнения пропусков в тексте и как основа для межъязычных задач понимания языка, включая распознавание именованных сущностей, разметку частей речи и ответы на вопросы. В приведённой оценке XTREME XLM-Align превосходит XLM-R_base по среднему результату и по всем перечисленным задачам. Доступный формат — PyTorch; лицензия в предоставленных данных не указана.

YamshadowStrangemerges_32_Strangemerges_32M7 — объединённая модель на архитектуре Mistral, созданная из automerger/YamshadowStrangemerges_32-7B и automerger/Strangemerges_32M7-7B. Репозиторий указывает на слияние этих моделей; число параметров составляет 7,1 млрд, формат весов — safetensors, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалога. Она принимает текстовые запросы и выдаёт текст. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает специальные предметные области или дополнительные возможности модели.

ZeproSolar-2x7B — разговорная языковая модель Ionio-ai, созданная с помощью MergeKit путём объединения HuggingFaceH4/zephyr-7b-alpha и NousResearch/Nous-Hermes-2-SOLAR-10.7. Это модель семейства Mixtral с архитектурой MoE, предназначенная для генерации текста в диалогах и работе в роли помощника. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель подходит для чат-ботов, виртуальных помощников и создания текстового контента. Карточка отмечает риск смещений в ответах и возможность генерации вводящего в заблуждение или вредоносного контента. Распространяется по лицензии Apache-2.0.

ZGCM-1-7B — плотная авторегрессионная языковая модель Zhongguancun Academy и Zhongguancun Institute of Artificial Intelligence, обученная с нуля для математических рассуждений и поиска с использованием инструментов. Модель содержит 6,3 млрд параметров по метаданным каталога (в README указано 7,39 млрд), использует архитектуру ZGCM и поддерживает контекст до 262 144 токенов. Для работы требуется Transformers и включение trust_remote_code=True. Модель рассчитана на решение математических задач, многошаговый поиск в интернете и диалоговое текстовое взаимодействие; доступны режимы с внутренними рассуждениями и прямым ответом. В техническом отчёте авторы приводят высокие результаты на математических бенчмарках и оценках агентного поиска. Обучение включало предварительное обучение, расширение контекста и дообучение для общих и агентных задач. Весовые файлы опубликованы в формате safetensors. Лицензия — MIT. Модель работает с текстом и не описана как мультимодальная; качество ответов зависит от задачи и используемого инструментария для поиска. Возможность загрузки собственного кода модели требует осторожности при запуске.

Это набор GGUF-квантизаций модели AIGym/Llama-3-8B-Instruct-Gradient-1048k-Agent, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, где требуется инструкционно настроенный языковой агент, включая локальный запуск совместимых с GGUF инструментов. README не уточняет конкретные прикладные задачи, поведение агента или методику обучения. В основе лежит модель семейства Llama 3 с заявленным размером 8B параметров. Указано контекстное окно до 1 048 000 токенов, однако подробности архитектуры, поддерживаемые языки и модальности не приведены; по назначению это текстовая, а не мультимодальная модель. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Выбор варианта позволяет находить компромисс между требованиями к памяти и сохранением качества, но README не содержит сравнительных оценок производительности. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнить в источнике базовой модели и для опубликованных квантизаций. Также не приведены результаты тестирования, системные требования, рекомендуемые параметры запуска и сведения о совместимых рантаймах.

AliceAI-T5-35B-A0.6B-GGUF — это общественные GGUF-квантизации языковой модели AliceAI-T5-35B-A0.6B, разработанной Yandex. Релиз подготовлен сообществом и распространяется через llama.cpp; модель не обучалась и не дообучалась, а была напрямую конвертирована из исходного BF16-снимка upstream-модели. Модель предназначена для генерации текста и использует архитектуру encoder-decoder со sparse mixture-of-experts. Она содержит примерно 34,35 млрд уникальных параметров, 512 экспертов в каждом MoE-слое с маршрутизацией top-8, скрытое состояние шириной 1536, 16 слоёв энкодера и 12 слоёв декодера. В модели используются общие эмбеддинги энкодера и декодера, а также RoPE с YaRN. Upstream-модель заявляет контекст до 128 тысяч токенов, однако для этой GGUF-версии такой размер контекста не подтверждён. Языки и полный набор поддерживаемых модальностей в карточке не указаны; модель является текстовой. Доступны варианты от BF16 и Q8_0 до компактных уровней квантования, включая Q4_K_M, Q3_K_M, Q2_K и IQ4_XS, что позволяет выбирать между качеством и требованиями к памяти. Варианты от Q8_0 до Q3_K_M и IQ4_XS прошли проверку загрузки и базовой детерминированной генерации; Q2_K работает технически, но показал некорректный результат в проверочном примере и не рекомендуется как качественный вариант. Для работы требуется сборка llama.cpp с поддержкой специальной архитектуры AliceAI и encoder-decoder-пути, включая cross-attention; обычный запуск decoder-only модели недостаточен. Квантизации распространяются по лицензии Apache License 2.0, но не являются официальным релизом или одобрением Yandex.

Archon-8B-i1-GGUF — это квантизированная версия языковой модели DuoNeural/Archon-8B, подготовленная mradermacher в формате GGUF. Модель предназначена для генерации текста и задач, связанных с рассуждением; в метаданных она также отмечена как модель на базе Qwen3 и как uncensored. Доступны варианты для локального запуска с разными уровнями квантизации. Заявлена поддержка английского, китайского, французского, немецкого, испанского, японского и корейского языков. Размер базовой модели — 8 млрд параметров, однако сведения о длине контекста, точной архитектуре, мультимодальности и результатах бенчмарков отсутствуют; по имеющимся данным модель является текстовой. Главное преимущество набора — широкий выбор GGUF-квантизаций с размером файлов примерно от 2,2 до 6,8 ГБ, что позволяет подобрать баланс между требованиями к памяти, скоростью и качеством. Низкобитные варианты экономичнее, но могут заметно уступать по качеству; README отдельно рекомендует IQ-квантизации и варианты Q4_K_M или Q4_K_S как практичный выбор. Модель и её производительность могут существенно различаться в зависимости от выбранного варианта квантизации. Распространение указано по лицензии Apache-2.0. В карточке также приведены ссылки на исходную модель и инструкции по работе с GGUF-файлами.

Astra-v1-12B-i1-GGUF — это квантизированная версия текстовой модели Astra-v1-12B, разработанной P0x0 и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для универсальной генерации текста и может использоваться в сценариях, где требуется локальный запуск языковой модели общего назначения. В README прямо указан английский язык, однако другие языки и конкретные специализации не описаны. Модель содержит 12 миллиардов параметров и распространяется в виде imatrix-квантов различных типов, включая IQ1–IQ4, Q2–Q5 и Q6. Размер файлов составляет примерно от 3,1 до 10,2 ГБ, что позволяет выбирать вариант с подходящим компромиссом между требованиями к памяти, скоростью и качеством. Более низкие уровни квантования могут заметно снижать качество; для Q4_K_M указано сочетание скорости и качества, а Q6_K охарактеризован как близкий к полноразмерной статической квантовке. Архитектура, размер контекста и дополнительные модальности в README не указаны; по представленным данным модель является текстовой. Модель распространяется по лицензии Apache-2.0. Для работы требуются совместимые инструменты, поддерживающие формат GGUF; конкретные системные требования и рекомендуемые параметры запуска не приведены.

Aura32k — слитая модель для генерации текста на архитектуре Mistral, созданная автором jeiku с помощью mergekit. В объединение вошли jeiku/32kBase и jeiku/selfbot_256_mistral; применён метод passthrough. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса safetensors и рассчитан на использование с библиотекой Transformers. Данных о поддерживаемых естественных языках и специальных прикладных областях нет. Лицензия в предоставленных данных не указана.

Garnet-OCR-3B-0422-i1-GGUF — квантизированная версия модели Garnet-OCR-3B-0422, разработанной prithivMLmods и подготовленной в формате GGUF пользователем mradermacher. Это vision-language-модель для оптического распознавания символов и интеллектуальной обработки документов, включая извлечение и связывание данных, преобразование PDF в Markdown, анализ содержимого документов и image-to-text-сценарии. Модель имеет размер 3 млрд параметров и поддерживает обработку текста и изображений. В карточке указан английский язык, а среди обучающих наборов перечислены коллекции для распознавания и анализа PDF, генерации Markdown и обработки документов. Доступно множество вариантов квантизации GGUF размером примерно от 1,0 до 2,9 ГБ; варианты различаются компромиссом между качеством, скоростью и требованиями к памяти. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильными сторонами модели являются специализация на OCR и структурированном анализе документов, возможность локального запуска благодаря компактным квантизированным вариантам и поддержка различных уровней квантизации. Ограничения включают отсутствие сведений о размере контекста, точных характеристиках архитектуры, качестве на конкретных наборах данных и поддерживаемых языках помимо английского; низкобитные варианты могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

LiconStudio/Gemma-4-31B-it-abliterated-GGUF — модифицированная версия Google Gemma 4 31B Instruct, распространяемая в формате GGUF. Модель создана с применением метода Heretic ABLiteration: из исходных весов удалено нейронное направление, связанное с отказами в ответах, без изменения архитектуры и без дополнительных затрат при инференсе. Согласно README, версия ориентирована на снижение частоты отказов при сохранении исходных возможностей модели. Модель предназначена для генерации текста, исследований чувствительных тем, анализа, тестирования безопасности, red-teaming и академических исследований выравнивания моделей. Также заявлена поддержка мультимодальных сценариев с изображениями и текстом благодаря возможностям Gemma 4; при этом vision encoder остался без изменений. Указаны языки Chinese и English. Размер модели — 31B параметров; сведения о длине контекста и точной конфигурации GGUF в README отсутствуют. Сильной стороной является низкая частота отказов: в ручном тестировании для Abliterated Version указано 4 отказа из 100, при этом авторы не наблюдали заметного ухудшения интеллектуальных способностей по сравнению с официальной версией. Ограничения включают возможную небольшую потерю качества на сложных задачах, отсутствие встроенных механизмов цензуры и необходимость самостоятельно оценивать безопасность результатов. Модель не рекомендуется для производственных систем, требующих модерации контента, приложений для несовершеннолетних и сценариев с юридическими рисками. Лицензия — Apache-2.0. Авторы предназначают модель для исследовательских и образовательных целей и предупреждают, что она может генерировать вредный, опасный или неприемлемый контент; ответственность за использование несёт пользователь.