II.3Рефакторинг, миграция и модернизация

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-KERN-GGUF — это набор смешанно-точных квантованных моделей в формате GGUF, подготовленный Andrew Paul на основе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и запуска через llama.cpp, в том числе локально на видеокартах с ограниченным объёмом памяти. Доступны четыре варианта: eqQ4_K_M размером 14,73 ГБ, eqQ3_K_M — 13,04 ГБ, eqQ3_K_S — 11,59 ГБ и eqIQ2_M — 9,58 ГБ. Заявленная сохранность возможностей относительно BF16 составляет примерно 95%, 91%, 81% и 76% соответственно. Конкретные языки и максимальный контекст модели в README не указаны; примеры запуска используют контекст 16 384 токена. Ключевая особенность — распределение разрядности тензоров, выбранное по результатам тестирования возможностей, чувствительности и отклонения логитов, а не только по KL-дивергенции. Все варианты поддерживают обычную генерацию и спекулятивное декодирование: встроенная MTP-голова позволяет использовать draft length 2 или 3, а совместимость с внешним DFlash 2 может повысить пропускную способность. Меньшие варианты удобнее для 16 ГБ видеокарт, тогда как eqQ4_K_M рассчитан преимущественно на 24 ГБ или unified memory. Ограничения включают зависимость заявленных оценок от закрытого внутреннего теста, непроверенную поддержку vision через mmproj и возможное накопление ошибок при KV-cache в режиме q4. Модель распространяется по лицензии Apache-2.0.

esatapedico преобразовал NVFP4-чекпойнт Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 в семейство из шести GGUF-файлов для запуска через llama.cpp. Модель разработана на основе Qwen3.8-27B: это плотная гибридная архитектура с Gated DeltaNet и слоями Gated Attention, а её исходный вариант дообучен DavidAU методом Cold Fusion (GAIN + Unsloth). По README, в модели 27 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она поддерживает мультимодальную обработку изображений при подключении отдельного проектора mmproj-BF16.gguf; в опубликованные GGUF-файлы веса проектора не входят. В каждом файле встроена MTP-голова для спекулятивного декодирования. Шесть вариантов отличаются точностью квантования головы вывода, эмбеддингов и MTP-головы; языковая основа общая и содержит NVFP4-тензоры. README приводит результаты отдельных пробных запусков на двух GPU, а не систематический бенчмарк; скорость и качество могут зависеть от оборудования и конфигурации. Для работы с изображениями нужен совместимый проектор. Репозиторий распространяется по лицензии Apache-2.0.

TheWegemann/Qwen3.8-27B-LowGPU-uncensored-NoMTP-IQ3XXXS-GGUF — это квантованная GGUF-версия 27-миллиардной модели Qwen3.8, подготовленная TheWegemann на основе аблитерированной и «uncensored» модели OrcaRouter Qwen3.8-27B-Uncensored, восходящей к официальной Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp, включая агентские сценарии, задачи рассуждения и работу с изображениями при наличии совместимого vision-проектора. Модель использует гибридную архитектуру с блоками Gated DeltaNet и линейным вниманием, чередующимися с блоками полного внимания; всего заявлено 64 слоя. Это custom per-tensor mixed-precision квантование с 498 назначениями типов, собственной importance matrix и удалённой MTP-головой для снижения потребления памяти. Размер файла составляет около 9,3 ГБ. Сборка ориентирована на GPU с 12 ГБ VRAM: она тестировалась на NVIDIA RTX 4070 с полным GPU offload, контекстом до 64 000 токенов, Q4_0 KV-кэшем, Flash Attention и F16 vision-проектором. Поддерживаемые языки в README не указаны. Сильная сторона модели — сочетание крупного размера, агрессивной оптимизации памяти и возможности полностью разместить модель на GPU с 12 ГБ VRAM, сохранив большой контекст и мультимодальный сценарий. Ограничения включают зависимость от версии llama.cpp, драйверов и настроек запуска, а также возможное увеличение требований к памяти; конфигурации с менее чем 12 ГБ VRAM и CPU offload находятся вне целевого сценария. Модель унаследовала сниженные защитные механизмы исходного аблитерированного чекпойнта: квантование их не восстанавливает, поэтому при развёртывании необходимы собственные меры модерации и контроля доступа. Лицензия — Apache 2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный lactroiii на базе модели Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального запуска через llama.cpp. Поведение отказов существенно снижено, но не устранено; основные возможности, обучающие данные и архитектура базовой модели сохранены. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Заявлена поддержка английского и китайского языков, а также визуального ввода при наличии vision tower в базовой модели. Доступны варианты IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, включая конфигурации со встроенной или отдельной MTP draft-моделью для speculative decoding. К сильным сторонам относятся большое контекстное окно, поддержка текста и изображений, несколько уровней квантизации и сохранённая MTP-голова для потенциального ускорения генерации. Измерения perplexity показывают близкое к f16 качество для большинства вариантов, тогда как IQ2_M заметно уступает остальным. Снижение отказов не является полным и может влиять на профиль безопасности модели. Для использования требуется совместимый runtime, например llama.cpp; лицензия — Apache-2.0.

Plana-Chan/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный Plana-Chan для запуска в llama.cpp и совместимых средах. Модель предназначена для генерации текста, диалоговых и прикладных сценариев, где требуется локальный запуск, а также для обработки изображений при использовании совместимого vision runtime и отдельного vision-проектора. Поддерживаются английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Сохранена MTP-head для speculative decoding, доступны варианты с объединённой draft-моделью и отдельными target/draft-файлами. Представлены квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер основных файлов составляет примерно от 10,6 до 29 ГБ. Для изображений предоставляется mmproj в формате F16. Ключевая особенность — существенно сниженное поведение отказа, полученное методом abliteration без дообучения и дополнительных данных; полностью отказы не устранены. Возможны компромиссы квантизации, особенно у IQ2_M, а эффективность speculative decoding зависит от acceptance rate draft-head. README не приводит полных сведений о целевых бенчмарках и фактических требованиях к оборудованию. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель распространяется в формате GGUF и предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео через отдельный vision-проектор. Указаны языки English, Chinese и multilingual, однако точный перечень поддерживаемых языков не приведён. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Встроенная поддержка MTP/NextN сохранена, а профиль HauhauCS FastMTP предназначен для ускорения генерации; заявлены преимущества в скорости для документных и reasoning-сценариев. Для изображений и видео требуется отдельный BF16 vision-проектор. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказов, что может быть полезно для задач, где важны быстрота и непрерывность генерации. Это одновременно является ограничением: README рекомендует для надёжной работы с длинным контекстом и агентскими задачами сбалансированный вариант, если он доступен. Модель не вносит изменений в датасеты или заявленные возможности базовой Qwen3.8-27B, но применяет профиль «uncensored». Доступны различные уровни квантизации, включая пользовательские K_P и IQ-варианты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Лицензия — Apache-2.0.

Foresee/Qwen3.8-9B-heretic-uncensored-4bit-MTPLX — локальная 4-битная сборка модели rohit267/Qwen3.8-9B-heretic-uncensored для генерации текста. Она предназначена для запуска на компьютерах Apple Silicon с использованием MLX и ускорения вывода посредством спекулятивного декодирования MTPLX. Модель предоставляет совместимость с API OpenAI /v1/chat/completions и Anthropic /v1/messages, поэтому может использоваться в локальных чат-приложениях, инструментах программирования и других сценариях текстовой генерации. В состав входят 4-битная MLX-модель с группами квантования 64 и размером около 5 ГБ, отдельная MTP-голова, а также LoRA-адаптер ранга 64, объединяемый при загрузке. Указано, что модель относится к 9B-линейке Qwen, использует гибридную архитектуру с GatedDeltaNet и поддерживает английский язык. Контекст модели и полный перечень языков в README не указаны. На тесте с MacBook на M5 и 24 ГБ памяти скорость декодирования выросла с 21,25 до 40,05 токена в секунду; проверка спекулятивных токенов выполняется без потери точности относительно квантованной целевой модели. Основные ограничения — требование macOS 14 или новее, Apple Silicon, MLX и рантайма MTPLX; ускоренный MTP-путь специфичен для MTPLX. Квантование изменяет веса модели, хотя сама процедура спекулятивной проверки является точной. Модель всегда начинает ответ с блока <think>, что следует учитывать при расчёте бюджета токенов. Лицензия Apache-2.0, унаследованная от базовой модели Qwen3.5-9B.

mlx-community/Qwen3-8B-8bit — языковая модель для генерации текста, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-8B, созданной командой Qwen. Модель предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm, и может использовать чат-шаблон токенизатора для диалоговых сценариев. Модель представлена в формате MLX и имеет размер 8B с 8-битным представлением, что отражено в её идентификаторе. Поддерживаемая модальность — текст; README не содержит сведений о языках, размере контекста, конкретной архитектуре, результатах тестирования, сильных сторонах или ограничениях. Для работы требуется библиотека mlx-lm; конвертация выполнена с использованием версии 0.24.0. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-Base-SFT-R-64 — базовый чекпойнт размером 7,6 млрд параметров, подготовленный David6995 как общая основа для доменных экспертных моделей семейства Qwen3-8B. Это плотная авторегрессионная языковая модель архитектуры Qwen3ForCausalLM; репозиторий содержит полные веса BF16, конфигурацию и токенизатор в формате safetensors. Модель работает с текстом, поддерживает чатовый интерфейс и интерфейс вызова инструментов, а её родной контекст составляет 65 536 токенов. Чекпойнт предназначен для использования как общая база при создании или применении доменных экспертов Qwen3-8B и для генерации текста. Указана лицензия Apache-2.0. README не приводит сведений о конкретных доменах экспертов или оценках качества этой версии.

Qwen3-Next-80B-A3B-Thinking r22 — экспериментальный чекпойнт на базе Qwen/Qwen3-Next-80B-A3B-Thinking. В карточке указано, что это MoE-модель с маршрутизируемыми экспертами, усреднённо хранящимися при 2,0161 бита; остальные веса — BF16. Метаданные указывают 2,3 млрд параметров, контекст до 262 144 токенов и библиотеку Transformers. Веса представлены в safetensors и загружены в деквантованном виде в BF16-тензоры; заявлена совместимость со стандартными Transformers и vLLM. Модель предназначена для генерации текста и диалогового использования, включая сложные рассуждения и вызов инструментов через соответствующий интерфейс. Русский язык карточкой не заявлен, поэтому языковая поддержка здесь не уточняется. Чекпойнт помечен как внутренний исследовательский; лицензия наследуется от базовой модели.

Qwen1.5-32B-Chat GGUF — набор квантизированных версий диалоговой языковой модели Qwen/Qwen1.5-32B-Chat, разработанный сообществом Featherless AI Quants. Модель предназначена для генерации текста и ведения диалогов; формат GGUF подходит для локального запуска и совместимых инструментов инференса, поддерживающих этот формат. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размеры файлов или наборов файлов составляют примерно от 11,7 до 33,0 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Модель относится к текстовой модальности; сведения о языках, архитектуре, размере контекста, результатах оценки и конкретных сценариях применения в README не указаны. Сильной стороной является наличие нескольких уровней квантизации для адаптации запуска под доступные аппаратные ресурсы. Ограничения включают значительные требования к памяти даже для наиболее компактных вариантов, а также возможные потери качества из-за квантизации. Лицензия в представленном README не указана.

Speechless Mistral Dolphin Orca Platypus Samantha 7B — это языковая модель для генерации текста на основе архитектуры Mistral с примерно 7 млрд параметров. Исходную модель разработал Jiangwen Su, а данный репозиторий подготовлен TheBloke и содержит её квантизированные версии в формате GGUF. Модель обучалась на наборах данных Airoboros 2.2.1, OpenOrca, Open-Platypus и Samantha. Модель предназначена для текстового диалога, ответов на вопросы, следования инструкциям и других сценариев генерации текста. Также заявлена ориентация на задачи, связанные с кодом; в метаданных приведён результат pass@1 34,146% на HumanEval, однако он не подтверждён. Указан английский язык. Для взаимодействия используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. GGUF-версии поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что делает модель пригодной для локального запуска на CPU и GPU. Доступны варианты квантизации от 2 до 8 бит: меньшая разрядность обычно снижает требования к памяти, но может ухудшать качество по сравнению с исходной моделью. Сведения о размере контекста и мультимодальных возможностях не указаны; модель предназначена для работы с текстом. Лицензия указана как Llama 2.

Tarek07_Legion-V2.1-LLaMa-70B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Legion-V2.1-LLaMa-70B, разработанной Tarek07. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель доступна как Tarek07/Legion-V2.1-LLaMa-70B. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разным уровнем сжатия и качеством: от Q8_0 размером около 75 ГБ до Q2_K размером около 26 ГБ. Рекомендуемыми указаны, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; варианты с более низкой разрядностью требуют меньше оперативной памяти, но снижают качество. Известно, что модель имеет размер 70 миллиардов параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Для работы следует использовать формат подсказок, совместимый с шаблоном Llama 3.3, с секциями system, user и assistant. Лицензия указана как llama3.3; дополнительные условия исходной модели в README не приведены.

tau-instruct-0.5B-DPOP — инструктивная языковая модель M4-ai на архитектуре Qwen2 с примерно 463,9 млн параметров. Она создана на базе tau-0.5B и дообучена методом DPO-Positive на примерно 700 примерах предпочтений, размеченных с помощью GPT-4. Модель поддерживает контекст до 32 768 токенов и предназначена для диалогового взаимодействия на английском языке. Модель подходит для ответов на вопросы, генерации и продолжения текста, решения математических задач, понимания и создания кода, объяснений и анализа. Её можно применять в виртуальных помощниках, образовательных инструментах и исследовательских прототипах. По предварительной оценке авторов, дообучение улучшило следование инструкциям относительно базовой модели. Качество может снижаться на сложных задачах и при неясных инструкциях; модель сохраняет возможные смещения базовой модели и обучающих данных, а её результаты следует проверять. Лицензия указана как other; README предписывает соблюдать лицензию базовой модели tau-0.5B.

TernaryQuench-Qwen3.8-27B-GGUF — это сжатая версия языковой модели Qwen3.8-27B, подготовленная penkia с использованием проекта TernaryQuench. Базовая модель разработана командой Alibaba Qwen. Модель предназначена для локального текстового вывода и совместима с llama.cpp и Ollama; заявлена поддержка генерации текста, структурированного JSON и tool calling. Модель содержит 27 млрд параметров. В большинстве матриц декодера применено ternary-кодирование с тремя значениями весов: −scale, 0 и +scale; первые 62 слоя хранятся в формате Q2_K, последние два слоя — в BF16, а embeddings и output head — в Q4_1. Файл занимает около 10,86 ГБ, при этом требуется дополнительная память для runtime и context cache; в примере запуска указан контекст до 32 768 токенов. Сжатие снижает качество относительно исходной BF16-модели: средняя точность в пяти zero-shot задачах составила 72,28% против 74,35% у Qwen3.8-27B BF16, а perplexity на WikiText-2 — 12,8569 против 7,7471 у 4-битной версии. Модель рассчитана на эффективный локальный инференс, но приведённые проверки не подтверждают надёжность сложных многошаговых агентских сценариев. Лицензия — Apache-2.0.

Thespis-Krangled-7b-v2 — разговорная языковая модель на архитектуре Mistral, опубликованная cgato. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста; карточка указывает контекст длиной до 32 768 токенов. Для диалога предлагается шаблон с репликами пользователя и бота, совместимый с форматами Oobabooga и SillyTavern. Модель обучалась на смесях наборов Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder Evol Instruct, Yahoo Answers, OpenOrca и Airoboros 3.1. Её можно использовать для диалогов, ответов на вопросы и генерации кода. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не сообщает, на какой базовой модели выполнено дообучение, и не приводит оценки качества или подробных сведений о поддерживаемых языках. Результаты могут зависеть от промпта и выбранного шаблона диалога.

GLM-4-32B-0414-GGUF — это квантизированная версия языковой модели GLM-4-32B-0414, разработанной THUDM, подготовленная пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Заявлена поддержка китайского и английского языков. Модель содержит 32 миллиарда параметров; точные сведения об архитектуре, размере контекста и поддерживаемых модальностях в README не указаны. Доступны варианты от BF16 до различных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Более высокие уровни квантизации обеспечивают лучшее качество, а низкие подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Для запуска требуется совместимое программное обеспечение и объём памяти, соответствующий выбранному варианту. Квантизация выполнена с использованием llama.cpp и метода imatrix; в описании также отмечено исправление токенизатора. Модель распространяется по лицензии MIT. README не содержит подробных результатов тестирования, поэтому фактические преимущества в конкретных задачах и ограничения базовой модели требуют самостоятельной проверки.

GLM-Z1-32B-0414-GGUF — это квантизированная версия языковой модели GLM-Z1-32B-0414, разработанной THUDM и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Указаны китайский и английский языки, а лицензия исходной модели — MIT. Модель содержит 32B параметров; README не уточняет её архитектуру, размер контекста и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. Доступны варианты от BF16 и Q8_0 до низкобитных Q2_K, Q3, Q4, Q5 и Q6-квантизаций. Старшие варианты обеспечивают качество, близкое к исходной модели, а более компактные требуют меньше оперативной памяти, но могут заметно терять в качестве. Для большинства сценариев рекомендованы варианты Q4_K_M, Q5_K_M, Q6_K и их модификации. Квантизации выполнены с использованием imatrix и llama.cpp; в этой версии также заявлено исправление токенизатора. Сильная сторона модели — возможность локального запуска 32B-модели в широком диапазоне требований к памяти благодаря большому выбору квантизаций. Ограничения включают высокие требования к ресурсам даже для компактных вариантов и потенциальное снижение качества у низкобитных форматов. Для корректного использования необходимо соблюдать указанный формат prompt с токенами GLM.

Yi-1.5-9B-Chat-GGUF — квантизированная GGUF-версия чат-модели Yi-1.5-9B-Chat, разработанной 01-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая запуск в локальных приложениях и сервисах на базе LlamaEdge. Модель относится к архитектуре Yi и содержит около 9 миллиардов параметров. Она работает с текстом, использует шаблон запросов ChatML и поддерживает контекст размером до 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 3,35 до 17,7 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как сбалансированные по качеству и размеру. Ключевое преимущество модели — возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полноразмерной версией, особенно при использовании низко- и среднебитных вариантов. При этом сильная квантизация может заметно снижать качество генерации, а варианты Q2_K и Q3_K имеют значительные потери качества. Языки, специальные возможности и результаты сравнительных тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

AI21-Jamba-Reasoning-3B-GGUF — набор GGUF-квантизованных версий языковой модели AI21-Jamba-Reasoning-3B, разработанной AI21 Labs. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, где требуется рассуждение; запуск возможен локально через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Доступны варианты от исходных BF16-весов размером 6,40 ГБ до компактных квантов IQ3 и Q3 размером примерно 1,47–1,76 ГБ, а также более качественные варианты Q4–Q8. Рекомендуемые сборки включают Q4_K_M, Q5, Q6 и другие варианты; выбор позволяет балансировать качество, скорость и требования к оперативной памяти. Формат приглашений предусматривает системное и пользовательское сообщения, а также блок <think> для рассуждений перед ответом. README не содержит сведений об архитектуре, длине контекста, поддерживаемых языках и модальностях, поэтому эти характеристики неизвестны. Более сильные квантизации обеспечивают качество, близкое к исходным весам, тогда как компактные варианты экономят память ценой снижения качества. Лицензия в представленном описании не указана.

Albatross-8B-Instruct — диалоговая языковая модель на архитектуре Llama, созданная автором репозитория слиянием нескольких моделей через TIES в mergekit. В слияние вошли NousResearch/Hermes-3-Llama-3.1-8B, unsloth/Meta-Llama-3.1-8B-Instruct и qingy2024/NaturalLM3-8B-Instruct-v0.1; в качестве базовой модели указана unsloth/Meta-Llama-3.1-8B. Модель содержит 7,5 млрд параметров, использует формат safetensors и библиотеку Transformers, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций; метаданные также указывают интерфейс вызова инструментов. Карточка не приводит результатов оценки качества или подробного описания языкового охвата, поэтому её сильные стороны в конкретных задачах и практическую надёжность нельзя оценить по имеющимся данным. Лицензия в предоставленных данных не указана.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-GGUF — мультимодальная модель в формате GGUF, созданная автором Genesis на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive с переносом данных из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF. Модель ориентирована на диалоговые сценарии, агентские задачи, следование инструкциям и function calling; в карточке также заявлена поддержка обработки изображений и текста. Заявленная архитектура — MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров. Указаны английский, китайский и другие языки, однако точный перечень языков и размер контекстного окна не приведены. Автор применил собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения, включая анализ тензоров, восстановление нулевых блоков и снижение шума с использованием кастомного SVD и распределения Марченко—Пастура. К сильным сторонам относятся заявленные улучшения стабильности, ясности контекста, следования инструкциям и агентского поведения, а также отсутствие ограничений на отказы в базовой модели по внутреннему тесту автора. Ограничения включают отсутствие независимых бенчмарков и подробных результатов оценки, а также необходимость корректной настройки MoE, GPU offload и KV-cache. В карточке указана лицензия Apache-2.0; совместимость с лицензиями базовой модели и компонентов следует дополнительно проверить.

Это GGUF-квантизация модели GLM-4.5-Air-REAP-82B-A12B, разработанной Cerebras и подготовленной пользователем bartowski. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K/IQ3 с размером файлов примерно от 39 до 90 ГБ. Обозначение модели указывает на конфигурацию 82B-A12B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в предоставленной карточке не указаны. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении размера модели. Сильная сторона этой версии — широкий выбор уровней квантования для баланса между качеством, требованиями к памяти и скоростью инференса; наиболее рекомендуемыми указаны варианты Q6_K, Q5_K, Q4_K и IQ4_XS. Ограничения включают очень высокие требования к оперативной или видеопамяти даже для компактных вариантов, а также отсутствие указанного chat template: в README отмечено, что используемый шаблон может быть неточным и требует проверки по оригинальной карточке модели. Лицензия в предоставленных данных не указана.

bartowski/deepcogito_cogito-v1-preview-qwen-14B-GGUF — это квантизированная версия языковой модели cogito-v1-preview-qwen-14B, разработанной deepcogito. Модель предназначена для генерации текста и поставляется в формате GGUF для запуска через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется шаблон диалога с ролями system, user и assistant. Доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Версии с более высокой разрядностью обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4 и Q3 уменьшают требования к ресурсам ценой снижения качества и подходят для локального запуска при ограниченном объёме ОЗУ. Размер базовой модели составляет 14 млрд параметров, однако сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны. Квантизация выполнена bartowski с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4.1-Flash GGUF — это набор GGUF-конвертаций и смешанных квантований базовой модели DeepSeek-V4.1-Flash, разработанной DeepSeek и квантованной smalinin. Модель предназначена для задач генерации текста и работы в экспериментальном runtime DeepSeek-V4.1 на базе специальной ветки smalinin/llama.cpp с поддержкой CUDA. Представленные файлы являются текстовыми: vision tower в них отсутствует, поэтому мультимодальный ввод изображений не поддерживается. Архитектура исходной модели обозначена как DeepseekV41ForCausalLM и включает sparse attention, hyper-connections, MoE-слои и две крупные n-gram Engram lookup tables. Доступны варианты Q2_K с Q5_K Engram размером 335,382 ГБ и эффективным 3,58 BPW, IQ3_XS с Q8_0 Engram размером 434,024 ГБ и 4,64 BPW, а также MXFP4 с Q8_0 Engram размером 507,954 ГБ и 5,43 BPW. Первый вариант лучше подходит при ограничениях по диску, оперативной памяти или совокупной памяти GPU; более крупные варианты ориентированы на сохранение качества квантования. Для работы требуется именно ветка my_build_deepseek41 из smalinin/llama.cpp и CUDA; совместимость со стандартной upstream-версией llama.cpp не заявлена. Необходимо скачать все десять сегментов выбранного варианта. Более низкий BPW может приводить к повторениям и снижению качества, поэтому варианты следует оценивать на собственных запросах. Репозиторий распространяется по лицензии MIT.

QuantFactory/dolphin-2.1-mistral-7b-GGUF — квантизированная версия модели Dolphin 2.1 на базе cognitivecomputations/dolphin-2.1-mistral-7b, созданная QuantFactory с использованием llama.cpp. Модель разработана в рамках проекта Dolphin; обучение спонсировала a16z. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций и творческие задачи. Модель основана на архитектуре Mistral с размером 7B параметров и распространяется в формате GGUF. Поддерживает текстовую модальность, английский язык и формат запросов ChatML. Для обучения использовались датасеты ehartford/dolphin и jondurbin/airoboros-2.2.1; Dolphin описывается как открытая реализация подхода Microsoft Orca с дополнительной очисткой, дедупликацией и повышением качества данных. К сильным сторонам относятся высокая готовность следовать инструкциям, универсальность и ориентация на творческую генерацию. Модель позиционируется как uncensored: из обучающих данных удалялись элементы alignment и bias, поэтому она может выполнять потенциально небезопасные или неэтичные запросы. При использовании в сервисах рекомендуется самостоятельно добавить слой выравнивания и фильтрации. Сведения о размере контекста и точных параметрах квантизации в README не указаны. Лицензия — Apache-2.0, допускающая коммерческое и некоммерческое использование.

jaspionjader/ek-4 — слитая автором jaspionjader языковая модель для генерации текста и диалогов. Она создана методом Model Stock с помощью mergekit на основе jaspionjader/ek-1 с включением jaspionjader/ek-3 и jaspionjader/Kosmos-EVAA-Franken-stock-v42-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в предоставленных данных не приведена.

Experiment26Yamshadow_Experiment24Alloyingotneoy — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Alloyingotneoy-7B. Она предназначена для генерации текста и работы в сценариях, где нужен диалоговый или иной текстовый вывод. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

Experiment28M7_YamT3qm7xp — объединённая модель генерации текста на архитектуре Mistral, созданная путём слияния automerger/Experiment28M7-7B и automerger/YamT3qm7xp-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по запросу и работы с длинными текстовыми контекстами. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Falcon3-10B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Falcon3-10B-Instruct, разработанной Technology Innovation Institute (TII) и опубликованной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. Она рассчитана на запуск через llama.cpp и совместимые приложения, например LM Studio, с использованием формата чата <|system|>, <|user|>, <|assistant|>. Модель содержит 10 млрд параметров и работает только с текстом. В репозитории доступны варианты от исходных весов F16 размером 20,62 ГБ до квантизаций Q4 и Q5 размером примерно 5,9–7,6 ГБ, а также Q6 и Q8. Квантизации позволяют снизить требования к памяти и запускать модель локально, при этом более сильное сжатие может ухудшать качество. Для вариантов Q4–Q6 заявлено хорошее или очень высокое сохранение качества; наиболее сбалансированным вариантом для большинства сценариев указан Q4_K_M. В опубликованных оценках базовая модель получила 78,17% строгой точности на IFEval, 44,82% на BBH, 25,91% exact match на MATH Level 5 и 38,1% на MMLU-Pro; результаты на GPQA и MuSR составили 10,51% и 13,61% соответственно. Эти показатели характеризуют отдельные тестовые сценарии и не гарантируют качество для конкретных прикладных задач. Языки поддержки и размер контекста в README не указаны. Модель распространяется по лицензии Falcon LLM License; перед использованием необходимо ознакомиться с условиями лицензии TII.