II.3Рефакторинг, миграция и модернизация

p-e-w_Qwen3-4B-Instruct-2507-heretic-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-4B-Instruct-2507-heretic. Исходную модель разработал p-e-w, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций при локальном запуске через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 4 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 2,24 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. В README не указаны поддерживаемые языки, длина контекста, точная архитектура или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются компактный размер, возможность локального запуска и широкий выбор квантизаций; варианты Q4–Q6 позиционируются как обеспечивающие хорошее или очень высокое качество при сниженных требованиях к памяти. Ограничения включают возможную потерю качества при использовании низких уровней квантизации и отсутствие указанного в README chat template, из-за чего форматирование запросов может потребовать проверки по карточке исходной модели. Распространение заявлено по лицензии Apache-2.0.

OpenVINO/Phi-3.5-mini-instruct-int4-ov — это квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Она предназначена для генерации текста, диалоговых сценариев и других задач, поддерживаемых исходной instruction-tuned моделью; конкретные языки, размер контекста и дополнительные модальности в карточке не указаны. Сжатие выполнено в режиме int4_asym с размером группы 128 и коэффициентом ratio 1. Модель совместима с OpenVINO версии 2024.5.0 и выше, а также с Optimum Intel версии 1.21.0 и выше, и может запускаться через OpenVINO GenAI на CPU и других поддерживаемых устройствах. Ограничения следует оценивать по исходной карточке Phi-3.5-mini-instruct; подробности о качестве после квантизации в README не приведены. Модель распространяется по лицензии MIT.

Qwen2.5-32B-ArliAI-RPMax-v1.3-GGUF — это GGUF-квантизации текстовой генеративной модели Qwen2.5-32B-ArliAI-RPMax-v1.3, разработанной ArliAI. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; модель предназначена для локального запуска и генерации текста, в том числе через LM Studio. Для работы используется формат диалогового промпта с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от исходных весов F16 размером около 65,54 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. В README указаны размеры файлов, приблизительные характеристики качества и варианты, оптимизированные для ARM-процессоров. Наиболее качественными названы F16, Q8_0 и Q6_K_L/Q6_K; Q4_K_M обозначен как вариант типового размера для большинства сценариев, а низкоразрядные варианты подходят системам с ограниченным объёмом оперативной памяти. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к оборудованию, а применение imatrix должно помогать сохранять качество при квантизации. Ограничения включают значительные требования к памяти даже для компактных вариантов; некоторые ARM-оптимизированные файлы требуют поддержки sve или i8mm и не предназначены для Mac или Windows. Сведения о языках, длине контекста, точной архитектуре, мультимодальности и специализированных возможностях в README не указаны. Лицензия — Apache-2.0.

kepom/Qwen2.5-7B-Instruct-abliterated-v2-GGUF — квантизированная версия языковой модели Qwen2.5-7B-Instruct-abliterated-v2, созданная QuantFactory с использованием llama.cpp. Исходную модель разработала huihui-ai на базе Qwen/Qwen2.5-7B-Instruct от Alibaba Cloud; модификация выполнена методом abliteration и позиционируется как менее ограниченная по отказам версия исходной instruct-модели. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальных приложениях через совместимый с GGUF стек. Она поддерживает английский язык, относится к классу causal language models и имеет размер 7B параметров. В README не указаны точный размер контекста, конкретные варианты квантизации, список поддерживаемых модальностей помимо текста и требования к аппаратному обеспечению. По приведённым оценкам, модель превосходит исходную Qwen2.5-7B-Instruct на IF_Eval и GPQA, но уступает ей на MMLU Pro, TruthfulQA и BBH. Abliteration может сделать ответы менее ограниченными, однако это также означает потенциально более слабое следование политикам безопасности и не гарантирует фактическую точность ответов. Модель распространяется по лицензии Apache-2.0.

Qwen2-72B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-72B-Instruct, опубликованный legraphista и основанный на модели Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальном inference через совместимые инструменты, в частности llama.cpp. В метаданных указан английский язык; сведения о поддержке других языков, мультимодальности и максимальном размере контекста не приведены. В репозитории доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий. Часть вариантов создана с использованием IMatrix-калибровки, предназначенной для более эффективного квантования, а некоторые представлены в виде разделённых файлов. Размеры файлов варьируются примерно от 29,81 до 145,42 ГБ, поэтому модель требует значительных ресурсов хранения и вычислений. Ключевая характеристика — 72 миллиарда параметров; точная архитектура и контекстное окно в README не указаны. Сильной стороной является широкий выбор уровней квантования и формат GGUF, удобный для локального запуска, а IMatrix может помогать сохранять качество при уменьшении размера модели. Ограничениями остаются высокая требовательность к памяти и производительности, а также возможная потеря качества в более агрессивных вариантах квантования. Модель распространяется по лицензии tongyi-qianwen; указана лицензия типа other со ссылкой на лицензию исходной модели Qwen2-72B-Instruct.

MingZwhy/Qwen3-1.7B-W2.79-QAOPD — производная модель Qwen3-1.7B, разработанная автором репозитория MingZwhy. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров для генерации текста и диалогов. Веса квантованы до эффективных 2,79 бита: блоки используют смешанные INT1.58 и INT4, эмбеддинги и выходная голова — INT4, активации — INT8. После квантования модель восстановлена с помощью quantization-aware distillation и on-policy distillation; квантование встроено в веса. Модель подходит для диалоговых приложений, ответов на вопросы, математических задач и генерации кода. В README приведены результаты на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9; на этих тестах показатели ниже, чем у исходной версии Qwen3-1.7B в BF16. Контекстное окно составляет 40 960 токенов. Базовая модель — многоязычная Qwen3; точный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-32B-MLX-8bit — языковая модель для генерации текста, представленная сообществом lmstudio-community и созданная на основе Qwen/Qwen3-32B. Модель преобразована в формат MLX с использованием mlx-lm версии 0.24.0 и предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm с поддержкой чат-шаблона, если он задан в токенизаторе. Ключевые характеристики модели — размер базовой модели 32B параметров, 8-битное представление и специализация на текстовой генерации. Формат MLX ориентирован на использование в совместимой среде, однако README не содержит сведений о поддерживаемых языках, длине контекста, архитектуре, мультимодальности, производительности и ограничениях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Thinking-2507-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-4B-Thinking-2507, подготовленная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и задач, требующих рассуждений, включая работу в локальных приложениях на базе LM Studio и других совместимых инструментов MLX. В README указано, что это модель класса text-generation с размером 4B параметров; она оптимизирована для Apple Silicon и использует 4-битное представление, что снижает требования к памяти по сравнению с полной версией. Сведения о поддерживаемых языках, максимальной длине контекста и мультимодальных возможностях не приведены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск на совместимых компьютерах Apple и уменьшенное потребление памяти благодаря квантованию. Ограничения включают возможную потерю качества относительно исходной модели, зависимость производительности от оборудования и отсутствие гарантии точности, безопасности или соответствия результатов задаче. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Heretic-REAP-0.30 — текстовая генеративная модель, опубликованная groxaxo как чекпойнт для совместимых сред Hugging Face. Это сжатая версия модели семейства Qwen3.5/3.6: в архитектуре MoE методом REAP удалено 30% маршрутизируемых экспертов — 256 сокращены до 180 на слой, при этом на токен активируются 8 экспертов. Гибридная архитектура включает 40 слоёв: 30 с линейным вниманием Gated-DeltaNet и 10 с обычным вниманием. Модель содержит 2,9 млрд параметров, поддерживает контекст до 262 144 токенов и работает только с текстом; мультимодальная башня зрения базовой Omni-модели удалена. Модель предназначена для генерации текста, диалогов, локального или размещённого инференса и воспроизводимых экспериментов. В карточке приведён результат MMLU 73,25% при оценке в 5 примеров на задачу; это результат указанной конфигурации, а не гарантия качества для других задач. Для Hugging Face Transformers описана загрузка на одном устройстве; разделение модели через device_map="auto" на несколько GPU может приводить к некорректной генерации. Для vLLM рекомендуется параллелизм по конвейеру. Модель выпущена под лицензией Apache-2.0. Маркер Heretic указывает на вариант с изменённым поведением или сниженной фильтрацией, но не гарантирует одинакового поведения во всех запросах и средах.

gjtgjt создал abliteration-версию Qwen/Qwen3.8-27B с помощью Heretic v1.4.0. Это доработка готовых весов, а не новое предобучение или SFT: изменена часть проекций языковых слоёв, тогда как токенизатор, шаблон чата, визуальный энкодер и блок MTP сохранены. Модель использует плотную гибридную архитектуру Qwen3.5 с 64 языковыми слоями: 48 Gated DeltaNet и 16 Gated Attention. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и многошаговых запросов; описание базовой модели также указывает на поддержку видео и программирования. Языковые теги карточки — английский и китайский. Изменение направлено на снижение шаблонных отказов на английских запросах. В приведённой оценке число маркеров отказа на 100 вредоносных запросов снизилось с 98 у базовой модели до 27; KL-дивергенция на 100 безвредных запросах составила 0,0446. Это не гарантия безопасности и не подтверждение качества на других языках или модальностях. Для режима без рассуждений README рекомендует передавать enable_thinking=False. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-thinkingcap-abliterated-GGUF — GGUF-квантизированная версия модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated, подготовленная и опубликованная mradermacher. Модель дообучалась на датасете hotdogs/thinkingcap-sft-qwen38-27b и ориентирована на генерацию текста, рассуждения и эффективное использование токенов. В метаданных указан английский язык. Размер базовой модели — 27B параметров. Доступны варианты квантизации GGUF от Q2_K до Q8_0, включая IQ4_XS и несколько вариантов K-квантизации; размеры файлов составляют примерно от 11 до 29,1 ГБ. Для вариантов Q4_K_S и Q4_K_M заявлены высокая скорость и рекомендованный статус, а Q8_0 описан как вариант с лучшим качеством. Также предоставлены файлы mmproj для мультимодального дополнения, однако конкретные поддерживаемые типы входных данных и размер контекстного окна в README не указаны. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска в средах, совместимых с GGUF, и специализация исходной модели на reasoning и token-efficient подходах. Качество и требования к памяти зависят от выбранного варианта: более компактные квантизации экономичнее, но могут снижать качество, тогда как Q6_K и Q8_0 требуют больше ресурсов. Модель помечена как abliterated, но последствия этого для поведения и безопасности в README не раскрыты. Лицензия — Apache-2.0.

Callick99/Qwen3.8-27B-Uncensored-GGUF — это набор GGUF-квантизаций модели Qwen3.8-27B, разработанной на базе Qwen/Qwen3.8-27B и опубликованной пользователем Callick99. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp. Доступны варианты с интегрированной MTP-головой для speculative decoding, отдельными target- и draft-файлами, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одной MTP-головой и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; наличие vision-компонента позволяет работать с изображениями при использовании соответствующего проектора и runtime. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, занимающие примерно от 10,6 до 29 ГБ. Основная особенность сборки — существенное снижение поведения, связанного с отказами, без дополнительного обучения и изменения обучающих данных; отказы не устранены полностью. MTP и speculative decoding могут повысить скорость генерации, однако для draft-головы возможна немного меньшая частота принятия токенов. Низкобитные квантизации экономят память, но могут снижать качество, особенно IQ2_M. Модель и её возможности в остальном наследуют ограничения базовой Qwen3.8-27B. Распространяется по лицензии Apache-2.0.

JonathanColetti/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный JonathanColetti для запуска через llama.cpp и совместимые среды. В модели существенно снижено отказное поведение, но оно не устранено полностью; при этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Изменения выполнены методом abliteration без дообучения и добавления новых данных. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений при использовании совместимого vision runtime. Указаны английский и китайский языки. Архитектура — Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248320 токенов, один MTP-слой и контекст до 262144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с MTP для speculative decoding и отдельный vision-проектор. Сильные стороны модели — большой контекст, поддержка изображений, несколько вариантов квантизации для разных ограничений по памяти и возможность ускорения генерации через speculative decoding. Качество зависит от выбранной квантизации и аппаратного обеспечения; наиболее компактная IQ2_M заметно уступает остальным вариантам по измеренной perplexity. MTP-голова обучалась на неизменённой базовой модели, поэтому коэффициент принятия черновых токенов может немного снижаться, хотя проверка каждого токена сохраняет качество вывода. Для работы требуется совместимый runtime, а поддержка изображений доступна только при наличии соответствующего vision runtime. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем preyy2 для запуска через llama.cpp и совместимые среды. Модель предназначена для генерации текста, диалогов и других задач на основе текста, а варианты с vision-проектором также поддерживают обработку изображений. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, одну MTP-голову и поддерживает контекст до 262 144 токенов. В README заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. MTP-голова позволяет использовать ускоренное декодирование при поддержке со стороны runtime. Ключевая особенность сборки — существенное снижение поведения, связанного с отказами от ответов, с помощью abliteration без дообучения и добавления новых данных; отказы не устранены полностью. При этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Качество квантизаций оценивалось по perplexity на wikitext-2, однако IQ2_M заметно уступает вариантам с более высокой точностью. Для запуска необходим совместимый runtime и объём памяти, соответствующий выбранному файлу; поддержка изображений зависит от vision-совместимого runtime. Распространение указано по лицензии Apache-2.0.

Noobito45/Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантизированная GGUF-версия языковой модели, разработанная на основе empero-ai/Qwen3.8-9B. Модель создана с использованием Heretic v1.4.0 и предназначена для генерации текста, рассуждений и других задач, поддерживаемых исходной моделью Qwen3.8-9B. Это «decensored» или «uncensored» вариант, в котором снижена склонность к отказам: в указанной проверке модель отказалась отвечать на 22 из 100 запросов против 100 из 100 у исходной версии. Модель основана на архитектуре Qwen3.5-9B и представляет собой дистилляцию исходной Qwen3.8 2.4T A95B; точные характеристики архитектуры, размер контекста и полный набор языков в этой карточке не указаны. Доступная версия использует квантизацию NVFP4 + Q8_0 и предназначена для запуска в совместимых с GGUF средах, включая llama.cpp. По данным бенчмарков, квантизация вызывает небольшие изменения качества и поведения по сравнению с эталонной версией BF16; результаты зависят от оборудования и настроек оценки. Модель сохраняет близость к исходной по KL-дивергенции, однако снижение отказов может сопровождаться изменением поведения и не означает отсутствия ограничений или рисков при использовании. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

noctrex/Qwen3-Next-80B-A3B-Instruct-MXFP4_MOE-GGUF — квантизированная версия модели Qwen3-Next-80B-A3B-Instruct в формате GGUF с квантизацией MXFP4. Модель предназначена для диалогов и генерации текста; для запуска требуется llama.cpp, причём карточка рекомендует использовать его актуальную версию. Базовая Qwen3-Next-80B-A3B-Instruct — разреженная языковая модель с возможностью вызова инструментов и длинным контекстом. Размер контекста и список поддерживаемых языков для этой сборки в предоставленных данных не приведены. Лицензия в данных не указана.

Это квантованная в формате MXFP4 версия модели Qwen3-Next-80B-A3B-Thinking, подготовленная noctrex и опубликованная в формате GGUF. Она предназначена для генерации текста и диалогового использования; базовая модель — причинная MoE-модель Qwen для сложных рассуждений и работы с длинным текстовым контекстом. В названии базовой модели указано 80B параметров, из которых 3B активны; точную длину контекста доступные данные не сообщают. Для запуска требуется совместимая версия llama.cpp; автор рекомендует использовать актуальную версию. GGUF и MXFP4 позволяют запускать квантованную модель в совместимой среде, однако квантование может влиять на точность по сравнению с исходными весами. Лицензия в предоставленных данных не указана.

Alcoft/Qwen_Qwen3-4B-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen3-4B, разработанной командой Qwen. Репозиторий подготовлен пользователем Alcoft с использованием TAO71-AI AutoQuantizer; исходная модель доступна в репозитории Qwen/Qwen3-4B. Модель предназначена для генерации текста и локального запуска в совместимых с GGUF приложениях. Доступны варианты квантизации от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 1,55 до 7,5 ГБ. Для большинства сценариев автор рекомендует варианты Q4_K–Q8_0: Q4_K_M и Q4_K_L дают приемлемое качество при умеренном размере, Q5_K и Q6_K обеспечивают высокое и очень высокое качество, а Q8_0 приближается к качеству F16. Варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. В README не указаны архитектурные подробности, максимальная длина контекста, поддерживаемые языки, дополнительные модальности, конкретные сценарии применения или сравнительные результаты. Лицензия также не указана, поэтому условия использования следует уточнять по карточке исходной модели Qwen3-4B и репозиторию конвертированных файлов.

Kaoeiri/Qwenwify2.5-32B-v4.5 — объединённая языковая модель, созданная автором репозитория с помощью mergekit на основе Qwen/QwQ-32B-Preview. В слияние DARE TIES также вошли Kaoeiri/Qwenwify-32B-v3, allura-org/Qwen2.5-32b-RP-Ink, Dans-DiscountModels/Qwen2.5-32B-ChatML, Saxo/Linkbricks-Horizon-AI-Japanese-Base-32B, OpenBuddy/openbuddy-qwq-32b-v24.2-200k и Sao10K/32B-Qwen2.5-Kunou-v1. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 32 млрд параметров. Она предназначена для диалоговой генерации текста; каталог также отмечает интерфейс вызова инструментов. Максимальный контекст — 32 768 токенов. Модель работает с текстом на входе и выдаёт текст. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC-ND 4.0 допускает использование с соблюдением её условий, включая ограничения на коммерческое использование и распространение производных материалов. В карточке не описаны отдельные оценки качества или подробные языковые гарантии; теги указывают на контент не для всех аудиторий.

MaziyarPanahi/QwQ-32B-GGUF — это набор квантизированных файлов модели QwQ-32B в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Точный объём файлов, архитектура, длина контекста, поддерживаемые языки и модальности в README не указаны; по доступным данным модель относится к семейству QwQ-32B и работает с текстом. Сильная сторона этой версии — возможность запускать модель локально на оборудовании с различными ресурсными ограничениями благодаря нескольким уровням квантизации и широкой поддержке GGUF-инструментов. Ограничения включают потенциальную потерю качества на более агрессивных вариантах квантизации, а также необходимость самостоятельно подобрать совместимый клиент и параметры запуска. Лицензия в README не указана.

Replete-LLM-Qwen2-7b_Beta-Preview-GGUF — это GGUF-квантизованная версия языковой модели Replete-LLM-Qwen2-7b_Beta-Preview, разработанной Replete-AI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В README также указан обучающий датасет Replete-AI/Everything_Instruct_8k_context_filtered. Модель основана на архитектуре Qwen2 и содержит около 7 млрд параметров. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий; размеры файлов составляют примерно от 3,5 до 15,2 ГБ. Указан английский язык и контекст до 8k, связанный с использованным датасетом. Это текстовая модель без заявленной поддержки других модальностей. Сильная сторона репозитория — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Высококачественными считаются варианты Q6 и Q5, а Q4 предлагают компромисс по размеру. Более сильная квантизация снижает требования к памяти, но может ухудшать качество генерации. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Seed-OSS-36B-Instruct-MLX-8bit — 8-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи, поддерживаемые исходной instruct-моделью. В README указаны архитектурная база Seed-OSS-36B-Instruct, размер 36B параметров, текстовая модальность и 8-битное квантование. Сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевые преимущества — снижение требований к памяти по сравнению с полноразмерной версией и оптимизация для экосистемы Apple Silicon. Ограничения связаны с зависимостью от совместимого оборудования и MLX, а также с общими рисками генеративных моделей: возможны неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

WeMM-Embedding-2B-GGUF — неофициальная GGUF-квантизированная версия модели WeMM-Embedding-2B, разработанной Tencent и подготовленной ewinregirgojr. Это модель эмбеддингов и извлечения признаков, предназначенная для семантического представления кода и текста в виде плотных L2-нормализованных векторов размерностью 2048. Поддерживаются английский, китайский, другие многоязычные сценарии, а также языки программирования, включая Python, TypeScript, JavaScript, C++, Rust, Go, SQL и Shell. Модель использует гибридную архитектуру из 18 слоёв Mamba SSM с линейным вниманием и 6 слоёв полного softmax-внимания и содержит около 2 млрд параметров. Она ориентирована на поиск и извлечение кода, RAG-системы, индексацию векторных баз данных, поиск дубликатов и выявление близких реализаций. GGUF-файлы совместимы с llama.cpp, Ollama и LM Studio; заявлена также интеграция с Unsloth, vLLM и sentence-transformers. В репозитории представлены варианты квантизации от Q4 до Q8, позволяющие выбирать между размером, скоростью и точностью; для некоторых вариантов заявлено сохранение косинусного сходства на уровне примерно 99,59–99,82% относительно FP16-базовой версии. Сильными сторонами являются высокая пропускная способность, компактность квантизированных вариантов и специализация на поиске по коду и техническим данным. Модель не предназначена для авторегрессионной генерации текста, дополнений или чат-ответов. В описании упоминается мультимодальная поддержка базовой модели, включая текст, изображения и видео, однако подробные характеристики этих модальностей для данного GGUF-релиза не приведены; размер контекста также не указан. Лицензия — Apache-2.0.

14B-Qwen2.5-Freya-x1-GGUF — это GGUF-квантизированная версия текстовой генеративной модели 14B-Qwen2.5-Freya-x1, разработанной Sao10K. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может применяться в локальных сценариях инференса, включая запуск через LM Studio. Модель имеет размер 14B параметров и поставляется в вариантах от F16 до низкобитных квантований Q2 и Q3, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти. Доступны форматы Q4, Q5, Q6 и Q8, при этом в README рекомендуются некоторые варианты Q4–Q6 как обеспечивающие хороший или очень высокий уровень качества. Указан шаблон промпта в формате ChatML. Модальность — текстовая; сведения о поддерживаемых языках и размере контекстного окна в README отсутствуют. Сильная сторона модели — широкий выбор квантований для локального запуска на оборудовании с разными ограничениями по памяти, а также применение imatrix-квантизации. Более компактные варианты экономят память, но могут заметно уступать старшим версиям по качеству. Лицензия обозначена как qwen/other; в README приведена ссылка на лицензию Qwen/Qwen2.5-14B, однако конкретные условия использования следует уточнять по этому документу.

Это текстовая авторегрессионная модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Репозиторий содержит контрольную точку в стандартном формате Hugging Face Transformers на основе safetensors; карточка описывает её как резервную копию исследовательского артефакта. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов в чате и генерации продолжений текста; метаданные также указывают интерфейс для вызова инструментов. Заявленная длина контекста — 40 960 токенов. Карточка не сообщает о специальной предметной области или поддерживаемых естественных языках. Условия лицензии в предоставленных данных не приведены, поэтому их нельзя определить по карточке.

32B-Qwen2.5-Kunou-v1-GGUF — это набор квантизированных моделей для генерации текста, созданный пользователем bartowski на основе Sao10K/32B-Qwen2.5-Kunou-v1. Модель предназначена для диалогов и других сценариев текстовой генерации; в README приведён шаблон промпта в формате ChatML с ролями system, user и assistant. Модель имеет размер 32B параметров и поставляется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до низкоразрядных Q2 и IQ-квантизаций объёмом примерно от 13 до 66 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев рекомендуются варианты Q4_K_M, Q5 или Q6. Сведения о поддерживаемых языках, максимальном контексте и мультимодальности в README не указаны. К преимуществам относятся широкий выбор квантизаций, возможность локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения зависят от выбранного варианта и доступных аппаратных ресурсов; низкоразрядные сборки имеют более низкое качество, а полноразмерная F16-версия требует значительного объёма памяти. Лицензия указана как qwen и other; в README приведена ссылка на лицензию Qwen/Qwen2.5-32B-Instruct.

Qwen3.5-27B-Anko-GGUF — это квантизированная версия языковой модели allura-org/Qwen3.5-27B-Anko, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет 27 млрд параметров и поддерживает английский и китайский языки. В репозитории представлены варианты от BF16 и Q8_0 до более компактных Q3- и IQ3-квантизаций; наиболее качественными считаются BF16, Q8_0, Q6 и Q5, а Q4 предлагается как сбалансированный вариант по качеству и размеру. Размер файлов составляет примерно от 13,5 до 53,8 ГБ. Данные о модальностях, архитектуре исходной модели и размере контекстного окна в README не указаны. Модель подходит для локальной генерации текста и диалоговых сценариев при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Квантизация снижает требования к ресурсам, но варианты с меньшим числом бит могут заметно уступать более крупным по качеству. Распространение указано по лицензии Apache-2.0.

CausalLM 7B GGUF — это квантизированная версия языковой модели CausalLM 7B, разработанной командой CausalLM и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре типа LLaMA и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В карточке указаны поддерживаемые языки английский и китайский, а также исходный размер 7B параметров. Данные о длине контекста и мультимодальности не предоставлены; модель описана как текстовая. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что позволяет запускать модель на CPU и GPU с вариантами квантизации от 2 до 8 бит. Модель обучалась на широком наборе диалоговых, инструкционных, математических, энциклопедических и мультиязычных данных, однако конкретные показатели качества и ограничения в README не приведены. Для использования рекомендуется шаблон запросов ChatML. Указана лицензия wtfpl, но поскольку модель основана на Llama 2, README также указывает на применимость условий лицензии Meta Llama 2; взаимодействие этих лицензий требует отдельной проверки.

Bwindi/CrawLM — генеративная языковая модель для создания текста и ведения диалогов. Модель доступна для использования через библиотеку Transformers и относится к семейству моделей с тегом llama; общий объём параметров составляет 3,2 млрд, а нативное контекстное окно — до 131 072 токенов.

mlx-community/DeepSeek-V3.1-4bit — это 4-битно квантованная версия языковой модели DeepSeek-V3.1, разработанная сообществом mlx-community на основе модели deepseek-ai и преобразованная в формат MLX с использованием mlx-lm 0.26.3. Модель предназначена для генерации текста и локального запуска в экосистеме MLX. Она поддерживает сценарии диалогового взаимодействия и текстовой генерации через библиотеку mlx-lm; README также указывает на наличие chat template, совместимого с сообщениями ролей user и assistant. Архитектура, количество параметров, поддерживаемые языки, размер контекста и дополнительные модальности в предоставленных данных не указаны, поэтому нельзя достоверно оценить эти характеристики. Ключевая особенность модели — 4-битное представление, потенциально снижающее требования к памяти по сравнению с полной точностью, а также адаптация к MLX. Ограничения и результаты бенчмарков в README не приведены. Модель распространяется по лицензии MIT.