II.4Отладка, тестирование и качество ПО

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

hotdogs/Qwen3.8-27B-abliterated-AWQ-INT4 — языковая генеративная модель, разработанная hotdogs на основе Qwen/Qwen3.8-27B и подвергнутая обучению без дообучения с удалением направления отказов. Это квантованная версия hotdogs/Qwen3.8-27B-abliterated, предназначенная для диалоговых сценариев, генерации текста, исследовательского анализа механизмов отказа, red teaming и изучения влияния alignment-обучения. Модель не отказывает в запросах, поэтому её применение требует особой осторожности и соблюдения законодательства. Модель использует гибридную архитектуру Qwen3.8-27B с полноразмерным attention на части слоёв и Gated DeltaNet linear attention на других слоях. Основные компоненты квантованы в формат W4A16 с 4-битными весами и 16-битными активациями, группой 128 и симметричным квантованием; lm_head и 64 слоя linear_attn сохранены в BF16. Размер файлов составляет около 17,6 ГБ вместо примерно 52 ГБ у BF16-версии. Заявлены языки English, Chinese и Thai. В README указан максимальный размер контекста 32768 токенов для запуска через vLLM. Сильные стороны модели — существенно сниженное потребление памяти, сохранение abliteration после квантования и близкая к базовой производительность на приведённых тестах: для BF16-версии MMLU составляет 0,8342, GSM8K — 0,59, ARC-Challenge — 0,4533. INT4-версия рассчитана на запуск через vLLM с Marlin и обычно требует двух GPU с 24 ГБ памяти; на одной карте с 24 ГБ доступ к KV-кэшу будет ограничен, а GPU с 48 ГБ подходит для запуска с tensor parallelism 1. Точные результаты INT4-версии могут немного отличаться от результатов BF16-модели. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

ilintar/qwen3.8-27b-gguf-strix-halo — набор GGUF-файлов модели Qwen3.8-27B, подготовленный для запуска на AMD Strix Halo с ROCm. Основная модель основана на Qwen/Qwen3.8-27B и дополнена DFlash2-моделью z-lab/Qwen3.8-27B-DFlash2 для speculative decoding. Репозиторий ориентирован на использование с llama.cpp и оптимизированными ветками ROCm для графики gfx1151. Основной файл имеет размер около 16,1 ГБ и использует преимущественно квантизацию IQ4_XS, с отдельными тензорами в Q8_0 и F32. DFlash2-файл размером около 1,04 ГБ служит черновой моделью для ускорения генерации. Модель поддерживает текстовый и, при отдельной установке совместимого мультимодального проектора mmproj, визуальный ввод. В примере конфигурации используется контекст до 65 536 токенов. Сведения о поддерживаемых языках в карточке не приведены. Главное преимущество — возможность ускоренного локального запуска на AMD Strix Halo: в приведённых тестах speculative decoding с IQ4_XS давал прирост скорости относительно Q8_0-черновика, особенно на задачах рассуждений и структурированного вывода. При этом результаты зависят от промпта, уровня принятия черновых токенов и конкретного runtime. К ограничениям относятся привязка к специальной конфигурации ROCm и экспериментальным веткам llama.cpp, необходимость отдельно получать мультимодальный проектор для изображений, а также небольшое ухудшение измеренной perplexity относительно исходной BF16-модели. Лицензия заявлена как Apache 2.0, однако условия исходных моделей рекомендуется проверить отдельно.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-6bit — текстовая языковая модель, созданная mlasli на основе Qwen/Qwen3.8-27B. Это версия v2.1.0 с изменённым поведением отказов и ответов, преобразованная в формат MLX для запуска через mlx-lm на компьютерах с Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев и задач, где требуется более прямое следование запросу. Модель содержит около 27 млрд параметров и использует групповое 6-битное квантование с размером группы 64. Размер файлов составляет примерно 21,9 ГБ. Репозиторий поддерживает только текстовый ввод: при конвертации удалена vision tower, поэтому обработка изображений недоступна. Многоцелевое предсказание токенов MTP также не сохранено, из-за чего инференс выполняется одной основной головой и может быть медленнее сборок с поддержкой MTP. В карточке указаны английский язык и контекстная длина не приведена. Сильной стороной является уменьшенный объём по сравнению с BF16-версией при сохранении возможностей 27B-модели и удобная интеграция с MLX. По данным тестов, 6-битная версия немного уступает BF16 по прямоте ответов, а режим thinking может чаще приводить к уклончивым или пустым ответам; для заявленного поведения рекомендуется отключать thinking. Abliteration снижает или удаляет исходное safety-выравнивание, поэтому модель требует осторожного применения. Лицензия — Apache-2.0.

TheCluster/Qwen3.8-27B-Heretic-MLX-4bit — 4-битная квантованная версия модели Qwen3.8-27B, разработанная TheCluster на базе Qwen/Qwen3.8-27B. Модель модифицирована с помощью Heretic v1.4.0 и позиционируется как uncensored-версия с уменьшенными ограничениями на генерируемый контент. В метаданных указана задача image-text-to-text, однако подробности о поддержке изображений в README не приведены. Модель предназначена для диалоговой генерации текста, рассуждений и выполнения инструкций. Заявлена поддержка английского, китайского, русского, испанского, французского, итальянского, японского, корейского и ряда других языков, включая немецкий, арабский, турецкий, польский, украинский, португальский и финский. Размер базовой модели — 27B параметров; используется формат MLX и 4-битная affine-квантизация с размером группы 64. Размер контекста в README не указан. К сильным сторонам относятся сниженный уровень встроенных ограничений, поддержка многоязычных сценариев и возможность запуска в экосистеме MLX при уменьшенных требованиях к памяти благодаря 4-битной квантизации. По умолчанию reasoning_effort установлен в low, чтобы избежать избыточного обдумывания. Для thinking mode рекомендованы temperature 1.0, top_p 0.95 и top_k 20, а для instruct или non-thinking mode — temperature 0.7, top_p 0.80 и top_k 20. Повышение presence_penalty может уменьшить бесконечные повторы, но иногда приводит к смешению языков и небольшому снижению качества. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный lactroiii на базе модели Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального запуска через llama.cpp. Поведение отказов существенно снижено, но не устранено; основные возможности, обучающие данные и архитектура базовой модели сохранены. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Заявлена поддержка английского и китайского языков, а также визуального ввода при наличии vision tower в базовой модели. Доступны варианты IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, включая конфигурации со встроенной или отдельной MTP draft-моделью для speculative decoding. К сильным сторонам относятся большое контекстное окно, поддержка текста и изображений, несколько уровней квантизации и сохранённая MTP-голова для потенциального ускорения генерации. Измерения perplexity показывают близкое к f16 качество для большинства вариантов, тогда как IQ2_M заметно уступает остальным. Снижение отказов не является полным и может влиять на профиль безопасности модели. Для использования требуется совместимый runtime, например llama.cpp; лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Q8_0-GGUF — это GGUF-конверсия дообученной модели orcarouter/Qwen3.8-27B-Uncensored. Конверсию выполнили с помощью llama.cpp через сервис GGUF-my-repo; исходная модель основана на Qwen3.8-27B и связана с ней как fine-tune. Модель распространяется в формате GGUF и предназначена для запуска с llama.cpp на совместимом оборудовании. Заявленные сценарии включают обработку текста и изображений, reasoning, function calling, red-teaming и AI safety research. В карточке указаны английский и китайский языки, а также тег vision-language, однако подробности об архитектуре, поддерживаемых типах изображений, максимальном контексте и фактических возможностях function calling не приведены. Размер модели составляет 27B параметров, используется квантование Q8_0, что может снизить требования к памяти по сравнению с полноразмерной версией, сохраняя близкое к исходному качество, но конкретные требования к ресурсам не указаны. Модель может быть удобна для локального инференса через llama.cpp и серверного развёртывания. Ограничения включают отсутствие в README результатов тестирования, подробного описания датасета и дообучения, а также сведений о производительности и безопасности; заявленное «uncensored» позиционирование также означает необходимость самостоятельной оценки рисков и фильтрации ответов. Указана лицензия Apache-2.0.

keXjos/Qwen3.8-9B-mlx-4Bit — языковая модель для генерации текста, преобразованная в формат MLX из базовой модели empero-ai/Qwen3.8-9B с использованием mlx-lm 0.31.2. Разработчик конвертации — keXjos; исходную модель разработала команда empero-ai. Модель предназначена для запуска и генерации текста через библиотеку mlx-lm, включая диалоговые сценарии при наличии совместимого chat template. Модель имеет размер 9B параметров и 4-битное представление, ориентированное на эффективное выполнение в MLX. В карточке заявлены поддержка английского языка, reasoning, function-calling и обучение методом SFT, однако подробности архитектуры, длины контекста, фактической поддержки модальностей и количественные показатели качества не указаны. MLX-формат и 4-битная квантизация могут быть сильными сторонами для локального запуска на совместимом оборудовании, но могут ограничивать точность по сравнению с полноразмерными вариантами. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-8B-8bit — языковая модель для генерации текста, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-8B, созданной командой Qwen. Модель предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm, и может использовать чат-шаблон токенизатора для диалоговых сценариев. Модель представлена в формате MLX и имеет размер 8B с 8-битным представлением, что отражено в её идентификаторе. Поддерживаемая модальность — текст; README не содержит сведений о языках, размере контекста, конкретной архитектуре, результатах тестирования, сильных сторонах или ограничениях. Для работы требуется библиотека mlx-lm; конвертация выполнена с использованием версии 0.24.0. Модель распространяется по лицензии Apache-2.0.

Карточка модели rahul-77/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Карточка модели fabianschmidt-cohere/Qwen3-Embedding-4.9M-init на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Qwen-3-VL-8B-Instruct-heretic — мультимодальная разговорная модель, созданная Heretic как декензурированная версия Qwen/Qwen3-VL-8B-Instruct с помощью Heretic v1.3.0. Это плотная архитектура Qwen3-VL с 8 млрд параметров, предназначенная для диалога по тексту и изображениям, визуального анализа и рассуждений. В README указано контекстное окно 256K токенов с возможностью расширения до 1M у базовой модели; метаданные подтверждают поддержку изображений и формат safetensors. Модель подходит для ответов на вопросы по изображениям, OCR, понимания видео и пространственных сцен, а также для визуального взаимодействия с интерфейсами. README сообщает о снижении отказов: 6 из 100 запросов против 100 из 100 у исходной модели; это может влиять на защитное поведение. Качество и заявленные возможности унаследованы от описания базовой Qwen3-VL, а отдельные показатели этой производной модели ограничены приведённой метрикой KL-дивергенции и отказов. Лицензия — Apache-2.0.

bartowski/Qwen_Qwen3.6-27B-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-27B, разработанной Qwen и опубликованной в формате, совместимом с llama.cpp. Квантизации подготовлены bartowski с использованием imatrix и предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В метаданных указано назначение image-text-to-text, однако подробные сведения о поддержке изображений в README отсутствуют. Модель имеет 27 млрд параметров и доступна в вариантах от BF16 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 13,5 до 54,7 ГБ; варианты с более высокой точностью обычно сохраняют лучшее качество, а низкобитные версии требуют меньше оперативной памяти. Для некоторых конфигураций заявлена поддержка MTP-слоёв через параметр draft-mtp в llama.cpp. Формат prompt использует специальные маркеры ролей system, user и assistant с секцией рассуждений think. Модель подходит для локальной генерации текста и мультимодальных сценариев, если соответствующая поддержка реализована используемым инструментом, однако языки, размер контекста, архитектурные детали исходной модели и конкретные возможности работы с изображениями в предоставленных данных не указаны. Сильные стороны — широкий выбор квантизаций, возможность запуска на различном оборудовании и заявленное высокое качество вариантов Q5–Q8; ограничения связаны с ростом потерь качества у низкобитных вариантов и значительными требованиями к памяти. Указана лицензия Apache-2.0.

Qwopus3.6-27B-v2 — плотная мультимодальная модель с 27 млрд параметров, созданная Jackrong путём дообучения Qwen3.6-27B. Модель принимает текст и изображения и формирует текстовые ответы; карточка заявляет поддержку диалога, вызова инструментов и длинного контекста. Модель дообучена методом SFT в три этапа на наборах Trace Inversion с реконструированными цепочками рассуждений, включая примеры логики и математики. Она предназначена для сложных рассуждений, диалоговых и агентных сценариев, а также для задач с изображениями и инструментами. В карточке описаны структурированные рассуждения и согласованный формат тегов <think>; также приведены результаты на наборе из 350 вопросов MMLU-подобного типа и данные об эффективности генерации, но они не заменяют независимую оценку. Модель распространяется по лицензии Apache-2.0. Автор обозначает выпуск как экспериментальный и сообщает, что он не прошёл полную оценку безопасности и стандартное бенчмаркинг-тестирование.

s1.1-32B-GGUF — квантизированная версия языковой reasoning-модели s1.1-32B, разработанной командой simplescaling и опубликованной в формате GGUF пользователем brittlewis12. Базовая модель создана на основе Qwen2.5-32B-Instruct и дообучена на 1 000 примерах из датасета s1K с использованием reasoning traces из DeepSeek-R1. Модель предназначена для генерации текста, диалоговых сценариев и решения задач, требующих многошагового рассуждения, включая математические и научные вопросы. Поддерживает английский язык, работает с текстом и использует шаблон запросов ChatML. Архитектурный тип указан как qwen2; размер модели — 32B параметров. Модель поставляется в GGUF, что подходит для локального запуска через llama.cpp и совместимые приложения, в том числе на устройствах Apple при наличии достаточных ресурсов. Размер контекста в README не указан. К заявленным сильным сторонам относятся улучшенная способность к рассуждению по сравнению с исходной s1 и возможность test-time scaling с помощью budget forcing. В приведённых оценках модель показывает 95,4% на MATH500, 63,6% на GPQA-Diamond, 60,0% на AIME2025 I и 56,7% на AIME2024; результаты получены с применением budget forcing, поэтому они могут не отражать стандартный режим использования. Ограничения включают отсутствие данных о поддерживаемых языках помимо английского, модальностях помимо текста, размере контекста, требованиях к памяти и производительности. Лицензия — Apache-2.0.

SauerkrautLM-v2-14b-SFT — языковая модель VAGO solutions, дообученная на базе Qwen/Qwen2.5-14B методом Spectrum Fine-Tuning в два этапа. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса safetensors. Модель предназначена для диалогов и следования инструкциям, генерации текста, математических рассуждений, вызова функций и задач на здравый смысл. Разработчики сообщают об улучшениях математических способностей, работы с функциями и многоязычной генерации. В README явно названы немецкий и английский, а метаданные также перечисляют итальянский, французский, португальский, нидерландский, арабский и испанский. Модель распространяется по лицензии Apache 2.0. Авторы предупреждают, что фильтрация данных не исключает появления неподходящего или некорректного контента; стабильно безопасное поведение не гарантируется.

MindLink-32B-0801-GGUF — это GGUF-квантизованная версия языковой модели MindLink-32B-0801, разработанной Skywork и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Модель имеет размер 32B параметров и поставляется в вариантах от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Размер файлов составляет примерно от 13,7 до 65,5 ГБ в зависимости от варианта. Квантизация выполнена с использованием imatrix на базе llama.cpp release b6014; старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее уступают в качестве. Поддерживаемые языки, размер контекстного окна, точная архитектура, мультимодальность и специализация исходной модели в README не указаны. Сильная сторона модели — широкий выбор квантизаций для локального запуска и возможность подобрать баланс между качеством, потреблением памяти и скоростью. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6. Ограничением является отсутствие указанного chat template: в README отмечено, что используется шаблон по умолчанию, который может быть некорректным, поэтому его следует сверять с карточкой исходной модели. Лицензия в предоставленных данных не указана.

Spark-X2.5-1.7B Community Quants — это набор GGUF-квантизаций модели Spark-X2.5-1.7B, разработанной XHToken. Данные варианты опубликованы сообществом пользователем darioooooo0o и предназначены для локального запуска текстовой генерации, в том числе агентных сценариев с вызовом инструментов, через llama.cpp или совместимую инфраструктуру. Для GGUF требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока не входит в upstream llama.cpp. Модель имеет 1,7 млрд параметров, гибридное внимание с соотношением 3:1 между sliding-window и full attention и поддерживает нативный контекст до 1 млн токенов. Доступны варианты Q8_0, Q6_K, Q4_K_M и IQ4_XS размером примерно от 1,0 до 1,7 ГБ. Квантизация выполнена с использованием importance matrix; варианты рассчитаны на полностью GPU-резидентный запуск, начиная примерно с видеокарт с 4 ГБ памяти, при этом доступный контекст зависит от объёма VRAM и выбранной точности. Сильные стороны модели — компактный размер, высокая скорость декодирования, большой контекст и проверенная поддержка tool calling, включая сложные схемы, параллельные вызовы и многошаговые циклы с результатами инструментов. Ограничение уровня исходной модели — риск бесконечных циклов рассуждений на расплывчатых открытых вопросах; для автономных систем рекомендуется задавать бюджет рассуждений и тайм-ауты. Лицензия — Apache-2.0.

Lucyfer1718/spartan_nemotron — диалоговая языковая модель, созданная слиянием методом SLERP двух моделей: mattshumer/Reflection-Llama-3.1-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Она предназначена для генерации текста в ответ на запросы и ведения диалога; метаданные также отмечают интерфейс вызова инструментов. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 28,4 млрд параметров, работает с контекстом до 131 072 токенов и распространяется в формате safetensors через Transformers. Модель подходит для диалоговых ассистентов, ответов на инструкции и генерации текста с длинным контекстом. В карточке не указаны отдельные целевые языки или специализированная предметная область. Лицензия и сведения о качестве или ограничениях модели в предоставленных данных отсутствуют.

StrangeMerges_39-7B-dare_ties — объединённая модель Gille, созданная с помощью LazyMergekit на основе Gille/StrangeMerges_33-7B-slerp, Gille/StrangeMerges_17-7B-dare_ties и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель подходит для генерации ответов в чате, продолжения текста и выполнения текстовых инструкций. Данные не описывают отдельную специализацию по языкам или прикладным областям, поэтому языки и домены не уточняются. Лицензия в предоставленных сведениях не указана.

Apertus-70B-Instruct-2509-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Apertus-70B-Instruct-2509, разработанной swiss-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локальных inference-сценариев на базе llama.cpp, включая работу через LM Studio и совместимые проекты. В репозитории представлены варианты квантизации Q2_K_L, Q3, Q4, Q5, Q6_K и Q8_0 с размером файлов примерно от 28,32 до 75,02 ГБ. Более крупные варианты обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но могут сильнее терять в качестве. Рекомендуемыми в README названы, в частности, Q4_K_M, Q4_K_S, Q4_K_L, Q5_K_S, Q5_K_M и Q6_K. Точная архитектура, число параметров исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Преимущество модели — возможность локального запуска в распространённом формате GGUF с выбором компромисса между качеством и требованиями к памяти. Ограничения связаны с большими ресурсными требованиями 70B-модели, потерями качества при низких уровнях квантизации и отсутствием указанного в README формата промптов. Лицензия в предоставленных данных не указана.

Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная MaziyarPanahi слиянием mistralai/Mistral-7B-Instruct-v0.1 и migtissera/Tess-XS-v1-3-yarn-128K. В README указано слияние методом SLERP; модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст. В метаданных указан контекст длиной 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Документация не приводит конкретных ограничений или результатов оценки качества.

Sakalti/ultiima-14B-v0.2 — объединённая языковая модель Sakalti, созданная методом TIES с помощью mergekit на основе sometimesanotion/Lamarck-14B-v0.7 и sometimesanotion/Lamarck-14B-v0.6. Это плотная модель Qwen2 с 14 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Нативная длина контекста составляет 131 072 токена. Модель подходит для диалогов и других задач генерации текста. Описание базовой модели в каталоге также относит семейство Lamarck к многошаговым рассуждениям, написанию прозы и переводу, но для этой модели подтверждённая задача — text-generation. Языки, на которые модель рассчитана, в предоставленных источниках не обозначены. Файлы модели представлены в формате Safetensors; README указывает тип данных float16. Условия лицензии в предоставленных данных не приведены.

WizardLM-2-7B-abliterated-GGUF — это квантизированная версия языковой модели WizardLM-2-7B-abliterated, опубликованная и подготовленная bartowski на основе оригинальной модели fearlessdots. Модель предназначена для генерации текста и запуска локально через llama.cpp; в README указан формат запросов с системным сообщением, ролями USER и ASSISTANT. Модель содержит 7 млрд параметров и представлена в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Доступны сборки размером примерно от 1,61 до 7,69 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. В README не указаны поддерживаемые языки, размер контекстного окна, архитектура исходной модели или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильная сторона семейства — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для высокого качества рекомендуются Q6_K, Q5_K_M, Q5_K_S и некоторые варианты Q4. Более агрессивная квантизация экономит память, но снижает качество, особенно у вариантов IQ1. Модель распространяется по лицензии Apache-2.0.

Карточка модели Yaldat/Yalda-Embedding4 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели Yaldat/Yalda-Embedding5 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

YamshadowStrangemerges_32_YamshadowT3q — объединённая языковая модель на архитектуре Mistral, созданная путём слияния automerger/YamshadowStrangemerges_32-7B и automerger/YamshadowT3q-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста; максимальный контекст составляет 32 768 токенов. Она предназначена для генерации текста и ответов на математические запросы. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией Apache-2.0.

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной компанией 01-ai и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Модель содержит файлы в формате GGUF с вариантами квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством генерации. Это текстовая модель; в предоставленных данных не указаны языки, размер контекста и подробности архитектуры исходной модели. GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, включая варианты с GPU-ускорением. Сильными сторонами являются широкий выбор уровней квантизации и удобство локального использования на различных платформах. Ограничения связаны с возможными потерями качества при агрессивной квантизации, а также с отсутствием в предоставленной карточке подробных характеристик исходной модели и результатов оценки. Модель распространяется по лицензии Apache-2.0.