II.4Отладка, тестирование и качество ПО

schwyzquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В README указано участие нескольких авторов и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; модель создана с использованием Unsloth и рассчитана на запуск на потребительском оборудовании. Она распространяется в форматах GGUF, включая обычные и MTP-варианты с multi-token prediction, а также 4- и 8-битные квантизации. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, ролевых сценариев и диалогов. Заявлена поддержка текста и изображений, английского и китайского языков. Среди ключевых свойств указаны улучшенное следование инструкциям, решение задач и reasoning, сохранение возможностей базовой Qwen-модели, а также uncensored/heretic-настройка. Контекстное окно, точные архитектурные характеристики и параметры мультимодального компонента в README не приведены. Автор заявляет высокие результаты на ряде бенчмарков и превосходство базовой Qwen3.6-27B по шести из семи указанных тестов, однако эти утверждения следует воспринимать как данные из карточки модели. Сильными сторонами называются качество рассуждений, универсальность, поддержка vision и эффективность квантизированных версий; возможное ограничение — отсутствие подробных независимых результатов и недостаток технических сведений о размере контекста. Лицензия — Apache-2.0.

majentik/Qwen3.6-35B-A3B-RotorQuant-MLX-2bit — это 2-битная квантизированная версия Qwen/Qwen3.6-35B-A3B, подготовленная для запуска на Apple Silicon с использованием фреймворка MLX. Базовую модель разработала команда Qwen, а данный вариант опубликован пользователем или организацией majentik. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, написание текстов, ответы на вопросы и программный код. Модель использует архитектуру Mixture-of-Experts: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью сопоставимого общего размера. Вариант содержит только языковую часть модели и не поддерживает изображения или видео; зрительный модуль и MTP-голова исключены. Приблизительный размер весов — 9 ГБ, рекомендуемый объём объединённой памяти — от 16 ГБ. Для работы используется MLX и загрузка через mlx_lm на компьютерах с Apple Silicon. Главное преимущество модели — компактность и относительно низкие требования к памяти при сохранении архитектуры с большим общим числом параметров. Ограничениями являются потери качества, характерные для агрессивной 2-битной квантизации, отсутствие мультимодального ввода и зависимость от совместимого оборудования и программного окружения. Обозначение RotorQuant относится к варианту выпуска; связанный с ним экспериментальный форк для квантизации KV-кэша считается устаревшим и не требуется для использования модели. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель отвечает на запросы без отказов, сохраняя исходные наборы данных и возможности базовой модели. Она предназначена для диалогов, генерации и анализа текста, программирования, рассуждений, а также обработки изображений и видео. Модель использует гибридную архитектуру с линейным и полноразмерным softmax-вниманием в соотношении 3:1 и содержит 40 слоёв. Это MoE-модель с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход; используются 256 экспертов, из которых для каждого токена выбираются 8. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео, а среди языков указаны английский, китайский и многоязычная обработка. Доступны GGUF-квантизации, включая специализированные варианты K_P, оптимизированные для сохранения качества. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшое число активных параметров для MoE-архитектуры и широкий выбор квантизаций для локального запуска через llama.cpp, LM Studio и другие совместимые среды. Ограничение модели — агрессивное отключение защитных отказов: она может генерировать небезопасный или нежелательный контент и не предоставляет встроенных гарантий безопасного использования. Для поддержки зрения требуется отдельный файл mmproj; для сохранения возможностей режима рассуждений рекомендуется контекст не менее 128 тысяч токенов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B-Brainwaves-WFH, подготовленная mradermacher на основе модели nightmedia. Модель предназначена для локального запуска и генерации текста в широком спектре сценариев, включая диалог, следование инструкциям, программирование, математические и STEM-задачи, исследования, рассуждения, творческое и художественное письмо, сторителлинг и ролевые взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель относится к семейству Qwen и доступна в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также в форматах IQ4_XS и F16. Размер файлов варьируется примерно от 11 до 29,1 ГБ; для мультимодального использования предусмотрены дополнительные файлы mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые визуальные модальности в README не описаны. В метаданных заявлены контексты 256K и 1M токенов, но их практическая доступность для данной сборки не подтверждена. Сильной стороной модели является выбор вариантов квантования, позволяющий выбирать между размером, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди указанных. Ограничения включают значительные требования к дисковому пространству и памяти, а также отсутствие подробных данных о производительности, оценках качества, точной архитектуре и рекомендуемых параметрах запуска. Лицензия — Apache-2.0.

cyankiwi/Qwen3-VL-4B-Instruct-AWQ-4bit — квантованная 4-битная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Модель предназначена для задач, где требуется совместное понимание текста и изображений, включая описание и анализ изображений, визуальное рассуждение, распознавание текста, работу с документами, анализ видео, пространственное понимание, генерацию кода и взаимодействие с графическими интерфейсами через визуального агента. Модель использует плотную архитектуру и относится к классу vision-language моделей; заявленный размер базовой модели — 4 млрд параметров. Поддерживаются текстовые и визуальные входы, включая изображения и видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для моделирования временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Заявлена нативная длина контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — расширенное понимание изображений и видео, пространственное и мультимодальное рассуждение, OCR в сложных условиях, обработка длинных документов и видеоматериалов, а также сценарии визуального программирования и управления интерфейсами. Ограничения, конкретные показатели производительности и требования к аппаратному обеспечению для данной AWQ-версии в README не указаны; 4-битное квантование может влиять на точность по сравнению с полной точностью. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwopus3.8-27B-Flash-i1-GGUF — квантованная GGUF-версия модели Qwopus3.8-27B-Flash, подготовленная mradermacher на основе модели Jackrong/Qwopus3.8-27B-Flash. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, генерации текста, диалоговых сценариев, рассуждений, агентских задач, использования инструментов, function calling и генерации кода. Также заявлена поддержка обработки изображений вместе с текстом. Модель относится к мультимодальным vision-языковым моделям с архитектурой и размером семейства Qwen3 8 / 27B; точные архитектурные параметры и размер контекста в README не указаны. Заявлены английский, китайский, испанский, русский и японский языки. Репозиторий содержит набор imatrix-квантов разных уровней, примерно от 11,0 до 22,5 ГБ; варианты различаются компромиссом между размером, скоростью и качеством. В README отмечены рекомендации по отдельным вариантам, но количественные результаты оценки качества не приведены. Сильными сторонами являются мультимодальность, поддержка нескольких языков, широкий набор сценариев применения и возможность локального инференса при выборе подходящего уровня квантования. Ограничения включают потерю качества по сравнению с полноразмерной моделью из-за квантования, зависимость характеристик от выбранного варианта GGUF и отсутствие подробных данных о производительности, контексте и требованиях к оборудованию. Лицензия — Apache-2.0.

Larryvrh опубликовал версию Yi-34B-200K от 01.AI, адаптированную для работы с архитектурой Llama и удобства использования. Это плотная языковая модель на 33,9 млрд параметров для генерации текста; репозиторий содержит веса Safetensors. Заявленная длина контекста — до 200 000 токенов. Модель подходит для диалога и генерации текста на китайском и английском языках, ответов на вопросы по длинным документам, чтения с пониманием, рассуждений, математики и задач по программированию. В README приведены результаты бенчмарков для разных моделей, но отдельные результаты Yi-34B-200K здесь не выделены. Модель может выдавать ошибочные или проблематичные ответы. Лицензия — Apache-2.0.

airoboros-dpo-110b-3.3 — экспериментальная чат-модель, дообученная Jon Durbin на базе Qwen 1.5 110B с дополнительным этапом DPO. Она предназначена для диалога, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода и структурированных ответов, включая вывод аргументов для вызова функций. Модель использует архитектуру Qwen2 с плотной сетью из 110 млрд параметров, формат диалога ChatML и контекст до 32 768 токенов. Карточка описывает настройку ответов по контексту, генерацию длинных ответов и планов выполнения, а также примеры задач на кодирование и ролевой диалог. Для ответов по заданному контексту рекомендуется низкая температура; качество следования таким инструкциям зависит от явного форматирования входных данных. Автор отмечает, что иногда в конце ответов появляются случайные лишние токены. Репозиторий содержит веса safetensors; лицензия в метаданных указана как other, без уточнения условий.

airoboros-l2-70b-2.2.1 — экспериментальная языковая модель автора jondurbin, основанная на Llama 2 и дообученная на преимущественно синтетических данных Airoboros 2.2.1. Это обновлённая версия airoboros-l2-70b-2.2: в ней заново сгенерированы ответы для письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры, смягчена степень снятия ограничений и проведено четыре эпохи обучения. Модель предназначена для выполнения инструкций и генерации текста общего назначения, включая ответы на вопросы по заданному контексту, суммаризацию, написание текстов и помощь с кодом. Архитектура — плотная LlamaForCausalLM примерно на 68,7 млрд параметров; поддерживает контекст до 4096 токенов. Карточка также описывает генерацию аргументов функций и планов выполнения, но для реального вызова инструментов требуется внешняя система. Для диалога используется текстовый формат с метками USER и ASSISTANT. В карточке указана лицензия Llama 2. Автор предупреждает, что квантование Q4_0 работает некорректно; также советует настроить остановку генерации на маркере USER, чтобы модель не продолжала диалог от имени собеседника.

Calcium-Opus-14B-Merge — языковая модель на архитектуре Qwen2, созданная prithivMLmods слиянием моделей методом Model Stock через mergekit. В основу слияния вошла Qwen/Qwen2.5-14B-Instruct вместе с Calcium-Opus-14B-Elite и QwQ-LCoT-14B-Conversational; размер модели — 14 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, генерации текста и задач, требующих логических рассуждений и решения задач в несколько шагов. Карточка особо отмечает понимание контекста, математические задачи и подробные объяснения; метаданные также указывают интерфейс вызова инструментов. Веса доступны по лицензии из репозитория; сведения о лицензии в предоставленных данных отсутствуют.

QuantFactory/calme-2.1-phi3.5-4b-GGUF — это квантованная GGUF-версия языковой модели calme-2.1-phi3.5-4b, созданной на основе Microsoft Phi-3.5-mini-instruct. Исходную модель разработал MaziyarPanahi, а квантование выполнено им же с использованием llama.cpp. Модель предназначена для генерации текста и работает с шаблоном диалогов ChatML. Модель ориентирована на ответы на вопросы, работу чат-ботов и виртуальных ассистентов, генерацию и суммирование контента, генерацию и анализ кода, решение сложных задач и поддержку принятия решений. Заявлен размер около 4 млрд параметров; поддерживаемая модальность — текст, основной указанный язык — английский. Длина контекста в карточке не указана. К сильным сторонам относятся универсальность, формат инструкционной и диалоговой работы, а также доступность в квантованном GGUF-формате, удобном для запуска с llama.cpp и совместимыми инструментами. Ограничения включают возможные смещения и ошибки, характерные для языковых моделей, а также умеренные результаты на сложных тестах рассуждений: средний результат Open LLM Leaderboard указан как 27,01. Для продуктивного использования рекомендуются защитные меры и контроль человеком. Лицензия модели — MIT.

unsloth/DeepSeek-V3-bf16 — версия DeepSeek-V3 в формате BF16, размещённая Unsloth и предназначенная для генерации текста и диалогового использования. Согласно карточке модели, DeepSeek-V3 — языковая модель архитектуры Mixture-of-Experts с 671 млрд параметров, из которых около 37 млрд активируются на каждом токене; используются DeepSeekMoE и Multi-head Latent Attention. Метаданные этой версии указывают 37,6 млрд параметров, контекст до 163 840 токенов и поддержку интерфейса вызова инструментов. Модель подходит для диалогов, ответов на вопросы, написания и преобразования текста, а также сценариев с вызовом инструментов. В карточке заявлена поддержка английского языка. Репозиторий использует Transformers и формат safetensors; лицензия — MIT. Для запуска требуются значительные вычислительные ресурсы, характерные для крупной языковой модели.

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

GLiClass Instruct Large v1.0 — модель Knowledgator для классификации последовательностей текста с нулевым и малым количеством примеров. Она сопоставляет входной текст с заданными пользователем метками и предназначена для тематической и тональной классификации, определения намерений, проверки логического следования, обнаружения галлюцинаций и классификации безопасности LLM. Модель также можно применять для оценки релевантности пар «запрос — фрагмент». Архитектура относится к семейству GLiClass; веса опубликованы в формате safetensors. Модель поддерживает работу с произвольными метками, а в версии GLiClass V3 описаны иерархические метки, примеры для few-shot, текстовые описания меток и подсказки задачи. В README приведены результаты zero-shot-бенчмарков для large-v1.0, в том числе F1 0,9154 на SST-2 и 0,3387 на SST-5. Модель принимает текст и выдаёт оценки или классы, связанные с заданными метками. В README не перечислены поддерживаемые естественные языки, поэтому языковые поля оставлены пустыми. Лицензия — Apache-2.0. Качество зависит от формулировок меток и задачи; для NLI README рекомендует подавать одну гипотезу за раз. Результаты приведены не для всех наборов данных.

QuantTrio/GLM-5.2-Int4-Int8Mix — квантизированная версия языковой модели GLM-5.2, разработанной командой zai-org. Репозиторий содержит data-free квантизацию без использования калибровочного набора данных и подготовлен прежде всего для инференса через vLLM с форматом compressed-tensors. Модель предназначена для генерации текста, диалоговых приложений, программирования и выполнения сложных долгосрочных задач. Базовая GLM-5.2 поддерживает контекст до 1 млн токенов и использует архитектурные улучшения IndexShare, разреженное внимание и MTP для спекулятивного декодирования. В данной версии применено смешанное weight-only-квантизирование: обычные линейные веса преимущественно W8A16, веса MoE-экспертов W4A16, с group size 128; отдельные компоненты сохранены в BF16, FP32 или квантизированы поканально. Размер файлов модели составляет около 378 GiB. Основное преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами при сохранении высокой производительности. В приведённом ориентировочном тесте AIME25 результат составил 92,92% при reasoning_effort=max и 86,46% при medium-high, однако это не является полноценным формальным бенчмарком. Ограничение — заявлена совместимость прежде всего с vLLM и compressed-tensors; совместимость с SGLang и другими runtime не гарантируется. Проверка проводилась на конфигурации из 8 GPU H200 с vLLM 0.23.0 и Transformers 5.12.1. Модель распространяется по лицензии MIT.

onnx-community/granite-4.0-350m-ONNX-web — веб-ориентированная ONNX-версия Granite-4.0-350M, разработанная командой Granite компании IBM. Это компактная instruct-модель, дообученная на открытых наборах инструкций с разрешительными лицензиями и внутренних синтетических данных с использованием supervised fine-tuning, reinforcement learning и model merging. Модель предназначена для запуска через Transformers.js, включая браузерные и on-device сценарии, а также для исследовательского применения и дообучения под специализированные области без значительных вычислительных ресурсов. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle-дополнение кода. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; дополнительные языки могут быть добавлены посредством дообучения. Указанный размер — 350 млн параметров; модель является текстовой, а размер контекста в README не указан. К сильным сторонам относятся малый размер, пригодность для локального и веб-запуска, следование инструкциям, многоязычность и широкий набор прикладных сценариев. Ограничениями являются меньшая емкость по сравнению с более крупными моделями и отсутствие в предоставленных данных подробностей о контекстном окне, точности на конкретных задачах и безопасности применения. Модель распространяется по лицензии Apache 2.0.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная версия языковой модели Hermes 2 Pro, созданной на базе Meta-Llama-3-8B командой NousResearch. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых систем и задач ассистирования, включая function calling и формирование структурированных ответов в JSON. Модель имеет около 8 млрд параметров, работает с текстом и ориентирована на английский язык. Она обучена с применением дообучения, DPO, RLHF, синтетических данных и дистилляции; в качестве набора данных указан OpenHermes-2.5. Для взаимодействия используется шаблон ChatML. Доступны варианты квантизации от Q8_0 до Q2 и IQ-квантов размером примерно от 2,75 до 8,54 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются поддержка диалогового режима, function calling, JSON-ответов и возможность локального запуска через совместимые инструменты, включая llama.cpp. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество генерации; точные ограничения контекстного окна и результаты бенчмарков в представленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

InternLM2-Base-20B — базовая языковая модель второго поколения InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров для генерации и продолжения текста; она предназначена прежде всего для адаптации к предметным областям и может служить основой для последующего дообучения. Репозиторий содержит веса PyTorch, а заявленная длина контекста составляет 32 768 токенов. Модель рассчитана на работу с длинными текстами и демонстрирует способности к рассуждениям, математике и программированию. В README заявлена поддержка входов до 200 000 символов и приведены результаты оценивания InternLM2-20B на бенчмарках, включая MMLU, AGIEval и BBH; этот показатель длины в символах не следует смешивать с контекстом в 32 768 токенов из метаданных. Карточка описывает семейство InternLM2, но не перечисляет конкретные языки обучения или поддержки. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст, поэтому её ответы требуют проверки. Код распространяется по Apache-2.0; веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатную лицензию.

Это пользовательская сборка GGUF-модели Iris-mini от IsValorum: базовая модель AllSpark-Research/Iris-mini представлена в формате GGUF с ручной схемой квантования APEX-I-MiniPlus. В карточке заявлена архитектура qwen35moe с 35 млрд параметров и примерно 3,2 млрд активных параметров на токен; веса занимают около 14,84 ГБ. Сборка сохраняет встроенную голову Multi-Token Prediction для ускорения авторегрессивной генерации с помощью спекулятивного декодирования. Модель предназначена для генерации текста в диалогах, рассуждениях, математических задачах и коде. Она поддерживает множество языков, включая английский, китайский, русский, испанский, французский, немецкий, португальский, итальянский, японский, корейский, вьетнамский, тайский и арабский. В README описаны запуски с длинным контекстом вплоть до 256 тысяч токенов, однако эти оценки зависят от конфигурации и оборудования. Автор заявляет, что выбор точности для отдельных слоёв должен лучше сохранять качество рассуждений и синтаксиса, чем некоторые более грубые квантования, при умеренных требованиях к памяти. Это пользовательская сборка, и приведённые в README сравнения производительности и качества являются заявлениями автора, а не независимой оценкой. Лицензия — Apache-2.0.

Kanana-2-30B-A3B-Thinking — языковая модель Kakao Corporation из семейства Kanana-2, предназначенная для генерации текста с пошаговым рассуждением. Это дообученная версия Kanana-2-30B-A3B-Base на архитектуре DeepSeek V3 с механизмами MLA и Mixture of Experts: всего 30 млрд параметров, из которых активируются около 3 млрд. Репозиторий содержит веса в формате Safetensors; для запуска README рекомендует Transformers версии 4.51.0 или новее. Модель рассчитана на сложные инструкции, логические задачи, длительные диалоги и агентные сценарии с вызовом инструментов. Она поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки, а её штатная длина контекста составляет 32 768 токенов. README описывает настройку YaRN для контекстов до 128 тысяч токенов, но предупреждает, что масштабирование может ухудшить качество на коротких текстах. Лицензия указана как Other, поэтому условия использования следует уточнять в карточке модели. README сообщает, что пользовательские данные Kakao не использовались при предварительном обучении и дообучении. Модель ориентирована на генерацию текста; изображения и аудио в качестве входа не заявлены.

K-EXAONE-236B-A23B-FP8 — мультиязычная языковая модель, разработанная LG AI Research. Это FP8-квантизированная версия K-EXAONE-236B-A23B, предназначенная для генерации текста, рассуждений, работы с общими знаниями, многоязычного понимания, обработки длинного контекста и агентских сценариев с использованием инструментов и поиска. Модель использует архитектуру Mixture-of-Experts с 236 млрд параметров, из которых 23 млрд активируются при инференсе. Она поддерживает Multi-Token Prediction для ускорения самоспекулятивного декодирования примерно в 1,5 раза, 256K токенов контекста и гибридную схему внимания 3:1 со скользящим окном размером 128 токенов. В составе архитектуры 128 экспертов, 8 активных экспертов и один общий эксперт; словарь SuperBPE содержит 153 600 токенов. Поддерживаются корейский, английский, испанский, немецкий, японский и вьетнамский языки. Дата отсечения знаний — декабрь 2024 года. Сильные стороны модели — высокая эффективность MoE-архитектуры, длинный контекст, заявленные возможности рассуждения и работы в агентских системах, а также учет корейского культурного и исторического контекста. FP8-квантизация может снизить требования к ресурсам по сравнению с полноразмерной моделью, но модель всё равно остается крупной и требует специализированной инфраструктуры. Данные о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Лицензия указана как специальная k-exaone; условия использования следует уточнять в файле LICENSE.

Llama3.1-DarkStorm-Aspire-8B — плотная языковая модель семейства Llama 3.1, опубликованная ZeroXClem. Это объединение моделей Dark Enigma, Storm, Aspire и DarkStock методом TIES с использованием подхода Model Stock; в репозитории указаны 7,5 млрд параметров и формат SafeTensors. Модель предназначена для генерации текста, диалогов и следования инструкциям, включая творческое письмо, ролевые сценарии, помощь с кодом, анализ и исследовательские задачи. Она поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Карточка заявляет сильные стороны в связной генерации, творческом письме, рассуждениях и диалогах. Модель может выдавать предвзятые, ошибочные или вымышленные сведения; ответы в чувствительных сценариях требуют проверки. README также отмечает uncensored-подход, поэтому возможен чувствительный или оскорбительный контент. Лицензия — Apache-2.0.

chargoddard/mistral-11b-slimorca — текстовая генеративная модель, созданная Chargoddard дообучением на двух эпохах датасета Open-Orca/SlimOrca. Она использует формат запросов Mistral Instruct и предназначена для диалогов и генерации ответов по инструкциям. Модель основана на варианте рецепта Mistral 11B: до обучения добавленные слои были настроены так, чтобы выход совпадал с Mistral 7B. Это плотная архитектура MistralForCausalLM с 10,6 млрд параметров и контекстом до 32 768 токенов. В карточке приведены результаты нескольких тестов, но они не гарантируют качество в конкретных прикладных сценариях. Модель распространяется по лицензии Apache-2.0.

mistral-community/mixtral-8x22B-v0.3 — текстовая генеративная модель семейства Mixtral, опубликованная сообществом mistral-community. Архитектура — MixtralForCausalLM с механизмом смеси экспертов (MoE); модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет до 65 536 токенов. Эта версия соответствует v0.1, но использует токенизатор большего размера. В репозитории представлены веса Safetensors; лицензия — Apache-2.0. Карточка предупреждает, что чекпойнт может быть неактуальным, и рекомендует использовать соответствующую версию у организации-разработчика.

OpenZephyrChat-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2, созданная объединением весов Mistral-7B-Instruct-v0.2 и OpenZephyrChat методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на сообщения и инструкции в формате чата. Модель использует плотную архитектуру MistralForCausalLM, принимает текст и выдаёт текст. Длина контекста — до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные языковые или предметные специализации, поэтому её можно рассматривать как модель общего назначения.

Qwen2.5-32B-Instruct-MLX-4bit — языковая instruction-tuned модель для генерации текста и диалоговых сценариев, основанная на Qwen2.5-32B-Instruct, разработанной командой Qwen. Данная версия подготовлена сообществом LM Studio: MLX-квантизацию в формате 4-bit выполнил bartowski с использованием mlx-examples. Модель предназначена для работы на компьютерах Mac с Apple Silicon. Модель поддерживает обработку и генерацию текста, понимание структурированных данных и работу с длинным контекстом до 32 тысяч токенов; заявленный максимальный объём генерации составляет 8 тысяч токенов. Поддерживается более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся большой размер модели, многоязычность, поддержка длинного контекста и оптимизация для запуска на Apple Silicon благодаря MLX и 4-bit квантизации. Ограничения включают зависимость от совместимого оборудования и возможное снижение точности по сравнению с исходной моделью из-за квантизации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

Карточка модели Hellbound237/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

RedHatAI/Qwen3.5-9B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе модели Qwen от Qwen. Она принимает текст и изображения, а генерирует текст; модель предназначена для диалоговых приложений, анализа визуальной информации, выполнения инструкций и задач рассуждения. Для работы рекомендуется использовать vLLM, поддерживаются мультимодальный и текстовый режимы. Модель содержит около 9 млрд параметров и использует квантование весов INT4 по схеме W4A16 при сохранении исходной точности активаций. Квантируются линейные операторы в трансформерных блоках, тогда как vision encoder, токенизаторные embeddings и linear attention layers остаются в BF16. Размер на диске составляет около 11 ГБ против 19,3 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена максимальная длина контекста 262144 токена. К сильным сторонам относятся существенное сокращение размера и возможность эффективного инференса при сохранении близкой к исходной точности: на опубликованных тестах результаты квантованной версии составили 97,9–100,1% от показателей базовой модели на задачах следования инструкциям. Ограничения связаны с частичным, а не полным квантованием, зависимостью от совместимого стека vLLM и отсутствием в представленном описании сведений о поддерживаемых языках и подробных характеристиках архитектуры. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-GPTQ-Pro-4bit — это 4-битная GPTQ-квантизация модели Qwen/Qwen3.6-27B, опубликованная пользователем groxaxo. Модель предназначена для эффективного запуска на GPU в локальных и размещённых средах, открытой оценки и воспроизводимых экспериментов. В метаданных указана задача image-text-to-text и поддержка английского языка. Модель содержит около 27 млрд параметров и использует формат GPTQ с оптимизацией под Marlin и сервер vLLM. Для сжатия применялись GPTQ-Pro, FOEM и настройки GPTAQ-style; заявленная цель — сохранить качество исходной модели при уменьшении потребления памяти. Репозиторий включает веса в формате safetensors, конфигурации, токенизатор, процессор и шаблон диалога. В документации приведена конфигурация с контекстом до 132144 токенов, однако практические ограничения зависят от оборудования, длины контекста, размера KV-кэша и числа параллельных запросов. Модель ориентирована на генерацию текста, задачи рассуждения и программирования, а также на сценарии инференса через vLLM или Transformers. В качестве проверенной конфигурации указаны две NVIDIA RTX 3090; для наиболее надёжного запуска рекомендуются float16 и gptq_marlin. К ограничениям относятся возможные изменения качества, памяти и скорости из-за квантизации, необходимость совместимого runtime и сохранения согласованности всех файлов одной версии. На протестированной конфигурации speculative decoding не дал прироста скорости, а запуск с контекстом 262144 токенов привёл к нехватке памяти. Лицензия — Apache 2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B-Cold-Fusion-GAIN-V1.1, разработанная DavidAU при участии Nightmedia и TeichAI. Модель обучалась с использованием авторского метода COLD FUSION, объединяющего GAIN и инструменты Unsloth, а также датасетов Polar-STRICT-Datasets и Reasoning-STRICT-Datasets. Заявленные языки — английский и китайский; лицензия — Apache-2.0. Модель предназначена для широкого спектра сценариев: диалогов, следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй и ролевых взаимодействий. Она поддерживает работу с изображениями и текстом, а также три режима рассуждения — xhigh, medium и low. По заявлению разработчика, настройка направлена на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении подробности ответов и качества решения задач. Поддержка MTP дополнительно ориентирована на повышение скорости вывода. Ключевые характеристики включают 27 миллиардов параметров, архитектурное семейство Qwen3.8 и форматы GGUF с различными уровнями квантования. Разработчик заявляет, что 4-битные и 8-битные варианты сохраняют около 99% производительности BF16, однако эти показатели требуют самостоятельной проверки на конкретных задачах. Ограничения включают возможные особенности и непредсказуемость изменённого поведения рассуждений, а также отсутствие в представленном README сведений о размере контекстного окна, точной архитектуре, системных требованиях и конкретных вариантах квантования.