II.1Анализ требований и архитектура ПО

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный lactroiii на базе модели Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального запуска через llama.cpp. Поведение отказов существенно снижено, но не устранено; основные возможности, обучающие данные и архитектура базовой модели сохранены. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Заявлена поддержка английского и китайского языков, а также визуального ввода при наличии vision tower в базовой модели. Доступны варианты IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, включая конфигурации со встроенной или отдельной MTP draft-моделью для speculative decoding. К сильным сторонам относятся большое контекстное окно, поддержка текста и изображений, несколько уровней квантизации и сохранённая MTP-голова для потенциального ускорения генерации. Измерения perplexity показывают близкое к f16 качество для большинства вариантов, тогда как IQ2_M заметно уступает остальным. Снижение отказов не является полным и может влиять на профиль безопасности модели. Для использования требуется совместимый runtime, например llama.cpp; лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная в формате GGUF для использования с llama.cpp. Модель предназначена для генерации текста, локального запуска и сценариев, где важны различные уровни квантизации, включая работу со speculative decoding благодаря сохранённой голове multi-token prediction (MTP). Доступен вариант с поддержкой изображений, если это предусмотрено базовой моделью. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с объединённой MTP-головой и отдельными целевой и draft-моделями. По сравнению с исходной моделью существенно снижено поведение отказа от ответа, но оно не устранено полностью; при этом возможности, обучающие данные и архитектура базовой модели не изменялись. Сильными сторонами являются большой контекст, поддержка MTP для ускорения инференса, несколько вариантов размера файлов и сохранение качества при большинстве квантизаций. Ограничения включают возможное небольшое снижение доли принятых токенов при speculative decoding, зависимость от совместимости используемого runtime и отсутствие в README подробных сведений о фактических показателях рассуждения, программирования и мультиязычных возможностей. Распространение указано по лицензии Apache-2.0.

KasugaiSakura/Qwen3.8-27B-Uncensored-JonathanColetti-GGUF — это набор GGUF-квантизаций модели Qwen/Qwen3.8-27B, опубликованный KasugaiSakura. Вариант модифицирован с помощью Heretic для существенного снижения отказов в ответах; дополнительное обучение и новые данные не использовались, а основные возможности, обучающие данные и архитектура унаследованы от базовой модели. Модель предназначена для генерации текста и запуска через совместимые среды, включая llama.cpp, а также поддерживает обработку изображений при использовании vision-проектора и совместимого runtime. Архитектура обозначена как Qwen3_5ForConditionalGeneration и включает 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 10,6 до 29 ГБ. Сохранён MTP-head для speculative decoding, позволяющий ускорять генерацию, а опубликованные варианты включают как объединённые файлы, так и отдельные target/draft-модели. Заявлены языки English и Chinese. Сильными сторонами являются большой контекст, поддержка текста и изображений, широкий выбор уровней квантизации и возможность ускоренной генерации с MTP. Поведение отказов существенно ослаблено, но не устранено полностью; это может быть полезно для менее ограниченных сценариев, однако не означает отсутствия механизмов безопасности. Качество и требования к памяти зависят от выбранной квантизации: IQ2_M занимает меньше памяти, но показывает заметно более высокую perplexity, тогда как варианты от IQ4_XS и выше ближе к исходной точности. Модель распространяется по лицензии Apache-2.0.

Карточка модели willhx/Qwen3-8B-Base-SeaSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Qwen3.8-Flash-Next-ik-llama-GGUF — это текстовая GGUF-конверсия модели Qwen3.8-Flash-Next, опубликованная пользователем ji-farthing. Файлы собраны непосредственно из BF16-релиза Qwen и предназначены для локального запуска через ik_llama.cpp, прежде всего для генерации текста и агентских задач, включая программирование. Модель использует архитектуру с маршрутизируемыми экспертами, а также поддерживает собственную MTP-head для speculative decoding. Доступны варианты квантизации IQ3_KT и IQ4_KT объёмом соответственно 80,22 и 88,42 ГиБ. Отдельно поставляется MTP-head IQ4_KT объёмом 2,21 ГиБ; она не является самостоятельной моделью и должна загружаться вместе с основной моделью. Указан контекст до 131 072 токенов. Модель текстовая, сведения о поддерживаемых языках в README не приведены. Для работы требуются ik_llama.cpp и сборка с поддержкой qwen4exp MTP; маршрутизируемые эксперты требуют примерно 50,4 ГиБ RAM или VRAM для IQ3_KT и 58,6 ГиБ для IQ4_KT. Ключевые сильные стороны — квантизация с importance matrix, настроенная для агентского программирования, сохранение собственного механизма MTP и высокая эффективность использования памяти за счёт размещения PLE-таблицы на диске. По приведённым измерениям на коде IQ4_KT показывает perplexity 1,8209 против 1,7218 у BF16-версии, а IQ3_KT — 1,8273. Ограничения включают очень большой размер файлов, высокие требования к оперативной памяти и необходимость специализированного runtime; MTP увеличивает объём вычислительного буфера. Лицензия указана как qwen-community-license-1.0.

Qwen3-Next-80B-A3B-Instruct-Amy — дообученная автором haron1100 модель для генерации текста и диалогов. Она основана на разреженной архитектуре Qwen3-Next MoE и поддерживает вызов инструментов через соответствующий интерфейс. Репозиторий содержит веса в формате safetensors; обучение выполнялось с Unsloth и библиотекой Hugging Face TRL. Модель принимает текст и генерирует текст, в том числе ответы в диалоге. Унаследованная длина контекста составляет 262 144 токена; метаданные указывают английский язык. Модель опубликована по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Thinking-4bit — языковая модель для генерации текста, опубликованная сообществом mlx-community. Она представляет собой конвертированную в формат MLX версию базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking; конвертация выполнена с использованием mlx-lm версии 0.27.1. Модель предназначена для запуска и генерации текста в экосистеме MLX, в частности через библиотеку mlx-lm на совместимых системах. Из известных характеристик указаны размер исходной модели 80B и 4-битное квантование, обозначенное в идентификаторе модели. Название Thinking указывает на ориентированность исходной модели на задачи, требующие рассуждений, однако README не содержит подробностей об архитектуре, количестве активных параметров, языках, размере контекста, поддерживаемых модальностях или результатах тестирования. В README также не описаны конкретные сильные стороны и ограничения качества модели; практические характеристики зависят от среды MLX и доступных вычислительных ресурсов. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели, токенизатора и генерации ответа с поддержкой chat template, если он определён.

Aashraf995/Qwen-Evo-7B — языковая модель на 7,1 млрд параметров, созданная слиянием нескольких предварительно обученных моделей семейства Qwen2 с помощью mergekit и метода Model Stock. В слияние вошли fblgit/cybertron-v4-qw7B-UNAMGS, jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.5 и suayptalha/HomerCreativeAnvita-Mix-Qw7B; последняя использована как базовая. Модель предназначена для генерации текста и диалогового применения, включая ответы на запросы и работу через интерфейс вызова инструментов. Модель использует архитектуру Qwen2ForCausalLM и принимает текст, выдавая текст. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. README не приводит оценок качества или подробных ограничений; характеристики и поведение унаследованы от компонентов слияния.

bartowski/Qwen_Qwen3.6-27B-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-27B, разработанной Qwen и опубликованной в формате, совместимом с llama.cpp. Квантизации подготовлены bartowski с использованием imatrix и предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В метаданных указано назначение image-text-to-text, однако подробные сведения о поддержке изображений в README отсутствуют. Модель имеет 27 млрд параметров и доступна в вариантах от BF16 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 13,5 до 54,7 ГБ; варианты с более высокой точностью обычно сохраняют лучшее качество, а низкобитные версии требуют меньше оперативной памяти. Для некоторых конфигураций заявлена поддержка MTP-слоёв через параметр draft-mtp в llama.cpp. Формат prompt использует специальные маркеры ролей system, user и assistant с секцией рассуждений think. Модель подходит для локальной генерации текста и мультимодальных сценариев, если соответствующая поддержка реализована используемым инструментом, однако языки, размер контекста, архитектурные детали исходной модели и конкретные возможности работы с изображениями в предоставленных данных не указаны. Сильные стороны — широкий выбор квантизаций, возможность запуска на различном оборудовании и заявленное высокое качество вариантов Q5–Q8; ограничения связаны с ростом потерь качества у низкобитных вариантов и значительными требованиями к памяти. Указана лицензия Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF — GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанные независимым автором LLMfan46 на базе модели llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic. Модель предназначена для генерации текста, задач рассуждения, работы с длинным контекстом, function calling и tool use, а также агентских, кибербезопасностных и биомедицинских сценариев. Заявлена поддержка английского языка и контекста до 1M токенов; библиотека — Transformers. Архитектура и точные параметры квантизации в README не указаны, однако размер базовой модели составляет 9B параметров. Это декензурированная версия, полученная с помощью Heretic v1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), применённого к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась до 11 из 100 против 73 из 100 у исходной модели, при KL divergence 0,0123; при этом заявлено сохранение качества. В тесте MMLU исходная модель показала точность 77,03%, но отдельные результаты именно этой версии не приведены. Сниженная склонность к отказам может быть полезна для исследовательских и специализированных сценариев, но также повышает риски небезопасной генерации, поэтому необходимы контроль применения и проверка результатов. Модель распространяется по лицензии Apache-2.0.

Карточка модели rhombus18/rhododendron-efficiency-1o на Hugging Face совпадает с карточкой rhombus18/rhododendron-professor-1o, поэтому описание составлено по ней. Rhombus18 Rhododendron Professor 1o — дообученная языковая модель семейства Qwen3, разработанная пользователем rhombus18 на основе unsloth/qwen3-32b-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Карточка указывает обучение с помощью Unsloth и библиотеки TRL от Hugging Face; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает английский язык и контекст длиной до 128 000 токенов. В README не описаны специализированные области применения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно. Лицензия — Apache 2.0.

RWKV-7 World — базовая авторегрессионная языковая модель семейства RWKV от BlinkDL, предназначенная для генерации текста и использования в качестве основы для дообучения. Модель обучалась на корпусе примерно из 3,1 трлн токенов для версии World-v3; в обучающих данных преобладает английский язык, также представлены другие языки и программный код. В README указаны варианты семейства от 0,1B до примерно 7B параметров, но размер именно этой публикации не уточнён. Модель рассчитана на продолжение текста, диалоговые и вопросно-ответные сценарии при использовании рекомендованных шаблонов запросов. Архитектура RWKV-7 поддерживается пакетом rwkv версии 0.8.28 и выше. Карточка сообщает о обучении более чем на 100 языках; метаданные перечисляют 12 языков, включая русский, китайский, английский, французский, испанский, немецкий, португальский, итальянский, японский, корейский, вьетнамский и арабский. В README приведены результаты MMLU для нескольких вариантов RWKV-7-v3 и сравнение с RWKV-6, но эти оценки не являются характеристиками конкретного файла модели. Это базовая модель, а не специализированный чат-чекпойнт; качество ответов и следование инструкциям могут зависеть от шаблона и дополнительного дообучения. Лицензия — Apache-2.0.

Sakura-SOLAR-Instruct-GGUF — квантизированная версия инструкционной языковой модели Sakura Solar Instruct, разработанной KyujinHan. Модель предназначена для генерации текста и диалогового взаимодействия по системным и пользовательским инструкциям; её можно запускать локально на CPU и GPU через llama.cpp и совместимые интерфейсы и библиотеки. Репозиторий содержит файлы в формате GGUF, включая варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Архитектура модели — SOLAR, формат GGUFv2; точный размер, число параметров и максимальная длина контекста в README не указаны. Заявлен английский язык, поддерживается только текстовая модальность. Квантизация уменьшает требования к памяти и позволяет выбирать компромисс между размером, скоростью и качеством, однако более агрессивные варианты могут сильнее терять в качестве по сравнению с исходной моделью. Для работы используется шаблон запроса с секциями System, User и Assistant. Модель и её квантизированные файлы распространяются по лицензии CC BY-NC-SA 4.0.

SciPhi-Self-RAG-Mistral-7B-32k-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP модель на базе Mistral-7B-Instruct-v0.2 и SciPhi-Self-RAG-Mistral-7B-32k. Это плотная авторегрессионная языковая модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов; контекст — до 32 768 токенов. Объединение сочетает возможности исходных моделей, включая ориентированность SciPhi Self-RAG на ответы с использованием извлечённых сведений. Модель подходит для диалоговых приложений и генерации ответов по контексту, например при работе с материалами, предоставленными пользователем. В репозитории представлены веса Safetensors, а лицензия — Apache-2.0. README не приводит результатов сравнительных оценок, поэтому качество merge-модели для конкретных задач по карточке определить нельзя.

Seed-OSS-36B-Instruct-MLX-6bit — это 6-битная MLX-квантизованная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизация предоставлена командой LM Studio с использованием mlx_lm; сама модель предназначена для генерации текста и работы по инструкциям. Модель подходит для локального запуска в сценариях, требующих ответов на естественном языке и выполнения текстовых задач. Она оптимизирована для устройств Apple Silicon благодаря формату MLX. Известно, что модель содержит около 36 миллиардов параметров и использует 6-битное представление, однако сведения о поддерживаемых языках, длине контекста, конкретной архитектуре и доступных модальностях в README не указаны. К сильным сторонам относятся крупный размер базовой модели, инструкционная настройка, снижение требований к памяти за счёт 6-битной квантизации и оптимизация для экосистемы Apple Silicon. Ограничениями являются зависимость от совместимого MLX-окружения и возможная потеря точности по сравнению с полной версией из-за квантизации; количественные характеристики качества и рекомендации по аппаратным требованиям не приведены. В карточке указана лицензия Apache-2.0.

Shark-1-Ogno-7b-passthrough — текстовая генеративная модель, созданная объединением powermove72/Shark-1 и eren23/OGNO-7b-dpo-truthful с помощью LazyMergekit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. При объединении слои 0–15 взяты из Shark-1, а слои 16–31 — из OGNO-7b-dpo-truthful; применён метод passthrough, объединённый токенизатор и формат float16. Модель предназначена для генерации текста и диалоговых сценариев. Контекстное окно составляет 32 768 токенов; карточка также отмечает поддержку классификации текста. Для запуска можно использовать Transformers. Ограничения качества и поддерживаемые естественные языки в карточке не описаны. Сведения о лицензии отсутствуют в предоставленных данных, поэтому условия использования по ним определить нельзя.

Spark-X2.5-4B MLX 8-bit — 8-битная версия языковой модели XHToken/Spark-X2.5-4B, подготовленная для MLX. Модель предназначена для задач общего назначения, включая рассуждения, программирование, использование инструментов и агентские рабочие процессы. Идентификатор модели — abenzerps/Spark-X2.5-4B-MLX-8bit. Модель имеет архитектуру spark2_5, содержит около 4 миллиардов параметров и работает с текстом. Заявлен нативный контекст до 1 048 576 токенов, что подходит для обработки очень больших документов и длинных последовательностей. Веса представлены в формате MLX 8-bit и занимают около 4,37 ГБ; языки обучения или поддержки в README не указаны. Для работы требуется Spark-MLX-LLM: модель пока не поддерживается oMLX и стандартным MLX-LM. README не приводит подробных результатов тестирования, поэтому качество в конкретных задачах нельзя оценить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Steelskull_L3.3-Electra-R1-70b-GGUF — это квантизированная версия языковой модели L3.3-Electra-R1-70b, разработанной Steelskull и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70 миллиардов параметров и поддерживает текстовый сценарий работы. В README приведён специальный шаблон запросов с системными и пользовательскими сообщениями, совместимый с форматом токенов модели. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 27 до 75 ГБ; для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K. Квантизация выполнена с использованием imatrix и датасета, указанного автором сборки. Сильной стороной являются высокое качество крупных вариантов квантизации и возможность локального запуска без обращения к облачным сервисам. Ограничения включают значительные требования к оперативной памяти или видеопамяти, а также возможное снижение качества в компактных вариантах. Языки, размер контекста, точная архитектура, мультимодальные возможности и результаты оценки в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в репозитории исходной модели.

StrangeMerges_9-7B-dare_ties — объединённая языковая модель семейства Mistral, опубликованная Gille. Она создана методом dare_ties с помощью LazyMergekit на основе leveldevai/TurdusBeagle-7B и samir-fama/FernandoGPT-v1; карточка также указывает StrangeMerges_8-7B-slerp как базовую модель в конфигурации слияния. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат safetensors; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста, диалогов и выполнения инструкций. В README приведены результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag, но сведений о языковой специализации или прикладной области нет. Лицензия — Apache-2.0.

StructuredThinker-v0.3-MoreStructure — объединённая разговорная языковая модель семейства Qwen2, созданная автором репозитория Ahdoot с помощью mergekit и метода DARE TIES. В качестве базовой модели использована Qwen/Qwen2.5-3B-Instruct; в объединение также вошли PowerInfer/SmallThinker-3B-Preview и prithivMLmods/QwQ-LCoT-3B-Instruct. Модель содержит 3,1 млрд параметров, работает с текстом и имеет контекстное окно 32 768 токенов. Модель предназначена для генерации текста и диалогов, в том числе для структурированных ответов. Метаданные отмечают интерфейс вызова инструментов, но README не описывает его поведение или качество. Модель доступна в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

TextSynth-4B-0926 — разговорная языковая модель, разработанная theprint на основе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit. Это плотная модель архитектуры Qwen3 с 3,7 млрд параметров, дообученная для генерации текста и диалогов; в метаданных также указана возможность работы с интерфейсом вызова инструментов. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно до 262 144 токенов. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL на датасете theprint/Hemispheres-v0.3-Combo-GPT. Подходит для диалоговых приложений и генерации ответов на английском языке. Репозиторий содержит веса safetensors; лицензия — Apache-2.0.

Карточка модели PS4Research/tGN7qCNgsAHkyykL на Hugging Face совпадает с карточкой PS4Research/EVPdEf4TUz3pRa2u, поэтому описание составлено по ней. PS4Research/EVPdEf4TUz3pRa2u — дообученная языковая модель семейства Qwen3, разработанная PS4Research на базе unsloth/Qwen3-14B-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель содержит 14 млрд параметров, построена на плотной архитектуре Qwen3ForCausalLM и принимает текст для генерации текста; поддерживает диалоговый интерфейс и интерфейс вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев. Её контекстное окно составляет 40 960 токенов. В карточке указан английский язык. Модель распространяется по лицензии Apache-2.0. Специализация дообучения и его качество в карточке не раскрыты.

GLM-Z1-32B-0414-GGUF — это квантизированная версия языковой модели GLM-Z1-32B-0414, разработанной THUDM и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Указаны китайский и английский языки, а лицензия исходной модели — MIT. Модель содержит 32B параметров; README не уточняет её архитектуру, размер контекста и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. Доступны варианты от BF16 и Q8_0 до низкобитных Q2_K, Q3, Q4, Q5 и Q6-квантизаций. Старшие варианты обеспечивают качество, близкое к исходной модели, а более компактные требуют меньше оперативной памяти, но могут заметно терять в качестве. Для большинства сценариев рекомендованы варианты Q4_K_M, Q5_K_M, Q6_K и их модификации. Квантизации выполнены с использованием imatrix и llama.cpp; в этой версии также заявлено исправление токенизатора. Сильная сторона модели — возможность локального запуска 32B-модели в широком диапазоне требований к памяти благодаря большому выбору квантизаций. Ограничения включают высокие требования к ресурсам даже для компактных вариантов и потенциальное снижение качества у низкобитных форматов. Для корректного использования необходимо соблюдать указанный формат prompt с токенами GLM.

TopEvolution7RAG — созданная сообществом mergekit объединённая языковая модель на архитектуре Mistral с плотной архитектурой и примерно 7,1 млрд параметров. Веса объединены методом SLERP из DeepMount00/Mistral-RAG и mergekit-community/TopEvolutionWiz. Модель предназначена для генерации текста; базовая модель Mistral-RAG описана как дообученная для генеративных и экстрактивных ответов на вопросы по текстам, поэтому объединённая модель может подходить для ответов на вопросы и сценариев RAG. Поддерживаемый контекст — 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Topxtral-4x7B-v0.1 — текстовая генеративная модель семейства Mixtral с архитектурой Mixture of Experts, предназначенная для создания ответов и продолжения текста. Карточка содержит пример запроса о плюсах и минусах Docker, что указывает на использование модели для ответов на вопросы и объяснений. Модель имеет 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Репозиторий использует формат Safetensors и библиотеку Transformers; модель опубликована под лицензией Apache-2.0. Метаданные помечают её как merge, однако не указывают базовые модели, поэтому состав слияния установить нельзя.

Tralalabs_Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Tralalabs/Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-FP16. Исходная модель связана с семейством Qwen3 и обучена с использованием набора данных TeichAI/claude-haiku-4.5-1700x; квантизацию выполнил bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров, поддерживает текстовый ввод и вывод, а в метаданных указан английский язык. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; размеры файлов составляют примерно от 2,36 до 8,05 ГБ. В README приведён формат шаблона чата на основе специальных токенов Qwen. Контекстное окно, точный набор поддерживаемых языков и результаты сравнительных оценок не указаны. Основное преимущество модели — выбор вариантов квантизации, позволяющий адаптировать качество и требования к памяти, причём Q6_K и Q6_K_L отмечены как варианты очень высокого качества, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает потребление памяти, но может снижать качество генерации. Для запуска требуется совместимое программное обеспечение с поддержкой данной архитектуры; для новых моделей иногда необходимо обновление используемого инструмента. Лицензия — Apache-2.0.

Llama 30B Instruct 2048 — языковая модель для генерации текста и выполнения инструкций, разработанная Upstage. Представлена в репозитории TheBloke в формате GGUF, причём файлы модели были квантованы TheBloke на основе оригинальной модели upstage/llama-30b-instruct-2048. Модель предназначена для диалоговых сценариев, ответов на инструкции и общего текстового вывода на английском языке. Она основана на архитектуре Llama, содержит 30 миллиардов параметров и поддерживает контекст длиной 2048 токенов. В README также указано обучение или оценивание на наборах SciQ, ScienceQA text-only, GAIR/lima, OpenOrca и OpenBookQA. Для работы используется шаблон промпта с секциями System, User и Assistant. GGUF-версии рассчитаны на запуск через llama.cpp и совместимые интерфейсы и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python; доступны варианты квантования от 2 до 8 бит для CPU и GPU. Квантование уменьшает требования к ресурсам, но конкретное влияние на качество зависит от выбранного варианта. Модель поддерживает только текстовые сценарии, а её контекст ограничен 2048 токенами. В метаданных указана лицензия «other», однако её точные условия в README не приведены.

Карточка модели fknuette/werwolf-sft на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

WINTER-FROST-2-PRO — дообученная brucoder языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров. Базовая модель — unsloth/Qwen2.5-7B-Instruct-bnb-4bit; для обучения использовались Unsloth и библиотека Hugging Face TRL. Модель предназначена для генерации текста и диалогового взаимодействия; также заявлен интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0.

PrunaAI/WizardLM-2-7B-GGUF-smashed — это сжатая и квантизированная версия WizardLM-2-7B, опубликованная PrunaAI; исходная модель связана с Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio, text-generation-webui или библиотеки llama-cpp-python и ctransformers. Модель имеет архитектуру llama и около 7 млрд параметров. Она распространяется в формате GGUF с вариантами квантизации от Q2_K до Q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. В карточке приведён пример запуска с контекстом 32768 токенов; более длинный контекст требует больше ресурсов. Модель принимает текст и генерирует текст; сведения о поддерживаемых языках и мультимодальности не указаны. К сильным сторонам относятся уменьшенный размер файлов, возможность работы на менее мощном оборудовании и широкий выбор уровней квантизации. Ограничение состоит в том, что качество ответов может отличаться от базовой модели и снижаться при более агрессивном сжатии. Лицензия отдельно не указана: карточка сообщает, что она наследуется от лицензии исходной модели, поэтому перед использованием необходимо проверить условия для WizardLM-2-7B.