II.4Отладка, тестирование и качество ПО

Карточка модели prompt-agnostic-language-models/Llama-1B_ties_all на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Это преобразованная сообществом mlx-community версия диалоговой модели NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF, подготовленная для запуска в формате MLX на Apple Silicon. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров; длина контекста — до 131 072 токенов. Она предназначена для генерации текста в ответ на инструкции и запросы, поддерживает чат и интерфейс вызова инструментов. Модель дообучена NVIDIA на базе Llama 3.1 Nemotron с использованием HelpSteer2, а затем конвертирована в MLX; в репозитории указана версия bf16. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения текстовых инструкций. Карточка и метаданные указывают английский язык. Для использования действуют условия лицензии Llama 3.1; запуск через MLX ориентирован на устройства Apple Silicon.

Llama-3.1-Tulu-3-405B-GGUF — это набор GGUF-квантизаций большой языковой модели Llama-3.1-Tulu-3-405B, опубликованный bartowski. Исходная модель разработана Allen Institute for AI (AI2), а квантизация выполнена с помощью llama.cpp release b4585 и метода imatrix. Модель предназначена для генерации текста и запуска локальных LLM-приложений через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 405 млрд параметров, работает в текстовой модальности и, согласно карточке, ориентирована на английский язык. Указан датасет RLVR-MATH, однако конкретные характеристики обучения и размер контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 431 до 119 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, но требуют больше оперативной или видеопамяти; низкие уровни экономят память ценой снижения качества. Для диалогового использования указан формат промпта с ролями system, user и assistant. Сильной стороной являются очень большой масштаб модели и широкий выбор вариантов для подбора компромисса между качеством и требованиями к памяти. Ограничениями остаются исключительно высокие аппаратные требования даже для наиболее сжатых вариантов, а также потенциальная потеря качества при низкой квантизации. Модель распространяется по лицензии llama3.1; перед использованием необходимо учитывать условия этой лицензии.

lainshower/Llama3-8b-alpaca — дообученная в режиме полного fine-tuning модель Llama 3, созданная на основе Llama 3 8B с использованием инструкционных данных Stanford Alpaca. Это плотная авторегрессионная языковая модель с 7,5 млрд параметров и контекстом до 8192 токенов; веса опубликованы в формате safetensors. Модель предназначена для генерации ответов на инструкции и запросы с дополнительным контекстом. В README приведён шаблон диалога Alpaca и пример ответа на вопрос с выбором варианта; заявлено обучение в течение одной эпохи в BF16, поскольку более длительное обучение приводило к переобучению. Для инференса автор рекомендует Float32. Карточка не указывает лицензию, поэтому условия использования определить нельзя.

Maziyar Panahi разработал Llama-3-8B-Instruct-v0.9 на основе MaziyarPanahi/Llama-3-8B-Instruct-v0.8. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; для общения использует шаблон ChatML и может запускаться через библиотеку Transformers. В карточке приведены результаты тестирования на Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Метаданные указывают английский язык. Репозиторий содержит веса в формате safetensors, а квантизованные GGUF-варианты размещены отдельно. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензии в репозитории.

QuantFactory/Llama-3-8B-Magpie-Pro-SFT-v0.1-GGUF — квантизированная версия языковой модели Llama-3-8B-Magpie-Pro-SFT-v0.1, созданная с помощью llama.cpp. Исходная модель разработана проектом Magpie-Align на базе Meta Llama 3 8B и дообучена методом supervised fine-tuning на датасете Magpie-Pro-300K-Filtered, содержащем отфильтрованные синтетические инструкции и ответы. Проект Magpie связан с исследователями Zhangchen Xu, Fengqing Jiang, Luyao Niu, Yuntian Deng, Radha Poovendran, Yejin Choi и Bill Yuchen Lin. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и ответы на пользовательские запросы. Это авторегрессионная текстовая модель с архитектурой LlamaForCausalLM; размер базовой модели — 8 млрд параметров. В README указана длина обучающей последовательности 8192 токена, однако точный контекстный размер готовой GGUF-версии не уточнён. Поддерживается текстовая модальность, список языков не указан. Для наилучшей работы следует использовать официальный chat template Llama 3. По заявленным результатам модель достигает показателей, сопоставимых с Llama-3-8B-Instruct при использовании только SFT: Alpaca Eval 2 — 25,08 LC и 29,47 WR, Arena Hard — 18,9. Ограничения включают отсутствие подробных сведений о языковом покрытии, точном формате и уровне квантизации, а также неполное описание поведения за пределами приведённых тестов. Использование регулируется Meta Llama 3 Community License.

LlongOrca 13B 16K — большая языковая модель Open-Orca, представленная в формате GGUF и квантованная TheBloke. Она основана на архитектуре Llama и предназначена для генерации текста, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. В описании указана поддержка английского языка, а исходный набор данных — OpenOrca. Модель имеет 13 млрд параметров и контекстное окно до 16K токенов. GGUF поддерживает метаданные, специальные токены и расширяемость; доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Модель совместима с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами для CPU+GPU-инференса. Для диалогов указан шаблон ChatML. К сильным сторонам относятся увеличенный контекст и возможность локального запуска на широком спектре аппаратных конфигураций благодаря квантованным версиям. Ограничения включают зависимость качества и требований к памяти от выбранного уровня квантования, а также отсутствие в README подробных результатов тестирования и характеристик мультиязычности. Для использования заявлена лицензия llama2; поскольку модель основана на Llama 2, также применяются условия лицензии Meta Llama 2. Вопросы о взаимодействии этих лицензий рекомендуется уточнять в репозитории исходной модели.

stamsam/maple-preview-gguf — набор GGUF-конвертаций модели Maple-Preview, разработанной DeepGrove. Это языковая reasoning-модель для генерации текста и решения задач, реализованная как Mixture-of-Experts: всего около 20 млрд параметров, примерно 1 млрд активных на токен (A1B), 24 слоя и контекст до 131 072 токенов. Архитектура использует 256 экспертов, 8 активных экспертов, GQA с 16 query-heads и 4 KV-heads, а также гибридное внимание с чередованием скользящего окна размером 512 и глобального внимания. Модель поддерживает текстовую модальность; заявленные языки в README не указаны. В репозитории доступны варианты F16, Q4_K_M и экспериментальный ternary TQ2_0 с двухбитными весами, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильными сторонами являются большой контекст, MoE-архитектура, низкая активная вычислительная стоимость и поддержка GPU для указанных сборок. При этом проект находится на ранней стадии валидации: систематические оценки, perplexity и бенчмарки отсутствуют, а поддержка ternary-вычислений новая. Файлы нельзя загрузить в основной llama.cpp или PrismML upstream; требуется форк stamsam/llama.cpp, ветка prism, с Maple runtime. Базовая модель и опубликованные материалы распространяются по лицензии MIT.

MeliodasPercival_01_Inex12Neural — объединённая модель для генерации текста и диалогов, созданная на основе automerger/MeliodasPercival_01-7B и automerger/Inex12Neural-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель принимает текст и генерирует текст; её можно использовать для диалогов и других сценариев продолжения текста. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache 2.0.

Meta-Llama-3-8B-Instruct-BPE-fix-GGUF — это GGUF-версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях диалоговых ассистентов, ответов на вопросы, написания и преобразования текста. В карточке указаны английский язык и задача text-generation; поддержка других языков не заявлена. Известно, что модель относится к семейству Llama 3 и содержит 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами инференса, а суффикс BPE-fix указывает на вариант с исправлением, связанным с токенизацией BPE, однако подробности этого исправления в README не приведены. Сведения о размере контекста, точной архитектуре, модальностях, производительности и ограничениях качества отсутствуют. Модель распространяется по лицензии Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение, создание производных работ и модификацию на установленных условиях. При распространении материалов или продуктов необходимо включать текст лицензии, указывать «Built with Meta Llama 3», сохранять требуемое уведомление об авторских правах и соблюдать Acceptable Use Policy. Для организаций и продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Mungert/MiniCPM4.1-8B-GGUF — это GGUF-версия языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, включая задачи рассуждения, диалоговые сценарии и запуск на устройствах с ограниченными ресурсами. Она поддерживает китайский и английский языки. Модель содержит 8 млрд параметров и использует гибридную архитектуру с обучаемым разреженным вниманием. Заявлены режимы глубокого рассуждения и обычной генерации, а также ускоренное декодирование: до трёхкратного ускорения рассуждений и более высокая эффективность на периферийных устройствах. GGUF-квантизация позволяет уменьшить требования к памяти, а автор сборки применяет дополнительное повышение точности отдельных важных слоёв с помощью llama.cpp, что может улучшать качество при низкой разрядности ценой увеличения размера файла. К ограничениям относятся отсутствие сведений о конкретном размере контекста, доступных вариантах квантизации и подробных результатах тестирования именно этой сборки. Производительность и качество зависят от выбранного GGUF-варианта и оборудования. Исходная модель распространяется по лицензии Apache-2.0; README не уточняет, отличается ли лицензия сборки от лицензии исходной модели.

Mini_synata_7b_011-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Разработана путём слияния mistralai/Mistral-7B-Instruct-v0.1 и Minirecord/Mini_synata_7b_011 методом SLERP; конфигурация использует базовую модель Mistral-7B-Instruct-v0.1 и точность bfloat16. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Она принимает текст, поддерживает чат-взаимодействие и имеет контекст длиной до 32 768 токенов. Данные не подтверждают специализацию на конкретном языке или предметной области. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или конкретных ограничений применения.

Mirai Nova — дообученная LocalAI модель на архитектуре Llama 3, созданная для генерации текста и диалогов. Разработчики ориентируют её на вызов функций и отмечают усиленные способности к рассуждению; модель также подходит для общих текстовых задач. В LocalAI она рассчитана на работу с вызовом функций через грамматики. Чекпойнт содержит 7,5 млрд параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Сведений о лицензии в использованных данных нет.

Карточка модели NostraEmpire/mirror-qwq-32b на Hugging Face совпадает с карточкой Qwen/QwQ-32B, поэтому описание составлено по ней. QwQ-32B — reasoning-модель семейства Qwen от команды Qwen, основанная на Qwen2.5-32B и дообученная с supervised fine-tuning и reinforcement learning. Это плотная причинная языковая модель на 32 млрд параметров для генерации текста и диалогов, рассчитанная на сложные задачи, где полезны рассуждения, в частности решение математических задач и ответы на трудные вопросы. Поддерживает интерфейс вызова инструментов. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в QKV attention; в модели 64 слоя и grouped-query attention с 40 головами Q и 8 головами KV. README заявляет контекст до 131 072 токенов, тогда как метаданные указывают нативный контекст 40 960 токенов. Для входов длиннее 8 192 токенов README рекомендует включать YaRN; статическое масштабирование в vLLM может снижать качество на коротких текстах. Модель описана как конкурентоспособная с другими reasoning-системами, но конкретные результаты оценки в карточке не приведены. Модель принимает текст и генерирует текст. Карточка указывает английский язык. Для снижения повторов README рекомендует не использовать жадное декодирование и настраивать параметры sampling; при повышении presence penalty возможны смешение языков и небольшое снижение качества. Лицензия — Apache-2.0.

Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

MaziyarPanahi/Mistral-7B-KNUT-v0.3-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Herry443/Mistral-7B-KNUT-v0.3. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и генерирует текст; заявленный контекст составляет до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на инструкции. Веса сохранены в формате safetensors, слияние выполнено в формате bfloat16. Репозиторий распространяется по лицензии Apache-2.0. README не описывает отдельные специализированные сценарии применения или ограничения качества.

jpquiroga/Mistral_7B_slerp_merge_instruct_open_orca — объединённая модель на основе Mistral-7B-Instruct-v0.1 и Open-Orca/Mistral-7B-OpenOrca, созданная автором репозитория с помощью mergekit и метода SLERP. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять в чат-ботах, помощниках и системах, которым нужны ответы на запросы на естественном языке. Заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает результатов оценки качества или отдельных ограничений поведения, поэтому фактическую пригодность для конкретных задач следует проверять на собственных примерах.

CISCai/Mistral-Nemo-Instruct-2407-SOTA-GGUF — это набор квантизированных моделей в формате GGUF на основе Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию выполнил CISC с использованием importance matrix, обученной примерно на 1 млн токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp, сторонние графические интерфейсы и библиотеки, совместимые с актуальными версиями llama.cpp. Модель поддерживает текстовую модальность и английский язык. Встроенный шаблон чата Mistral Tekken включает поддержку function calling через OpenAI-совместимый параметр tools; также были исправлены связанные с tool calls проблемы токенизации и шаблона чата. Репозиторий содержит варианты квантизации IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с эффективной разрядностью примерно от 1,56 до 4,5 бит на вес и размером файлов примерно от 2,8 ГБ, что позволяет выбирать между экономией памяти и качеством. Главное преимущество набора — возможность локального запуска при ограниченных ресурсах и наличие вариантов с разным компромиссом между размером, требованиями к оперативной памяти и качеством. Низкоразрядные варианты характеризуются существенной или высокой потерей качества, поэтому для более требовательных задач предпочтительны более точные варианты. Файлы совместимы с llama.cpp начиная с версии от 22 июля 2024 года, включая commit 50e0535. Модель распространяется по лицензии Apache-2.0.

Mistral_solar-slerp — диалоговая языковая модель, созданная автором Pierre-obi слиянием NousResearch/Nous-Hermes-2-SOLAR-10.7B и mistralai/Mistral-7B-Instruct-v0.2 методом slerp с помощью LazyMergekit. Модель использует плотную архитектуру Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель принимает текст и выдаёт текст; заявленная длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель подходит для чат-ботов, ответов на вопросы и других задач генерации текста. Публичные сведения не дают отдельных результатов оценки качества или подробных ограничений, поэтому производительность в конкретных сценариях следует проверять самостоятельно.

Mistral-Starling-merge-trial1-7B — объединённая чат-модель на архитектуре Mistral, созданная разработчиком grimjim с помощью mergekit методом SLERP из Nexusflow/Starling-LM-7B-beta и grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B. Она предназначена для диалоговой генерации текста и ответов на запросы с упором на сочетание рассуждений и длинного контекста. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. В карточке заявлены чат-возможности; базовая Starling-LM-7B-beta ориентирована на английский язык. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

Это набор файлов GGUF с весами модели Meta-Llama-3.1-70B-Instruct в варианте BF16, опубликованный featherless-ai-quants на основе mlx-community/Meta-Llama-3.1-70B-Instruct-bf16-CORRECTED. Модель семейства Llama 3.1 с 70 млрд параметров предназначена для генерации текста в диалоговом режиме; карточка указывает несколько вариантов квантования, включая IQ4_XS, Q2_K и Q3_K_L. Модель можно использовать для ответов на вопросы, диалогов и генерации текста. В карточке не приведены сведения о контекстном окне, поддерживаемых языках и лицензии, поэтому эти характеристики здесь не уточняются. Качество и требования к памяти зависят от выбранного варианта квантования; это крупная модель, для запуска которой нужны значительные вычислительные ресурсы.

automerger/Multi_verse_modelM7-7B — объединённая языковая модель на базе архитектуры Mistral с 7,1 млрд параметров, созданная с помощью mergekit методом DARE TIES. В объединении использованы ammarali32/multi_verse_model как базовая модель и liminerity/M7-7b; README указывает параметры слияния и формат bfloat16. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. Для загрузки доступны веса Safetensors и библиотека Transformers. Лицензия в предоставленных данных не указана.

Nemostein-3-Hermes-Omni-30b-a3b — модель на базе GestaltLabs/Nemostein-3-Hermes-Omni-30b-a3b, опубликованная в формате GGUF и квантизированная mradermacher. По доступным метаданным, это текстовая conversational-модель на базе Transformers с архитектурой Mixture-of-Experts; в названии указаны параметры 30b и a3b. Заявлен английский язык. Модель предназначена для генерации текста и диалоговых сценариев, включая reasoning, tool use и function calling. В метаданных также указаны SFT, LoRA и Unsloth, однако подробности обучения, поддерживаемые модальности, размер контекста и результаты тестирования не приведены. Поэтому возможности, связанные с обозначением Omni, нельзя подтвердить по представленному README. Доступно множество вариантов квантизации GGUF с объёмом файлов примерно от 18 до 33,6 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать по качеству; среди рекомендованных автором указаны i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

next-14b-i1-GGUF — набор GGUF-квантизаций модели next-14b, разработанной thelamapi и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, выполнения инструкций, рассуждений, аналитических и писательских задач, а также многоязычного использования. Модель относится к классу больших языковых моделей примерно на 14 млрд параметров и доступна в формате GGUF с различными вариантами квантизации, включая IQ- и Q-типы. В README заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. Обучение или дообучение связано с наборами данных для instruction tuning, reasoning, диалогов и генерации текста. Сведения о точной архитектуре и размере контекста не указаны. Главное преимущество — широкий выбор уровней квантизации, позволяющий выбирать компромисс между размером файла, скоростью и качеством; рекомендуемыми названы i1-Q4_K_M и i1-Q4_K_S. Более компактные варианты могут заметно уступать по качеству, а некоторые из них в README прямо характеризуются как низкокачественные. Модель ориентирована на локальный запуск в совместимом ПО, однако конкретные требования к оборудованию не приведены. Лицензия — MIT.

OrcaMaid V2 Fix 13B 32K — языковая модель для генерации текста и выполнения инструкций, разработанная ddh0. Представлена в формате GGUF и квантована TheBloke для запуска на CPU и GPU через llama.cpp и совместимые приложения. Модель относится к семейству Llama и имеет около 13 миллиардов параметров; заявлено контекстное окно до 32 000 токенов. Сведения о языках обучения и поддерживаемых модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. Модель предназначена для диалогов, ответов на инструкции, генерации и продолжения текста, а также сценариев локального запуска, включая использование через text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. GGUF доступен в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством, однако более сильное квантование может снижать точность ответов. В README не приведены независимые оценки качества, подробности датасета или конкретные сильные стороны модели. Лицензия указана как microsoft-research-license, при этом автор README отмечает возможное одновременное действие лицензии исходной модели и Meta Llama 2 License. Условия такого двойного лицензирования требуют дополнительной проверки в репозитории исходной модели перед использованием.

MaziyarPanahi/pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Slerp из mistralai/Mistral-7B-Instruct-v0.1 и TokenBender/pic_7B_mistral_Full_v0.2; в конфигурации указан формат bfloat16, а файлы репозитория представлены в safetensors. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Её контекстное окно составляет 32 768 токенов. Карточка не сообщает о специализированной предметной области или отдельных языковых возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen2-NextGen-8b — текстовая генеративная модель, созданная powermove72 объединением моделей newsbang/Homer-v1.0-Qwen2.5-7B и AIDC-AI/Marco-o1 с помощью LazyMergekit. Она предназначена для диалогов и генерации текста; архитектура — плотная Qwen2ForCausalLM, размер — 8 млрд параметров, контекст — до 32 768 токенов. Объединение выполнено методом passthrough с выбором диапазонов слоёв из каждой модели, объединённым токенизатором и весами float16. Модель можно применять для ответов на вопросы, выполнения текстовых инструкций и других задач генерации текста в чат-сценариях. Карточка не уточняет языковой охват и отдельные специализированные области. Репозиторий распространяет веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Qwen3.6-29B-REAP-Opus-Reasoning-Distill-MTP-GGUF — набор GGUF-квантизаций модели, разработанной barozp. В основе лежит MoE-модель Qwen3.6-35B-A3B, сокращённая методом REAP до 205 из 256 экспертов, объединённая с LoRA-адаптером, дистиллированным из Opus reasoning, и дополненная головкой Multi-Token Prediction (MTP), восстановленной из исходного неприженного чекпойнта. Модель предназначена для генерации текста и задач рассуждения; поддерживаемые языки и размер контекстного окна в README не указаны. Главная особенность версии — поддержка самоспекулятивного декодирования: MTP-головка предварительно предлагает токены, а базовая модель проверяет их. В тестах с llama.cpp это обеспечило ускорение генерации на 39–67% при включённом speculative decoding, без измеримого ухудшения качества по сравнению с версией без MTP. Доступны варианты от BF16 до экстремальных IQ1_M; квантизации Q и IQ различаются требованиями к памяти, совместимостью, скоростью и потерями качества. Для квантизаций до Q4_K_M использовалась importance matrix. Для использования MTP требуется современная сборка llama.cpp или совместимый интерфейс с явным включением режима draft-mtp; без этого модель работает как обычная GGUF-модель, а в некоторых конфигурациях спекулятивное декодирование может почти не ускорять генерацию или даже замедлять её. Требования к ресурсам зависят от квантизации: размер файлов составляет примерно от 7,2 до 57,9 ГБ. Лицензия — Apache-2.0.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V13-GGUF — мультимодальная модель в формате GGUF, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В ней также использованы данные и элементы дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на наборе NousResearch/hermes-function-calling-v1. Модель относится к семейству Qwen и предназначена для локального запуска, диалогов, генерации текста, агентских сценариев и function calling; в метаданных заявлена поддержка обработки изображений и текста. Архитектура — MoE с заявленным общим размером 35B параметров и примерно 3B активных параметров, однако точные сведения о числе слоёв, размере контекста и используемых визуальных компонентах в README не приведены. Заявлены английский, китайский и другие языки. Автор описывает Genesis как постобработку GGUF-файла, включающую статистический анализ и коррекцию тензоров без переобучения, с целью повысить стабильность, ясность контекста и следование инструкциям. К сильным сторонам относятся uncensored-поведение, MoE-эффективность, мультимодальность и ориентация на Hermes-агентские задачи. Ограничения — отсутствие в README независимых бенчмарков, подробной оценки качества, точного контекстного окна и гарантии заявленных улучшений; результаты могут зависеть от квантования и настроек запуска. Для работы рекомендуются F16-кэш K/V, максимальная выгрузка на GPU и использование подходящего chat template. Лицензия — Apache-2.0.

mradermacher/Qwen3.8-27B-thinkingcap-abliterated-i1-GGUF — набор квантизованных GGUF-версий модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated. Квантизацию выполнил mradermacher; исходная модель связана с датасетом hotdogs/thinkingcap-sft-qwen38-27b. Модель предназначена для генерации текста, рассуждений и задач, где важны эффективное мышление и экономное использование токенов. В метаданных также указана поддержка изображений, однако для работы с визуальными входами могут потребоваться отдельные файлы mmproj из статического репозитория. Модель относится к семейству Qwen и содержит около 27 миллиардов параметров, но точная архитектура и размер контекстного окна в README не указаны. Заявлен английский язык. Репозиторий предоставляет варианты квантизации i1 с различными форматами и размерами примерно от 11 до 22,5 ГБ, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6. Более качественные варианты требуют больше памяти, тогда как компактные версии позволяют снизить требования к оборудованию, но могут заметнее терять качество; конкретные характеристики скорости и точности не приведены. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, подробного описания базовой архитектуры, контекстного окна или рекомендаций по аппаратным требованиям, поэтому пригодность для конкретных задач следует проверять экспериментально.