II.4Отладка, тестирование и качество ПО

Jantrit-7B — языковая модель на архитектуре Mistral, созданная автором репозитория с помощью LazyMergekit путём слияния OpenHermes-2.5-Mistral-7B и Dolphin-2.6-Mistral-7B методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Базовые модели предназначены для общения, генерации текста и помощи с кодом, однако README не приводит отдельной оценки качества Jantrit-7B. Сведения о лицензии в предоставленных данных отсутствуют.

LeoScorpius-GreenNode-Platypus-7B-v1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и ignos/LeoScorpius-GreenNode-Platypus-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит оценки качества или подробных ограничений, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Ling-2.6-flash — открытая инструктивная языковая модель компании InclusionAI для диалога и агентных сценариев. Она предназначена для вызова инструментов, многошагового планирования и выполнения задач, включая работу в агентных и программных фреймворках; также подходит для ответов на общие вопросы, математических рассуждений, следования инструкциям и обработки длинного контекста. Архитектура — гибридная MoE семейства Bailing; в карточке заявлены 104 млрд параметров всего и 7,4 млрд активных, тогда как метаданные репозитория указывают 6,4 млрд параметров. Метаданные указывают контекст до 131 072 токенов, текстовый ввод и генерацию текста; карточка отмечает интерфейс вызова инструментов. Заявлены оптимизация скорости вывода и экономии токенов, а также результаты на агентных бенчмарках. Модель распространяется по лицензии MIT. Ограничения включают возможные галлюцинации при вызове инструментов в сложных сценариях, недостаточную глубину рассуждений, не всегда естественное переключение между китайским и английским и трудности со сложными инструкциями. Карточка описывает преимущественно китайско-английские сценарии, а метаданные указывают английский язык; другие языки отдельно не подтверждены.

MLX Community Llama-3.1-8B-Instruct-4bit — это 4-битно квантованная версия инструкционной языковой модели Llama 3.1 8B Instruct, разработанной Meta и адаптированной сообществом MLX для запуска с использованием экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, обобщение и другие задачи обработки естественного языка. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели составляет 8 миллиардов параметров. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако способно немного ухудшить точность и качество по сравнению с полной версией. В README не указаны размер контекстного окна, конкретные требования к оборудованию и результаты бенчмарков. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

Это преобразованная в формат MLX версия Meta-Llama-3.1-8B-Instruct, подготовленная сообществом mlx-community на основе модели Meta. Она предназначена для генерации текста в диалоге, ответов на вопросы и выполнения инструкций; также поддерживает интерфейс вызова инструментов. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README указано преобразование с помощью mlx-lm версии 0.19.0; репозиторий содержит веса в формате safetensors с точностью bf16. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Лицензия — llama3.1; условия её использования определяются лицензией Meta Llama 3.1.

Это квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI и подготовленной сообществом Hugging Quants. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая работу через Transformers, AutoGPTQ и Text Generation Inference. Она подходит для чат-ботов, ассистентов и других сценариев текстового взаимодействия. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Исходная модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса преобразованы из FP16 в INT4 с использованием GPTQ, zero-point quantization и group size 128, что снижает требования к памяти: для загрузки контрольной точки требуется около 4 ГиБ VRAM без учёта KV-кэша и CUDA-графов. К преимуществам относятся уменьшенное потребление видеопамяти и возможность локального запуска с поддержкой распространённых инструментов инференса. Ограничения связаны с потерями, возможными при 4-битном квантовании, отсутствием мультимодальных возможностей и необходимостью дополнительной памяти для KV-кэша и генерации. Модель распространяется по лицензии Llama 3.1; условия исходной лицензии Meta необходимо учитывать при использовании.

ThomasBaruzier/Meta-Llama-3-8B-Instruct-GGUF — это версия модели Meta Llama 3 8B Instruct в формате GGUF, подготовленная пользователем ThomasBaruzier. Базовая модель разработана Meta и предназначена для генерации текста на основе инструкций и диалогового взаимодействия. Модель относится к текстовым генеративным моделям и ориентирована на англоязычные сценарии: ответы на запросы, ведение диалога и выполнение текстовых инструкций. В карточке указаны размер 8B, формат GGUF и английский язык; сведения о длине контекста, конкретной архитектуре, вариантах квантования и поддержке других модальностей отсутствуют. К сильным сторонам относятся специализированная настройка для следования инструкциям и возможность использования в экосистеме GGUF. Ограничения включают отсутствие мультимодальности и неполные сведения о конфигурации конкретной сборки; качество ответов и требования к ресурсам зависят от выбранного варианта GGUF. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, Acceptable Use Policy и требования Meta к атрибуции, включая указание «Built with Meta Llama 3» в применимых случаях.

Это диалоговая языковая модель Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.2-slerp, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и pankajmathur/Mistral-7B-model_45k6e2e4 методом SLERP с помощью mergekit. В основе — плотная архитектура MistralForCausalLM с 7,1 млрд параметров; веса опубликованы в формате safetensors и BF16. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка не описывает отдельные оценки качества или специализированные области применения. Практическая эффективность зависит от задачи и способа использования; отдельные языковые приоритеты не заявлены.

Mistral-Nemo-Instruct-2407-GGUF — это набор квантованных версий инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и локальный запуск через llama.cpp или совместимые приложения, например LM Studio. В репозитории представлены варианты с точностью от F16 до различных форматов Q8, Q6, Q5, Q4 и Q3, с размером файлов примерно от 5,7 до 24,5 ГБ. Квантование выполнено с использованием imatrix и llama.cpp; для общения рекомендуется шаблон prompt <s>[INST]{prompt}[/INST>. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Данные о числе параметров, архитектуре исходной модели, размере контекста и мультимодальности в README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или других модальностей. Сильная сторона набора — широкий выбор квантований для баланса качества, объёма файлов и требований к оперативной памяти: варианты Q5 и Q6 отмечены как высококачественные, а Q3 подходят для систем с ограниченной памятью. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций; они не рекомендуются для Mac или Windows. Модель распространяется по лицензии Apache-2.0.

Mistral Small 3.2 24B Instruct 2506 GGUF — мультимодальная инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF сообществом LM Studio. Квантизация выполнена lmmy на основе llama.cpp. Модель принимает текстовые и графические данные и генерирует текст, поэтому предназначена для диалоговых систем, обработки инструкций, анализа изображений с текстовым ответом и других локальных сценариев работы с мультимодальными запросами. Модель поддерживает контекст длиной до 128 000 токенов и десятки языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгальский. Точный вариант архитектуры и параметры квантизации в README не указаны; из названия следует размер базовой модели 24B. Производительность вызова инструментов может быть снижена. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что это community-сборка, а не оригинальная публикация разработчика: LM Studio не гарантирует её точность, безопасность, доступность или пригодность для конкретных задач, а сгенерированные ответы могут быть ошибочными или неприемлемыми.

Это квантованная сборка модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF. Она предназначена для генерации текста и диалогов, включая задачи рассуждения. Архитектура сочетает Mamba2 и Transformer и использует MoE: из 128 экспертов для каждого токена выбираются шесть. Всего в модели около 30 млрд параметров, из которых активно около 3 млрд; контекст — до 262 тыс. токенов. Веса экспертов хранятся в MXFP4, плотные веса — в Q8_0, а тензоры Mamba2 — в F16 для совместимости с CUDA-ядрами SSM. В репозитории также есть F16-проектор SigLIP для обработки изображений. Для полноценного запуска требуется среда с поддержкой GGUF и мультимодального проектора, например llama.cpp. Гибридный формат экономит память, однако операции Mamba2 на CUDA могут переходить на CPU, что снижает скорость. README не уточняет лицензию производной сборки; метаданные указывают лицензию «other», поэтому условия следует сверить с карточкой модели и условиями базовой модели.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста, диалогов и рассуждений. Это эталонный выпуск весов BF16, предназначенный прежде всего для дообучения, адаптации к предметной области, исследований и создания производных квантованных вариантов. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно задействуются 3 млрд, а также используются слои Multi-Token Prediction. Репозиторий содержит веса safetensors, модель работает через Transformers. Модель рассчитана на текстовые запросы и сценарии чата, включая инструкции, кодирование, агентные задачи и работу с длинным контекстом. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а в постобучающих данных представлены китайский и многоязычные задачи перевода и рассуждений. В README заявлена длина контекста до 1 млн токенов, тогда как метаданные каталога указывают нативный контекст 262 144 токена. Заявленная лицензия — other; карточка характеризует модель как пригодную для коммерческого использования. Полноточный вариант предназначен главным образом для настройки и оценки; для оптимизированного вывода NVIDIA рекомендует вариант NVFP4.

NVIDIA-Nemotron-Labs-3-Elastic-12B-A2B — извлечённый из семейства NVIDIA Nemotron Labs 3 Elastic 12B вариант языковой модели, опубликованный DavidAU. Модель предназначена для диалогов, генерации текста и задач рассуждения. В ней 946,5 млн параметров по метаданным; архитектура Nemotron H, а базовая модель — NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16. В README для семейства описана гибридная архитектура Mamba, Transformer и MoE с 128 экспертами, из которых активируются 8; вариант 12B указан как содержащий 2B активных параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов по метаданным. Указаны английский, немецкий, испанский, французский, итальянский и японский языки. README сообщает о коротких блоках рассуждений и готовности к дальнейшей настройке. Лицензия обозначена как other, а README заявляет о коммерческой применимости, поэтому условия следует проверять по лицензии исходной модели и карточке репозитория.

MaziyarPanahi/openchat_3.5-16k-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и openchat_3.5-16k методом slerp. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в диалоге. Она поддерживает контекст до 32 768 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Сведения о специализации по отдельным языкам и конкретных ограничениях качества в карточке не приведены.

OrakzaiX — это общественный GGUF-релиз модели класса 8B на архитектуре Llama, поддерживаемый и квантизированный Faisal Orakzai в рамках экосистемы Orakzai. В метаданных указана базовая модель meta-llama/Llama-3-8B-Instruct; данных о самостоятельном обучении новой фундаментальной модели нет. Модель предназначена для локальной генерации текста и диалоговых сценариев: создания частных ассистентов, офлайн-прототипирования, разработки инструментов, суммаризации, извлечения технической информации, объяснения кода, автоматизации и экспериментов с многоагентными рабочими процессами. Формат GGUF рассчитан на запуск через совместимые средства, включая llama.cpp, на потребительском оборудовании, рабочих станциях, периферийных устройствах и частных серверах. Локальное выполнение может помочь сохранять запросы и ответы в контролируемой среде, однако безопасность зависит от настроек и окружения. Доступны варианты квантизации от Q2_K до Q8_0; рекомендуемым начальным вариантом указан Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Фактические требования к ресурсам выше размера файла из-за контекста, KV-кэша и служебных буферов. Языки, размер контекстного окна, результаты бенчмарков, точность в специализированных областях, надежность вызова инструментов и возможности автономной работы не указаны. Лицензия обозначена как other; перед распространением или коммерческим использованием необходимо проверить условия лицензии OrakzaiX и базовой модели Meta.

ProCreations_grug-27b-v1.1-GGUF — это квантизированная версия модели grug-27b-v1.1, разработанной ProCreations и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит 27 миллиардов параметров и предназначена для задач рассуждения, агентских сценариев, использования инструментов и эффективной генерации текста. Модель поддерживает английский язык и текстовый ввод, а также обработку изображений при использовании дополнительного файла mmproj. Она выпускается в нескольких вариантах квантизации от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым универсальным вариантом указан Q4_K_M размером 17,53 ГБ, а версии Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. К сильным сторонам относятся крупный размер, поддержка мультимодального ввода, режимы, ориентированные на рассуждение и tool use, а также наличие imatrix-квантизаций для более эффективного хранения. Архитектура, размер контекстного окна и подробные показатели качества в README не указаны; perplexity и KLD не измерялись. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A1.5B-64K-High-Speed-NEO-Imatrix-MAX-gguf — это GGUF-версия модели, подготовленная DavidAU на основе Qwen3-30B-A3B от команды Qwen. Модель использует архитектуру mixture-of-experts: всего 30 млрд параметров, 128 экспертов, из которых автоматически активируются 4, что соответствует примерно 1,5 млрд активных параметров на запрос. По заявлению автора, такая конфигурация почти вдвое повышает скорость по сравнению со стандартным вариантом с 8 активными экспертами и снижает требования к вычислительным ресурсам. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, решения задач, рассуждений и использования инструментов. Она поддерживает контекст до 64K токенов благодаря применению YARN и может работать через CPU и RAM, GPU или их комбинацию. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Для интеграции рекомендуется использовать Jinja или ChatML template. Сильные стороны модели — высокая скорость инференса, большой контекст, возможность работы на разных типах оборудования и специализированные NEO Imatrix-квантизации, оптимизированные для Qwen3. Автор отмечает отсутствие заметной потери функциональности при обычном, но не исчерпывающем тестировании; при этом более сложные задачи могут лучше выполняться стандартной моделью или версиями с большим числом активных экспертов. Качество и скорость зависят от выбранного типа квантизации: более компактные варианты быстрее и экономичнее, но могут уступать по качеству. Лицензия в предоставленном README не указана.

ZuzeTt/Qwen3.5-4B-heretic-GGUF — это децензурированная версия мультимодальной модели Qwen3.5-4B, основанной на разработках команды Qwen. Модель модифицирована с помощью Heretic v1.2.0 методом abliteration, направленным на снижение частоты отказов при ответах. Файлы представлены в формате GGUF и были квантизированы с использованием llama.cpp. Модель предназначена для задач обработки текста и изображений, включая диалоговые сценарии, рассуждения, программирование, работу с агентами и визуальное понимание. Базовая архитектура описана как авторегрессионная языковая модель с vision encoder, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя, скрытое измерение 2560 и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — существенно меньшее количество отказов по сравнению с исходной моделью: в приведённом тесте 8 из 100 запросов против 99 из 100 у оригинала, при KL-дивергенции 0,0361. Это может повысить полезность модели в сценариях локального запуска и свободного диалога, но одновременно означает ослабление встроенных ограничений безопасности. Конкретный тип квантизации, требования к оборудованию и фактическое качество на прикладных задачах в README не указаны. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию относится к базовой модели Qwen/Qwen3.5-4B.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V12-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В модель также перенесены данные дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на наборе NousResearch/hermes-function-calling-v1, что ориентирует её на агентские сценарии и вызов функций. В README указаны поддержка текста и изображений, языки English, Chinese и multilingual, а также архитектура MoE с 35B общих параметров и 3B активных параметров. Размер контекста не указан. Модель предназначена для диалогов, генерации текста, мультимодального анализа, программирования и задач, где требуется следование инструкциям, использование инструментов и функция вызова. Заявлена как uncensored-модель с отсутствием отказов в приведённом автором тесте 0/465; это может быть преимуществом для менее ограниченных сценариев, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для работы рекомендуется использовать соответствующий chat template, включить thinking, применять F16 для K/V-cache, максимально задействовать GPU и настроить CPU offload MoE-слоёв. Автор заявляет, что применил собственный метод Genesis — численную обработку весов GGUF на основе статистического анализа и закона Марченко—Пастура, без обычного обучения или дообучения. Эти заявления и описанные улучшения стабильности, ясности контекста и следования инструкциям не сопровождаются независимыми бенчмарками в представленном README, поэтому их следует воспринимать как авторскую характеристику. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Omnimerge-v6-MTP-GGUF — квантизированная GGUF-версия модели, опубликованная автором ManniX-ITA. Она создана на основе ManniX-ITA/Qwen3.8-27B-Omnimerge-v6, представляющей собой объединение методом task arithmetic трёх дообученных моделей Qwen3.6 на базе Qwen3.8-27B. В метаданных указана архитектура Qwen3.5, размер модели — около 27,78 млрд параметров, основной заявленный язык — английский. Модель предназначена для текстовой генерации, рассуждений и мультимодальных сценариев с обработкой изображений. В комплекте сохранена MTP-голова для self-speculative decoding, а также опубликован F16 vision projector; это позволяет использовать модель с изображениями через llama.cpp. Доступны 19 вариантов квантизации от F16 и Q8_0 до Q2_K и IQ2_S, что даёт возможность выбирать между качеством, скоростью и требованиями к памяти. Для MTP требуется сборка llama.cpp с поддержкой соответствующего механизма; в приведённых измерениях вариант Q4_K_M достигал примерно двукратного ускорения генерации при настройке с тремя черновыми токенами. Сильными сторонами являются широкий выбор квантизаций, поддержка изображений, reasoning-возможности, воспроизводимые imatrix-варианты и сохранённая MTP-голова. Ограничения включают зависимость расширенных возможностей от совместимого llama.cpp, значительные требования к памяти для крупных вариантов, а также то, что MTP может приводить к отличиям вывода от обычной генерации при близких значениях вероятностей; эквивалентность качества в README не измерялась. Для длительных рассуждений рекомендуется выделять достаточный reasoning budget. Модель распространяется по лицензии Apache-2.0.

Ma7ee7/Qwen3.8_4B_Distilled_GGUF — набор квантованных версий модели Ma7ee7/Qwen3.8_4B_Distilled, созданной независимым разработчиком на основе Qwen3-4B-Thinking-2507. Модель обучена методом sequence-level knowledge distillation на ответах и рассуждениях, сгенерированных моделью qwen3.8-max-preview, и не является официальным релизом Qwen или Alibaba. Распространяется в формате GGUF для запуска через llama.cpp, LM Studio, Ollama, Jan и другие совместимые приложения. Это decoder-only causal language model архитектуры Qwen3 примерно с 4 миллиардами параметров. Она предназначена для генерации текста, диалогов и задач, требующих рассуждений; режим thinking включён. Основным языком указан английский. В README приведены параметры контекста до 32 768 токенов, однако заявленные возможности могут зависеть от используемого приложения и квантования. Доступны варианты Q4_K_M, Q5_K_M и Q8_0: Q4_K_M рекомендуется как баланс качества, скорости и потребления памяти, Q5_K_M обеспечивает более высокую точность, а Q8_0 — наибольшую точность при максимальных требованиях к памяти. Модель компактнее исходной учительской системы и удобна для локального запуска, но не должна рассматриваться как эквивалент qwen3.8-max-preview: её возможности ограничены размером студенческой модели и потерями от квантования. В карточке указана лицензия Apache-2.0.

Qwen3-8B-Abliterated — доработанная Richard Young (DeepNeuro) версия Qwen/Qwen3-8B, созданная методом abliteration. В плотной архитектуре Qwen3 изменены средние слои 15–30, чтобы ослабить отказы модели на запросы; указанный масштаб абляции — 1.0. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, работы с кодом и вызова инструментов. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В карточке указана библиотека Transformers и формат safetensors. Базовая Qwen3-8B описана как многоязычная, однако конкретный перечень поддерживаемых языков для этой версии не приведён. Снижение числа отказов означает ослабление защитных ограничений и требует внимательного выбора сценариев применения. Модель выпущена по лицензии Apache-2.0; автор предупреждает, что защитные механизмы частично удалены, и возлагает ответственность за этичное использование на пользователей.

lmstudio-community/Qwen3-Next-80B-A3B-Instruct-MLX-5bit — это 5-битная квантованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Она относится к классу моделей генерации текста и предназначена для диалогов, следования инструкциям и других задач, где требуется создание текстового ответа. В основе лежит модель с заявленным размером 80B и обозначением A3B; README не содержит дополнительных сведений об архитектуре, фактическом числе активируемых параметров, максимальном контексте, поддерживаемых языках или мультимодальных возможностях. Ключевое преимущество этой версии — снижение требований к памяти по сравнению с полной точностью и адаптация к экосистеме Apple Silicon. Ограничения включают возможные потери качества из-за 5-битного квантования, зависимость производительности от оборудования Apple Silicon и стандартные риски генеративных моделей: ответы могут быть неточными, вредными или неуместными. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-4B-Instruct-unsloth-bnb-4bit — это квантованная 4-битная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для понимания и генерации текста на основе изображений, а также для работы с видео и текстовыми запросами. Модель имеет размер 4B параметров и архитектуру vision-language с режимом Instruct. Она поддерживает визуальное распознавание, OCR для 32 языков, анализ пространственных отношений, понимание длительных видеосцен, мультимодальное рассуждение в STEM-задачах и взаимодействие с графическими интерфейсами ПК и мобильных устройств. Заявлен нативный контекст до 256K токенов с возможностью расширения до 1M. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового и визуального понимания, обработка изображений, документов и видео, распознавание текста в сложных условиях, а также задачи визуального программирования и управления интерфейсами. Ограничения включают зависимость качества и совместимости от 4-битного квантования, а также необходимость подходящей аппаратной и программной конфигурации для длинного контекста и видео; конкретные языки, требования к ресурсам и детальные числовые результаты в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-Flash-NVFP4 — это конверсия базовой модели Jackrong/Qwopus3.8-27B-Flash в формате NVIDIA ModelOpt NVFP4, предназначенная для запуска на GPU NVIDIA Blackwell. Репозиторий содержит логическую модель объёмом 27,78 млрд параметров и использует формат safetensors. В README также указано, что исходную модель создал Kyle Hessling, а конверсия выполнена сообществом. Модель предназначена для диалоговых, мультимодальных и агентных сценариев: обработки текста и изображений, следования инструкциям, генерации структурированных ответов, вызова инструментов и работы в coding-agent циклах. Сохранены визуальный энкодер и проектор, а также встроенная MTP/NextN-голова для speculative decoding. Трансформерные веса используют NVFP4, тогда как lm_head, визуальная часть и MTP-голова сохранены в BF16 для повышения качества. Рекомендуемый сценарий обслуживания — SGLang с FlashInfer, поддержкой ModelOpt FP4 и совместимой моделью-черновиком Qwen3.8 27B DFlash2 NVFP4. В тестовом профиле заявлен контекст до 262 144 токенов, однако для этого требуются Blackwell GPU с достаточным объёмом памяти под основную и черновую модели, KV-кэш и накладные расходы. README не указывает поддерживаемые языки и результаты бенчмарков; для мультимодальной работы необходимо использовать поставляемый chat template, а для вызова функций — парсер инструментов Qwen. Лицензия указана как Apache-2.0, при этом пользователю рекомендуется соблюдать лицензионные условия базовой модели. Ограничениями являются зависимость от совместимого оборудования и программного стека NVIDIA Blackwell, необходимость специальной DFlash2-модели для рекомендованной спекулятивной генерации и возможное снижение доступного контекста на менее мощных GPU.

SuperQwen3.8-27b-abliterated-GGUF — это квантованные версии мультимодальной модели SuperQwen3.8-27b-abliterated, разработанной Jiunsong и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста по текстовым и визуальным входным данным, рассуждений, вызова инструментов и работы с длинным контекстом. Заявлена поддержка английского и корейского языков, а также контекста до 262 тысяч токенов. Модель имеет размер 27 млрд параметров; архитектура в README подробно не описана. Для обработки изображений требуется дополнительный мультимодальный компонент mmproj. Доступны варианты квантования от Q2_K до Q8_0 и IQ4_XS с размером файлов примерно от 11 до 29,1 ГБ, а также версии с плавающей точностью F16. Более лёгкие варианты экономят память, но могут снижать качество; Q6_K отмечен как вариант очень хорошего качества, а Q4_K_S и Q4_K_M — как быстрые рекомендуемые варианты. К сильным сторонам относятся мультимодальность, поддержка длинного контекста, рассуждений и вызова инструментов, а также широкий выбор уровней квантования для локального запуска. Ограничения включают зависимость визуальных сценариев от отдельного mmproj-компонента и возможное ухудшение качества при агрессивном квантовании. Модель распространяется по лицензии Apache-2.0.

ehristoforu/0000mxs — языковая модель Mistral для генерации текста и диалогового общения, созданная автором репозитория с помощью mergekit. Это слияние пяти предварительно обученных моделей: Gaivoronsky/Mistral-7B-Saiga, HuggingFaceH4/mistral-7b-grok, NousResearch/Yarn-Mistral-7b-128k, OpenBuddy/openbuddy-mistral2-7b-v20.3-32k и ajibawa-2023/Code-Mistral-7B; применён метод passthrough. Модель имеет плотную архитектуру MistralForCausalLM, 12,4 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, продолжения текста и задач, связанных с кодом. В состав слияния входят модели с русскоязычной диалоговой настройкой, поддержкой длинного контекста и специализацией на коде, однако README не сообщает результатов оценки качества или точного распределения возможностей итоговой модели. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

c4ai-command-r-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-08-2024, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В карточке указано, что она поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Модель относится к классу text-generation; сведения о размере, архитектуре и длине контекста в представленном README не указаны. Квантизация может снизить требования к ресурсам по сравнению с исходной моделью и упростить локальное развертывание, однако потенциально сопровождается потерей качества относительно полной версии. Доступ к исходной модели регулируется лицензией CC BY-NC 4.0 и дополнительным лицензионным соглашением Cohere; использование разрешено только в некоммерческих целях. Для доступа также предусмотрена форма с подтверждением согласия с условиями лицензии.

Citaman/command-r-35-layer — объединённая модель для генерации текста, созданная Citaman методом SLERP с помощью mergekit на основе Citaman/command-r-36-layer. В конфигурации объединены два среза слоёв одной базовой модели; метаданные относят репозиторий к семейству Cohere и архитектуре CohereForCausalLM с плотными весами. Модель содержит 30,9 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста и интерфейсов вызова инструментов. Веса доступны в формате safetensors для библиотеки Transformers. В README и метаданных не описаны поддерживаемые естественные языки, качество на конкретных задачах или результаты оценки. Условия лицензирования в предоставленных данных не приведены.