II.2Создание и понимание программного кода

MaziyarPanahi/zephyr-7b-sft-full-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и zephyr-7b-sft-full методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на запросы и других сценариев генерации текста. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. В README не приведены отдельные оценки качества или перечень поддерживаемых языков.

GLM-4-32B-Base-32K-GGUF — это квантизированная версия базовой языковой модели GLM-4-32B-Base-32K, разработанной arcee-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая llama.cpp и LM Studio. Модель имеет размер 32 млрд параметров и поддерживает контекст до 32 000 токенов. В карточке указаны китайский и английский языки. Доступны варианты от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-квантизаций, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству версиям с высокой точностью. Модель является базовой, поэтому её поведение в диалогах и форматирование ответов могут требовать самостоятельной настройки промптов; готовый формат промпта в README не указан. Для запуска необходима совместимая среда и объём памяти, соответствующий выбранному файлу: размер вариантов варьируется примерно от 13,66 до 65,14 ГБ. Лицензия модели — MIT.

Experiment26Yamshadow_NeuralsirkrishnaExperiment28 — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/NeuralsirkrishnaExperiment28-7B. Она предназначена для генерации текста и принимает текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors. Репозиторий использует лицензию Apache-2.0.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

mlx-community/gpt-oss-120b-MXFP4-Q8 — языковая модель для генерации текста, разработанная на основе openai/gpt-oss-120b компанией OpenAI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.27.0. Модель предназначена для сценариев генерации текста и диалогового взаимодействия, включая работу с prompt и chat template, и может использоваться через библиотеку mlx-lm. Модель относится к pipeline text-generation и рассчитана на запуск в экосистеме MLX. В идентификаторе указано обозначение MXFP4-Q8, однако README не раскрывает подробности архитектуры, фактический объём параметров, поддерживаемые языки, максимальную длину контекста, модальности или результаты тестирования. Лицензия — Apache-2.0. Сильной стороной является адаптация к MLX и возможность локального использования через mlx-lm; ограничения и требования к аппаратным ресурсам в предоставленных данных не указаны.

Grafted-Hermetic-Platypus-A-2x7B — чат-модель семейства Mixtral, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы; карточка приводит форматы запросов Mistral-Instruct и Alpaca. Модель имеет архитектуру Mixtral с разреженной смесью экспертов (MoE), около 7,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса Safetensors. В README приведены результаты Open LLM Leaderboard, включая среднее значение 64,23, но эти оценки сами по себе не гарантируют качество в конкретном сценарии. Модель распространяется по лицензии Apache-2.0.

Grafted-Hermetic-Platypus-B-2x7B — языковая модель для диалогов и генерации текста, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-100K. Модель построена на архитектуре Mixtral с механизмом смеси экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для ответов на инструкции, диалогов и других задач генерации текста. В README указаны два варианта формата запросов: Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты оценок на нескольких тестах, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Данные о поддерживаемых языках и специфических ограничениях качества в предоставленных материалах отсутствуют.

granite-4.2-8b-MLX-6bit — это 6-битно квантованная версия языковой модели granite-4.2-8b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, режимом thinking и вызовом инструментов. Модель относится к классу текстовых генеративных моделей, имеет размер 8B в исходной версии и работает с текстовой модальностью. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Размер контекста и дополнительные архитектурные характеристики не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 6-битному квантованию и оптимизации MLX для Apple Silicon. Ограничения включают возможные потери качества по сравнению с полной точностью, зависимость от совместимого оборудования и отсутствие в README подробных данных о производительности, точности и размере контекста. Модель распространяется по лицензии Apache-2.0.

Это преобразованная версия InternLM3-8B-Instruct от InternLM, представленная в формате архитектуры LLaMA для совместимости с некоторыми сценариями инференса. Модель содержит 8,3 млрд параметров, использует плотную архитектуру и предназначена для диалоговых запросов и генерации текста. Контекстное окно составляет 32 768 токенов; точность весов сохранена на уровне исходной модели. Модель принимает текст и выдаёт текст. Она подходит для чат-приложений и инференса через инструменты, ожидающие класс LlamaForCausalLM. Лицензия — Apache-2.0. README описывает преобразование формата, а метаданные связывают репозиторий с InternLM3-8B-Instruct как базовой моделью; по заданной классификации это конверсия формата.

Карточка модели prompt-agnostic-language-models/Llama-1B_ties на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели minpeter/Llama-3.2-1B-AlternateTokenizer-chatml на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

MaziyarPanahi/Llama-3-8B-Instruct-v0.9-GGUF — это набор файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе модели MaziyarPanahi/Llama-3-8B-Instruct-v0.9. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Известно, что модель относится к семейству Llama 3 и имеет размер 8B параметров. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и потенциальным сохранением качества. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. Сведения о языках, размере контекста, точной архитектуре и результатах оценки в README не указаны. Основные преимущества — локальное использование, широкий выбор уровней квантования и совместимость с различными клиентами, включая GPU-ускорение и OpenAI-совместимые серверные интерфейсы в отдельных инструментах. Ограничения и условия лицензии в README не описаны; перед использованием необходимо проверить лицензию исходной модели и соответствующие условия распространения.

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

Карточка модели yejingfu/Meta-Llama-3.2-1B на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

duyntnet/Mistral-7B-Instruct-v0.3-imatrix-GGUF — набор квантизированных вариантов модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и представленной в формате GGUF с использованием imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая выполнение инструкций, ответы на вопросы и сценарии с вызовом функций или инструментов. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору. Это текстовая instruct-модель с поддержкой форматов и библиотек, совместимых с GGUF; README также показывает использование через mistral-inference и Hugging Face Transformers. Длина контекста, точные варианты квантизации, аппаратные требования и дополнительные модальности не указаны. К сильным сторонам относятся компактный размер по сравнению с более крупными языковыми моделями, возможность локального запуска в квантизированном виде и поддержка инструкций и function calling. Ограничения включают заявленную языковую поддержку только для английского, отсутствие данных о качестве, бенчмарках и контекстном окне, а также возможные потери качества, зависящие от выбранного уровня квантизации. В карточке указана лицензия «other», но её конкретные условия не раскрыты.

Mistral-Small-24B-Base-2501-GGUF — это квантизированная GGUF-версия базовой языковой модели Mistral-Small-24B-Base-2501, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 миллиарда параметров и представлена в нескольких вариантах точности: от F32 до Q3 и IQ-квантизаций. Доступны версии с разным размером файла и компромиссом между качеством и требованиями к памяти; наиболее сбалансированным вариантом в README назван Q4_K_M, а Q5 и Q6 отмечены как высококачественные. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Сведения об архитектуре, размере контекста, мультимодальности и формате промпта в README не указаны. Сильная сторона модели — возможность локального инференса с выбором уровня квантизации, что позволяет адаптировать потребление памяти под доступное оборудование. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а старшие требуют значительного объёма памяти. Модель является базовой, поэтому готовый формат инструкций не предоставлен и параметры использования следует уточнять на странице исходной модели. Лицензия — Apache-2.0.

MaziyarPanahi/Mixtral-8x22B-v0.1-GGUF — это квантованная версия базовой языковой модели Mixtral-8x22B-v0.1, разработанной Mistral AI и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных сценариях инференса, включая работу через llama.cpp. Базовая модель допускает дообучение. Модель использует разреженную архитектуру Mixture of Experts (MoE): заявлено 176 млрд параметров, из которых около 35 млрд активны при обработке токена; в другом описании также указано 141 млрд параметров MoE. Заявленная длина контекста составляет до 65 тысяч токенов. Доступны варианты квантования от 2 до 8 бит, а также 16-битный вариант, что позволяет выбирать между требованиями к памяти и качеством. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Сильной стороной модели являются большой контекст, высокая емкость MoE-архитектуры и возможность локального запуска в квантованных вариантах: для FP16 требуется около 260 ГБ видеопамяти, для INT4 — около 73 ГБ. Ограничения включают значительные аппаратные требования даже при квантовании, а также отсутствие в README подробных результатов оценки качества и гарантии одинаковых характеристик для всех вариантов квантования. Модель распространяется по лицензии Apache 2.0.

Muse2-230M — компактная авторегрессионная языковая модель Muse Research, дообученная на основе Muse2-230M-Base. Она предназначена для диалогового помощника, форматирования ответов и извлечения структурированных данных, например преобразования журналов разработчиков в JSON, а также для запуска на устройствах с ограниченными ресурсами и дальнейшей тонкой настройки. Модель содержит 221,2 млн параметров и использует плотную гибридную архитектуру Muse2: блоки коротких причинных свёрток чередуются с полным вниманием, применяются grouped-query attention и объединённый SwiGLU MLP. Вход и выход — текст; основной язык — английский, также модель обрабатывает программный код и математические тексты. Контекст в карточке указан как 128 000 токенов, хотя README уточняет, что стандартная длина составляет 8 000 токенов, а 128 000 — максимум. Модель обучена методом supervised fine-tuning с маскированием функции потерь только на ответах; RLHF и DPO не применялись. Качественная и безопасностная проверка ограничена, поэтому модель может галлюцинировать, повторяться или выдавать смещённые и нежелательные ответы. Разработчик не рекомендует полагаться на неё в критичных, медицинских, юридических или иных фактически значимых сценариях без оценки и защитных мер. Веса доступны по лицензии Apache-2.0.

Карточка модели Muse-research/Muse2-230M-Base на Hugging Face совпадает с карточкой Muse-research/Muse2-230M, поэтому описание составлено по ней. Muse2-230M — компактная авторегрессионная языковая модель Muse Research, дообученная на основе Muse2-230M-Base. Она предназначена для диалогового помощника, форматирования ответов и извлечения структурированных данных, например преобразования журналов разработчиков в JSON, а также для запуска на устройствах с ограниченными ресурсами и дальнейшей тонкой настройки. Модель содержит 221,2 млн параметров и использует плотную гибридную архитектуру Muse2: блоки коротких причинных свёрток чередуются с полным вниманием, применяются grouped-query attention и объединённый SwiGLU MLP. Вход и выход — текст; основной язык — английский, также модель обрабатывает программный код и математические тексты. Контекст в карточке указан как 128 000 токенов, хотя README уточняет, что стандартная длина составляет 8 000 токенов, а 128 000 — максимум. Модель обучена методом supervised fine-tuning с маскированием функции потерь только на ответах; RLHF и DPO не применялись. Качественная и безопасностная проверка ограничена, поэтому модель может галлюцинировать, повторяться или выдавать смещённые и нежелательные ответы. Разработчик не рекомендует полагаться на неё в критичных, медицинских, юридических или иных фактически значимых сценариях без оценки и защитных мер. Веса доступны по лицензии Apache-2.0.

MaziyarPanahi/neural-chat-7b-v3-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Intel/neural-chat-7b-v3. Она предназначена для генерации текста в ответ на инструкции и для диалогового общения. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык, а репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4 GGUF — это форматированный для GGUF и llama.cpp вариант модели NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4. Это не переобучение, а побитно точная конвертация исходного контрольного пункта с сохранением NVFP4-весов экспертов; модель предназначена для генерации текста и локального запуска, особенно на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores. Модель использует гибридную архитектуру Mamba-2, Mixture-of-Experts и attention: всего около 30 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Она содержит 52 слоя, включая 6 слоёв с полноценным attention, 128 маршрутизируемых экспертов, из которых активны 6, и одного общего эксперта. Нативная длина контекста составляет 1 048 576 токенов; благодаря фиксированному состоянию Mamba-2 и MoE полный контекст заявлен как доступный на одной видеокарте с 24 ГБ памяти. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Сильные стороны модели — очень длинный контекст, экономичное число активных параметров, сохранение исходных NVFP4-весов без повторного квантования и возможность использования дополнительной MTP-головы для speculative decoding. MTP-голова может повысить скорость примерно на 7% на быстрых GPU и на величину порядка десятков процентов на более медленном оборудовании, но требует дополнительной памяти и не улучшает качество вывода. Ограничения включают зависимость от совместимого оборудования и llama.cpp, а также потери запаса по контексту при использовании MTP-головы на GPU с 24 ГБ. В README приведены ориентировочные результаты: 79,2% на MMLU-Pro, 70,7% на IFBench и 26,7% на terminal-bench 2.0; авторы отмечают малые выборки и заметную вариативность результатов. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1, унаследованной от базовой модели. Материалы модели принадлежат NVIDIA Corporation и аффилированным лицам; при использовании следует указывать NVIDIA как разработчика исходной модели и NVFP4-экспорта. Репакет не аффилирован с NVIDIA и не предоставляет прав на её товарные знаки.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-GRPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

philbert440/Qwen3.6-40B-DeckardUncensored-OpusDistilled-HermesCalibrated-W4A16-AWQ — мультимодальная vision-language модель семейства Qwen3.6, разработанная philbert440. Она предназначена для генерации текста по текстовым и визуальным входным данным, а также для сценариев с использованием инструментов и function calling. Модель относится к коллекции Deckard-40B Uncensored и прошла Hermes-калибровку для задач работы с инструментами. Модель имеет размер 40B параметров и использует 4-битное квантование весов W4A16-AWQ с FP16-активациями и форматом compressed-tensors. Указана совместимость с 1Cat-vLLM на Tesla V100 с архитектурой SM70, включая режим TurboMind, а также со стандартным vLLM на GPU Ampere и новее. README не содержит сведений о поддерживаемых языках и максимальной длине контекста. К сильным сторонам относятся мультимодальность, поддержка tool use и function calling, а также возможность запуска крупной модели в квантованном формате на ограниченных GPU-ресурсах. Модель позиционируется как abliterated, то есть из неё удалены отказы, связанные с механизмами безопасности; это может расширять диапазон ответов, но повышает риски небезопасного или неправомерного использования и требует самостоятельного контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — неофициальный релиз модели, подготовленный chimingw на основе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Релиз представляет собой конвертацию и квантизацию исходной модели в формате GGUF без дополнительного обучения, дообучения, слияния или изменения выравнивания. Модель предназначена для локального запуска через совместимый runtime, включая llama.cpp; размещённый на Hugging Face хостинг inference отключён. Архитектура указана как Qwen3_5ForConditionalGeneration с типом qwen3_5 и размером 27B параметров. Это мультимодальная vision-language модель с поддержкой текста и изображений, английского и китайского языков, а также заявленной интеграцией function calling. Максимальный контекст по метаданным составляет 262 144 позиции, однако фактическая доступная длина зависит от runtime и объёма памяти. В комплект входят варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также отдельный BF16 мультимодальный проектор; для использования нужные файлы и split-части необходимо хранить вместе. Сильными сторонами релиза являются большой контекст, мультимодальность, несколько вариантов компромисса между качеством и требованиями к памяти и сохранение исходного BF16 набора файлов. Поведение при работе с текстом, изображениями, рассуждениями, инструментами и длинным контекстом зависит от выбранного варианта, клиента, prompt format, runtime и аппаратных ресурсов. Заявления исходного автора о характеристиках uncensored-модификации не были независимо проверены создателем GGUF-релиза и не являются результатами оценки данных артефактов. Модель распространяется по Apache License 2.0 согласно заявленной лицензии источника.

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored — это MLX-квантованная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, опубликованная пользователем ddark-il. Модель предназначена для локального запуска на компьютерах Apple Silicon, прежде всего на M5 Max с 128 ГБ памяти, и поддерживает сценарии генерации текста и обработки изображений с текстом. Модель использует архитектуру qwen4_exp с mixture-of-experts (MoE), vision-language возможностями и механизмом multi-token prediction (MTP). Исходный размер составляет около 180 млрд параметров; в данном варианте применяется смешанная affine-квантизация MLX со средней точностью 4,857 бит на параметр. Размер файлов — 109,29 ГБ, заявлена поддержка контекста до 262 тысяч токенов. Основная часть весов квантизирована в 4, 6 и 8 битах с различными размерами групп, причём для o_proj используется 8-битная квантизация. По измерениям авторов, версия обеспечивает меньшую ошибку относительно исходных bf16-весов, чем предыдущая ревизия, и достигает 90,7% совпадения top-1 предсказаний с bf16-версией. Сильными сторонами являются существенно меньшие требования к памяти по сравнению с bf16, высокая точность для квантизированной модели, поддержка длинного контекста и мультимодальных входов. Ограничения включают очень большой размер, зависимость от MLX и Apple Silicon, возможное влияние квантизации на качество, а также требования к пропускной способности SSD и кэшированию при работе с крупными таблицами и экспертами. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-30B-A3B-Instruct-2507-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для взаимодействия используется шаблон prompt формата ChatML с ролями system, user и assistant. Модель имеет архитектуру Mixture-of-Experts с общим размером 30B параметров и 3B активных параметров, однако README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Доступны варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, с размерами файлов примерно от 13 до 61 ГБ. Более качественные варианты требуют больше памяти, а малые квантизации предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Сильной стороной является широкий выбор квантизаций, включая варианты с imatrix, позволяющие подобрать баланс между качеством, размером и скоростью локального вывода; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как оптимальный вариант для большинства сценариев. Ограничения связаны с высокими требованиями к оперативной памяти даже у компактных вариантов и возможной потерей качества при использовании низких разрядностей. Лицензия в представленном README не указана.

euser/wKAN-7b — языковая модель для генерации текста, созданная объединением предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой модели в README указана mistralai/Mistral-7B-v0.1; метаданные также связывают объединение с LakoMoor/Silicon-Alice-7B, NeverSleep/Noromaid-7B-0.4-DPO и seyf1elislam/WestKunai-Hermes-7b. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. В README показан сценарий генерации ответа на текстовый запрос через Transformers и chat template; нативная длина контекста составляет 32 768 токенов. Лицензия в предоставленных данных не указана.

YamshadowInex12_Percival_01Yamshadow — слитая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/Percival_01Yamshadow-7B. Она предназначена для генерации текста по текстовым запросам и работает с контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и распространяется в формате Safetensors по лицензии Apache 2.0.