II.10Разработка и эксплуатация AI/ML-систем

Keefe-Discere-v2.0-OxAlpha — языковая модель KeefeBuild, дообученная на базе unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для текстовой генерации и разговорных сценариев на английском языке, с контекстом до 32 768 токенов. В карточке указаны Apache-2.0 и обучение с использованием Unsloth и библиотеки TRL. Конкретные специализации и результаты оценки качества не описаны, поэтому модель следует рассматривать как универсальную дообученную языковую модель, а поведение при вызове инструментов проверять в целевой интеграции.

mlx-community/Kimi-K2-Instruct-0905-mlx-DQ3_K_M — это MLX-версия модели Kimi-K2-Instruct-0905, разработанной Moonshot AI и конвертированной сообществом mlx-community с помощью mlx-lm 0.26.3. Модель предназначена для генерации текста и инструкционных сценариев: диалогов, ответов на запросы и других задач, поддерживаемых базовой моделью. README не содержит подтверждённых сведений о размере, архитектуре, языках и длине контекста. Основная особенность — смешанное динамическое квантование DQ3_K_M с преимущественно 3-битным представлением и отдельными компонентами с более высокой разрядностью. По описанию метода, такой подход призван приблизить качество к 4-битному квантованию при меньшем потреблении памяти. Модель ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти, сохраняя ресурсы для полезного контекстного окна; конкретные требования к памяти и фактические результаты тестов не указаны. Ограничения связаны с потерями качества, возможными для квантованной версии, а также с узкой оптимизацией под экосистему MLX и совместимое оборудование Apple. Для использования требуется mlx-lm; README указывает лицензию modified-mit и ссылку на лицензию исходной модели Moonshot AI.

Llama-3.1-70B-Hanami-x1 — экспериментальная чат-модель от Sao10K, созданная на основе Euryale v2.2. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста в диалоге; в метаданных также заявлен интерфейс вызова инструментов. Автор отмечает, что модель отличается от Euryale v2.2 и предпочитает её предыдущим версиям после собственных проверок. Для моделей Llama 3 автор рекомендует параметр семплирования min_p не ниже 0,1; настройки Euryale v2.1 и v2.2 также подходят. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

LFM2.5-1.2B-Distilled-Claude-4.6 (Liquid Claude) — компактная языковая модель FlameF0X на архитектуре LFM2, дообученная методом дистилляции Claude Sonnet 4.6 Adaptive Thinking в LiquidAI/LFM2.5-1.2B-Thinking с помощью LoRA. Модель содержит 1,5 млрд параметров и рассчитана на генерацию текста в формате диалога, рассуждения и агентные сценарии; карточка приводит пример использования через Transformers. Модель обучена на частных данных, описанных автором как диалоги Claude Sonnet 4.6; в карточке указаны примеры цепочек рассуждений и агентных блоков с вызовами инструментов. Заявлено контекстное окно 128 000 токенов. Основной язык карточки и тегов — английский. Автор приводит результаты нескольких бенчмарков, но они не являются независимой оценкой качества модели. Лицензия — Apache-2.0.

LFM2.5-1.2B-Thinking-MLX-bf16 — экспорт модели LFM2.5-1.2B-Thinking в формате MLX от Liquid AI для локального запуска на устройствах Apple Silicon. Это плотная авторегрессионная языковая модель семейства LFM2, предназначенная для диалогов и генерации ответов с рассуждением: перед итоговым ответом она может формировать цепочку рассуждений. В README заявлены 1,2 млрд параметров и точность bfloat16; каталог указывает 1,5 млрд параметров. Контекст — до 128 000 токенов. Модель поддерживает вызов функций и рассчитана на многоязычные сценарии. В метаданных указаны английский, японский, корейский, французский, испанский, немецкий, итальянский, португальский, арабский и китайский языки. Для запуска описан стек mlx-lm и формат диалога ChatML. Лицензия обозначена как other, поэтому условия использования следует уточнить в карточке модели и у правообладателя. Как компактная модель, она может уступать более крупным системам в сложных задачах; качество и надёжность рассуждений зависят от запроса и сценария.

Sakalti/light-3B — компактная языковая модель семейства Qwen2, созданная слиянием моделей Qwen с помощью mergekit и метода TIES. В основу положена Qwen/Qwen2.5-3B, в слиянии также участвовала Qwen/Qwen2.5-3B-Instruct. Модель содержит 3,1 млрд параметров и предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов. В карточке указан английский язык, а лицензия обозначена как other; конкретные условия использования следует сверять с лицензиями базовых моделей и репозитория.

Это модель понимания структуры документов на базе LiLT с энкодером XLM-RoBERTa, дообученная Пьером Гийу на наборе DocLayNet. Она классифицирует строки документа по типам элементов макета: заголовок, основной текст, таблица, изображение, формула, подпись, колонтитул, элемент списка и другие классы. Модель предназначена для разметки страниц PDF и других документов на уровне строк; при обучении использовались фрагменты по 384 токена с перекрытием 128 токенов. Размер модели — 305,2 млн параметров, контекст — 514 токенов. В оценке на DocLayNet точность классификации строк составила 91,97%, а F1 для токенов — 0,8584. Она подходит для извлечения структуры финансовых отчётов, научных статей, инструкций, законов и других документов, помогая направлять последующий OCR и разбор содержимого. Поддерживаются английский, немецкий, французский и японский языки; разметка использует текст и геометрию документа. Лицензия — MIT.

bunnycore/Llama-3.1-8B-TitanFusion-Mix — объединённая текстовая языковая модель на архитектуре LlamaForCausalLM, созданная с помощью mergekit методом Model Stock. В README указано слияние вариантов TitanFusion v1, v2 и v3; метаданные также связывают модель с grimjim/Llama-3-Instruct-abliteration-LoRA-8B. В репозитории используются веса safetensors, размер модели — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогового применения. Метаданные не указывают языки, поэтому нельзя надёжно определить языковую специализацию. В карточке приведены результаты Open LLM Leaderboard для IFEval и BBH, но они не позволяют установить пригодность для конкретных прикладных областей. Лицензия в предоставленных данных не указана.

lainshower/Llama3-8b-alpaca — дообученная в режиме полного fine-tuning модель Llama 3, созданная на основе Llama 3 8B с использованием инструкционных данных Stanford Alpaca. Это плотная авторегрессионная языковая модель с 7,5 млрд параметров и контекстом до 8192 токенов; веса опубликованы в формате safetensors. Модель предназначена для генерации ответов на инструкции и запросы с дополнительным контекстом. В README приведён шаблон диалога Alpaca и пример ответа на вопрос с выбором варианта; заявлено обучение в течение одной эпохи в BF16, поскольку более длительное обучение приводило к переобучению. Для инференса автор рекомендует Float32. Карточка не указывает лицензию, поэтому условия использования определить нельзя.

Longformer-base-4096 — плотная модель семейства Longformer, разработанная Allen Institute for Artificial Intelligence (AI2). Это BERT-подобный трансформер, инициализированный из чекпойнта RoBERTa и предварительно обученный на задаче masked language modeling на длинных документах. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 4096 токенов. Архитектура сочетает скользящее локальное внимание с глобальным вниманием, которое задаётся пользователем в зависимости от задачи. Модель предназначена для анализа длинных текстов и построения специализированных представлений; кодовые примеры и описание механизма внимания приведены в материалах проекта. Поддерживаемый язык — английский. Доступны форматы PyTorch и TensorFlow. Модель подходит как основа для задач понимания длинных документов, но настройка глобального внимания зависит от конкретного сценария. Лицензия — Apache-2.0.

lumikabra-195B v0.3 — крупная языковая модель на архитектуре Mistral с 194,2 млрд параметров, созданная объединением моделей методом passthrough. В README указана как более крупный вариант lumikabra v0.3; в слияние вошли два диапазона слоёв модели schnapper79_lumikabra-123B_v0.3. Репозиторий содержит веса Safetensors для Transformers, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста и диалогового общения. Интерфейс также поддерживает вызов инструментов. В README приведён пример запроса на написание художественной главы, однако он не устанавливает отдельную специализацию модели. Карточка указывает лицензию «other», поэтому конкретные условия использования следует сверить с лицензией в репозитории.

MaziyarPanahi/M7Yamshadowexperiment28_Experiment26Inex12 — объединённая модель на архитектуре Mistral, созданная слиянием automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26Inex12-7B. Она предназначена для генерации текста и диалоговых сценариев, где полезен контекст до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors. Модель может использоваться для продолжения текста, ответов на запросы и ведения диалога. Данные не описывают её специализацию по языкам или предметным областям, поэтому её следует рассматривать как модель общего назначения. Лицензия — Apache-2.0.

Marcoroni-neural-chat-7B-v2-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Toten5/Marcoroni-neural-chat-7B-v2. Она предназначена для генерации текста и ответов на инструкции в формате диалога. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов; опубликованные веса представлены в формате safetensors. Карточка не приводит сведения о поддерживаемых языках. Модель можно применять для диалоговых помощников, ответов на вопросы и генерации текста. Репозиторий распространяется по лицензии Apache-2.0. Качество ответов и конкретные языковые возможности в карточке не описаны.

MiniCPM5-1B-Rebel-i1-GGUF — GGUF-квантизированная версия модели MiniCPM5-1B-Rebel, опубликованная mradermacher и квантованная им на основе модели XuehangCang/MiniCPM5-1B-Rebel. Базовая модель разработана XuehangCang; в README также указаны связанные с ней наборы данных от XuehangCang и OpenBMB. Модель предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, включая локальные и периферийные сценарии использования. Модель относится к семейству MiniCPM5 и имеет размер 1B параметров. Доступна в формате GGUF с различными вариантами квантования от IQ1_S до Q6_K; размеры файлов составляют примерно 0,5–1,0 ГБ. Указана поддержка английского и китайского языков. Архитектура, точная длина контекста и дополнительные модальности в README не раскрыты, поэтому модель следует рассматривать как текстовую. Для ряда квантов отмечен компромисс между размером, скоростью и качеством; наиболее рекомендуемыми названы i1-Q4_K_M и i1-Q4_K_S, тогда как низкобитные варианты могут заметно снижать качество. Лицензия — Apache-2.0. README характеризует модель как uncensored и связанную с abliteration, однако не приводит подробных результатов оценки, ограничений безопасности или инструкций по ответственному применению. Для запуска требуются совместимые инструменты, поддерживающие формат GGUF.

Карточка модели jenerallee78/Ministral-3-14B-abliterated на Hugging Face совпадает с карточкой HifiHu/Ministral-3-14B-abliterated, поэтому описание составлено по ней. HifiHu/Ministral-3-14B-abliterated — модифицированная версия Ministral-3-14B-Instruct-2512 от Mistral, созданная с помощью abliteration: методом, который изменяет внутренние представления модели, чтобы ослабить поведение отказа. Это плотная модель семейства Mistral 3 примерно на 14 млрд параметров, распространяемая в формате SafeTensors с BF16 и рассчитанная на диалоговую генерацию текста. Метаданные также указывают интерфейс вызова инструментов; базовая модель мультимодальна, но карточка этой версии не подтверждает обработку изображений. Модель подходит для диалогов и ответов на широкий круг запросов, включая темы, на которые исходная instruct-модель могла бы отказать. Abliteration не гарантирует точность ответов и может снизить эффективность защитных ограничений. В карточке указан английский язык. Лицензия — Apache 2.0; автор позиционирует модель для исследований и обучения.

EnlistedGhost/Ministral-3-3B-Instruct-2512-GGUF — это квантованная версия инструкционной мультимодальной модели Ministral-3-3B-Instruct-2512-BF16, разработанной Mistral AI и преобразованной в формат GGUF пользователем EnlistedGhost с помощью llama.cpp. Модель предназначена для диалогов, выполнения инструкций и задач image-text-to-text с использованием текста и изображений. Она совместима с llama.cpp, Ollama и Yollama и подходит для локального запуска на различных устройствах. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. В репозитории представлены варианты квантования от IQ2_M и Q2_K_L до Q8_0_L и F16, а также мультимодальные vision-проекторы F16 и F32. В комплекте используется собственный шаблон чата Jinja со скользящим окном до 29 сообщений, которое можно изменить вручную. Основные преимущества модели — компактный размер 3B, локальная работа, поддержка изображений и широкий выбор уровней квантования, позволяющих выбирать баланс между качеством и требованиями к памяти. Ограничения включают возможное снижение качества по сравнению с исходной BF16-версией при агрессивном квантовании, а также зависимость корректной работы мультимодальных функций от совместимого vision-проектора и программного окружения. Модель распространяется по лицензии Apache-2.0.

MISCHIEVOUS-12B-Mix_0.4v — объединённая языковая модель на архитектуре Mistral, созданная bamec66557 методом SLERP с помощью mergekit. В объединение вошли bamec66557/mergekit-slerp-xjlmywj и bamec66557/MISCHIEVOUS-12B-Mix_0.3v; размер модели — 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового общения, а также предоставляет интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. В метаданных заявлены английский и корейский языки и контекст длиной до 1 024 000 токенов. Репозиторий содержит веса в формате safetensors; README также упоминает вариант GGUF Q4_K_M. Лицензия — Apache-2.0. Метаданные помечают модель как неподходящую для всех аудиторий;具体ные ограничения в карточке не раскрыты.

bhenrym14/mistral-7b-platypus-fp16 — плотная языковая модель Mistral на 7,1 млрд параметров, созданная на основе mistralai/Mistral-7B-v0.1. Автор дообучил её на инструкциях из набора garage-bAInd/Open-Platypus, используя объединённый QLoRA-адаптер ранга 64. Модель предназначена для генерации текста в ответ на инструкции и запросы; в карточке приведены результаты тестов ARC, HellaSwag и MMLU. Модель рассчитана на контекст до 32 768 токенов и использует архитектуру MistralForCausalLM. Для работы карточка рекомендует загрузку через Transformers; на момент её написания требовалась версия библиотеки из исходного кода. Обучение велось с устаревшим системным промптом Airoboros версии ниже 2.0, что важно учитывать при подготовке запросов. Это дообученная модель, а не исходная разработка автора репозитория. В карточке не приведены сведения о лицензии, поэтому условия использования следует проверять у базовой модели и в репозитории. Описанные бенчмарки не гарантируют качество на произвольных задачах; автор также отмечает, что скользящее оконное внимание и размер модели могут ограничивать её конкурентоспособность при работе с длинным контекстом.

Mistral-Passthrough-8L-10B — текстовая авторегрессионная модель на архитектуре Mistral, созданная DeepKarkhanis с помощью LazyMergekit. Веса собраны методом passthrough из двух диапазонов слоёв одной модели mistralai/Mistral-7B-Instruct-v0.2; репозиторий содержит формат Safetensors, а размер модели составляет 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов. Контекст — до 32 768 токенов. Используется лицензия Apache-2.0.

MoEv4Config-TestWeightedTIES-7b — слитая языковая модель, созданная автором репозитория на основе Kukedlc/NeuTrixOmniBe-7B-model-remix, PetroGPT/WestSeverus-7B-DPO и vanillaOVO/supermario_v4 с помощью LazyMergekit. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста; длина контекста составляет до 32 768 токенов. Модель можно применять для диалогов, написания и продолжения текста, а также решения задач на рассуждение и понимание текста. В README приведены результаты Open LLM Leaderboard, включая средние 75,39, 71,59 на AI2 Reasoning Challenge и 88,19 на HellaSwag; эти оценки характеризуют конкретные тесты и не гарантируют качество на других задачах. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Neural-Cosmic-Boy-7B-slerp — объединённая модель на базе архитектуры Mistral, созданная Kukedlc с помощью LazyMergekit. Она предназначена для генерации текста и может использоваться для диалога, ответов на вопросы и рассуждений. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на бенчмарках, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не сообщает о специализированных языках или областях применения.

NeuralMarioMonarch-7B-slerp — языковая модель на архитектуре Mistral, созданная объединением mlabonne/Monarch-7B и vanillaOVO/supermario_v4 методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и общих языковых задач; заявленная длина контекста составляет 32 768 токенов. Модель принимает текст и генерирует текст. В README приведены результаты оценки на нескольких тестах рассуждения и понимания текста. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

OvisOCR2 — компактная мультимодальная модель ATH-MaaS для разбора страниц документов. Она создана дообучением Qwen/Qwen3.5-0.8B и имеет плотную архитектуру Qwen3.5 с генерацией текста по изображению; размер модели — 0,8 млрд параметров. На вход подаётся изображение страницы, на выходе — представление в Markdown в естественном порядке чтения, включающее текст, формулы, таблицы и визуальные области. Модель предназначена для OCR и сквозного извлечения структуры документов. В отчёте разработчиков указаны результаты 96,58 на OmniDocBench v1.6 и средний балл 75,06 на PureDocBench. Для запуска в README приведён пример с vLLM. Модель распространяется по лицензии Apache-2.0. На разнообразных и сложных документах модель может ошибаться или выдавать неполный результат; разработчики рекомендуют вручную проверять выводы в критически важных сценариях.

PP-DocLayout_plus-L — модель PaddlePaddle для локализации и классификации областей на изображениях документов. Она основана на архитектуре RT-DETR-L и обучена на собственном наборе китайских и англоязычных научных статей, презентаций, журналов, контрактов, книг, экзаменационных материалов, старинных книг и исследовательских отчётов. Модель выделяет 20 типов областей, включая заголовки, основной текст, номера страниц, аннотации, таблицы, формулы, изображения, графики, колонтитулы, печати и списки литературы. Модель предназначена для анализа структуры страниц и может использоваться как компонент конвейера PP-StructureV3 вместе с OCR, распознаванием таблиц и формул и другими модулями. В README указана метрика mAP@0.5 83,2% на собственной тестовой выборке изображений документов на китайском и английском языках. Метрика относится к локализации областей, а не к распознаванию их текстового содержимого. Лицензия — Apache-2.0.

Mungert/Qwen2.5-0.5B-Instruct-GGUF — это компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen при участии Alibaba Cloud. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и создания структурированных ответов, включая JSON. Она также ориентирована на задачи программирования и математики, однако из-за небольшого размера её возможности ограничены по сравнению с более крупными моделями. Модель представляет собой causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-матрицах внимания и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд не относятся к эмбеддингам, 24 слоя и Grouped Query Attention с 14 головами для Q и 2 для K/V. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, французский, испанский, немецкий, русский, японский, корейский, арабский и другие. Модель работает с текстом и не предназначена для мультимодальных задач. К сильным сторонам относятся малый размер, улучшенное следование инструкциям, генерация длинных текстов, устойчивость к различным системным промптам и поддержка структурированного вывода. Ограничениями являются компактная ёмкость модели и отсутствие заявленной поддержки изображений, аудио или других модальностей; подробные показатели производительности в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-1.5B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с чатом, понимание и генерацию структурированных данных, а также локальный запуск через совместимые инструменты. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на масштабном наборе данных и работает более чем с 29 языками, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К небольшому размеру модели относится преимущество в виде меньших требований к ресурсам, однако README не содержит точных параметров квантизации, требований к памяти или результатов оценки качества, поэтому производительность может уступать более крупным моделям. Модель распространяется по лицензии Apache-2.0.

Sakalti/Qwen2.5-7B-Mini — языковая модель, созданная автором репозитория с помощью mergekit методом Model Stock на основе Qwen/Qwen2.5-7B-Instruct. В конфигурации указано объединение диапазонов слоёв исходной модели; в метаданных размер модели указан как 2,2 млрд параметров, а формат весов — safetensors. Модель предназначена для генерации текста и диалогового общения. Она принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст длиной до 32 768 токенов. Метаданные также отмечают интерфейс вызова инструментов, но README не описывает его применение или качество. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-7B-Instruct-heretic — модифицированная версия мультимодальной модели Qwen2.5-VL-7B-Instruct, разработанная автором saidutta69 с использованием Heretic v1.4.0. Модель предназначена для работы с текстом и изображениями, а также поддерживает сценарии, связанные с OCR, разбором документов, привязкой объектов на изображении и анализом видео. В карточке указано, что основной язык — английский. Модель сохраняет архитектуру и основные возможности базовой Qwen2.5-VL-7B-Instruct; заявленный нативный размер составляет около 8,3 млрд параметров. Вариант создан методом directional ablation («abliteration»): из весов целенаправленно удалены направления, связанные с отказами в ответах, без дообучения. Поэтому у модели должны в значительной степени сохраняться знания в области vision-language и следование инструкциям базовой модели, но защитные ограничения и фильтрация намеренно ослаблены. Это может быть полезно разработчикам, которым требуется меньше отказов, однако одновременно повышает риск выдачи нежелательного или небезопасного содержимого. Доступны полные веса в формате Safetensors BF16 и текстовые GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0. GGUF-файлы содержат текстовую часть и не включают vision-энкодер, поэтому для полноценной мультимодальной работы следует использовать полные веса Safetensors. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.6-35B-A3B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B в формате GGUF. Исходную модель разработала команда Qwen, а данную сборку подготовил пользователь Abiray с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании, включая сценарии с высокой нагрузкой на CPU. В README указано, что модель относится к классу MoE и имеет заявленный размер 35B параметров с конфигурацией A3B; точные сведения об архитектуре, числе активных параметров, контекстном окне и поддерживаемых языках не приведены. Метка pipeline указывает на задачи преобразования изображения и текста, однако подробности о мультимодальных возможностях отсутствуют. Квантизация Q4_K_M уменьшает размер модели и требования к ресурсам, обеспечивая компромисс между качеством и занимаемым объёмом, но может снижать точность по сравнению с менее квантизированными версиями. Для запуска рекомендуется использовать llama.cpp и файл GGUF. README не содержит требований к объёму памяти, результатов тестирования или детального описания ограничений производительности. Распространение указано под лицензией Apache-2.0.