II.10Разработка и эксплуатация AI/ML-систем

Yanun/Swift-Qwen3.8-27b-oQ4e-mtp — мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для обработки текстовых и визуальных входных данных с генерацией текста, включая сценарии, где требуется анализ изображений совместно с текстовыми инструкциями. Модель имеет плотную текстовую архитектуру с 64 слоями, чередующуюся линейную и полную attention: 48 слоёв используют linear attention, 16 — full attention. Размер скрытого состояния составляет 5120, размер feed-forward слоя — 17408, словарь содержит 248 320 токенов, а заявленный предел контекста — 262 144 токена, хотя фактическая длина зависит от настроек среды выполнения и доступной памяти. Vision encoder включает 27 слоёв, скрытое состояние размером 1152, 16 attention heads и обрабатывает изображения через патчи 16×16. В составе также есть один multi-token prediction (MTP) слой. Чекпойнт использует смешанную квантизацию oQ4e: базовые веса квантизированы до 4 бит, для 187 модулей заданы переопределения на 5 бит, а отдельные компоненты MTP сохранены в BF16. Это уменьшает требования к хранению и вычислениям по сравнению с полноразмерной моделью, но итоговая производительность и доступная длина контекста зависят от MLX-совместимого runtime и объёма памяти. Поддерживаемые языки и специализированные сильные стороны в README не указаны. Модель распространяется на условиях Swift Open License v1.0; конвертация не изменяет условия лицензии исходной модели.

Trida-7B — языковая модель на 7,76 млрд параметров от Trillion Labs, построенная на архитектуре Block Diffusion Language Model. Это Transformer-декодер с RoPE, SwiGLU и RMSNorm; модель создана посредством непрерывного предобучения базовой trillionlabs/Tri-7B с последующим постобучением. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и предназначена для генерации на корейском, английском и японском языках. Блочная диффузионная генерация сочетается в ней с авторегрессионными зависимостями. Механизм Step-wise Autoregressive Attention рассчитан на обучение и генерацию с более эффективным использованием вычислений; заявлена поддержка KV-кэширования внутри текущего блока. В README указана длина контекста 8192 токена, тогда как метаданные каталога задают native context в 4096 токенов. Модель оценивали на задачах рассуждения, знаний, программирования, математики и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Разработчик указывает, что качество может снижаться при работе с языками, отличными от английского, корейского и японского; сведения модели ограничены данными до февраля 2025 года.

murtsu/capnstop — чат-модель на базе Granite 4.2 с системным промптом, который задаёт ограниченный бюджет усилий для ответа. Она предназначена для диалога и генерации текста, когда важны краткость и проверяемость: модель разбивает задачу на подцели, проверяет их по критериям завершения и останавливается после подтверждения результата. Если не может проверить часть ответа, она должна сообщить об этом и оценить уверенность, а при затруднении — попробовать другой подход вместо повторения одной попытки. Подход Budgeted Reward Allocation Марко Тахванайнена реализован промптингом, а не дообучением. Модель основана на Granite 4.2 и распространяется в формате GGUF для запуска через Ollama. В README указаны параметры генерации: temperature 0.6, top_p 0.95 и repeat_penalty 1.15. Лицензия — Apache 2.0.

DeepSeek-V4-Pro-Qwen3.5-9B — компактная языковая модель класса 9B, созданная Kottk14-02-09 на основе unsloth/Qwen3.5-9B. Это reasoning-ориентированная дистилляция ответов DeepSeek-V4-Pro в режиме Max Effect с дополнительной настройкой под математику и STEM-задачи. В README также указано сотрудничество с инженером по аппаратному обеспечению Kyle Hessling, который помогал с инфраструктурой, обучением и оцениванием. Модель предназначена для генерации текста, многошагового решения математических и научных задач, структурированного рассуждения, а также может применяться в программировании, tool use и function calling. Обучение включало примерно 250 000 примеров по математике и STEM; при этом заявлены небольшие улучшения в программировании и использовании инструментов даже без специализированных данных для SFT по коду. Поддерживаются английский, китайский, корейский, японский, испанский и русский языки. Модель относится к текстовым генеративным моделям; сведения о мультимодальности и размере контекста в README не указаны. К сильным сторонам относятся относительно небольшой размер, практичная развёртываемость и фокус на математическом и научном рассуждении. Для запуска и оценки упомянуты vLLM с NVFP4 и llama.cpp с MTP-Q8_0. Ограничения модели, точные результаты бенчмарков, качество по отдельным языкам и требования к аппаратному обеспечению не приведены, поэтому их следует проверять самостоятельно. Модель распространяется по лицензии Apache-2.0.

Dolphin 2.6 Phi-2 — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes при спонсорской поддержке Convai на базе Phi-2 от Microsoft. Это плотная авторегрессионная модель семейства Phi с архитектурой PhiForCausalLM, дообученная методом qLoRA на трёх эпохах. Она принимает текст и ведёт диалог в формате ChatML; заявленное окно контекста — 2048 токенов. Модель предназначена для общения с ассистентом и генерации текста, в том числе для задач, представленных в наборах данных Dolphin, Dolphin Coder, Airoboros, OpenHermes, Magicoder и Capybara. Авторы описывают модель как «uncensored»: обучающие данные были отфильтрованы для уменьшения alignment и bias, поэтому модель может охотно отвечать на вредоносные и неэтичные запросы. Перед предоставлением доступа пользователям авторы рекомендуют добавить собственный слой выравнивания и безопасности. Для загрузки модели требуется trust_remote_code. Лицензия — MIT; качество генерации не гарантировано.

jaspionjader/ek-4 — слитая автором jaspionjader языковая модель для генерации текста и диалогов. Она создана методом Model Stock с помощью mergekit на основе jaspionjader/ek-1 с включением jaspionjader/ek-3 и jaspionjader/Kosmos-EVAA-Franken-stock-v42-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в предоставленных данных не приведена.

G9v3-39A5B-GGUF — это неофициальная конверсия предварительной языковой модели G9v3-39A5B, разработанной AI9Stars, в формат GGUF. Конверсию выполнил linuxid10t для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, задач с длинным контекстом и сценариев с вызовом инструментов; заявлена поддержка режимов Think и No-Think. Поддерживаемые языки — английский и китайский. Модель использует архитектуру G9v3ForCausalLM со sparse Mixture-of-Experts: около 39 млрд параметров всего и примерно 5 млрд активных на один токен. Она содержит 38 слоёв, включая один плотный и 37 MoE-слоёв, 320 маршрутизируемых экспертов, из которых выбираются 32, а также одного общего эксперта. Максимальный контекст составляет 131 072 токена. Доступны варианты BF16, Q8_0, Q4_K_M и IQ4_XS; квантованные версии уменьшают требования к памяти, но могут снижать точность по сравнению с BF16. Основное ограничение — модель является preview-релизом, а поддержка архитектуры G9v3 ещё не включена в стандартные сборки llama.cpp: требуется специальная ветка с поддержкой G9v3. Рекомендуемый объём оперативной памяти составляет не менее 96 ГиБ для BF16, 48 ГиБ для Q8_0 и 32 ГиБ для Q4_K_M или IQ4_XS, причём фактические требования зависят от размера контекста и настроек запуска. Репозиторий распространяется по лицензии Apache-2.0.

Gemma-2-9B-Chinese-Chat — языковая модель для диалоговой генерации текста, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang. Она создана на базе google/gemma-2-9b-it и дообучена для китайско- и англоязычных пользователей с использованием алгоритма ORPO и более чем 100 тысяч пар предпочтений. Обучение проводилось с помощью LLaMA-Factory. Модель предназначена для общения, ролевых сценариев, использования инструментов, решения математических задач, написания текстов и кода. По сравнению с исходной моделью заявлено уменьшение случаев, когда на китайские запросы модель отвечает по-английски, а также снижение смешения китайского и английского языков в ответах. Модель поддерживает китайский и английский языки, содержит около 9,24 млрд параметров и имеет контекстное окно до 8K токенов. Доступны версии BF16 и GGUF, включая варианты q4_k_m, q8_0 и f16. Сильными сторонами модели являются ориентация на китайско-английские диалоги, улучшенные ролевые ответы, работа с инструментами и математикой, а также наличие форматов для локального запуска через совместимые приложения. Ограничения включают контекст длиной 8K токенов и возможную неточность или непредсказуемость ответов в ролевых сценариях; разработчики отдельно предупреждают, что ответы о личности и происхождении модели могут быть случайными. Модель распространяется по Gemma License.

MaziyarPanahi/gemma-3-12b-it-GGUF — это набор файлов модели в формате GGUF для Google Gemma 3 12B IT. Исходную модель разработала Google, а квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в сценариях взаимодействия с инструкциями. Главная особенность репозитория — представление модели в формате GGUF, совместимом с llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Доступны варианты с квантованием от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества, однако конкретные характеристики каждого варианта в README не приведены. К сильным сторонам относятся поддержка распространённого формата для локального запуска, возможность GPU-ускорения и широкий выбор уровней квантования. Ограничения связаны с потерями качества, возможными при агрессивном квантовании, а также с отсутствием в предоставленных данных сведений о поддерживаемых языках, размере контекста, модальностях и точных требованиях к оборудованию. Лицензия в README не указана.

Gemma-3-4b-it-MAX-NEO-Imatrix-GGUF — GGUF-квантизированная версия инструкционной модели Google Gemma 3 4B, опубликованная DavidAU. Модель предназначена для генерации текста, диалогов, выполнения пользовательских инструкций, творческого письма и других общих сценариев использования языковых моделей. Заявлен контекст до 128 000 токенов. Ключевая особенность версии — сочетание квантизации с сохранением embedding- и output-тензоров в формате BF16 («MAXED») и специализированного imatrix-набора «NEO IMATRIX», разработанного DavidAU. По заявлению автора, это должно улучшать следование инструкциям, качество ответов и связность идей по сравнению с обычными квантами. Доступны варианты от IQ1_S до Q8_0; для творческих задач рекомендуются IQ3S, IQ4XS, IQ4NL и Q4, для общего использования — Q5, Q6 и Q8, а для портативных устройств — Q4_0 и Q5_0. Разные варианты квантов могут заметно различаться по качеству и характеру вывода. Модель ориентирована на локальный запуск и позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. README приводит пример производительности около 56 токенов в секунду для IQ4XS на видеокарте среднего уровня, но фактические показатели зависят от оборудования и настроек. Ограничения включают снижение качества у наиболее компактных квантов, различия в результатах между Q- и IQ-вариантами, а также необходимость подбора параметров генерации. Лицензия — Apache 2.0.

GoldenLlama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, созданная объединением Orenguteng/Llama-3.1-8B-Lexi-Uncensored и NousResearch/Hermes-3-Llama-3.1-8B с помощью mergekit. Слои 0–24 взяты из первой модели, а слои 25–31 — из второй; конфигурация слияния passthrough, исходная точность указана как bfloat16. Репозиторий содержит веса safetensors, модель насчитывает 7,5 млрд параметров и имеет контекстное окно 131 072 токена. Модель предназначена для генерации текста и диалогового использования. Лицензия репозитория — Apache-2.0. Карточка не приводит конкретных оценок качества или подробных ограничений; характеристики и поведение унаследованы от объединённых моделей и могут отличаться от каждой из них.

Granite 4.2 8B GGUF — это квантизированная версия текстовой генеративной модели ibm-granite/granite-4.2-8b, разработанной IBM. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и, согласно указанным тегам, tool calling. Поддерживается только текстовый ввод; мультимодальные возможности не заявлены. Модель содержит около 9 млрд параметров и доступна в форматах GGUF с разными уровнями квантизации — от BF16 до Q2 и IQ-вариантов. README не указывает архитектуру и размер контекстного окна. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Для запуска используется специальный шаблон prompt с секцией рассуждений <think>. Сильная сторона этой версии — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти: например, Q4_K_M размером 5,54 ГБ рекомендуется как универсальный вариант, а более высокие уровни сохраняют качество ближе к исходной модели. Ограничения зависят от выбранной квантизации: компактные варианты обеспечивают более низкое качество. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache 2.0.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и LeoScorpius-7B-Chat-DPO методом SLERP. Она предназначена для генерации ответов на инструкции и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные не указывают языковую специализацию модели.

LiquidAI/LFM2.5-1.2B-JP-202606-ONNX — это ONNX-экспорт универсальной чат-модели LFM2.5-1.2B-JP-202606, разработанной Liquid AI. Модель предназначена для генерации текста и диалоговых сценариев, включая агентские рабочие процессы, использование инструментов, структурированный вывод и создание двуязычных ассистентов на английском и японском языках. Экспорт поддерживает запуск через ONNX Runtime, Transformers.js и WebGPU в браузере или Node.js. Модель содержит около 1,17 млрд параметров, 16 слоёв, включая 10 double-gated LIV convolution blocks и 6 GQA blocks, поддерживает контекст до 32 768 токенов и словарь размером 65 536 токенов. Доступны варианты FP32, FP16, INT8 и INT4; рекомендуемый для WebGPU файл model_q4f16.onnx сочетает INT4-веса и FP16-компоненты и занимает около 744 МБ. Модель поддерживает английский и японский языки, а дата отсечения знаний указана как середина 2024 года. Ключевые преимущества — небольшой размер, несколько вариантов точности и возможность кроссплатформенного локального запуска, включая браузерный WebGPU. Ограничения включают отсутствие опубликованных в этом README benchmark-результатов и подробностей обучения, а также потенциальные компромиссы между качеством, скоростью и размером при использовании квантованных вариантов. Модель распространяется по лицензии LFM1.0; дополнительные условия следует уточнять в файле LICENSE.

LiquidAI/LFM2.5-1.2B-Thinking-MLX-4bit — это 4-битная MLX-версия модели LFM2.5-1.2B-Thinking, разработанная Liquid AI для инференса на устройствах Apple Silicon. Модель предназначена для генерации текста, решения задач и сценариев, требующих рассуждений: перед выдачей итогового ответа она формирует объяснение цепочки рассуждений. Поддерживаются вызовы инструментов и диалоговый формат ChatML. Модель содержит 1,2 млрд параметров, использует 4-битную точность с размером группы 64, занимает около 628 МБ и поддерживает контекст длиной до 32K токенов. В README заявлена поддержка английского, японского, корейского, французского, испанского, немецкого, итальянского, португальского, арабского и китайского языков. Версия ориентирована на локальный запуск через MLX и пакет mlx-lm на Apple Silicon; рекомендуемые параметры генерации оптимизированы для низкой температуры и коротких ответов. К сильным сторонам относятся компактный размер, низкая разрядность, возможность локального использования на совместимых устройствах, поддержка многошаговых рассуждений и function calling. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также необходимость учитывать, что вывод рассуждений может быть объёмным и не всегда гарантирует корректность ответа. Модель распространяется по лицензии LFM 1.0.

cyankiwi/LFM2.5-8B-A1B-AWQ-INT4 — это квантованная версия текстовой модели LFM2.5-8B-A1B от Liquid AI, подготовленная пользователем cyankiwi в формате AWQ с точностью INT4. Модель предназначена для локального и периферийного (on-device) развертывания, включая персональных ассистентов, агентские сценарии с вызовом инструментов, следование сложным инструкциям и генерацию структурированных ответов. Архитектура модели гибридная: 8,3 млрд параметров всего, из которых активно используется 1,5 млрд; 24 слоя включают 18 double-gated LIV convolutional layers и 6 слоёв GQA. Модель обучалась на 38 трлн токенов и поддерживает контекст до 131 072 токенов. Это text-only модель с заявленной поддержкой английского, арабского, китайского, французского, немецкого, японского, корейского, португальского и испанского языков. В карточке квантованной версии также указаны русский, хинди и нидерландский языки, однако основные сведения о базовой модели перечисляют другой набор языков. К сильным сторонам относятся низкие требования к памяти благодаря INT4-квантизации, высокая скорость инференса для своего класса, пригодность для CPU и GPU, агентских рабочих процессов и локальных приложений. Ограничения: модель не считается оптимальным выбором для сложного программирования и фактологически насыщенных задач без retrieval; качество квантованной версии может отличаться от исходной модели. Указана лицензия lfm1.0; дополнительные условия следует уточнять в файле LICENSE.

Ling-2.6-flash-MXFP4 — квантизированная версия языковой модели Ling-2.6-flash, подготовленная Jinho Jang из OsaurusAI на базе модели InclusionAI. Это гибридная MoE-модель с архитектурой Bailing-V2.5: в ней 103 млрд параметров, из которых активно около 8 млрд, 256 экспертов с выбором восьми на токен, 32 слоя с сочетанием MLA и Lightning Linear Attention, а также голова Multi-Token Prediction. Контекст составляет 131 072 токена. Модель предназначена для генерации текста, диалога, рассуждений и вызова инструментов; её можно применять в многошаговых агентных сценариях. Все основные веса представлены в 4-битном формате MXFP4 с группами по 32 значения, а нормализации, роутеры, смещения экспертов и параметры наклона сохранены в FP16 или FP32. Файлы общим размером около 63 ГБ рассчитаны на запуск через MLX на компьютерах Apple Silicon с достаточным объёмом памяти. Квантизация уменьшает объём модели относительно исходной версии в BF16 и позволяет использовать штатную загрузку MLX без отдельной среды TurboQuant. При этом заявленный сценарий запуска требует мощного Apple Silicon и не гарантирует совместимость с другими платформами. Модель распространяется по лицензии MIT.

Llama-3.1-Swallow-70B-v0.1 — языковая модель команды Swallow из лабораторий Okazaki и YOKOTA Токийского технологического института и AIST. Она создана продолжительным предварительным обучением Meta Llama 3.1 на примерно 200 миллиардах токенов японских и английских текстов, включая веб-материалы, Википедию, математику и код. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом 8192 токена. Модель рассчитана на генерацию текста на японском и английском языках: ответы на вопросы, суммаризацию, машинный перевод, рассуждения, понимание текста и генерацию кода. README сообщает об улучшении японских языковых возможностей при сохранении возможностей английской исходной модели; оценка проводилась на японских и англоязычных бенчмарках. Это базовая версия, не Instruct-вариант, поэтому она не настроена для следования инструкциям и не гарантирует соответствия ответов намерениям пользователя или требованиям безопасности. Распространяется по лицензии Llama 3.1.

Llama 3.1 Tulu 2 DPO 8B — англоязычная диалоговая модель-помощник, разработанная Ai2 и дообученная на базе allenai/llama-3.1-tulu-2-8b. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса опубликованы в формате safetensors. Модель предназначена для диалогов и выполнения разнообразных инструкций: она прошла дополнительное выравнивание методом DPO на данных UltraFeedback после дообучения на смеси открытых, синтетических и созданных людьми данных Tulu. Её можно применять для ответов на вопросы, написания текстов и решения задач по инструкциям на английском языке. Модель не проходила этап RLHF, ориентированный на безопасные ответы, и не использует фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; в карточке также указана лицензия Meta Llama 3.1 Community License для базовой модели.

Shenzhi Wang и соавторы разработали Llama3-8B-Chinese-Chat — диалоговую модель на базе Meta-Llama-3-8B-Instruct, дообученную методом ORPO для китайско- и англоязычных пользователей. Этот репозиторий содержит веса GGUF в формате F16; модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, включая ролевые сценарии, использование инструментов и решение математических задач. По сравнению с базовой моделью авторы отмечают меньше случаев, когда на китайский запрос следует английский ответ, и меньше смешения китайского и английского в китайских ответах. В README описана версия v2.1 с улучшениями в ролевых диалогах, вызове функций и математике. Известное ограничение: модель не дообучали на сохранение своей идентичности, поэтому ответы о том, кто она и кем создана, могут быть случайными. Для использования действуют условия лицензии Llama 3.

Mistral-Small-3.2-24B-Instruct-2506-MLX-8bit — это 8-битная квантованная версия мультимодальной инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной компанией Mistral AI. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm. Модель предназначена для запуска на устройствах с Apple Silicon и поддерживает сценарии генерации текста по инструкциям, а также обработки изображений и текста, о чём свидетельствует мультимодальный профиль image-text-to-text. Она поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и другие языки, перечисленные в карточке модели. Ключевые характеристики — 24 млрд параметров в исходной модели, 8-битное представление весов и оптимизация для экосистемы Apple Silicon. Квантование снижает требования к памяти и делает локальный запуск практичнее, однако может немного повлиять на точность по сравнению с полной версией. Длина контекста в README не указана. Модель распространяется по лицензии Apache 2.0; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность генерируемого содержимого.

Это GGUF-квантизованная версия языковой модели Llama-3_1-Nemotron-Ultra-253B-v1, разработанной NVIDIA и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Указан английский язык; поддерживается текстовая модальность. Размер исходной модели — 253 млрд параметров, однако точная архитектура и размер контекстного окна в README не указаны. Доступно множество вариантов квантизации GGUF — от Q8_0 до более компактных Q3 и IQ3/IQ4. Высокоточные варианты обеспечивают лучшее сохранение качества, а младшие квантизации снижают требования к памяти; рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Основное ограничение — чрезвычайно большой объём файлов: даже рекомендуемый Q4_K_M занимает около 150,94 ГБ, поэтому для запуска требуется мощное оборудование и значительный объём оперативной или видеопамяти. Лицензия — NVIDIA Open Model License; ссылка на условия приведена в карточке модели.

OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf — модель, опубликованная DavidAU на основе huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated. Это языковая модель для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. Модель позиционируется как uncensored и abliterated: из базовой версии были удалены или ослаблены отказы от ответов. Модель относится к архитектуре Mixture of Experts (MoE), имеет заявленный размер 20B и использует 24 эксперта. Она ориентирована прежде всего на английский язык, поддерживает текстовый ввод и вывод и заявлена для контекста до 128k токенов. Распространяется в формате GGUF с вариантами квантования IQ4_NL, Q5_1 и Q8_0, включая версии с одной, двумя или тремя Imatrix-датасетами для оптимизации квантования. Варианты NEO и NEO-CODE ориентированы на общее применение, код и творческие задачи. К сильным сторонам относятся сочетание возможностей для программирования, общего диалога, рассуждений и творческой генерации, а также возможность выбрать баланс качества, скорости и размера через разные варианты квантования. Автор отмечает, что Q5_1 может быть стабильнее IQ4_NL в некоторых сценариях, тогда как IQ4_NL иногда даёт более свободные и непредсказуемые ответы. Ограничением является возможная неровность поведения и нестабильность, связанная с abliteration; модель может генерировать нежелательный или рискованный контент из-за отсутствия стандартных отказов. README не приводит системных требований и результатов независимого бенчмаркинга. Модель распространяется по лицензии Apache-2.0. Условия использования uncensored-версии следует учитывать отдельно от технической лицензии при применении в продуктивных системах.

CultriX/Qwen2.5-14B-Wernickev3 — языковая модель для генерации текста, созданная CultriX путём слияния нескольких предварительно обученных моделей с помощью mergekit. В качестве базовой модели использована Qwen/Qwen2.5-14B; также в слияние вошли QwenSlerp6-14B, QwenStock3-14B, SeQwence-14B-EvolMerge, Qwen2.5-14B-Wernicke и SauerkrautLM-v2-14b-DPO. Применён метод DARE TIES. Модель основана на плотной архитектуре Qwen2 и содержит 14 млрд параметров. Она работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Подходит для диалоговой генерации и других задач продолжения текста; метаданные также отмечают интерфейс вызова инструментов. Модель использует лицензию Qwen/Qwen2.5-14B — Apache-2.0. Слияние объединяет свойства исходных моделей, но README не приводит отдельных оценок качества или сведений о специализации; качество для конкретных задач следует проверять самостоятельно.

lmstudio-community/Qwen3-4B-Instruct-2507-MLX-5bit — это 5-битно квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью Qwen3-4B-Instruct-2507. Ключевые характеристики: архитектура и возможности базовой модели Qwen3-4B-Instruct-2507, около 4 миллиардов параметров, текстовая модальность и 5-битное представление MLX. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные преимущества модели — уменьшенный объём памяти и оптимизация для локального запуска на Apple Silicon при сохранении совместимости с экосистемой MLX. Ограничения связаны с квантованием и характеристиками базовой 4B-модели; точное влияние на качество, производительность и перечень поддерживаемых сценариев в README не описано. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это мультимодальная модель на базе Qwen3.5-9B, разработанная DavidAU совместно с Nightmedia. Она представляет собой результат многоэтапного дообучения и слияния нескольких моделей на локальном оборудовании. Модель ориентирована на универсальные сценарии: следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу и ролевые диалоги. Заявлена как uncensored и heretic-модель, то есть с ослабленными ограничениями на ответы. Модель распространяется в формате GGUF, включая обычные и MTP-варианты для multi-token prediction. Доступны квантизации, в том числе 4- и 8-битные; для GGUF заявлен контекст до 256 тысяч токенов. Поддерживаются текст и изображения, однако для работы с изображениями требуется отдельный файл mmproj. Указаны английский и китайский языки. NEO IMATRIX-квантизация и частично сохранённая 16-битная точность выходного тензора предназначены для повышения качества, а MTP-варианты — для ускорения генерации при достаточном уровне принятия предсказанных токенов. Сильными сторонами заявлены производительность в ряде benchmark-тестов, развитое следование инструкциям, компактный размер, поддержка рассуждений и потенциально высокая скорость локального запуска. Ограничения включают зависимость скорости и эффективности MTP от оборудования, настроек и acceptance rate, а также необходимость подбирать обычный или MTP-вариант под конкретный сценарий. Приведённые результаты получены авторами модели и не гарантируют превосходство над более крупными моделями во всех задачах. Лицензия — Apache-2.0.

Atomic-Germ/Qwen3.8-27B-Heretic-MTP-GGUF — это многоэтапная дообученная и объединённая версия Qwen3.8 с 27 млрд параметров, распространяемая в формате GGUF. Модель основана на DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU и создана с использованием Unsloth, методов Cold Fusion и Fable Fusion 711. В репозитории представлены обычные и MTP-квантизации, включая варианты с 4- и 8-битной точностью и imatrix-оптимизацией. Модель предназначена для широкого круга сценариев: решения задач и рассуждений, программирования, творческого письма, генерации художественных текстов, ролевого взаимодействия и других универсальных применений. Заявлены поддержка английского и китайского языков, три режима работы с рассуждениями, а также акцент на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении детализации ответов. Архитектура, точное окно контекста и наличие подтверждённой мультимодальности в README не указаны. К сильным сторонам относятся относительно высокая производительность на потребительском оборудовании, уменьшенное число токенов рассуждений, варианты для разного объёма памяти и ориентация на детализированные ответы. В README приводятся высокие результаты на ARC-C и ARC-E, однако это заявления автора и не являются независимо подтверждёнными характеристиками. Ограничения включают возможную зависимость качества от выбранной квантизации, отсутствие подробных данных о контекстном окне и неполную информацию о тестировании. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная fine-tune и merge-сборка модели Qwen3.8 с 27 млрд параметров, опубликованная trinityomni на основе версии DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В разработке использовались методы Cold Fusion и Fable Fusion, а также инструменты Unsloth. Репозиторий содержит обычные и MTP GGUF-квантизации, включая варианты с точностью 4 и 8 бит, ориентированные на запуск на потребительском оборудовании. Модель предназначена для общих задач, рассуждений, программирования, creative writing, художественной прозы, ролевых сценариев и работы с различными жанрами текста. В карточке указаны английский и китайский языки; также заявлен pipeline image-text-to-text, однако подробности о поддерживаемых визуальных входах и мультимодальной архитектуре не приведены. Размер контекста не указан. Основной акцент сделан на сокращении объёма рассуждений и ускорении генерации при сохранении детализации ответа, включая поддержку трёх режимов мышления и MTP. По утверждению авторов карточки, модель превосходит базовую Qwen3.8-27B и ряд других моделей в семи ключевых бенчмарках, а результаты ARC-C и ARC-E составляют соответственно до 735 и 880 для 8-битной версии; эти показатели являются заявленными разработчиками и не сопровождаются независимой верификацией в README. Сильными сторонами считаются скорость, сниженное избыточное рассуждение, навыки программирования и генерации творческого текста. Ограничения включают отсутствие данных о контекстном окне, системных требованиях, точных характеристиках мультимодальности и независимых тестах; из-за uncensored и abliterated-настройки модель может чаще выдавать небезопасный или нежелательный контент. Указанная лицензия — Apache-2.0.

Qwen3.8-Flash-Next-119B-A5B-Niwaki-v2.4-3bit-gguf — GGUF-версия модели Mixture-of-Experts, подготовленная проектом Niwaki на основе Qwen3.8-Flash-Next-119B-A5B-Niwaki-v2.4-3bit-mlx. Модель уменьшена структурной обрезкой до 119 млрд параметров всего, из которых активно около 5,6 млрд; в 48 слоях используются маршрутизируемые эксперты. GGUF-сборки квантованы с учётом структуры модели и предназначены для запуска через форк llama.cpp на CUDA, Vulkan, Metal или CPU. Модель предназначена для диалоговой генерации текста, в том числе задач с отслеживанием переменных, простыми вычислениями в несколько шагов и поиском связей по нескольким фактам. По данным карточки, тесты на отслеживание состояния программы близки к результатам MLX-версии, а текст получается связным и по теме. Для коротких ответов рекомендуется отключать режим thinking. Работа с файлами требует форка neopolita-llama.cpp: стандартный llama.cpp пока не поддерживает используемую раскладку GGUF. В README указана лицензия базовой модели, но конкретные условия для этой сборки в предоставленных данных не раскрыты.

Qwen3.8-Flash-Next-GGUF — GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и квантизированной пользователем qtum с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp; заявленные языки — английский и китайский. Модель содержит около 180 млрд параметров: MoE-ядро на 125 млрд параметров с 48 слоями, 512 экспертами, маршрутизацией top-10 и одним общим экспертом, а также 51-миллиардную PLE-таблицу n-грамм. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и гиперсвязями. Максимальная длина контекста — до 262 тысяч токенов. Слой MTP для чернового предсказания был исключён при конвертации. Доступны варианты BF16 и квантизации IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 118,8 GiB; каждый вариант поставляется в восьми сегментах. Квантизация снижает требования к хранилищу, но ухудшает показатель perplexity относительно BF16, особенно у низкобитных вариантов. Для работы необходимо скачать все восемь сегментов и использовать llama.cpp; модель предъявляет очень высокие требования к ресурсам. Лицензия — Qwen Community License 1.0, унаследованная от исходной модели, а не MIT.