II.2Создание и понимание программного кода

Marlowe-22B R1.5 — модель генерации текста с рассуждениями, созданная devvexus на основе Qwen3.8-27B. Разработчик удалил 12 линейно-аттенционных слоёв из исходной 27,32-миллиардной модели и восстановил часть потерь знаний дистилляцией и целевым дообучением. В репозитории опубликован GGUF-файл с квантизацией Q4_K_M; адаптер LoRA объединён с весами. Модель содержит 22,30 млрд параметров и 52 слоя, включая 36 слоёв DeltaNet и 16 слоёв полного внимания. Модель предназначена для диалогов и генерации текста с рассуждениями, в том числе инженерных и научно-технических задач. По описанию разработчика, сокращённая модель сохраняет 94,8% проверенных фактов родительской модели и рассчитана на запуск целиком на потребительском GPU с 16 ГБ памяти при Q4_K_M. Для запуска приведена конфигурация llama.cpp с контекстом 32 768 токенов и квантованием KV-кэша. В карточке указаны английский язык и лицензия Apache-2.0. Модель сохраняет часть возможностей Qwen3.8-27B, но её зрительная башня удалена, поэтому этот вариант предназначен для работы с текстом, а не с изображениями или видео. Разработчик отмечает сохраняющийся разрыв с исходной моделью в физике, статистике, информатике и вычислениях с вращениями и тригонометрией.

Это сегментированная по файлам копия Mistral-7B-Instruct-v0.1 от filipealmeida, предназначенная для запуска при ограниченной памяти CPU. В основе лежит плотная трансформерная модель Mistral с 7,1 млрд параметров, дообученная следовать инструкциям на открытых диалоговых наборах данных. Архитектура использует Grouped-Query Attention и Sliding-Window Attention; карточка указывает контекст до 32 768 токенов. Модель принимает текстовые инструкции в формате с маркерами [INST] и [/INST] и генерирует текстовые ответы в диалоговых сценариях. Её можно применять для вопросов и ответов, ведения диалога, составления черновиков и выполнения текстовых инструкций. Разбиение весов на шарды снижает требования к памяти CPU при загрузке, но не является квантизацией и само по себе не меняет вычислительные требования модели во время генерации. Лицензия — Apache-2.0.

MaziyarPanahi/openchat_3.5-16k-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и openchat_3.5-16k методом slerp. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в диалоге. Она поддерживает контекст до 32 768 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Сведения о специализации по отдельным языкам и конкретных ограничениях качества в карточке не приведены.

pandafish-7b — инструктивная языковая модель на 7,1 млрд параметров, созданная методом Model Stock merge из моделей Mistral-7B-v0.1, Mistral-7B-Instruct-v0.2, NeuralTrix-bf16 и mistral-ft-optimized-1227 с помощью LazyMergekit. Модель использует плотную архитектуру Mistral для генерации текста и ответов на инструкции; контекст составляет до 32 768 токенов. Она подходит для диалоговых сценариев, ответов на вопросы и других задач генерации текста по запросу. В приведённых в README оценках pandafish-7b набрала в среднем 51,99 балла; результаты отдельных бенчмарков различаются относительно Mistral-7B-Instruct-v0.2. Модель опубликована в формате safetensors под лицензией Apache-2.0.

pico-type — компактная модель классификации содержимого от eulogik. Она принимает необработанные байты и за один проход определяет тип и модальность содержимого, подтип, язык кода или текста, MIME-тип и признаки риска. Токенизатор не требуется, поэтому модель рассчитана на разные языки и форматы данных. Модель использует байтовые эмбеддинги, параллельные свёртки Conv1D и двунаправленное внимание с RoPE. Доступны четыре варианта размерностью от 1,43 до 1,56 млн параметров; веса представлены в формате ONNX FP32. В README заявлены размер файла около 9 МБ и инференс примерно за 18 мс на CPU, а также варианты применения на периферийных устройствах, в браузере и серверless-средах. Модель подходит для автоматической маркировки текста и файлов, определения языков программирования и текста, MIME-типа и флагов риска. README отмечает, что точность распознавания некоторых языков кода ниже из-за малого числа обучающих примеров. Лицензия — Apache-2.0.

Horizon Labs разработала PII Redactor Small — компактную модель на 141 млн параметров для обнаружения и разметки персональных данных и секретов в тексте перед передачей в журналы, запросы к LLM, обучающие наборы или внешние API. Это дообученная для token classification модель архитектуры ModernBERT на базе jhu-clsp/mmBERT-small; она распознаёт 29 типов сущностей, включая имена, контакты, адреса, государственные и финансовые идентификаторы, пароли, API-ключи и сетевые идентификаторы. Модель рассчитана на многоязычную фильтрацию текста и интеграцию с Transformers, Presidio и LLM Guard. Веса доступны в форматах Safetensors и ONNX; заявлены работа на CPU и использование через transformers.js в браузере и на периферийных устройствах. Контекст составляет до 8192 токенов. README заявляет поддержку более 30 языков, включая русский; метаданные перечисляют языки от en до zh, ja, ko и других. Результаты на внешних тестах неоднородны: модель показывает полезное качество, но не лидирует на каждом наборе. Большая часть обучающих данных синтетическая; необычные форматы и языки вне обучающего набора могут снижать полноту обнаружения. Модель не гарантирует анонимизацию, может избыточно скрывать даты и не помечает некоторые чувствительные атрибуты, например религию и состояние здоровья. Лицензия — Apache-2.0.

mergekit-community выпустил объединённую языковую модель Qwen2.5-14B, созданную методом Model Stock на основе Qwen/Qwen2.5-14B и пяти других моделей: SauerkrautLM-v2-14b-SFT, Rombos-LLM-V2.6-Qwen-14b, Qwen2.5-14B-Instruct-abliterated-v2, SuperNova-Medius и Virtuoso-Small. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, предназначенная для генерации текста и диалогов; заявленный размер контекста — до 131 072 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель подходит для генерации ответов в чате и других текстовых сценариев; метаданные также указывают интерфейс вызова инструментов. В README приведены метод объединения, состав моделей и конфигурация с типом данных bfloat16, но нет отдельных результатов оценки качества. Лицензия в предоставленных данных не указана.

88plug/Qwen3.6-27B-W8A16 — квантованная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen и опубликованной пользователем 88plug. Модель предназначена для обработки изображений и текста с генерацией текста: анализа изображений, визуально-текстовых запросов, рассуждений и задач общего назначения. Поддерживает английский язык; заявленный контекст составляет до 262 144 токенов. Это плотная модель примерно на 27 млрд параметров без MoE, с гибридной архитектурой Gated DeltaNet и полносвязных MLP-блоков. В ней 41 чередующийся слой полной и линейной внимания. Применена посттренировочная квантование AutoRound W8A16: веса хранятся в INT8, а активации — в BF16; размер группы квантования равен 32. Модель занимает около 27 ГБ и рассчитана на запуск на GPU Ampere и новее, включая RTX 4090, A6000 и A100-40. Для развёртывания предпочтителен vLLM версии 0.21 или новее с форматом compressed-tensors. К сильным сторонам относятся существенно меньшие требования к памяти по сравнению с BF16-версией, поддержка длинного контекста и возможность работы на распространённых GPU без ограничений, характерных для FP8. Текстовые компоненты калибровались на смешанном наборе UltraChat-200k и WikiText-103, однако визуальный энкодер получил некалиброванное RTN-квантование INT8, поэтому качество обработки изображений может быть менее проверенным. Формат compressed-tensors не поддерживается TGI, а виджет Hugging Face может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

PrimeIntellect/Qwen3-8B — копия модели Qwen/Qwen3-8B с шаблоном чата, поддерживающим многоходовые диалоги и вызовы инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста в формате диалога. Модель принимает текст и выдаёт текст; её контекстное окно составляет 40 960 токенов. Модель основана на Qwen/Qwen3-8B-Base и адаптирована для использования с совместимым с вызовом инструментов шаблоном чата. Репозиторий распространяется в формате Safetensors; библиотека для работы — Transformers. Лицензия — Apache-2.0.

Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-SSD-PLE-GGUF — производная квантованная версия модели Qwen3.8-Flash-Next, разработанная Baekpica на базе модели Qwen. Она распространяется в формате GGUF с mixed-quant квантованием и рассчитана на запуск с использованием SSD-PLE offload, в частности на системах DGX Spark. Модель относится к мультимодальному классу image-text-to-text и поддерживает обработку текстовых запросов и изображений, включая фотографии, снимки экрана и документы. Опубликованы варианты MQ-Q6-SSD-PLE-BF16 и MQ-Q5-SSD-PLE-BF16 с общим BF16 SSD-PLE sidecar; также доступен FP8 sidecar. Для модели заявлена проверка прямого prefill на 262 144 токенах, а связанный runtime поддерживает путь Qwen YaRN до 524 288 токенов, однако это подтверждает возможности программного стека, а не качество модели на таком контексте. В README приведены измерения производительности prefill и decode, оптимизации MTP, повторное использование кэшей и сквозная работа изображений через несколько API-совместимых интерфейсов. Сильные стороны модели — мультимодальность, варианты с разным компромиссом между качеством и потреблением памяти, поддержка SSD-PLE offload, длинного контекста и оптимизированного инференса. Ограничения включают зависимость от совместимого runtime и аппаратной конфигурации, необходимость выбора подходящего sidecar, а также отсутствие в README точных данных о числе параметров, языках, полном описании архитектуры и сравнении качества с исходной моделью. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

Это квантованный вариант Qwen/Qwen3.8-Flash-Next, подготовленный с помощью AutoRound и схемы MXFP4-Mixed. Репозиторий содержит веса в формате safetensors; модель предназначена для диалоговой генерации текста и интерфейсов вызова инструментов. В README приведены результаты оценки на нескольких тестах и измерения на контексте длиной 131 072 токена. Для запуска требуется сборка vLLM с поддержкой MXFP4-Mixed и архитектуры модели. Для FP8-кэша KV его нужно включить отдельным параметром времени запуска; README также описывает ограничения совместимости некоторых сборок vLLM с этой архитектурой и форматом compressed-tensors. Лицензия наследуется от исходной модели Qwen/Qwen3.8-Flash-Next.

wangkanai/qwen3-vl-4b-instruct — мультимодальная модель на 4 млрд параметров, основанная на Qwen3-VL-4B-Instruct команды Qwen в Alibaba Cloud. В репозитории представлены веса SafeTensors и GGUF FP16; карточка описывает версию как abliterated. Лицензия — Apache-2.0. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для визуальных вопросов и ответов, OCR, анализа сцен и временных событий, рассуждений по изображениям, генерации кода интерфейсов и взаимодействия с графическими интерфейсами. В карточке заявлены 256K токенов контекста с возможностью расширения до 1M, OCR на 32 языках, пространственное рассуждение и привязка событий видео к временным меткам. Архитектура включает визуальный энкодер DeepStack на основе ViT и позиционное кодирование Interleaved-MRoPE. Для инференса указаны требования от 12 ГБ видеопамяти и 16 ГБ системной памяти для FP16; результаты и скорость зависят от оборудования и настроек. Заявленные возможности OCR и пространственного анализа приведены в README и не сопровождаются здесь независимыми оценками качества.

Jackrong/Qwopus3.6-27B-v2-GGUF — мультимодальная плотная модель на 27 млрд параметров, разработанная Jackrong на базе Qwen3.6-27B и представленная в формате GGUF. Модель дообучена методом supervised fine-tuning в рамках трёхэтапной учебной схемы с использованием наборов данных Jackrong/Claude-opus-4.6-TraceInversion-9000x и Jackrong/Claude-opus-4.7-TraceInversion-5000x. В заявленных возможностях указаны генерация текста, анализ изображений, рассуждения, tool use и function calling. Модель предназначена для диалоговых и агентных сценариев, решения задач, требующих структурированного рассуждения, работы с изображениями и взаимодействия с инструментами. Подход Trace Inversion используется для реконструкции подробных рассуждений и снижения логических упрощений, а форматирование с тегами <think> ориентировано на единообразную структуру вывода и последующее применение в reinforcement learning. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся крупный размер, поддержка vision и инструментов, а также акцент на многошаговом рассуждении и совместимости с llama.cpp и Transformers. При этом README не содержит результатов бенчмарков, точного размера контекста, конкретных характеристик архитектуры, требований к ресурсам или подробностей о вариантах квантования, поэтому эти параметры нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache 2.0.

HyperLlama-3.1-8B — языковая модель для генерации текста и диалогов, созданная объединением моделей Replete-AI, Dampfinchen и Orenguteng с помощью mergekit. Она основана на плотной архитектуре Llama и содержит 7,5 млрд параметров; для объединения использован метод model_stock, веса представлены в формате safetensors. Модель подходит для ответов на инструкции и ведения диалога, а метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. В README приведены результаты Open LLM Leaderboard: средний балл 28,07, IFEval — 78,83 и BBH — 29,81. В состав объединения входит вариант Lexi Uncensored V2, поэтому ответы могут быть менее ограниченными по содержанию. Модель распространяется по лицензии Apache-2.0.

Модель yeeun2/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная диалоговая Llama-модель на базе kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в формате инструкций и диалога; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель разработал пользователь yeeun2; для обучения использовались Unsloth и библиотека TRL из Hugging Face. Базовая модель Kakao рассчитана на генерацию текста, программирование, математику и вызов инструментов, однако README не уточняет, какие из этих навыков были целью дополнительного дообучения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

LD-Zephyria-37b_HEALED — дообученная версия TheSkullery/LD-Zephyria-37b, созданная автором athirdpath. Для обучения применён LoRA-адаптер ранга 128, нацеленный на проекции q и down; использована одна эпоха датасета TheSkullery/Aether-Lite-PurHyDe. Модель представляет собой плотную авторегрессионную языковую модель семейства Mistral с 37,3 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогового использования; метаданные также отмечают интерфейс вызова инструментов. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Snowflake AI Research разработала Snowflake/Llama-3.1-SwiftKV-8B-Instruct — инструкционную языковую модель на архитектуре Llama-3.1 с преобразованием SwiftKV для ускорения вывода. Метод оптимизирует обработку входного промпта: перенастраивает модель и применяет дистилляцию с сохранением знаний, чтобы часть токенов при обработке промпта могла пропускать до половины слоёв. Репозиторий содержит веса в формате safetensors; число параметров — 7,5 млрд, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев, где важны скорость обработки промптов и эффективность обслуживания запросов. В README заявлены улучшения пропускной способности, задержки и стоимости до 2 раз при небольшой потере точности; для версии 8B приведены результаты бенчмарков, где среднее значение снизилось с 73,71 до 72,70 относительно базовой модели. Поддерживается лицензия Llama 3.1; применяются её условия использования.

shb777/Llama-3.3-8B-Instruct-128K — доработанная версия Llama 3.3 8B Instruct, созданная на основе allura-forge/Llama-3.3-8B-Instruct. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке указано, что для версии включена полная длина контекста — 131 072 токена; также добавлены настройки rope_scaling, шаблон чата Unsloth в конфигурации токенизатора и обновлена конфигурация генерации. Модель можно использовать для ответов в чате, продолжения текста и других сценариев генерации. Метаданные отмечают интерфейс для вызова инструментов, но README не описывает его поведение или качество. Модель опубликована в формате safetensors и распространяется по лицензии llama3.3. README также ссылается на GGUF-варианты, однако этот репозиторий описан как safetensors-модель.

Nhoodie/Meta-Llama-3-8B-Uninstruct-function-calling-json-mode-model_stock-v0.1 — объединённая модель на базе семейства Meta Llama 3, созданная с помощью LazyMergekit из hiieu/Meta-Llama-3-8B-Instruct-function-calling-json-mode, NousResearch/Meta-Llama-3-8B и NousResearch/Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная языковая модель архитектуры LlamaForCausalLM примерно с 7,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для генерации текста и диалогов; в её составе есть вариант, настроенный на вызов функций и выдачу JSON, поэтому она может применяться в сценариях, где ответы должны следовать структурированному формату. Репозиторий содержит веса safetensors. В метаданных указана лицензия other; конкретные условия следует проверять в файлах репозитория и у базовых моделей.

CISCai/Mistral-Nemo-Instruct-2407-SOTA-GGUF — это набор квантизированных моделей в формате GGUF на основе Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию выполнил CISC с использованием importance matrix, обученной примерно на 1 млн токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp, сторонние графические интерфейсы и библиотеки, совместимые с актуальными версиями llama.cpp. Модель поддерживает текстовую модальность и английский язык. Встроенный шаблон чата Mistral Tekken включает поддержку function calling через OpenAI-совместимый параметр tools; также были исправлены связанные с tool calls проблемы токенизации и шаблона чата. Репозиторий содержит варианты квантизации IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с эффективной разрядностью примерно от 1,56 до 4,5 бит на вес и размером файлов примерно от 2,8 ГБ, что позволяет выбирать между экономией памяти и качеством. Главное преимущество набора — возможность локального запуска при ограниченных ресурсах и наличие вариантов с разным компромиссом между размером, требованиями к оперативной памяти и качеством. Низкоразрядные варианты характеризуются существенной или высокой потерей качества, поэтому для более требовательных задач предпочтительны более точные варианты. Файлы совместимы с llama.cpp начиная с версии от 22 июля 2024 года, включая commit 50e0535. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-24B-Instruct-2501-GGUF — это набор квантизованных версий инструкционной языковой модели Mistral-Small-24B-Instruct-2501, подготовленный пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Исходная модель имеет размер 24 млрд параметров; в README не указаны подробности её архитектуры и длина контекста. Доступны варианты с точностью от f32 и f16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 11 до 94 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Модель является текстовой и не поддерживает мультимодальный ввод по приведённым данным. Сильная сторона набора — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти; варианты Q5 и выше позиционируются как высококачественные, а Q4 — как подходящие для большинства сценариев. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для работы необходим совместимый рантайм, например llama.cpp или LM Studio, и ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Это конвертированная в формат MLX модель Mistral-Small-3.2-24B-Instruct-2506 от mlx-community, предназначенная для запуска на платформах Apple с MLX. В основе — плотная архитектура Mistral 3 с 24 млрд параметров; исходная модель поддерживает диалог по инструкциям, анализ изображений и вызов функций. Модель подходит для диалоговых приложений и генерации текста по запросам на нескольких языках, включая русский, английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский и китайский. Репозиторий содержит веса safetensors в формате MLX, полученные конвертацией исходной модели с помощью mlx-lm 0.25.2. Лицензия — Apache-2.0. Карточка этого репозитория подтверждает текстовую генерацию; возможности анализа изображений и вызова функций указаны в описании базовой модели, поэтому их доступность в данной конверсии зависит от используемого MLX-инструментария.

Qwen3.5-0.8B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная Principled Intelligence. Из контрольной точки удалены веса визуального энкодера; плотная авторегрессионная языковая модель содержит около 581 млн параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 262 144 токена. Модель подходит для диалоговых приложений и генерации текста, когда обработка изображений не нужна. По данным карточки, она сохраняет токенизатор, шаблон чата и поведение генерации исходной Qwen3.5, а контрольная точка занимает меньше места и требует меньше видеопамяти. Проверена работа с Transformers версии 5.2.0 и выше; другие движки инференса в карточке не заявлены как поддерживаемые. Лицензия — Apache-2.0.

Qwen3.6-14B-A3B-FableVibes-mlx-q4 — это 4-битная MLX-квантизированная версия модели tvall43/Qwen3.6-14B-A3B-FableVibes, подготовленная для локального запуска на компьютерах Apple Silicon. Исходная модель основана на REAP-pruned Qwen3.6-35B-A3B, дистиллирована с использованием QLoRA и reasoning-трасс Claude Fable 5. Она предназначена для генерации текста, решения задач и сценариев, требующих пошагового рассуждения, с выводом рассуждений в формате <think>...</think>. Модель использует гибридную архитектуру Qwen3.5 с линейным вниманием GatedDeltaNet, полным attention и разреженным MoE. Она содержит около 14 млрд параметров, из которых примерно 3 млрд активируются на каждом токене; используется 90 экспертов, 8 из которых выбираются для обработки токена. Квантизация выполнена в 4 бита с group size 64, размер модели составляет около 7,2 ГБ. Разреженность MoE обеспечивает высокую скорость декодирования — около 46 токенов в секунду на M4, а модель рассчитана на запуск на Mac с 16 ГБ памяти. Ограничением является некоторое снижение точности строгого рассуждения из-за 4-битной квантизации; для более высокой точности доступен вариант с квантизацией q6. Лицензия — Apache 2.0.

Qwen3.8-27B-GGUF — это квантизированная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем qtum для работы с llama.cpp. Модель предназначена для мультимодальных сценариев, включая обработку текста, изображений и видео с генерацией текста. Она может использоваться для анализа визуального содержимого, ответов на вопросы и других задач, поддерживаемых базовой vision-language моделью. Модель имеет плотную архитектуру с 27,8 млрд параметров с учётом vision tower и 64 декодерными слоями. Архитектура гибридная: 16 слоёв используют grouped-query full attention, а 48 слоёв — Gated DeltaNet linear attention. Длина контекста составляет 262 144 токена с возможностью дальнейшего расширения через YaRN. Поддерживаются английский и китайский языки. Для обработки изображений и видео требуется отдельный файл vision projector (mmproj); без него модель работает только в текстовом режиме. Доступны различные уровни квантизации от Q8_0 до IQ2_XXS, позволяющие выбирать баланс между размером файлов, требованиями к памяти и качеством. К сильным сторонам относятся мультимодальность, очень длинный контекст и сниженные требования к KV-кэшу благодаря гибридной архитектуре. Ограничения включают значительный объём памяти даже у квантизированных вариантов, необходимость совместимой версии llama.cpp и отдельного mmproj для визуального ввода; более агрессивная квантизация может снижать качество. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-DERISKED-W4A16-AWQ — мультимодальная языковая модель для работы с изображениями и текстом, разработанная как производная от Qwen3.8-Flash-Next. Базовую модель выпустила команда Qwen, вариант DERISKED создан Blackfrost-AI, а данная версия дополнительно подвергнута квантизации AWQ авторами репозитория davetha. Модель предназначена для сценариев image-text-to-text и рассчитана на запуск крупной MoE-модели класса 80B на двух AMD MI210. Используется формат compressed-tensors W4A16: веса представлены в 4-битном виде, активации — в bfloat16, размер группы — 128. Квантизированы маршрутизируемые эксперты и полные attention-слои, тогда как ряд чувствительных компонентов, включая GDN-слои, общий эксперт, нормы, эмбеддинги, MTP-голову и PLE-таблицу, сохранены в bf16. Поддерживается контекст до 262 144 токенов, MTP speculative decoding и PLE n-gram table. На связке vLLM и двух MI210 заявлены производительность prefill около 2200 токенов в секунду и decoding около 40 токенов в секунду с MTP при трёх speculative tokens; без спекулятивного декодирования — около 10 токенов в секунду. Сильные стороны модели — длинный контекст, мультимодальность, эффективное int4-хранение и ускорение MoE-вычислений. Ограничения включают зависимость от специфической конфигурации vLLM/ROCm, медленный bandwidth-bound decoding из-за потоковой загрузки примерно 100 ГБ PLE-таблицы по PCIe и ограничение speculative decoding тремя токенами на указанном стеке. Модель является abliterated/uncensored: защитное поведение отказа удалено, поэтому ответственность за применение лежит на пользователе. Распространяется по Qwen Community License 1.0; применяются условия лицензии базовой модели.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Это исследовательский резервный чекпойнт языковой модели семейства Qwen2, сохранённый в стандартном формате Hugging Face для загрузки через Transformers. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; доступен контекст до 131 072 токенов. Модель можно применять для диалоговой генерации и сценариев с интерфейсом вызова инструментов. Карточка не сообщает о специализированной предметной области или целевых языках. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не указаны.

Apertus v1.5 8B text — MLX MXFP4 — это текстовая квантованная версия базовой модели swiss-ai/Apertus-v1.5, разработанной Swiss AI Initiative при участии EPFL, ETH Zurich и Швейцарского национального суперкомпьютерного центра на открытых данных. Данная конверсия выполнена независимо от авторов исходной модели и предназначена для запуска на компьютерах Apple с использованием MLX и mlx-lm. Модель поддерживает генерацию текста: принимает текст на вход и возвращает текст. Она содержит около 8,05 млрд параметров, использует архитектуру ApertusForCausalLM с 32 слоями, скрытым размером 4096, 32 головами внимания и 8 key-value головами, активацию xIELU, словарь из 131072 текстовых токенов и контекст длиной до 262144 токенов. Модель мультиязычная, однако конкретный перечень поддерживаемых языков в README не указан. Ключевое преимущество сборки — калиброванное квантование MXFP4 с эффективной точностью 4,250 бита на вес и размером файлов около 4,28 ГБ, что снижает требования к хранению и делает модель удобной для локального использования на Apple silicon. Ограничения связаны с потерями качества из-за квантования по сравнению с полноразмерными версиями, текстовой модальностью и зависимостью от совместимого программного стека MLX. Модель распространяется по лицензии Apache 2.0 с политикой допустимого использования Apertus 1.5.

Bonsai-27b-Ternary-CRACK-GGUF — мультимодальная модель класса 27B, опубликованная dealignai. Это квантизированная GGUF-версия Bonsai 27B CRACK, созданная на базе prism-ml/Ternary-Bonsai-27B-gguf и относящаяся к семейству Qwen/Qwen3.6-27B. Модель предназначена для диалогов, рассуждений, использования инструментов, обработки текста и анализа изображений; также предусмотрена поддержка видео через отдельный Qwen3VL-проектор и совместимый клиент. Модель содержит 64 гибридных языковых блока архитектуры qwen35, а также отдельный F16-проектор Qwen3VL для мультимодальных входов. Основной языковой файл использует нативное 2-битное представление Q2_0 и занимает около 7,68 GiB, проектор — около 0,86 GiB. Заявлены английский и китайский языки. Контекст модели в README не указан. Для работы требуется форк Prism llama.cpp; обработка изображений проверена, а прямая передача видеофайлов зависит от возможностей конкретной среды выполнения. К сильным сторонам относятся низкое потребление памяти благодаря Q2_0, мультимодальность, совместимость с текстовыми и визуальными сценариями и результаты на приведённых тестах: 75,00% на фиксированной выборке MMLU-200 и 99,38% на полном HB-320. Ограничения включают необходимость специального форка Prism llama.cpp, отдельного мультимодального проектора и возможную необходимость предварительно извлекать кадры из видео. Модель распространяется по лицензии Apache-2.0.