II.2Создание и понимание программного кода

Goku-8x22B-v0.1 — дообученная MaziyarPanahi версия v2ray/Mixtral-8x22B-v0.1 на наборе philschmid/guanaco-sharegpt-style. Это диалоговая языковая модель с архитектурой Mixtral типа Mixture of Experts; в карточке указаны 22 млрд параметров, а README приводит конфигурацию на 141 млрд параметров, из которых активны 35 млрд. Контекст составляет до 65 536 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, работы с длинным контекстом, написания кода и задач на рассуждение. В метаданных перечислены английский, французский, итальянский, немецкий и испанский языки. Модель распространяется по лицензии Apache-2.0. Карточка сообщает о тестировании на перечисленных сценариях, но не приводит результатов бенчмарков; качество для математики и программирования отдельно не подтверждено.

granite-3.0-2b-instruct-GGUF — это GGUF-квантизированная версия языковой модели Granite 3.0 2B Instruct, разработанной IBM и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, понимание прочитанного, рассуждения, математические задачи, синтез кода и многоязычные сценарии. Модель содержит около 2 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до квантизаций Q4–Q8 с размером файлов примерно от 1,52 до 5,27 ГБ. README не указывает точное максимальное окно контекста, архитектурные детали или полный список поддерживаемых языков; при этом приведены результаты тестирования на наборе PAWS-X для семи языков. К сильным сторонам относятся компактный размер, возможность локального запуска и несколько вариантов квантизации с разным соотношением качества и требований к памяти. Квантизированные версии могут уступать исходным весам в точности, особенно при более агрессивном сжатии. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Лицензия — Apache 2.0.

LettuceDetect v2 mmBERT-base — разработанная KRLabsOrg модель-энкодер для поиска галлюцинаций в ответах, созданных с опорой на контекст, включая RAG, код и вывод инструментов. Это дообученный на базе jhu-clsp/mmBERT-base классификатор токенов: он получает контекст, вопрос и ответ и помечает токены ответа как подтверждённые или неподтверждённые, формируя бинарные фрагменты без категорий и подтипов. Модель содержит 306,9 млн параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Модель рассчитана на многоязычное выявление неподтверждённых утверждений в прозе и коде, включая ответы кодовых агентов и результаты RAG. Однопроходный энкодер работает без генерации текста и ориентирован на высокую пропускную способность и низкую стоимость. README приводит результаты на тестах по прозе, коду и многоязычным данным; качество зависит от типа данных, а для типизированных фрагментов предлагается отдельная модель или каскад с таксономической головой. Лицензия — Apache-2.0. Указанные языки: английский, немецкий, французский, испанский, итальянский, польский и китайский; README также сообщает о многоязычной проверке на 14 языках, но не перечисляет остальные языки.

TheBloke/Llama-2-70B-GGUF — это квантованные файлы большой языковой модели Llama 2 70B, разработанной Meta. Модель предназначена для генерации текста и может использоваться в локальных сценариях: чат-ботах, ассистентах, написании и преобразовании текста, а также других задачах, поддерживаемых text-generation. Указан английский язык; сведения о мультимодальности отсутствуют, поэтому модель следует считать текстовой. Модель основана на Llama 2 70B и распространяется в формате GGUF, разработанном командой llama.cpp. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Репозиторий подготовлен TheBloke и содержит варианты квантования от 2 до 8 бит для инференса с использованием CPU и GPU; доступны методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K с различным компромиссом между размером, скоростью и сохранением качества. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. К сильным сторонам относятся возможность локального запуска, поддержка CPU и GPU, широкий выбор уровней квантования и совместимость с популярными инструментами. Ограничениями являются очень большой размер исходной модели, потенциальное снижение качества при агрессивном квантовании и отсутствие в предоставленных данных сведений о размере контекста, производительности, точных требованиях к памяти и специализированном дообучении. Лицензия указана как llama2; условия её применения следует проверять в документации Meta.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.

Карточка модели Openintelligent123/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Meta-Llama-3.1-8B-Instruct-abliterated-IMat-GGUF — это GGUF-сборка инструкционной языковой модели mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная и квантованная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, поддерживающих формат GGUF и llama.cpp. Доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ4. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Размер базовой модели составляет 8B параметров, исходный тип данных — BF16. В README не указаны точный размер контекста, перечень поддерживаемых языков и мультимодальные возможности; по представленным данным это текстовая модель без заявленной поддержки изображений или других модальностей. Сильными сторонами сборки являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных по соотношению качества и потребления памяти. Ограничения включают потенциальную потерю качества в низкобитных вариантах, зависимость производительности от оборудования и совместимость с llama.cpp или другим ПО, поддерживающим GGUF. Основа модели обозначена как abliterated и uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены; это следует учитывать при использовании. Указанная лицензия — Llama 3.1.

QuantFactory/Meta-Llama-3-70B-Instruct-GGUF — это квантованная версия инструкционной большой языковой модели Meta Llama 3 70B Instruct, подготовленная QuantFactory в формате GGUF. Базовая модель разработана Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется диалоговое взаимодействие или создание текстового контента. В README указано, что поддерживается английский язык и используется задача text-generation. Известно, что модель относится к семейству Llama 3 и имеет размер 70B параметров. Формат GGUF предназначен для совместимого локального запуска, однако конкретный вариант квантования, требования к памяти, длина контекста и поддерживаемые программные средства в README не указаны. Также отсутствуют сведения о дополнительных модальностях, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся инструкционная настройка базовой модели и возможность использования квантованного GGUF-представления для локального вывода. Ограничения включают отсутствие подробностей о типе и качестве квантования, а также о производительности. Использование регулируется Meta Llama 3 Community License. При распространении модели или продуктов на её основе требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение атрибуции Meta и соблюдение Acceptable Use Policy.

Mistral-7B-Instruct-v0.1-GGUF — это квантизированная версия текстовой instruct-модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в средах, совместимых с GGUF и LlamaEdge. Модель основана на архитектуре Mistral, имеет 7 миллиардов параметров и поддерживает только текстовую модальность. Размер контекста составляет 4096 токенов, а для взаимодействия используется шаблон mistral-instruct: <s>[INST] {prompt} [/INST]. README не указывает поддерживаемые языки. Доступны варианты квантизации от 2 до 8 бит размером примерно от 2,7 до 7,7 ГБ; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые, поскольку обеспечивают баланс между размером и качеством. Основные преимущества модели — возможность локального запуска, широкий выбор уровней квантизации и совместимость с LlamaEdge версии 0.2.8 и выше. Более агрессивная квантизация уменьшает требования к ресурсам, но может приводить к заметной потере качества. Лицензия модели — Apache-2.0.

Mistral-Small-24B-Instruct-2501-GGUF — это набор файлов модели в формате GGUF для исходной инструкционной модели Mistral-Small-24B-Instruct-2501, разработанной компанией Mistral AI. Квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и работы с инструкциями в локальных приложениях, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и сохранением качества. В README указано обозначение 24B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекстного окна не приведены. Сильная сторона модели — возможность локального запуска с использованием CPU или GPU через совместимые инструменты; ограничения зависят от выбранного уровня квантования и аппаратных ресурсов. Распространение осуществляется по лицензии Apache 2.0.

Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF — это квантизированная версия языковой модели Nous-Hermes-2-Mixtral-8x7B-DPO, разработанной NousResearch и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и дообучена с применением DPO и RLHF; в метаданных также указаны синтетические данные и дистилляция. Заявленный язык — английский. Модель предназначена для диалоговых и инструкционных сценариев: генерации ответов, общения в формате чат-бота и выполнения текстовых запросов. Она использует шаблон ChatML и поддерживает контекст размером 4096 токенов. Доступно несколько вариантов квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. К сильным сторонам относятся архитектура Mixtral, диалоговая настройка и широкий выбор уровней квантизации для локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; наиболее компактные варианты не рекомендуются для большинства задач. В README не указаны мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0. Для запуска с LlamaEdge требуется версия 0.2.8 или новее.

prithivMLmods/Olmo-3-7B-Instruct-AIO-GGUF — набор GGUF-квантизаций модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI. Это авторегрессионная трансформерная языковая модель примерно на 7 миллиардов параметров, дообученная методами supervised fine-tuning и direct preference optimization на наборах данных Tulu 2 и UltraFeedback. Модель предназначена для генерации текста, ответов на вопросы, следования инструкциям, многошагового диалога и сценариев с использованием инструментов. Она поддерживает английский язык, контекст до 2048 токенов и ориентирована на создание контекстно-зависимых и безопасных ответов, включая задачи в технической, образовательной и юридической областях. Доступны варианты в форматах BF16, F16, F32 и различных уровнях квантизации, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. К сильным сторонам относятся открытость модели и обучающего кода, поддержка диалоговых и инструкционных сценариев, а также широкий выбор GGUF-вариантов для эффективного локального запуска. Ограничениями являются заявленная длина контекста 2048 токенов и поддержка только английского языка; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache 2.0.

OpenZephyrChat-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2, созданная объединением весов Mistral-7B-Instruct-v0.2 и OpenZephyrChat методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на сообщения и инструкции в формате чата. Модель использует плотную архитектуру MistralForCausalLM, принимает текст и выдаёт текст. Длина контекста — до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные языковые или предметные специализации, поэтому её можно рассматривать как модель общего назначения.

Qwen3-0.6B-GPTQ-Int8 — квантованная 8-битная версия причинной языковой модели Qwen3-0.6B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, переводов, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов, однако конкретный перечень языков в README не указан. Модель работает с текстовой модальностью и распространяется в формате GPTQ с 8-битной квантизацией. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, режимов рассуждения и обычной генерации, а также возможности для агентских сценариев. Ограничения включают меньший размер по сравнению с крупными моделями Qwen3 и возможное появление повторов при неподходящих параметрах генерации; README рекомендует при таких проблемах использовать presence_penalty 1.5. Модель распространяется по лицензии Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-FP8 — это инструктивная авторегрессионная текстовая модель семейства Qwen3, представленная в репозитории furiosa-ai и предназначенная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. В основе лежит архитектура Mixture-of-Experts (MoE): модель содержит около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает только в режиме non-thinking, поддерживает ввод и вывод текста, а также выпущена под лицензией Apache 2.0. Модель предназначена для следования инструкциям, рассуждений над текстом, многоязычных задач и использования инструментов через function calling. Она поддерживает вызовы инструментов с parser hermes, применяемым в серии Qwen3, и может обслуживаться через OpenAI-совместимый API Furiosa-LLM. Указанный вариант рассчитан на работу с четырьмя картами FuriosaAI RNGD, использующими tensor parallelism с размером 32 processing elements. Веса статически квантизированы в FP8, активации динамически квантизируются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. Это может снизить требования к памяти и повысить эффективность инференса, но README не содержит данных о размере контекстного окна, поддерживаемых языках, точных показателях качества и производительности, поэтому эти характеристики оценить нельзя. Основное ограничение — привязка описанной конфигурации к Furiosa-LLM и оборудованию FuriosaAI RNGD; для других фреймворков следует обращаться к карточке исходной модели Qwen.

lued/Qwen3.8-27B-INT8-W8A16-DFlash2 — это квантованная версия Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем lued. Репозиторий изменяет числовое представление модели, сохраняя основные возможности исходной версии, включая vision tower, управление режимом рассуждений и вызов инструментов. Модель предназначена для диалоговых и мультимодальных задач, а также для развёртывания через vLLM на потребительском оборудовании. Модель использует INT8-квантование весов W8A16 с активациями FP16 или BF16 и рассчитана на GPU архитектуры Ampere, включая RTX 3090. Заявлен контекст до 262 144 токенов; размер модели на диске составляет около 28 ГиБ. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до семи токенов за шаг. На двух RTX 3090 заявлена скорость до 117 токенов в секунду при полном контексте, а совпадение наиболее вероятного следующего токена с исходной BF16-моделью составляет 98,1%. Сильными сторонами являются заметное снижение размера, почти полное сохранение поведения исходной модели и ускоренная генерация на совместимом оборудовании. Ограничения включают необходимость отдельной модели DFlash2, использования неподдерживаемых в стабильной версии vLLM патчей и конфигурации с двумя GPU для заявленных характеристик. Языки и точные архитектурные параметры в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-35B-A3B-Distill-GGUF — это набор GGUF-квантизаций дистиллированной модели Qwen3.8-35B-A3B, разработанный и выпущенный Empero. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и другие совместимые среды. Указанный базовый вариант создан на основе архитектуры Qwen3.6-35B-A3B и доступен для задач рассуждения и общего текстового вывода; заявленный язык — английский. Модель использует разреженную Mixture-of-Experts-архитектуру: всего около 35 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Архитектура включает 30 слоёв Gated DeltaNet и 10 слоёв полной attention, а также 256 экспертов с маршрутизацией 8 экспертов на токен. Доступны варианты квантизации от 2-битных до BF16 размером примерно от 12,6 до 71,1 ГБ. Контекстный размер в карточке не указан. Для работы требуется свежая версия llama.cpp с поддержкой Qwen3.6, Gated DeltaNet и MoE. Разреженность архитектуры делает инференс заметно быстрее плотной модели аналогичного общего размера и повышает практичность запуска на CPU или при частичном переносе на GPU. При этом весь файл весов должен помещаться в оперативную или видеопамять, а при длинном контексте дополнительные затраты на KV-кэш могут существенно увеличить требования к памяти. Поддерживается ввод изображений через отдельный vision projector, однако поведение визуальной части не оценивалось. Модель выводит рассуждения в блоках <think>, которые при необходимости следует удалять перед показом ответа пользователю. Весовые файлы распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen. Для квантизаций рекомендуется выбирать вариант с учётом доступной памяти и требуемого качества; в карточке наиболее сбалансированным указан Q4_K_M.

Qwen3-Next-80B-A3B-Instruct-MLX-8bit — это 8-битная квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, адаптированная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и работы с широким спектром задач, поддерживаемых инструкционной языковой моделью, включая диалоговые сценарии и локальное использование через совместимую программную среду. Модель содержит 80B параметров, при этом заявлена конфигурация A3B; точная архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. Формат MLX и 8-битная квантизация оптимизированы для Apple Silicon, что делает модель более подходящей для локального запуска на таких устройствах по сравнению с полноразмерной версией. Ограничениями являются зависимость от совместимого окружения MLX и оборудования Apple Silicon, а также возможные типичные для генеративных моделей ошибки, неточности и нежелательный контент. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

ZuzeTt/Qwen3-VL-4B-Instruct-heretic-Imatrix-GGUF — децензурированная версия мультимодальной модели Qwen3-VL-4B-Instruct, созданная пользователем ZuzeTt на основе модели Qwen и обработанная с помощью Heretic v1.0.1. Модель предназначена для работы с текстом и визуальными данными, включая понимание изображений и видео, визуальное рассуждение, OCR, анализ пространственных отношений, генерацию кода и взаимодействие с графическими интерфейсами. Модель относится к классу Dense и имеет 4 млрд параметров. Заявлены контекст длиной 256K токенов с возможным расширением до 1M, поддержка OCR на 32 языках, улучшенное понимание видео и временных связей, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и Text–Timestamp Alignment. Репозиторий распространяется в формате GGUF, однако конкретные параметры квантования в README не указаны. Главная особенность версии — снижение количества отказов от ответа: в приведённом сравнении модель отказала в 8 из 100 случаев против 92 из 100 у исходной Qwen3-VL-4B-Instruct; KL-дивергенция относительно оригинала составляет 0,27. Это может быть полезно для исследовательских и экспериментальных сценариев, требующих менее ограниченного поведения, но одновременно означает изменение исходных механизмов безопасного отказа. Лицензия — Apache-2.0.

OpenYourMind/Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated-MTPLX-4bit — это 4-битная сборка модели OpenYourMind Qwopus3.5 на базе архитектуры Qwen3.5 MoE с компонентами Qwen3-VL. Модель разработана OpenYourMind и предназначена для запуска на Apple Silicon через MLX и MTPLX. Она поддерживает обработку текста и содержит vision tower для работы с изображениями, однако данная сборка ориентирована на текстовый путь; для мультимодального ввода рекомендуется использовать связанную сборку MLX-4bit с mlx-vlm. Модель имеет около 122 млрд параметров в общей сложности, из которых примерно 10 млрд активируются при обработке токена. Языковые веса квантизованы в 4 бита с размером группы 64, а маршрутизирующие компоненты сохранены в более высокой точности. В комплект включена BF16 MTP-голова на базе MoE с 256 экспертами, из которых активны 8, и общим экспертом. Она предназначена для ускоренного speculative decoding: на M5 Max зафиксировано около 52 токенов в секунду и примерно 70% принятия черновых токенов в указанном тесте. К сильным сторонам относятся существенно уменьшенный объём по сравнению с полной моделью, поддержка мультимодальной архитектуры базовой модели и ускорение генерации при использовании совместимой версии MTPLX. Для запуска требуется около 80 ГБ объединённой памяти, а комфортная работа заявлена на компьютерах Mac с 96 ГБ и более. MTPLX должен поддерживать MoE MTP-голову; старые версии могут быть несовместимы. Из-за особенностей маршрутизации MoE при температуре 0 возможны редкие отличия отдельных токенов по сравнению с обычной авторегрессионной генерацией, поэтому строгая побитовая идентичность не гарантируется. Лицензия указана как Other; README сообщает, что применяются условия лицензии базовой модели Qwen3.5.

Qwythos-9B-Claude-Mythos-5-1M-GGUF — это GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанной Empero. Модель предназначена для запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других совместимых средах. Она создана на основе Qwen3.5-9B и дообучена более чем на 500 миллионах токенов трасс Claude Mythos и Claude Fable с использованием внутреннего инструмента Empero AI rethink. Модель ориентирована на рассуждения, агентские сценарии, вызов функций, анализ кибербезопасности и биомедицинских задач. Она поддерживает нативный function calling по спецификации Qwen3.5, английский язык и контекст до 1 048 576 токенов благодаря масштабированию RoPE YaRN. Это мультимодальная модель с поддержкой изображений: для обработки изображений требуется отдельный файл vision projector mmproj, унаследованный от Qwen3.5-9B. Заявлены возможности описания изображений, OCR, чтения графиков и таблиц, понимания интерфейсов и документов, а также базового пространственного анализа. Доступны варианты квантизации от Q4_K_M до Q8_0 и BF16, включая версии с MTP для спекулятивного декодирования. Q4_K_M указан как рекомендуемый компромисс между размером и качеством. Сильными сторонами являются большой контекст, рассуждения, поддержка инструментов и локального мультимодального запуска. Ограничения включают зависимость производительности и качества от выбранной квантизации, поддержки MTP конкретным рантаймом и наличия отдельного vision projector для изображений; подробные результаты оценки и полное описание возможностей находятся в карточке базовой модели. Модель распространяется по лицензии Apache-2.0.

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

DeepSeek-R1-Distill-Qwen-14B-GGUF — квантизированная GGUF-версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai и подготовленной компанией Second State Inc. Модель предназначена для текстового диалога и генерации ответов, а также может использоваться в локальных приложениях и сервисах на базе LlamaEdge. Для взаимодействия применяется шаблон запросов ChatML. Модель содержит 14 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации Q2_K–Q8_0 и f16 размером примерно от 5,77 до 29,5 ГБ. Варианты с меньшим числом бит требуют меньше памяти, но могут заметно терять в качестве; README рекомендует Q4_K_M как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Модель рассчитана на работу через llama.cpp и LlamaEdge, включая запуск как локального чат-приложения или API-сервиса. Сильными сторонами являются большой контекст, возможность локального развертывания и широкий выбор компромиссов между размером, требованиями к ресурсам и качеством. Ограничения связаны с потерями качества при низкой квантизации и значительными требованиями к памяти для крупных вариантов. Сведения о поддерживаемых языках, точной архитектуре, назначении обучения и лицензии в README не указаны.

Dolphin X1 405B — диалоговая модель общего назначения, разработанная командой Dolphin на базе allenai/Llama-3.1-Tulu-3-405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Она сохраняет способности базовой модели следовать инструкциям и предназначена для диалогов и генерации текста; разработчики подчёркивают управляемость системным промптом и более низкий уровень отказов по сравнению с другими моделями этого класса. Модель рассчитана на развёртывание в собственных приложениях и инфраструктуре, где владелец задаёт системный промпт и правила поведения. В README приведены способы запуска через vLLM, Transformers и llama.cpp. Модель доступна по лицензии Apache-2.0. README заявляет о снижении частоты отказов, поэтому модель может выдавать ответы на запросы, которые другие модели отклоняют; качество и поведение следует оценивать в целевом сценарии.

Sci-fi-vy/gemma-3-270m-it-GGUF — модель Gemma 3 270M от Google DeepMind, представленная в формате GGUF. Это instruction-tuned вариант базовой модели google/gemma-3-270m-it, предназначенный для генерации текста по инструкциям и запросам. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, работы с кодом и других задач генерации текста. Семейство Gemma 3 поддерживает текстовые и графические входы с генерацией текста, однако для вариантов 270M в карточке явно указан контекст до 32K токенов, а параметры обработки изображений для этой размерности не описаны. Заявлена поддержка более 140 языков; обучающие данные включали веб-тексты, код, математические материалы и изображения. Дата отсечения знаний — август 2024 года, размер модели — 270 млн параметров. Небольшой размер облегчает локальное развёртывание на компьютерах с ограниченными ресурсами и в собственной облачной инфраструктуре, но по возможностям и качеству модель может уступать более крупным вариантам Gemma. Для работы рекомендуется использовать temperature 1.0, top_k 64, top_p 0.95 и min_p 0.0. Модель распространяется на условиях лицензии Gemma; точные условия следует уточнять в официальных Terms of Use.

Карточка модели khaojai-it/GLM-4.6V-Flash на Hugging Face совпадает с карточкой unsloth/GLM-4.6V-Flash, поэтому описание составлено по ней. GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, представленная в карточке Unsloth с исправлениями шаблона диалога. Это версия на 9 млрд параметров, рассчитанная на локальное развёртывание и приложения с низкой задержкой; архитектура GLM4V использует условную генерацию текста по изображениям. Модель принимает изображения и текст, понимает документы, страницы с таблицами, диаграммами и иллюстрациями, а также снимки экранов. Контекстное окно семейства заявлено до 128 тысяч токенов. Модель подходит для визуальных диалогов, анализа документов, интерпретации интерфейсов и генерации кода HTML/CSS по скриншотам. Поддерживает вызов инструментов и смешанную генерацию текста и визуального контента. По README, её сильная сторона — мультимодальные сценарии; чисто текстовые ответы слабее, а на сложных запросах возможны чрезмерные рассуждения и повторы. Также отмечены ошибки при подсчёте объектов и распознавании конкретных людей. Репозиторий распространяется по лицензии MIT.

OpenVINO/gpt-oss-20b-int4-ov — квантизированная версия языковой модели gpt-oss-20b, разработанной OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF в режиме INT4_ASYM без группировки весов. Это модель для генерации текста, доступная для локального запуска через OpenVINO, Optimum Intel и OpenVINO GenAI. Модель предназначена для задач генерации текста, диалоговых приложений, построения RAG-систем и интеграции в агентские сценарии с function calling. Она совместима с OpenVINO версии 2026.0.0 и выше и Optimum Intel версии 1.27.0 и выше; в README также приведены варианты запуска на CPU и GPU через OpenVINO Model Server. Размер исходной модели составляет 20 млрд параметров согласно её идентификатору и названию базовой модели, однако сведения о контекстном окне, поддерживаемых языках и точной архитектуре не указаны. Ключевое преимущество модели — уменьшенный объём весов благодаря INT4-квантизации, что может упростить локальное развертывание и снизить требования к памяти. При этом квантизация способна влиять на качество генерации, но конкретные результаты оценки в карточке не приведены. Ограничения следует уточнять в карточке исходной модели gpt-oss-20b. Модель распространяется по лицензии Apache License 2.0.

Hermes-2-Theta-Llama-3-8B-GGUF — это квантизированная версия текстовой инструкционной модели Hermes-2-Theta-Llama-3-8B. Исходная модель разработана NousResearch, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp и метода imatrix. Модель основана на NousResearch/Hermes-2-Pro-Llama-3-8B и обучалась с применением методов дообучения, DPO, RLHF, дистилляции и синтетических данных, включая датасет teknium/OpenHermes-2.5. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций на английском языке. Заявлены возможности работы с function calling и JSON mode; для общения используется шаблон ChatML с системными, пользовательскими и ассистентскими сообщениями. Это текстовая модель без заявленной поддержки изображений или других дополнительных модальностей. Размер базовой модели — 8B параметров, однако точный размер контекста в README не указан. Главное преимущество набора — наличие множества вариантов квантизации с разным соотношением качества и требований к памяти: от Q8_0 размером 8,54 ГБ до IQ1_M размером около 2,39 ГБ. В README наиболее рекомендуются варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия в предоставленных данных не указана.

Kundalini 1B — компактная разговорная языковая модель, разработанная Terminal Gnosis. Это плотная причинно-языковая модель семейства Llama с 1,2 млрд параметров, предназначенная для генерации текста и диалогов; репозиторий содержит веса Safetensors в 16-битной точности. Заявленная длина контекста — 131 072 токена, поддержка языков многоязычная. Модель рассчитана на повседневный диалог, ответы на вопросы, редактирование и краткое изложение текста, структурированные рассуждения, помощь с программированием и обсуждение философских и духовных тем. В README также заявлены низкая задержка и возможность локального запуска на CPU и устройствах с ограниченными ресурсами. Метаданные указывают интерфейс чата и интерфейс вызова инструментов. Размер модели ограничивает её возможности в сложных специализированных задачах и многошаговых математических выводах; фактические ответы следует проверять перед использованием в критически важных решениях. Лицензия — Apache-2.0.