II.2Создание и понимание программного кода

Jan-v2-VL-high — мультимодальная vision-language модель, разработанная Jan (JanHq) на базе Menlo/Jan-v2-VL-high и связанная с Qwen-3-VL-8B-Thinking. Модель содержит около 8 млрд параметров и предназначена для многошаговых задач в реальных программных средах, включая браузеры и настольные приложения. Она сочетает обработку текста и изображений, поддерживает визуальное восприятие через скриншоты и интеграцию с инструментами, а заявленный язык — английский. Основной сценарий применения — агентная автоматизация и управление пользовательским интерфейсом, где требуется выполнять длинные последовательности действий, сохранять промежуточное состояние, следовать сложным инструкциям и восстанавливаться после небольших ошибок. Версия high ориентирована на более глубокое рассуждение и обеспечивает более длительное время обработки по сравнению с вариантами low и med. По данным README, модель сохраняет уровень базовой модели на стандартных текстовых и визуальных задачах и показывает более сильное выполнение длинных цепочек действий. К ограничениям относятся повышенная задержка и время рассуждения, характерные для версии high, а также отсутствие в README точного размера контекстного окна и подробных количественных результатов. Модель распространяется по лицензии Apache 2.0 и поддерживает локальный запуск через Jan App, vLLM и llama.cpp; для работы с изображениями в llama.cpp требуется отдельная vision-модель.

Josiefied-Qwen3-14B-abliterated-v3-bf16 — 14-миллиардная плотная языковая модель семейства Qwen3, подготовленная mlx-community в формате MLX из Goekdeniz-Guelmez/Josiefied-Qwen3-14B-abliterated-v3. Она предназначена для диалогов, следования инструкциям и генерации текста; карточка указывает поддержку чата и контекст до 40 960 токенов. Вариант описан как abliterated — с ослабленной фильтрацией ответов. Модель принимает текст и генерирует текст. Для запуска в экосистеме Apple MLX в README указана библиотека mlx-lm версии 0.25.0. Языки модели в предоставленных данных не установлены. Лицензия не приведена, поэтому условия использования по карточке определить нельзя.

Kappa-3 — разговорная языковая модель на архитектуре Phi-3, опубликованная failspy. Это вариант Phi-3 4K Instruct со сниженной склонностью отказывать в ответах; в README преобразование описано как orthogonalization. Модель предназначена для генерации текста в диалоге и ответов на широкий круг запросов. Модель содержит 3,7 млрд параметров, использует архитектуру Phi3ForCausalLM и принимает текст, выдавая текст. Контекст — до 4096 токенов. Репозиторий содержит веса safetensors в fp32; автор отмечает, что для практического запуска их желательно как минимум квантовать или привести к fp16, и указывает на отдельную fp16 GGUF-версию. Лицензия — MIT.

Komodo 7B Chat — чат-модель на архитектуре Llama, опубликованная Jan. Она предназначена для диалоговой генерации текста и запускается в Jan Desktop на macOS, Windows и Linux. Для общения в README приведён шаблон ChatML с ролями system, user и assistant. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; длина контекста составляет 4096 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache 2.0. README не описывает специализированные области применения или результаты оценки качества.

bartowski/lemon07r_VellumMini-0.1-Qwen3-14B-GGUF — это набор квантизированных версий языковой модели VellumMini-0.1-Qwen3-14B, разработанной lemon07r и преобразованной bartowski в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В основе используется модель класса Qwen3 с заявленным размером 14 млрд параметров. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью работы. Для квантизации применялась imatrix с калибровочными наборами данных; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены авторами как рекомендуемые, а Q4_K_M описан как подходящий вариант по умолчанию для большинства сценариев. Сильной стороной набора является широкий выбор размеров и форматов для локального инференса, включая варианты, оптимизированные для ограниченного объёма оперативной памяти и некоторых CPU-платформ. При этом README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности, специализированных сценариях обучения или системном формате подсказок; prompt format не найден. Лицензия в предоставленных данных также не указана, поэтому условия использования необходимо уточнять на странице исходной модели lemon07r/VellumMini-0.1-Qwen3-14B.

LFM2.5-350M-RLCD — репозиторий notnotsamuel с кодом параллельного вывода структурированных данных на основе неизменённых весов LiquidAI/LFM2.5-350M. Модель семейства LFM2 — плотная причинная языковая модель с 444,6 млн параметров и контекстом до 128 000 токенов; для запуска используются Transformers и PyTorch, веса хранятся в safetensors. В README указана работа с английским, французским и испанским языками. Решение предназначено для извлечения значений из текста в поля с ограниченным набором вариантов: оно повторно использует состояние контекста, оценивает кандидаты параллельно, а затем собирает JSON в Python. Поддерживаются плоские схемы, где каждое поле обязательно и имеет тип boolean или непустой строковый enum; пример посвящён классификации обращений в поддержку. В опубликованных синтетических тестах для 28 булевых полей показано ускорение относительно авторегрессивного вывода, но результат зависит от нагрузки и оборудования. Корректный JSON и соответствие поддерживаемой схеме обеспечивает программная сборка, а не точность модели. В тесте на 28 полях ни один метод не получил полностью правильный объект; точность полей для ограниченного вывода составляла 60,7–64,3%. Поля выбираются независимо, оценки не являются калиброванной уверенностью, большие наборы вариантов могут исчерпать память, а неподдерживаемые ограничения схемы отклоняются. Лицензия указана как other; конкретные условия следует сверять с карточкой и файлами репозитория.

winglian/Llama-2-3b-hf — языковая модель семейства Llama 2, опубликованная пользователем winglian в формате, совместимом с Hugging Face Transformers. Модель предназначена для авторегрессионной генерации текста и может использоваться через pipeline text-generation, а также в серверных инструментах vLLM и SGLang. По данным карточки и метаданных, модель содержит около 3,4 млрд параметров и поддерживает контекст длиной до 4096 токенов. Репозиторий содержит веса PyTorch и токенизатор.

Mungert/Llama-2-7b-chat-hf-GGUF — модель семейства Llama 2, разработанного Meta, в чат-ориентированной версии с заявленным размером около 7 миллиардов параметров. Суффикс GGUF указывает на распространение весов в формате, предназначенном для локального запуска совместимыми средствами; конкретные архитектурные параметры, поддерживаемые языки, размер контекста и список модальностей в предоставленных данных не указаны. По назначению модель подходит для диалоговых сценариев и генерации текста, однако сведения о качестве, производительности и специализированных возможностях отсутствуют. Модель распространяется по лицензии Llama 2 Community License. Она предоставляет ограниченные неисключительные права на использование, воспроизведение, распространение и создание производных работ при соблюдении условий лицензии, включая передачу текста лицензии, сохранение уведомления об авторских правах и соблюдение применимого законодательства и Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено дополнительное требование получить отдельную лицензию Meta. README не содержит результатов тестирования, описания сильных сторон, известных ограничений или точных требований к оборудованию.

Llama-3.1-8B-Lexi-Uncensored-V2-GGUF — это набор файлов модели в формате GGUF для текстовой генерации. Исходную модель Llama-3.1-8B-Lexi-Uncensored-V2 разработал Orenguteng, а квантованные файлы подготовил MaziyarPanahi. Модель предназначена для локального запуска и генерации текста с использованием совместимых приложений и библиотек. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами; возможна аппаратная GPU-акселерация, а некоторые реализации предоставляют OpenAI-совместимый API. README не содержит сведений о точном размере контекста, языках, поддерживаемых модальностях, результатах оценивания или ограничениях поведения модели. Указаний о лицензии также нет, поэтому условия использования следует уточнять в документации исходной модели и репозитория. Модель ориентирована на текстовые задачи и не предназначена для обработки изображений или других мультимодальных данных.

Это GGUF-квантизированная версия языковой модели Llama-3.1-WhiteRabbitNeo-2-70B, разработанной WhiteRabbitNeo и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указано использование формата prompt, совместимого с Llama 3. Модель основана на архитектуре Llama 3.1 с 70 миллиардами параметров. Доступны варианты квантования от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством генерации; наиболее рекомендуемыми названы Q6_K, Q5_K_M и Q4_K_M. Квантизация выполнена с использованием imatrix и набора данных bartowski. Модель поддерживает текстовую генерацию, однако сведения о языках, размере контекстного окна и мультимодальности в README не указаны. Сильной стороной являются различные уровни квантования, позволяющие выбирать баланс между качеством и потреблением памяти, а также возможность локального использования. Низкобитные варианты заметно уступают по качеству, а некоторые из них не рекомендуются. Модель распространяется по лицензии llama3.1; дополнительные ограничения и условия лицензии в README не раскрыты.

Llama-3-Smaug-8B-GGUF — набор GGUF-квантизаций модели Llama-3-Smaug-8B, опубликованный и квантизированный bartowski на основе оригинальной модели abacusai/Llama-3-Smaug-8B. Модель предназначена для генерации текста и локального запуска с совместимыми inference-движками, включая llama.cpp. В README приведён специальный chat-шаблон с системными, пользовательскими и ассистентскими сообщениями на основе токенов Llama 3. Это текстовая модель примерно на 8B параметров; модальности, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_S размером примерно от 8,54 до 2,01 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как низкие требуют меньше RAM или VRAM, но заметно уступают по качеству; автор рекомендует несколько вариантов Q6_K, Q5 и Q4, а наиболее низкие IQ1-варианты не рекомендует. Квантизация выполнена с использованием imatrix и набора данных Kalomaze; для Q8_0 указано максимальное доступное качество. Модель удобна для локального использования благодаря формату GGUF и широкому выбору размеров файлов, однако качество и требования к памяти зависят от выбранной квантизации. README также отмечает настройку токена <|eot_id|> как не специального для лучшей работы с современными inference-движками. Лицензия указана как llama2; дополнительные условия использования в README не раскрыты.

Llama-3SOME-8B-v2-GGUF — это набор квантизированных версий языковой модели Llama-3SOME-8B-v2, опубликованный bartowski. Исходная модель разработана TheDrummer, а квантизация выполнена с использованием llama.cpp версии b3197 и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимое программное обеспечение, включая llama.cpp. Модель имеет размер 8 миллиардов параметров и представлена в формате GGUF с вариантами квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4. Доступны версии с различным соотношением качества, размера и требований к оперативной памяти; наиболее качественными автор README называет варианты Q6_K, Q6_K_L, Q5_K и Q4_K. Для взаимодействия используется шаблон промпта в формате Llama 3. Языки, размер контекста, поддерживаемые модальности и точная архитектура в README не указаны. Сильной стороной набора является широкий выбор квантизаций, включая варианты для устройств с ограниченной памятью и экспериментальные версии с f16-весами для embedding и output. Ограничения связаны с потерей качества при более агрессивной квантизации; версии Q3 и ниже описаны как менее качественные, а некоторые — как экспериментальные. Распространение осуществляется по лицензии CC BY-NC 4.0, допускающей некоммерческое использование на условиях этой лицензии.

Это пакет GGUF-слоёв модели Llama-4-Scout-17B-16E-Instruct-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Пакет создан на основе unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF и сохраняет веса в виде отдельных артефактов по слоям; формат исходных весов — GGUF с вариантом квантизации UD-Q4_K_XL. Модель предназначена для локального приватного чата и генерации текста через Mesh LLM, в том числе с распределением вычислений и памяти между несколькими компьютерами, когда полного GGUF не помещается на одном узле. Mesh LLM предоставляет локальный API, совместимый с OpenAI Chat Completions. В карточке нет сведений о языках и длине контекста; за подробностями об архитектуре, шаблоне чата и лицензии README отсылает к карточке исходной модели.

Llama-Spark-GGUF — набор квантизированных моделей в формате GGUF для llama.cpp, созданный bartowski на основе llama-spark-dpo-v0.3 от arcee-train. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio. README не указывает точные размер исходной модели, архитектурные параметры, поддерживаемые языки, модальности или размер контекста. Доступны варианты от F32 до низкобитных Q2_K и IQ2_M объёмом примерно от 2,95 до 32,13 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для большинства вариантов заявлен компромисс между размером и качеством, при этом Q6_K_L, Q6_K, Q5 и Q4 считаются рекомендуемыми, а низкобитные варианты предназначены для систем с ограниченной оперативной памятью. Для корректного общения приведён специальный шаблон промпта Llama 3.1. Указанная лицензия — llama3.1.

Magistral-Small-2506-MLX-4bit — это 4-битная квантованная версия языковой модели Magistral-Small-2506, разработанной Mistral AI. Квантование выполнено командой LM Studio с использованием библиотеки mlx_lm и формата MLX; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых экосистемой MLX и приложением LM Studio. Ключевая известная характеристика — 4-битное квантование, уменьшающее требования к памяти по сравнению с полной версией и ориентированное на эффективный запуск на совместимом оборудовании. README не содержит сведений о количестве параметров, архитектуре, поддерживаемых языках, размере контекста и дополнительных модальностях, поэтому эти характеристики нельзя определить. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, а также отсутствие гарантий корректности и пригодности результатов; эти свойства типичны для исходной модели и не устраняются квантованием.

MaziyarPanahi/MelloGPT-Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF, подготовленный и квантованный MaziyarPanahi на основе MaziyarPanahi/MelloGPT-Mistral-7B-Instruct-v0.1. Модель относится к семейству Mistral-7B-Instruct-v0.1 и предназначена для генерации текста по инструкциям, включая локальный запуск чат- и текстовых приложений. Модель имеет архитектуру Mistral с примерно 7 млрд параметров и работает с текстовой модальностью; поддерживаемые языки и размер контекстного окна в README не указаны. Репозиторий содержит варианты квантования от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат поддерживается llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python. К сильным сторонам относятся возможность локального запуска и наличие нескольких уровней квантования, уменьшающих потребление памяти по сравнению с полноразмерной моделью. Ограничения конкретных вариантов квантования, качество ответов и специализированное назначение MelloGPT в README подробно не описаны; поэтому нельзя сделать точные выводы о производительности или пригодности для отдельных предметных областей. Для репозитория указана лицензия Apache-2.0.

MaziyarPanahi/mergekit-slerp-tejngyg-GGUF — это квантизированная версия модели mergekit-community/mergekit-slerp-tejngyg, созданная сообществом mergekit-community и опубликованная в формате GGUF пользователем MaziyarPanahi. Исходная модель объединяет NousResearch/Hermes-2-Pro-Mistral-7B и WizardLM/WizardMath-7B-V1.1 методом mergekit SLERP. По имеющимся данным, модель относится к семейству Mistral и предназначена для генерации текста. Модель подходит для локального запуска и диалоговых сценариев, а также для задач генерации текста и, вероятно, математического рассуждения благодаря одному из исходных компонентов WizardMath. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; возможна работа с ускорением на GPU и через OpenAI-совместимые серверы. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Точный размер, максимальная длина контекста, набор языков, результаты оценки и конкретные преимущества объединённой модели в README не указаны. К ограничениям относятся возможная потеря качества при низкой разрядности квантизации и отсутствие подтверждённых данных о качестве на отдельных задачах. Лицензия в предоставленной информации не указана, поэтому условия использования следует уточнять в карточке исходной и данной модели.

Ministral-3b-instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Ministral, опубликованный пользователем duyntnet. Модель основана на архитектуре семейства Mistral и предназначена для генерации текста и выполнения инструкций, включая локальный запуск через llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Модель имеет около 3 млрд параметров, относится к GPT-подобным моделям и была дообучена на смеси общедоступных и синтетических наборов данных. Основной язык — английский. В репозитории представлены варианты в формате GGUF с imatrix-квантизацией, что ориентировано на более эффективное локальное использование при сниженных требованиях к памяти, хотя конкретные уровни квантизации и их характеристики не указаны. Сильными сторонами являются компактный размер, поддержка распространённых инструментов локального инференса и возможность работы на менее мощном оборудовании по сравнению с более крупными моделями. Ограничения включают преимущественно англоязычную направленность, отсутствие заявленной поддержки других модальностей и недостаток информации о контексте, точных характеристиках квантизации и результатах оценки качества. В исходном описании указана лицензия Apache 2.0; модель дообучена на базе Mistral-7B-v0.1.

Это 4-битная модель для генерации текста и диалогов, созданная сообществом mlx-community на основе Mistral-7B-Instruct-v0.2 и преобразованная в формат MLX для запуска на устройствах Apple. В README также указано использование DPO-датасета Argilla; метаданные описывают модель как плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель подходит для диалоговых ответов и генерации текста по запросу. В README приведён пример запуска через MLX. Репозиторий распространяется по лицензии Apache-2.0. Качество и языковой охват этой версии отдельно не описаны; 4-битное представление может ограничивать точность по сравнению с версиями в большей точности.

Это набор GGUF-квантизаций модели gemma-3-12b-it-abliterated, разработанной mlabonne и подготовленной в форматах для llama.cpp пользователем bartowski. Модель основана на Gemma 3 с 12 миллиардами параметров и предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель поддерживает сценарии генерации текста и работы с изображениями; для визуального ввода требуется отдельный файл mmproj в формате F16 или F32. Доступны полноразмерные веса BF16 и варианты квантизации от Q8_0 до Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми указаны варианты Q4_K_M, Q5, Q6 и некоторые другие, а для ограниченного объёма памяти предусмотрены версии меньшего размера. В README не указаны поддерживаемые языки, размер контекстного окна, результаты оценивания и конкретные ограничения поведения модели. Квантизация снижает требования к ресурсам, но может уменьшать качество по сравнению с исходными весами, особенно у более компактных вариантов. Модель распространяется под лицензией Gemma.

Это GGUF-квантизированная версия языковой модели Orchestrator-8B, разработанной NVIDIA и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Для работы рекомендуется использовать указанный в README шаблон чата с ролями system, user и assistant. Модель содержит 8 миллиардов параметров; точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Доступны варианты от исходных BF16-весов размером 16,39 ГБ до различных квантований Q8, Q6, Q5, Q4, Q3 и Q2 размером примерно от 3,6 до 8,7 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, а менее точные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. К сильным сторонам относятся широкий выбор квантованных вариантов, возможность локального запуска и оптимизация квантований с использованием imatrix. Ограничения связаны с потерями качества при агрессивном квантовании и отсутствием в README подробных данных о производительности, языках и специализированных сценариях применения. Лицензия модели и условия её использования в README не указаны.

Ornith-1.0-9B-MTP-GGUF — это квантизированная GGUF-сборка модели Ornith-1.0-9B, разработанной deepreinforce-ai, с интегрированной MTP-головой, подготовленной protoLabsAI. Модель предназначена для генерации текста и запуска через llama.cpp, включая ускоренное multi-token speculative decoding без отдельной черновой модели. Голова nextn встроена в основной файл, а также доступна в виде отдельного компонента для подключения к базовой GGUF-модели Ornith-9B. Доступны варианты от BF16 и Q8_0 до низкобитных Q4_K_M, IQ4_XS, IQ3_M и IQ2_M, размером примерно от 3,9 до 18,4 ГБ. Сборка ориентирована на архитектуру Qwen3.5 и поддерживает контекст, задаваемый при запуске; в примерах указан размер 8192 токенов. Для работы требуется llama.cpp версии не ниже b9616 с поддержкой архитектуры qwen35 и режима draft-mtp. На видеокартах Ampere и старше рекомендуется Q4_K_M, а на Blackwell — NVFP4, где MTP может обеспечить наибольший прирост скорости. В приведённых тестах ускорение достигало 1,73 раза для Q8_0 и около 1,38 раза для Q4_K_M, однако результат зависит от квантизации, оборудования и предсказуемости текста. Сильные стороны модели — встроенное speculative decoding, отсутствие необходимости отдельно подключать draft-модель, широкий выбор квантизаций и возможность работы на системах с ограниченной видеопамятью. Ограничения включают зависимость производительности от версии llama.cpp, типа GPU и параметров глубины чернового предсказания; старые версии Ollama могут быть несовместимы. Отдельная MTP-голова не является самостоятельной моделью и не может загружаться напрямую. Распространение выполняется по лицензии MIT.

Ornith-1.5-35B-A3B-MTPLX-4bit — это 4-битная MLX-квантизация модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста и может использоваться в MLX-LM для авторегрессионной генерации, а также с MTPLX для ускоренного многошагового предсказания токенов и speculative decoding на компьютерах Apple Silicon. В основе лежит разреженная mixture-of-experts-архитектура на 35 млрд параметров, из которых для каждого токена активируется примерно 3 млрд. Используется архитектура Qwen3_5MoeForConditionalGeneration, сохранена встроенная односегментная MTP-голова, а также включена vision tower, поэтому модель поддерживает текстовые и визуальные компоненты. В метаданных указан английский язык. Размер контекстного окна и точные мультимодальные сценарии не указаны. Основные характеристики релиза — 4-битная affine-квантизация с размером группы 64 для основной модели и MTP-компонента; нормализационные слои MTP и vision tower сохранены в формате BF16. Такая конфигурация снижает требования к памяти и ориентирована на эффективный запуск, однако квантизация может влиять на качество по сравнению с полной версией модели. Использование MTPLX требует соответствующего окружения и ориентировано на Apple Silicon; без speculative decoding модель также запускается через MLX-LM. Данные о результатах тестирования, производительности, ограничениях контекста и качестве vision-функций отсутствуют. Производная модель распространяется по лицензии MIT, унаследованной от базовой модели. При поставке продукта или сервиса на базе MTPLX необходимо соблюдать лицензию Apache-2.0 этого runtime и указывать атрибуцию MTPLX.

Phi 2 — это квантизированное представление языковой модели Microsoft Phi 2, подготовленное в формате llamafile для локального запуска. Репозиторий jartine/phi-2-llamafile содержит файлы модели, совместимые с llama.cpp и рядом графических интерфейсов и библиотек. Квантизацию выполнял TheBloke. Модель предназначена для генерации текста и работы с англоязычными запросами, включая сценарии локального запуска на CPU и GPU. Для инструкций используется шаблон «Instruct: {prompt}» с последующим маркером «Output:». Указаны архитектура phi-msft и текстовая модальность; размер модели и длина контекста в README не приведены. Ключевое преимущество — возможность автономного запуска в переносимом формате llamafile на системах с ARM64 и AMD64, а также выбор вариантов квантизации от 2 до 8 бит для компромисса между размером, скоростью и качеством. Ограничения включают поддержку только английского языка по заявленным данным, возможную потерю качества из-за квантизации и отсутствие сведений о точных характеристиках производительности. Модель распространяется по лицензии MIT, унаследованной от исходной модели Microsoft Phi 2.

Qwen1.5-0.5B-Chat-GGUF — чат-модель из семейства Qwen1.5, разработанная командой Qwen. Это beta-версия Qwen2 и авторегрессионная языковая модель на основе decoder-only Transformer, дообученная с использованием supervised fine-tuning и direct preference optimization. Данная версия содержит 0,5 млрд параметров и распространяется в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев: общения с пользователем, ответов на вопросы и других задач, поддерживаемых чат-моделями. Она обучалась на больших массивах данных, поддерживает несколько естественных языков и программный код; в метаданных README явно указан английский язык. Заявлена поддержка контекста до 32K токенов. Архитектура использует Transformer и активацию SwiGLU, однако для beta-версии временно не применяются group query attention и сочетание sliding window attention с полнослойным вниманием, за исключением отдельных вариантов семейства. Ключевое преимущество модели — небольшой размер, позволяющий запускать её локально с умеренными требованиями к ресурсам, а также наличие нескольких вариантов квантования GGUF: от q2_k до q8_0. Более агрессивное квантование уменьшает требования к памяти, но может снижать качество; README также показывает заметное ухудшение perplexity для q2_k у версии 0,5B. Для запуска рекомендуется использовать llama.cpp. Модель распространяется по лицензии Tongyi Qianwen Research License; конкретные условия следует уточнять в файле лицензии репозитория.

duyntnet/Qwen1.5-7B-Chat-imatrix-GGUF — набор квантованных вариантов модели Qwen1.5-7B-Chat, разработанной командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в формате чата и ответы на пользовательские запросы. Она распространяется в формате GGUF с использованием imatrix и рассчитана на запуск через совместимые клиенты и интерфейсы, такие как llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Исходная модель относится к классу авторегрессионных текстовых языковых моделей с размером 7B параметров и поддерживает применение chat template для сообщений с ролями system и user. В README явно указан английский язык; сведения о других языках, длине контекста, точной архитектуре и характеристиках отдельных вариантов квантования не приведены. К преимуществам относятся возможность локального запуска и выбор различных квантованных конфигураций, однако квантование может снижать точность по сравнению с исходной моделью, а требования к ресурсам зависят от конкретного варианта. Лицензия указана как other, без дополнительных условий в представленном README. Модель предназначена для text generation; режим inference в карточке не заявлен как встроенный.

Qwen2.5-3B-Instruct-Sheldon-SFT-v2-merged-GGUF — набор GGUF-квантизаций базовой модели zachchxn/Qwen2.5-3B-Instruct-Sheldon-SFT-v2-merged, опубликованный пользователем tinyopsec. Модель предназначена для генерации текста и запуска в локальных средах, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и Ollama. Указан английский язык. Модель относится к семейству Qwen2.5, имеет около 3 млрд параметров и представляет собой instruct-модель, дополнительно обученную методом supervised fine-tuning (SFT). Доступны варианты с точностью от 16 до 2 бит и размером примерно от 6,2 до 1,1 ГБ. Вариант Q4_K_M рекомендуется как компромисс между качеством и размером; варианты с меньшей разрядностью подходят для устройств с ограниченными ресурсами, но могут заметнее терять в качестве. Основные ограничения — отсутствие в README подробностей о тренировочных данных, результатах оценки, максимальном контексте, поддерживаемых языках помимо английского и специализированных сценариях применения. Файлы распространяются по лицензии Apache-2.0. Квантизация выполнена с использованием llama.cpp.

Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MTP — компактная языковая модель для генерации текста и локального рассуждения, разработанная AIOpsInSpace на основе Qwen3.5-9B и HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive. Модель имеет плотную архитектуру примерно на 9 млрд параметров и ориентирована на локальное развертывание на оборудовании среднего уровня. Ключевая особенность модели — добавленные MTP-головы для speculative decoding, призванные повысить скорость генерации при совместимой поддержке со стороны программного окружения. В README также заявлены низкое потребление памяти и возможность работы на видеокартах с 12 ГБ VRAM. Модель предназначена для текстовой генерации, задач рассуждения и автономного использования на настольных системах; заявленный язык — английский. Размер контекста в предоставленных данных не указан. Модель позиционируется как aggressively uncensored, поэтому может быть менее ограниченной в ответах, но это также означает потенциально более высокие риски получения нежелательного или небезопасного содержания. Эффективность MTP зависит от используемого backend и его совместимости со speculative decoding. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-NVFP4-Experts-Only — это модифицированная и квантизованная версия Qwen3.6-35B-A3B, опубликованная независимым разработчиком llmfan46. Модель предназначена для генерации и обработки текста; в метаданных Hugging Face также указана задача image-text-to-text, однако подробности о поддерживаемых визуальных возможностях в README не приведены. Версия создана с использованием Heretic v1.3.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA) для снижения числа отказов модели отвечать на запросы. Модель имеет архитектуру MoE и содержит 35 млрд параметров, из которых около 3 млрд активируются на один запрос согласно идентификатору базовой модели. Сохранены все 19 MTP-компонентов. Экспертные тензоры квантизованы в NVFP4, а неэкспертные и чувствительные тензоры сохранены в более высокой точности; в файлах указаны типы BF16, F32, U8 и F8_E4M3. Языки, размер контекста и точные требования к оборудованию в README не указаны. По данным автора, модель демонстрирует 10 отказов из 100 против 83 из 100 у исходной версии, при этом заявленное расхождение KL составляет 0,0015. Это делает её ориентированной на сценарии, где требуется меньше встроенных ограничений, при сохранении близости к исходной модели. Ограничения включают отсутствие подробных сведений о качестве на стандартных тестах, языках, контекстном окне и совместимости с конкретными средствами запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Abliterated-GGUF — это квантизированная GGUF-сборка модели windowsxp811203/Qwen3.8-27B-Abliterated, основанной на Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp и ориентирована на генерацию текста без стандартных отказов по запросам, связанных с удалённым механизмом отказа. В поставку включены MTP draft head для speculative decoding и vision projector для обработки изображений. Доступны варианты квантизации от IQ4_XS размером 15,3 ГБ до Q8_0 размером 29 ГБ; для видеокарт с 24 ГБ памяти рекомендуется Q4_K_M размером 16,8 ГБ. Поддерживаются текстовая и визуальная модальности, английский и китайский языки, режим рассуждений, контекст до 256K токенов в пределах заявленного максимума, а также MTP-ускорение без отдельной draft-модели. Проверки показывают близкое к BF16 качество на perplexity-тестах, работоспособность обработки изображений и извлечения данных из длинного контекста, однако результаты за пределами 256K являются экстраполяцией. Ключевое преимущество модели — практически полное отсутствие отказов на наборах AdvBench и HarmBench safety categories даже в 4-битных вариантах, что делает её подходящей для исследовательских, экспериментальных и локальных сценариев, где требуется более свободная генерация. Ограничения включают необходимость значительного объёма памяти, зависимость визуального режима от отдельного файла mmproj, возможные особенности поведения базовой модели в длинных сессиях и отсутствие обычных защитных отказов. Модель распространяется по лицензии Apache-2.0.