II.4Отладка, тестирование и качество ПО

Это модель brunopio в формате GGUF, конвертированная с использованием llama.cpp из HF1BitLLM/Llama3-8B-1.58-100B-tokens. В качестве базовой модели также указан meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для локального запуска задач генерации текста и диалогового вывода через llama.cpp, включая работу в командной строке или в режиме сервера. Ключевая характеристика — размер базовой модели 8B; в названии и исходной модели также указано обозначение 1.58 и обучение на 100B токенов, однако README не раскрывает их техническую интерпретацию, точную архитектуру, размер файла, параметры квантования, поддерживаемые языки и максимальную длину контекста. Для запуска требуется llama.cpp; в примере сервера задан контекст 2048 токенов, но не указано, является ли это предельным значением модели. Лицензия в README не указана, поэтому условия использования необходимо уточнять у автора и разработчиков базовых моделей.

Llama-3-Perky-Pat-Instruct-8B-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3-Perky-Pat-Instruct-8B. В качестве базовых моделей указаны Meta-Llama-3-8B-Instruct от Meta и Llama-3-8B-Instruct-MopeyMule от failspy; исходная модель опубликована grimjim. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям. Она поддерживает текстовый ввод и вывод, использует формат промптов Llama 3 с ролями system, user и assistant. Размер базовой модели — 8 миллиардов параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Репозиторий содержит множество вариантов квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q5–Q6 и Q4 описаны как обеспечивающие высокое или хорошее качество, тогда как варианты Q2–Q3 экономят память, но заметно уступают по качеству. Лицензия указана как llama3; конкретные условия её применения следует проверять в документации лицензии Llama 3.

Kaballas/m_1 — текстовая генеративная модель, созданная Kaballas путём слияния нескольких предварительно обученных моделей с помощью mergekit и метода Model Stock. В качестве базовой использована Qwen/Qwen2.5-7B-Instruct; в слияние также вошли модели для рассуждений и генерации текста, включая DrNicefellow/Qwen2.5-7B-O1-Journey-1, C10X/CoT-2.5, bunnycore/Qwen2.5-7B-CyberRombos, djuna/Q2.5-Fuppavy-7B, Kaballas/TLetsgo и jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.7. Модель семейства Qwen2 имеет плотную архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Она предназначена для диалогов и генерации текста, в том числе ответов с рассуждениями. Репозиторий использует формат safetensors и библиотеку Transformers; заявлен интерфейс для вызова инструментов. В метаданных лицензия не приведена. Поскольку это слияние моделей, поведение и ограничения зависят от исходных компонентов; README не содержит оценки качества или подробных ограничений.

M7Yamshadowexperiment28_Strangemerges_32Ogno — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана путём слияния моделей automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Ogno-7B и предназначена для генерации текста и диалогов по текстовым запросам. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает специализацию по языкам или предметным областям, поэтому модель следует считать общей текстовой моделью.

Macaron-V1-Preview-744B-Merged — текстовая генеративная модель от MindLab Research, созданная на базе GLM-5.1 и дополнительно обученная с помощью MinT. Это объединённый полный чекпойнт предварительной версии Macaron-V1-Preview; модель предназначена для диалогов и агентных сценариев с использованием инструментов. Архитектура относится к семейству GLM MoE DSA; в репозитории указано 30,4 млрд параметров и контекст длиной до 202 752 токенов. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Чекпойнт распространяется в формате safetensors и загружается через Transformers. Он не эквивалентен полной маршрутизируемой системе Mixture-of-LoRA из релиза на 749 млрд параметров, поэтому поведение может отличаться от неё. Лицензия — MIT.

microsoft_Phi-4-mini-instruct-GGUF — набор GGUF-квантизованных версий инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp версии b4792 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LM Studio, llama.cpp и другие проекты на его основе. Доступны варианты квантизации от Q2_K_L до Q8_0 размером примерно от 1,83 до 4,08 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, но требуют больше памяти; в README рекомендуются, в частности, Q4_K_M как вариант стандартного размера, а также Q5, Q6 и Q8 для более высокого качества. Некоторые варианты используют Q8_0 для весов embedding и output, а отдельные форматы оптимизированы для CPU ARM, AVX или Apple silicon. Формат prompt использует специальные маркеры system, user и assistant. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, мультимодальности или лицензии исходной модели. Основные ограничения связаны с потерями качества при низких уровнях квантизации и необходимостью выбирать вариант с учётом доступной оперативной памяти.

Eric111/Mistral-7B-Instruct-v0.2_openchat-3.5-0106 — диалоговая языковая модель, созданная слиянием Mistral AI и OpenChat с помощью mergekit. В слиянии использован метод SLERP; базовая модель — Mistral-7B-Instruct-v0.2, а веса сохранены в формате bfloat16. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Она содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0.

KnutJaegersberg/MistralInstructLongish — дообученная инструкция-модель семейства Mistral, созданная автором KnutJaegersberg. Модель обучалась около трёх эпох на объединении нескольких наборов инструкций, включая часть более длинных инструкций, и рассчитана на генерацию ответов в формате Alpaca с разделами Instruction, необязательным Input и Response. Это плотная причинная языковая модель MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов. Она предназначена для следования инструкциям и генерации текста; в карточке приведены результаты оценки на Open LLM Leaderboard, включая среднее значение 48,99, ARC и HellaSwag. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает языки обучения, поэтому языковую специализацию нельзя установить. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах; данных о дополнительных ограничениях или проверках безопасности нет.

Mistral-Nemo-Instruct-2407-IMat-GGUF — это набор квантизированных версий instruct-модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем legraphista. Квантизация выполнена с помощью llama.cpp на основе исходных весов BF16; для ряда вариантов применена IMatrix-калибровка, предназначенная для снижения потерь качества при уменьшении размера модели. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, совместимых с llama.cpp и форматом GGUF. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других форматов; размеры файлов варьируются примерно от 4,79 до 24,50 ГБ. Основное преимущество набора — выбор между качеством, требованиями к памяти и скоростью локального запуска. IMatrix применяется в некоторых вариантах с более сильным сжатием, включая Q4_K, Q3_K и Q2_K, однако README не содержит результатов сравнительных тестов, точных характеристик архитектуры, числа параметров, размера контекста или требований к оборудованию. Поэтому качество и производительность зависят от выбранного варианта квантизации и среды выполнения. Лицензия модели — Apache-2.0.

Mistralopithecus-v1-dpo-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 и mistralopithecus-v1-dpo-7b методом SLERP с помощью mergekit. Это плотная архитектура MistralForCausalLM с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Модель принимает текст и выдаёт текст; длина контекста составляет до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README описывает способ слияния и исходные модели, но не приводит отдельной оценки качества или подробностей о языках и специализированных областях применения.

MS-Nudion-22B — слитая модель для генерации текста на базе архитектуры Mistral, созданная с помощью mergekit методом SLERP из knifeayumu/Cydonia-v1.3-Magnum-v4-22B и SteelSkull/MSM-MS-Cydrion-22B. Модель содержит 22 млрд параметров, использует формат safetensors и поддерживает контекст до 131072 токенов. Модель предназначена для диалогов и генерации связного текста; каталог также отмечает интерфейс вызова инструментов. В конфигурации слияния указан профиль смешивания, ориентированный на поведение Hermes на входе и выходе и WizardMath в средних слоях. Карточка не описывает отдельные гарантии качества или целевые предметные области. Лицензия в предоставленных данных не указана. Для использования следует учитывать, что это объединение двух моделей; ограничения и условия могут зависеть от их лицензий и свойств.

Nanbeige 16B Chat 32K — это диалоговая языковая модель семейства Nanbeige, разработанная Nanbeige LLM Lab и представленная в данном репозитории в формате GGUF. Квантованные файлы подготовлены TheBloke; исходная модель доступна в формате PyTorch на Hugging Face. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель имеет около 16 миллиардов параметров и заявленный контекст до 32K токенов. В метаданных указаны английский и китайский языки. Архитектура обозначена как nanbeige, а формат GGUF поддерживает различные варианты квантования с разрядностью от 2 до 6 бит, что позволяет выбирать компромисс между размером, требованиями к памяти, скоростью и качеством генерации. Модель рассчитана на текстовую модальность; сведения о поддержке изображений или других типов данных отсутствуют. К сильным сторонам относятся большой контекст, диалоговая специализация и возможность запуска на CPU и GPU с использованием llama.cpp, text-generation-webui, LM Studio, KoboldCpp и других совместимых инструментов. Ограничения включают возможные потери качества из-за квантования, зависимость требований к ресурсам от выбранного варианта GGUF и отсутствие в README подробных данных о результатах тестирования, обучающем наборе и точных характеристиках базовой архитектуры. В метаданных указана лицензия Apache-2.0.

NeuralKrishna-7B-v3 — объединённая модель для генерации текста, созданная Kukedlc с помощью LazyMergekit. В конфигурации указана база mlabonne/Monarch-7B и слияние методом DARE-TIES с NeuralGlitch-Yam-Peleg-7B-DT, Fasciculus-Arcuatus-7B-slerp и Neural4gsm8k; веса сохранены в формате bfloat16. Метаданные указывают архитектуру Mistral с плотной сетью из 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и может быть полезна для диалогов и решения задач на рассуждение, включая математические вопросы, благодаря включённой в слияние Neural4gsm8k. Поддерживаемый язык в источниках не указан. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизованная версия языковой модели Llama-3_1-Nemotron-Ultra-253B-v1, разработанной NVIDIA и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Указан английский язык; поддерживается текстовая модальность. Размер исходной модели — 253 млрд параметров, однако точная архитектура и размер контекстного окна в README не указаны. Доступно множество вариантов квантизации GGUF — от Q8_0 до более компактных Q3 и IQ3/IQ4. Высокоточные варианты обеспечивают лучшее сохранение качества, а младшие квантизации снижают требования к памяти; рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Основное ограничение — чрезвычайно большой объём файлов: даже рекомендуемый Q4_K_M занимает около 150,94 ГБ, поэтому для запуска требуется мощное оборудование и значительный объём оперативной или видеопамяти. Лицензия — NVIDIA Open Model License; ссылка на условия приведена в карточке модели.

TobDeBer/Olmo-3-1025-7B-magic1 — преобразованная с помощью Magic V1 версия языковой модели OLMo 3 7B, разработанной Allen Institute for AI (Ai2). Это плотная авторегрессионная Transformer-модель примерно с 6,9 млрд параметров, предназначенная для генерации текста и продолжения запросов. Модель обучалась на данных Dolma 3; карточка описывает этапы предварительного обучения, дообучения на смешанных данных и обучения для длинного контекста. Модель работает с текстом на английском языке и поддерживает контекст до 65 536 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Подходит для генерации текста, ответов на вопросы, задач по математике и коду, однако конкретное качество на таких задачах зависит от запроса и развёртывания. Это базовая языковая модель без фильтрации безопасности: она может выдавать неточные, предвзятые или вредоносные ответы, поэтому факты следует проверять. Модель и код распространяются по лицензии Apache 2.0.

bartowski/open-thoughts_OpenThinker-32B-GGUF — набор GGUF-квантизаций модели OpenThinker-32B, разработанной проектом open-thoughts. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; исходная модель обучена на датасете open-thoughts/open-thoughts-114k. Модель относится к генеративным текстовым моделям и предназначена для запуска локально через llama.cpp, LM Studio и совместимые проекты. Варианты доступны в форматах от F16 до Q3 и IQ3/IQ4 с размерами примерно от 13,71 до 65,54 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как варианты с меньшей разрядностью требуют меньше оперативной памяти, но могут заметно уступать по качеству. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности. Для работы следует использовать шаблон сообщений с маркерами <|im_start|> и <|im_end|>. Модель распространяется по лицензии Apache-2.0. Ограничения включают высокие требования к памяти для полноразмерных и качественных квантованных вариантов, а также возможное снижение качества при использовании низкоразрядных форматов.

p-e-w_Qwen3-4B-Instruct-2507-heretic-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-4B-Instruct-2507-heretic. Исходную модель разработал p-e-w, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций при локальном запуске через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 4 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 2,24 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. В README не указаны поддерживаемые языки, длина контекста, точная архитектура или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются компактный размер, возможность локального запуска и широкий выбор квантизаций; варианты Q4–Q6 позиционируются как обеспечивающие хорошее или очень высокое качество при сниженных требованиях к памяти. Ограничения включают возможную потерю качества при использовании низких уровней квантизации и отсутствие указанного в README chat template, из-за чего форматирование запросов может потребовать проверки по карточке исходной модели. Распространение заявлено по лицензии Apache-2.0.

Pirouette-7b — текстовая генеративная модель на архитектуре Mistral, созданная автором репозитория ddh0 путём градиентного слияния SLERP моделей dolphin-2.1-mistral-7b и Noromaid-v0.1.1-13b. По замыслу автора, модель сохраняет основную часть возможностей Dolphin и добавляет некоторые особенности Noromaid. Модель предназначена для диалогов и выполнения инструкций в формате Alpaca. В карточке заявлена длина контекста 32 768 токенов; метаданные указывают 7,1 млрд параметров. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Polaris-7B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели Polaris-7B-Preview, разработанной POLARIS-Project и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и может использоваться локально в LM Studio, llama.cpp и других проектах на базе llama.cpp. В набор входят полная версия BF16 и варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2 с размером файлов примерно от 3,55 до 15,24 ГБ. Для квантования применялась llama.cpp версии b5697 и метод imatrix. Данные о точной архитектуре, размере контекста, поддерживаемых языках, модальностях и характеристиках базовой модели в README не указаны. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее снижать качество генерации. Для работы следует использовать указанный формат приглашений с системным сообщением, пользовательским запросом и ответом ассистента. Модель распространяется по лицензии Apache-2.0.

Qwen1.5-1.8B-Chat — чатовая языковая модель из семейства Qwen, разработанная командой Qwen. Это бета-версия Qwen2, основанная на декодерной архитектуре Transformer и предназначенная для диалогов и генерации текста. Модель содержит 1,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель поддерживает многоязычный ввод и вывод, а её токенизатор адаптирован к разным естественным языкам и программному коду. В архитектуре используются активация SwiGLU и смещение QKV в механизме внимания. Карточка относит её к чатовым моделям и отмечает улучшение предпочтений пользователей для диалоговой версии семейства. Модель подходит для чат-ботов, ответов на запросы и генерации текста. В README советуют использовать Transformers версии 4.37.0 или новее и параметры генерации из generation_config.json, чтобы снизить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

kepom/Qwen2.5-7B-Instruct-abliterated-v2-GGUF — квантизированная версия языковой модели Qwen2.5-7B-Instruct-abliterated-v2, созданная QuantFactory с использованием llama.cpp. Исходную модель разработала huihui-ai на базе Qwen/Qwen2.5-7B-Instruct от Alibaba Cloud; модификация выполнена методом abliteration и позиционируется как менее ограниченная по отказам версия исходной instruct-модели. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальных приложениях через совместимый с GGUF стек. Она поддерживает английский язык, относится к классу causal language models и имеет размер 7B параметров. В README не указаны точный размер контекста, конкретные варианты квантизации, список поддерживаемых модальностей помимо текста и требования к аппаратному обеспечению. По приведённым оценкам, модель превосходит исходную Qwen2.5-7B-Instruct на IF_Eval и GPQA, но уступает ей на MMLU Pro, TruthfulQA и BBH. Abliteration может сделать ответы менее ограниченными, однако это также означает потенциально более слабое следование политикам безопасности и не гарантирует фактическую точность ответов. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-VL-3B-Instruct-bnb-4bit — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, разработанная командой Qwen и представленная в репозитории Unsloth. Это 3B-версия модели Qwen2.5-VL-3B-Instruct, распространяемая в 4-битном формате bnb-4bit для более экономичного использования памяти. Модель предназначена для обработки изображений и видео вместе с текстовыми запросами. Она распознаёт и анализирует объекты, текст, таблицы, графики, иконки и структуру документов, поддерживает визуальную локализацию объектов с помощью bounding boxes или точек, генерацию структурированных данных из счетов, форм и таблиц, а также сценарии визуального агента, включая взаимодействие с компьютером и мобильными устройствами. Для видео заявлена способность анализировать материалы длительностью более часа и находить релевантные временные отрезки. В метаданных README указан английский язык. Архитектура включает языковую модель Qwen2.5 и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm; для видео используются динамические разрешение и частота кадров, а также временные позиционные идентификаторы mRoPE. К сильным сторонам относятся компактный размер, мультимодальное понимание документов и визуальных сцен, структурированный вывод и поддержка длительных видео. Ограничения включают меньшую ёмкость по сравнению с версиями на 7B и 72B параметра, возможное снижение точности из-за 4-битной квантизации и отсутствие в README данных о размере контекста, системных требованиях и подробном перечне языков. Модель указана под лицензией qwen-research; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-3B-Instruct.

Qwen2-72B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-72B-Instruct, опубликованный legraphista и основанный на модели Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальном inference через совместимые инструменты, в частности llama.cpp. В метаданных указан английский язык; сведения о поддержке других языков, мультимодальности и максимальном размере контекста не приведены. В репозитории доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий. Часть вариантов создана с использованием IMatrix-калибровки, предназначенной для более эффективного квантования, а некоторые представлены в виде разделённых файлов. Размеры файлов варьируются примерно от 29,81 до 145,42 ГБ, поэтому модель требует значительных ресурсов хранения и вычислений. Ключевая характеристика — 72 миллиарда параметров; точная архитектура и контекстное окно в README не указаны. Сильной стороной является широкий выбор уровней квантования и формат GGUF, удобный для локального запуска, а IMatrix может помогать сохранять качество при уменьшении размера модели. Ограничениями остаются высокая требовательность к памяти и производительности, а также возможная потеря качества в более агрессивных вариантах квантования. Модель распространяется по лицензии tongyi-qianwen; указана лицензия типа other со ссылкой на лицензию исходной модели Qwen2-72B-Instruct.

mlx-community/Qwen3-235B-A22B-8bit — языковая модель для генерации текста, разработанная на основе Qwen/Qwen3-235B-A22B и конвертированная сообществом mlx-community в формат MLX. Модель предназначена для запуска и генерации ответов в экосистеме MLX с использованием библиотеки mlx-lm, включая диалоговые сценарии через chat template. Из README известно, что модель имеет 8-битное представление и относится к семейству Qwen3-235B-A22B. Архитектура, точное число параметров, поддерживаемые языки, модальности и максимальная длина контекста в предоставленных данных не указаны. Для работы требуется библиотека mlx-lm; формат MLX ориентирован на совместимое с этой экосистемой выполнение. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о результатах тестирования, сильных сторонах и ограничениях качества, поэтому их оценка по имеющимся данным невозможна.

mlx-community/Qwen3-32B-4bit — это 4-битная квантизированная версия языковой модели Qwen3-32B, преобразованная сообществом mlx-community из исходной модели Qwen/Qwen3-32B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с сообщениями через chat template. Ключевая характеристика модели — размер исходной модели 32B параметров и 4-битное представление, что снижает требования к памяти по сравнению с полноточной версией и делает модель подходящей для запуска в экосистеме MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и результаты оценки качества. Сильными сторонами являются совместимость с MLX и более экономичное потребление памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за 4-битного представления, зависимость от инструментов mlx-lm и отсутствие в предоставленных данных подробных сведений о производительности и языковой поддержке. Модель распространяется по лицензии Apache-2.0.

PrimeIntellect/Qwen3-4B — текстовая генеративная модель семейства Qwen3, представленная Prime Intellect как копия Qwen/Qwen3-4B с шаблоном диалога, совместимым с многоходовым общением и вызовом инструментов. Модель основана на Qwen/Qwen3-4B-Base и дообучена; её плотная архитектура Qwen3ForCausalLM содержит 3,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая обмен сообщениями в несколько ходов и форматирование вызовов инструментов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Модель содержит вариант с примерно 4 миллиардами параметров и распространяется в формате GGUF с уровнями квантизации 2-, 3-, 4-, 5-, 6- и 8-bit. Этот формат ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения. GGUF может упростить запуск модели на локальных системах с использованием CPU и GPU, однако конкретные требования к памяти, производительность, контекстное окно, поддерживаемые языки и модальности в README не указаны. Сильные стороны модели — компактный размер, наличие нескольких уровней квантизации и широкая совместимость с локальными средствами инференса. Квантизация может снизить требования к ресурсам, но способна повлиять на качество по сравнению с исходной моделью; степень этого влияния зависит от выбранного варианта. Лицензия и условия использования в предоставленных данных не указаны.

Qwen3.5-122B-A10B-abliterated-NVFP4 — производная версия модели wangzhang/Qwen3.5-122B-A10B-abliterated, основанной на Qwen/Qwen3.5-122B-A10B. Репозиторий поддерживается автором bjk110 и предназначен для локального запуска и сервинга текстовой генерации. Модель использует архитектуру Qwen3.5 MoE с 256 маршрутизируемыми экспертами, из которых активно 10 млрд параметров. Она поддерживает английский, корейский, китайский и японский языки. Контекстное окно может достигать 131 072 токенов при использовании указанной конфигурации vLLM. Это текстовая версия мультимодальной архитектуры: в данном чекпойнте присутствуют только текстовые веса, поэтому мультимодальные сценарии не поддерживаются. Основное изменение — квантизация NVFP4 с использованием compressed-tensors. Квантизированы маршрутизируемые и общие эксперты, а также self-attention; linear attention, эмбеддинги, нормализации и гейты сохранены в BF16. Размер уменьшен с 228 ГБ в BF16 до 71,2 ГБ, формат хранения — safetensors в двух шардах. Сильными сторонами являются существенное снижение требований к памяти и совместимость с NVFP4 MoE-ядром vLLM. Ограничения включают необходимость специального патча vLLM, зависимость от совместимого оборудования NVIDIA и отсутствие мультимодальных возможностей; заявленные показатели производительности проверены на NVIDIA DGX Spark и не гарантируются для других конфигураций. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Heretic-REAP-0.30 — текстовая генеративная модель, опубликованная groxaxo как чекпойнт для совместимых сред Hugging Face. Это сжатая версия модели семейства Qwen3.5/3.6: в архитектуре MoE методом REAP удалено 30% маршрутизируемых экспертов — 256 сокращены до 180 на слой, при этом на токен активируются 8 экспертов. Гибридная архитектура включает 40 слоёв: 30 с линейным вниманием Gated-DeltaNet и 10 с обычным вниманием. Модель содержит 2,9 млрд параметров, поддерживает контекст до 262 144 токенов и работает только с текстом; мультимодальная башня зрения базовой Omni-модели удалена. Модель предназначена для генерации текста, диалогов, локального или размещённого инференса и воспроизводимых экспериментов. В карточке приведён результат MMLU 73,25% при оценке в 5 примеров на задачу; это результат указанной конфигурации, а не гарантия качества для других задач. Для Hugging Face Transformers описана загрузка на одном устройстве; разделение модели через device_map="auto" на несколько GPU может приводить к некорректной генерации. Для vLLM рекомендуется параллелизм по конвейеру. Модель выпущена под лицензией Apache-2.0. Маркер Heretic указывает на вариант с изменённым поведением или сниженной фильтрацией, но не гарантирует одинакового поведения во всех запросах и средах.

Qwen3.6-35B-A3B-MLX-6bit — это 6-битная квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для работы на устройствах Apple Silicon. В метаданных она обозначена как модель для задач image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекста и полном наборе модальностей в README не приведены. Модель предназначена для локального использования в сценариях, поддерживаемых MLX и LM Studio, включая обработку текстовых и, вероятно, визуально-текстовых запросов. Квантование снижает требования к памяти по сравнению с полной версией и делает модель более подходящей для Apple Silicon, но может уменьшать точность по сравнению с оригинальной моделью. README не содержит результатов тестирования, сведений о производительности и конкретных ограничениях качества. Указана лицензия Apache 2.0; исходная модель принадлежит Qwen, а данная MLX-квантизация предоставлена LM Studio.