II.2Создание и понимание программного кода

gaianet/gpt-oss-20b-GGUF — сборка модели openai/gpt-oss-20b, опубликованная Gaianet в формате GGUF. Это языковая модель архитектуры gpt_oss с разреженной MoE-архитектурой для генерации текста и диалогового применения. В README указан исходный репозиторий модели и раздел запуска с Gaianet. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста составляет 131072 токена. В метаданных указаны 1,6 млрд параметров, библиотека Transformers, форматы GGUF и GGUF F16, а также лицензия Apache-2.0. README не описывает специальные предметные области или конкретные языковые ограничения.

Это GGUF-представление модели openai/gpt-oss-20b, подготовленное FreedomAISVR с квантованием MXFP4_MOE для запуска через совместимые инструменты, например llama.cpp. Модель относится к семейству GPT-OSS, использует архитектуру смеси экспертов и содержит 20,91 млрд параметров; файл весов занимает 11,28 ГиБ. Веса экспертных FFN-блоков представлены в MXFP4, веса внимания — в Q8_0, а параметры маршрутизатора, нормализации и смещений — в F32. Модель предназначена для генерации текста и диалогового использования. По карточке заявлена поддержка запуска на GPU или CPU, без требования к архитектуре NVIDIA Blackwell. Квантование сокращает размер весов, но может повлиять на качество вывода относительно исходной модели. Репозиторий распространяется по лицензии Apache-2.0.

Hermes-3-Llama-3.1-8B-lorablated-GGUF — это набор квантизированных GGUF-версий текстовой генеративной модели mlabonne/Hermes-3-Llama-3.1-8B-lorablated. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для локального запуска задач генерации текста, включая диалоговое взаимодействие и следование инструкциям, в совместимых средах, таких как llama.cpp и LM Studio. В основе лежит модель размера 8B, однако точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ; более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать в качестве. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия в README не указана.

L3.3-MS-Evayale-70B-GGUF — GGUF-квантизированная версия модели L3.3-MS-Evayale-70B, разработанной Steelskull и подготовленной bartowski. Это текстовая генеративная модель для запуска локально через llama.cpp и совместимые приложения, включая LM Studio. Модель создана на основе merge-модели, однако подробности об исходных компонентах в README не приведены. Модель имеет около 70 млрд параметров и поддерживает несколько вариантов квантизации: от Q8_0 с максимальным качеством до Q2_K_L с существенной экономией памяти. Доступны форматы Q4, Q5, Q6, Q8, IQ и другие варианты, включая специальные сборки для ARM и AVX. В README указан шаблон промпта с системными и пользовательскими сообщениями, совместимый с форматом Llama 3.3. Модальность — текстовая; сведения о языках и размере контекста не указаны. Сильной стороной модели является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для большинства сценариев автор рекомендует Q4_K_M, Q5 и Q6-варианты. Более компактные сборки подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Некоторые варианты оптимизированы для ARM, однако отдельные сборки не рекомендуется использовать на Mac или с GPU. Лицензия в предоставленном README не указана.

TheBloke/Llama-2-70B-AWQ — это 4-битная AWQ-квантизированная версия языковой модели Llama 2 70B, разработанной Meta и опубликованной сообществом TheBloke. Модель предназначена для генерации текста и поддерживает английский язык. Она создана на основе meta-llama/Llama-2-70b-hf и использует архитектуру семейства Llama с примерно 70 миллиардами параметров. Ключевая особенность модели — квантизация AWQ с групповым размером 128, выполненная на данных wikitext. Доступны шардированные safetensors-файлы, размер модели составляет около 36,61 ГБ, заявленная длина последовательности — 4096 токенов. Модель ориентирована на GPU-инференс и может использоваться через AutoAWQ или vLLM, включая серверные сценарии с параллельной обработкой запросов. К сильным сторонам относятся существенное снижение требований к видеопамяти и возможность запуска 70B-модели примерно на одной GPU с 48 ГБ памяти вместо двух GPU по 80 ГБ. По сравнению с полноразмерной моделью AWQ может упростить развертывание и снизить стоимость инфраструктуры. Ограничением является то, что производительность и совокупная пропускная способность могут быть ниже, чем у неквантизированной версии при использовании vLLM; кроме того, README не приводит подробных результатов оценки качества после квантизации. Модель распространяется по лицензии Llama 2.

TheBloke/Llama-2-7B-Chat-GGUF — это квантизированная версия диалоговой модели Llama 2 7B Chat, разработанной Meta (Meta Llama 2) и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и ведения диалогов, включая локальных чат-ассистентов, ответы на вопросы и другие сценарии текстовой генерации. Указанный язык — английский; мультимодальность не заявлена. Модель содержит около 7 миллиардов параметров и использует архитектуру Llama 2. Репозиторий предоставляет варианты GGUFv2 с квантизацией от 2 до 8 бит, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Формат поддерживается llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python, с возможностью CPU- и GPU-инференса. Размер контекста в README не указан. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантизации и совместимость с экосистемой GGUF. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также потенциальное снижение качества при использовании более агрессивной квантизации. Модель распространяется по лицензии Llama 2; перед использованием необходимо учитывать условия этой лицензии.

mlx-community/Llama-3.1-8B-Instruct — преобразованная в формат MLX версия инструкционной языковой модели Meta Llama 3.1 8B Instruct, подготовленная сообществом mlx-community. Это плотная авторегрессионная модель класса LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов, генерации текста и вызова инструментов через соответствующий интерфейс. Её можно использовать в приложениях на Apple Silicon с библиотекой MLX и mlx-lm; заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат файлов в репозитории — safetensors. Модель основана на meta-llama/Llama-3.1-8B-Instruct и распространяется по лицензии Llama 3.1. Производительность и пригодность для конкретного сценария зависят от аппаратной конфигурации и способа использования; поддержка русского языка в предоставленных сведениях не заявлена.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

Llama 3.1 Tulu 2 DPO 8B — англоязычная диалоговая модель-помощник, разработанная Ai2 и дообученная на базе allenai/llama-3.1-tulu-2-8b. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса опубликованы в формате safetensors. Модель предназначена для диалогов и выполнения разнообразных инструкций: она прошла дополнительное выравнивание методом DPO на данных UltraFeedback после дообучения на смеси открытых, синтетических и созданных людьми данных Tulu. Её можно применять для ответов на вопросы, написания текстов и решения задач по инструкциям на английском языке. Модель не проходила этап RLHF, ориентированный на безопасные ответы, и не использует фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; в карточке также указана лицензия Meta Llama 3.1 Community License для базовой модели.

duyntnet/Llama-3.2-1B-imatrix-GGUF — набор GGUF-квантизаций базовой модели Meta Llama 3.2 1B, подготовленный для запуска через llama.cpp и совместимые интерфейсы, включая KoboldCPP, text-generation-webui и Ollama. Модель предназначена для генерации текста, диалоговых сценариев, извлечения знаний, суммаризации, написания текста, а также переформулирования запросов и промптов. Репозиторий содержит квантизированные варианты исходной модели, поэтому конкретные характеристики и качество зависят от выбранного файла квантизации. Исходная Llama 3.2 1B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 1,23 млрд параметров, Grouped-Query Attention и общими эмбеддингами. Она работает только с текстом на входе и генерирует текст и код на выходе, поддерживает контекст до 128 тысяч токенов. Официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года; README не уточняет, является ли данный репозиторий базовой или instruction-tuned версией. Сильные стороны модели — небольшой размер, возможность локального запуска и снижение требований к памяти благодаря GGUF-квантизации и imatrix. Ограничения включают возможное ухудшение качества при агрессивной квантизации, отсутствие мультимодальности и ограниченность актуальности знаний. Использование регулируется индивидуальной коммерческой Llama 3.2 Community License и Acceptable Use Policy Meta; условия для производных применений и дополнительных языков необходимо соблюдать.

Llama-3-Groq-8B-Tool-Use-GGUF — набор GGUF-квантизированных версий модели Llama-3-Groq-8B-Tool-Use, разработанной Groq на базе Llama 3. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке, включая сценарии tool use и function calling, где требуется взаимодействие с внешними инструментами или API. Это текстовая модель без заявленной поддержки изображений или других модальностей. Модель содержит около 8 млрд параметров и распространяется в вариантах от F32 до Q2_K и IQ2_M с размером файлов примерно от 2,95 до 32,13 ГБ. Доступны различные уровни квантизации, включая рекомендуемые Q4, Q5 и Q6, позволяющие выбирать баланс между качеством и требованиями к оперативной памяти. Для запуска предлагается использовать llama.cpp или LM Studio; README также указывает специальный формат промпта с ролями system, user и assistant и служебными токенами Llama 3. Размер контекста в предоставленных данных не указан. Сильными сторонами являются специализация на использовании инструментов, широкий выбор квантизированных вариантов и возможность локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество ответов; варианты с низким битрейтом прямо характеризуются как низкокачественные или не рекомендуемые. Лицензия указана как llama3.

Mungert/Meta-Llama-3-8B-GGUF — модель для генерации текста на базе Meta Llama 3, разработанной Meta. Судя по идентификатору, это 8-миллиардная версия модели, представленная в формате GGUF, предназначенном для локального или совместимого с GGUF инференса. В карточке указана англоязычная поддержка и задача text-generation. Модель может использоваться для генерации и продолжения текста, ответов на запросы и других сценариев обработки естественного языка. Точная архитектура, размер контекста, варианты квантования, системные требования и дополнительные модальности в README не указаны; подтверждена только текстовая генерация, поэтому модель следует рассматривать как текстовую, без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся компактный по современным меркам размер 8B и формат GGUF, потенциально удобный для локального запуска, однако конкретные преимущества производительности зависят от варианта квантования и используемого программного обеспечения. Ограничения модели, показатели качества и детальные сведения о тренировочных данных не приведены. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, включая требования к атрибуции, обозначению «Built with Meta Llama 3», Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 миллионами ежемесячных пользователей.

Это диалоговая языковая модель семейства Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2 методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста и ответы на инструкции в формате диалога. Максимальная длина контекста — 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; заявленная лицензия — Apache-2.0. Данные карточки не уточняют качество на отдельных задачах и языках, поэтому пригодность для конкретного сценария следует оценивать самостоятельно.

Eric111/Mistral-7B-Instruct-v0.2_openchat-3.5-0106 — диалоговая языковая модель, созданная слиянием Mistral AI и OpenChat с помощью mergekit. В слиянии использован метод SLERP; базовая модель — Mistral-7B-Instruct-v0.2, а веса сохранены в формате bfloat16. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Она содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

Это квантизированная версия текстовой генеративной модели Mixtral-8x22B-v0.1, разработанной Mistral AI и подготовленной для распространения пользователем ChristianAzinn. Модель поставляется в формате GGUF и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio, Ollama и другие сервисы на его основе. Модель использует архитектуру Mixture of Experts (MoE) и доступна в вариантах квантизации от 2 до 6 бит, включая IQ2_XXS, IQ2_XS, Q2_K, IQ3, Q3, Q4, Q5 и Q6. Также заявлена поддержка 16-битного формата в метаданных, однако репозиторий ориентирован на GGUF-квантизации с importance matrix; для Q8_0, FP16 и FP32 рекомендуется использовать другой репозиторий. Поддерживается текстовая генерация на английском языке и контекстное окно до 65 536 токенов. Сильные стороны модели — большой контекст, широкий выбор уровней квантизации и повышенное качество некоторых вариантов благодаря importance matrix при небольших дополнительных затратах. Ограничение — очень большой размер исходной модели: она не предназначена для большинства пользовательских компьютеров, а длинный контекст требует значительных ресурсов. Файлы могут быть разделены на части; llama.cpp и LM Studio поддерживают работу с такими шардами. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор квантованных GGUF-версий языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, разработанной NVIDIA. Квантование выполнил NANI-Nithin с использованием инструментов llama.cpp и автоматизированного конвейера на Modal. Модель предназначена для генерации текста и локального инференса на CPU или GPU. Она использует архитектуру Mixture-of-Experts (MoE) с конфигурацией A3B и поддерживает английский язык. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q4_0, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K с разным соотношением качества, размера и требований к памяти. В README размер контекста и точные требования к RAM или VRAM не указаны. Сильная сторона модели — возможность запуска в популярных GGUF-совместимых средах, включая llama.cpp, Ollama и LM Studio, а также выбор уровня квантования. Q4_K_M рекомендуется как наиболее сбалансированный вариант по скорости, размеру и качеству. Более сильное сжатие уменьшает требования к памяти, но приводит к заметному снижению качества; для MoE-модели необходимо заранее проверить доступные RAM и VRAM. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-14B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет размер 14 миллиардов параметров; README не сообщает точную архитектуру, поддерживаемые языки и размер контекстного окна. Доступны варианты от полноточного BF16 до более компактных форматов Q8, Q6, Q5, Q4, Q3 и IQ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее теряют в качестве. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L; Q4_1 и Q4_0 используют устаревший формат, но могут быть полезны на некоторых CPU и Apple silicon. Сильная сторона этой версии — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения связаны с неизбежной потерей качества при низких уровнях квантизации, а также с отсутствием в README подробностей о возможностях исходной модели, языках и контекстном окне. Лицензия в предоставленных данных не указана.

Open-Instruct Dolly 7B — языковая модель Allen Institute for AI (AI2), полученная дообучением 7-миллиардной LLaMA на наборе инструкций Databricks Dolly 15K. Это плотная авторегрессионная модель семейства LLaMA для генерации текста по инструкциям и диалоговых запросов на английском языке. Модель предназначена для ответов на вопросы, следования инструкциям и решения разнообразных текстовых задач; в карточке также приведены результаты оценок на тестах знаний, математики, рассуждений, понимания вопросов и генерации кода. Размер по метаданным — 6,6 млрд параметров, контекст — 2048 токенов. Репозиторий содержит diff весов, поэтому для использования требуется исходная LLaMA в формате Hugging Face и совместимые веса. Модель выпущена в рамках исследования instruction tuning на открытых ресурсах. Указаны лицензия AI model license из LICENSE.txt и исходная лицензия LLaMA; перед применением необходимо учитывать условия обеих лицензий. Карточка не сообщает подробностей о режимах развёртывания или гарантиях качества.

Это GGUF-квантизированная версия модели r1-1776-distill-llama-70b, разработанной perplexity-ai и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b4738 и метода imatrix. Модель предназначена для генерации текста и может запускаться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Архитектура основана на Llama, размер исходной модели — 70 миллиардов параметров. В README не указаны поддерживаемые языки, длина контекста и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 27,47 до 74,98 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5_K и Q4_K_M отмечены как рекомендуемые для различных сценариев. Сильными сторонами являются широкий выбор размеров файлов, совместимость с локальными инструментами llama.cpp и сохранение высокого качества в старших вариантах квантизации. Ограничения включают значительные требования к оперативной или видеопамяти, особенно для версий с высоким качеством, а также потенциальное снижение качества в компактных вариантах. Модель распространяется по лицензии MIT.

duyntnet/Phi-3.5-mini-instruct-imatrix-GGUF — набор квантованных версий модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной пользователем duyntnet в формате GGUF с использованием imatrix. Модель относится к семейству Phi-3 и предназначена для генерации текста и выполнения инструкций в диалоговом формате; для работы подходят llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. Она поддерживает контекст до 128 000 токенов, словарь размером до 32 064 токенов и, согласно карточке, ориентирована на английский язык. Обучение включало supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на соблюдение инструкций и повышение безопасности ответов. К преимуществам относятся компактность исходной модели, длинный контекст, поддержка локального запуска и наличие нескольких уровней квантования, потенциально снижающих требования к ресурсам. Ограничения связаны с тем, что квантование может влиять на качество по сравнению с исходной моделью, а сведения о конкретных размерах файлов, параметрах и характеристиках отдельных вариантов в карточке не приведены. Лицензия указана как other, без подробного описания условий использования.

unsloth/Qwen2.5-3B — версия базовой языковой модели Qwen2.5, опубликованная Unsloth и предназначенная для генерации текста и дальнейшей адаптации. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров; репозиторий содержит веса Safetensors для Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и многоязычную работу, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Базовая Qwen2.5 рассчитана на продолжение текста и может служить основой для дообучения под код, математику, структурированные данные и другие задачи. В README отдельно отмечено, что базовую модель не рекомендуют использовать для диалогов без последующего обучения, например SFT или RLHF. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и лицензией базовой модели.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.

lmstudio-community/Qwen3-30B-A3B-MLX-8bit — это конвертированная в формат MLX 8-битная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и опубликованной сообществом lmstudio-community. Конвертация выполнена с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через chat template при его наличии. Она ориентирована на запуск с библиотекой mlx-lm, преимущественно в экосистеме Apple MLX. В README не указаны поддерживаемые языки, размер контекста, точная архитектура исходной модели, модальности помимо текста и результаты оценки качества. Ключевая характеристика этой версии — 8-битное представление в формате MLX, потенциально подходящее для более эффективного локального запуска по сравнению с полноформатной моделью, однако конкретные требования к памяти и производительности не приведены. Ограничения и области применения следует оценивать по исходной модели Qwen3-30B-A3B; дополнительные сведения о них в README отсутствуют. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.

Qwen3-4B-Instruct-2507-MLX-6bit — это 6-битно квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сценариях, поддерживающих MLX. Ключевая характеристика модели — 6-битное квантование, снижающее требования к памяти по сравнению с полноразмерной версией и делающее модель более подходящей для локального использования на совместимых компьютерах Apple. В README не указаны архитектура, точный объём контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти свойства нельзя достоверно описать. К ограничениям относятся возможные ошибки, неточности и генерация неподходящего или вредного содержания, характерные для языковых моделей. Модель распространяется по лицензии Apache-2.0.

litert-community/Qwen3-4B-Thinking-2507 — это квантизированная версия модели Qwen3-4B-Thinking-2507, разработанной командой Qwen и преобразованной в формат LiteRT-LM для локального вывода на устройствах. Модель предназначена для генерации текста и задач, требующих пошагового рассуждения: перед итоговым ответом она формирует цепочку рассуждений в блоке <think>…</think>. Основные сценарии — on-device и edge-инференс на компьютерах, мобильных устройствах и одноплатных компьютерах с использованием runtime Google LiteRT-LM. Модель представляет собой плотную causal language model архитектуры Qwen3ForCausalLM с 4 млрд параметров и 36 слоями. Доступны артефакты с INT4-квантизацией: вариант с блоком 128 размером около 2,3 ГБ и динамический вариант с блоком 32 размером около 2,1 ГБ; для первого также используются INT8-эмбеддинги и целочисленные вычисления. Контекст KV-кэша составляет 4096 токенов. Производительность зависит от устройства и backend: на Apple M4 Max с Metal GPU заявлены около 68,5 токенов/с при декодировании и задержка до первого токена около 0,28 с, а на Raspberry Pi 5 — около 1,5 токена/с. Сильные стороны модели — поддержка локального выполнения, относительно компактный размер, оптимизации LiteRT-LM для GPU и сохранение значительной части качества исходной модели после INT4-квантизации: на GSM8K указано 86% против 90% у reference-версии в формате bfloat16. Ограничения включают зависимость скорости от аппаратной платформы, сокращение качества из-за квантизации и необходимость выделять достаточно большой лимит генерации: рекомендуется max_tokens не менее 2048, иначе цепочка рассуждений может быть оборвана до появления ответа. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

Qwen3.5-122B-A10B-abliterated-NVFP4 — производная версия модели wangzhang/Qwen3.5-122B-A10B-abliterated, основанной на Qwen/Qwen3.5-122B-A10B. Репозиторий поддерживается автором bjk110 и предназначен для локального запуска и сервинга текстовой генерации. Модель использует архитектуру Qwen3.5 MoE с 256 маршрутизируемыми экспертами, из которых активно 10 млрд параметров. Она поддерживает английский, корейский, китайский и японский языки. Контекстное окно может достигать 131 072 токенов при использовании указанной конфигурации vLLM. Это текстовая версия мультимодальной архитектуры: в данном чекпойнте присутствуют только текстовые веса, поэтому мультимодальные сценарии не поддерживаются. Основное изменение — квантизация NVFP4 с использованием compressed-tensors. Квантизированы маршрутизируемые и общие эксперты, а также self-attention; linear attention, эмбеддинги, нормализации и гейты сохранены в BF16. Размер уменьшен с 228 ГБ в BF16 до 71,2 ГБ, формат хранения — safetensors в двух шардах. Сильными сторонами являются существенное снижение требований к памяти и совместимость с NVFP4 MoE-ядром vLLM. Ограничения включают необходимость специального патча vLLM, зависимость от совместимого оборудования NVIDIA и отсутствие мультимодальных возможностей; заявленные показатели производительности проверены на NVIDIA DGX Spark и не гарантируются для других конфигураций. Модель распространяется по лицензии Apache-2.0.