II.2Создание и понимание программного кода

Qwen3-1.7B LiteRT-LM — это оптимизированная для генерации текста на устройствах версия модели Qwen3-1.7B, разработанная сообществом litert-community на базе модели Qwen от Alibaba Cloud. Модель предназначена для локального запуска через LiteRT-LM, в том числе на Android-устройствах с GPU, а также для интеграции в приложения через CLI и Python API. Поддерживаемый язык указан как английский. Доступны варианты с динамическим INT8-квантованием весов и динамическим INT4-квантованием с блоками по 32 значения и FP32-активациями. Размер файлов составляет около 2,1 ГБ для INT8-варианта и 932 МБ для INT4-варианта; для INT4 указан контекст 4096 токенов. Артефакты используют оптимизации LiteRT-LM для GPU, включая объединённые операции RoPE, QKV и Gate/Up projections, а также статическое выделение памяти для prefilling. INT4-вариант особенно эффективен на совместимых GPU: на измеренном устройстве скорость декодирования достигала 40,5–40,7 токена в секунду, однако на CPU он заметно медленнее INT8-варианта. Ограничениями являются зависимость производительности от оборудования и необходимость значительного объёма оперативной памяти. Модель распространяется под лицензией Apache-2.0. Для запуска требуется библиотека litert-lm; README описывает использование через командную строку, Python и приложение Edge Gallery.

Это архивная перезагрузка квантованной GGUF-версии Qwen3.5-397B-A17B TQ1_0. Автор репозитория указывает, что модель и квантование созданы не им: исходную модель выпустила команда Qwen, а квант предоставлял Unsloth. Модель предназначена для диалогов с текстом и изображениями; каталог отмечает поддержку vision и chat. Файл представлен в формате GGUF с квантованием TQ1_0. Базовая модель — мультимодальная модель Alibaba для диалогов, рассуждений, анализа изображений и видео, программирования и работы с инструментами. В карточке указана лицензия Apache-2.0. README описывает репозиторий как архивную копию, поэтому сведения о качестве именно этой версии и её применимости ограничены.

Это пакет слоёв GGUF модели Qwen3.6-35B-A3B-UD-Q4_K_XL, подготовленный для распределённого запуска в Mesh LLM. Он создан на основе unsloth/Qwen3.6-35B-A3B-MTP-GGUF и сохраняет исходное распределение GGUF по отдельным артефактам слоёв; семейство модели — Qwen3, вариант квантования — UD-Q4_K_XL. Пакет предназначен для локального приватного чат-инференса, в том числе на нескольких машинах, когда полный файл модели трудно разместить на одном хосте. Через локальный API Mesh LLM его можно использовать в сценариях, совместимых с OpenAI Chat Completions. Метаданные указывают задачу генерации текста и библиотеку mesh-llm. README не приводит число параметров, длину контекста, поддерживаемые языки, подробности архитектуры или лицензию самого исходного чекпойнта; за ними он отсылает к карточке базовой модели. Возможности и качество зависят от исходной модели и настроек Mesh LLM. Для запуска требуется Mesh LLM и совместимый локальный или распределённый вычислительный кластер.

dealignai/Qwen3.8-Flash-Next-ABLITERATED-NVFP4 — мультимодальная версия Qwen3.8-Flash-Next, разработанная dealignai. Это прямое изменение весов базовой модели без дообучения, LoRA, дистилляции или изменения шаблона чата; заявлено сохранение исходных знаний, стиля, рассуждений и калибровки. Модель предназначена для текстовых и мультимодальных сценариев с обработкой изображений и видео, включая распознавание форм, цветов, текста на изображениях, движения и объектов в видео. Поддерживаются режимы рассуждения low, medium и xhigh, а также MTP speculative decoding. Модель работает с SGLang и рассчитана на tensor parallel на двух NVIDIA DGX Spark с использованием 4-битного формата NVFP4. Размер модели, максимальная длина контекста и точный перечень поддерживаемых языков в README не указаны. По заявленным результатам, производительность на MMLU почти не изменилась относительно базовой модели: 81,93% против 82,11%. Также заявлены связная генерация без зацикливания и сохранение мультимодальных возможностей. Ключевое ограничение — удаление защитных отказов: модель описана как исследовательский артефакт без встроенных ограничений безопасности и может выполнять вредоносные, незаконные и неэтичные запросы. Использование допускается по лицензии qwen-community-license-1.0; модель предоставляется без гарантий, а ответственность за результаты и соблюдение законодательства возлагается на пользователя.

TheDrainFlorist/Qwen3.8-Flash-Next-VQ-4.4bpw — это векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Сборка создана с использованием VQLab для работы на компьютерах Apple Silicon и распространяется как checkpoint для экосистемы MLX. Общий размер модели составляет около 94,1 GiB; базовая MoE-модель имеет 180 млрд параметров, из которых активны 10 экспертов из 512, а также включает 51,2 млрд параметров n-gram PLE и поддержку зрения. Модель предназначена для генерации текста и обработки изображений на устройствах Apple Silicon через mlx-lm и mlx-vlm, а также для распределённого запуска через exo. Она поддерживает английский язык; контекст и точные характеристики модальностей в README не указаны. В квантизации используются векторные кодовые книги, а отдельные высокозначимые слои имеют повышенную точность. Заявлены оптимизации MLX-ядер, снижение пикового потребления памяти при обработке длинных запросов и сохранение качества вывода относительно предыдущего runtime. Основные ограничения связаны с требованиями к программному окружению: необходима архитектура qwen4_exp, отсутствующая в выпущенных версиях mlx-lm на момент описания, поэтому требуется версия из указанного pull request. Для изображений нужен mlx-vlm версии 0.6.16 или новее. Модель рассчитана на мощные устройства с большим объёмом памяти; распределённая работа через exo требует специальной ветки. Лицензия указана как qwen-community-1.0; условия следует уточнять в файле LICENSE.

Qwen-Qwen1.5-1.8B-Chat-GGUF — набор квантованных файлов модели Qwen1.5-1.8B-Chat, разработанной командой Qwen. Квантование выполнено featherless-ai-quants и распространяется в формате GGUF для задач генерации текста и диалогового взаимодействия. Модель предназначена для локального или совместимого с GGUF запуска при ограниченных требованиях к памяти и вычислительным ресурсам. Размер базовой модели составляет 1,8 млрд параметров. В репозитории доступны варианты квантования IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размер варьируется примерно от 807 МБ до 1,87 ГБ. Более компактные варианты обычно требуют меньше памяти, но могут сильнее терять в качестве по сравнению с вариантами с большей точностью. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, обучающих данных, результатах оценки и конкретной лицензии, поэтому эти характеристики нельзя достоверно указать.

bartowski/Qwen_Qwen3-4B-GGUF — это набор GGUF-квантизаций базовой текстогенерационной модели Qwen3-4B, разработанной командой Qwen и подготовленной пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b5200 и метода imatrix, применяющего калибровочный датасет для сохранения качества при уменьшении размера весов. Модель предназначена для локальной генерации текста и диалоговых сценариев в LM Studio, llama.cpp и других совместимых проектах. В README указан формат промпта с ролями system, user и assistant. Доступны варианты от BF16 размером 8,05 ГБ до сильно сжатых IQ2_M размером 1,51 ГБ; рекомендуемыми названы преимущественно варианты Q4–Q6, обеспечивающие удачный баланс качества и требований к памяти. Более компактные варианты подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Точная архитектура, максимальный размер контекста, поддерживаемые языки, модальности, результаты тестирования и лицензия в представленном README не указаны. Ограничения модели связаны с компромиссом между размером квантизации и качеством: низкобитные варианты заметно уступают более крупным, тогда как BF16 требует существенно больше памяти.

lmstudio-community/QwQ-32B-MLX-8bit — 8-битная MLX-квантизация модели QwQ-32B, разработанной Qwen. Квантизацию предоставил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Apple Silicon и использования в LM Studio. Это текстовая генеративная reasoning-модель с размером 32B, ориентированная на чат и задачи, требующие рассуждений. В карточке указана поддержка контекста до 128K токенов и английского языка. Модель подходит для локальной генерации текста и диалоговых сценариев, однако README не содержит подробностей о специализированных задачах, точности или результатах бенчмарков. К сильным сторонам относятся большой контекст, возможность локального запуска на Apple Silicon и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полной точностью. Ограничения включают зависимость от совместимого оборудования и возможные неточные, вредные или нежелательные ответы, характерные для генеративных моделей. Лицензия — Apache-2.0.

Gilgamesh-72B-GGUF — это GGUF-квантизация языковой модели Gilgamesh-72B, разработанной rubenroy и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, чат-взаимодействия и разговорных сценариев. В метаданных она связана с архитектурой Qwen2 и обучалась с использованием наборов данных GammaCorpus-v2-5m, GammaCorpus-CoT-Math-170k и GammaCorpus-Fact-QA-450k. Заявленный язык — английский. Модель имеет 72 миллиарда параметров и доступна в вариантах квантизации от Q8_0 до Q2 и IQ-квантов, с размером файлов примерно от 27 до 77 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q6_K обеспечивает качество, близкое к исходному, а Q4_K_M представляет компромисс между качеством и требованиями к памяти. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Длина контекста в README не указана, мультимодальность не заявлена. Для работы следует использовать формат prompt с ролями system, user и assistant, совместимый с шаблоном Qwen. Модель распространяется по лицензии, обозначенной как other, с указанием лицензии Qwen и ссылкой на лицензию Qwen2.5-72B-Instruct. Конкретные условия лицензии исходной модели необходимо проверить отдельно.

StripedHyena-Nous-7B — чат-модель для генерации текста, разработанная Together Research совместно с Nous Research. Она предназначена для диалога и ответов на инструкции в формате «Instruction/Response», а также для работы с длинными запросами. Модель содержит 8,7 млрд параметров и использует гибридную архитектуру StripedHyena: сгруппированное многоголовое внимание и управляемые свёртки в блоках Hyena. Она обучалась на последовательностях длиной до 32 тысяч токенов. Авторы заявляют о низкой задержке и высокой пропускной способности относительно Transformer-моделей сопоставимого размера. Модель работает с текстом и ориентирована на английский язык. Для запуска вне демонстрационной площадки требуются пользовательские ядра; при работе с длинными запросами или обучении компоненты poles и residues следует хранить в точности float32. Лицензия — Apache-2.0.

Superevolution — объединённая разговорная языковая модель от mergekit-community, созданная методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и mergekit-community/TopEvolution. Это плотная архитектура MistralForCausalLM примерно на 7,1 млрд параметров, рассчитанная на генерацию текста и диалоги; заявленная длина контекста — 32 768 токенов. Слияние настроено так, чтобы сочетать вклад Hermes на входе и выходе с вкладом WizardMath в средних слоях. Модель распространяется в формате safetensors и предназначена для Transformers. Её можно использовать для диалоговых приложений и генерации ответов на текстовые запросы. Карточка не описывает специальные предметные области, языки или результаты оценки качества, поэтому нельзя уверенно определить её преимущество в конкретных задачах. Условия лицензии в доступных данных не приведены.

Tess-3-Llama-3.1-70B-GGUF — набор квантизированных версий текстовой генеративной модели Tess-3-Llama-3.1-70B, разработанной migtissera. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста, включая диалоговое взаимодействие и другие сценарии, поддерживаемые исходной моделью. Модель имеет размер 70B параметров и распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ1_M. Доступны версии размером примерно от 16,75 до 74,98 ГБ; наиболее сбалансированными по качеству и размеру в README названы Q6_K, Q5_K_M, Q4_K_M, Q4_K_S и IQ4_XS. Для работы рекомендуется формат prompt, совместимый с Llama 3.1, а запуск возможен, в частности, через LM Studio и llama.cpp. Сведения о поддерживаемых языках, длине контекста и мультимодальности не указаны. Главное преимущество набора — широкий выбор квантизаций, позволяющий адаптировать модель к доступному объёму памяти при сохранении приемлемого качества; высокоточные варианты обеспечивают качество, близкое к исходному. Ограничения связаны с большими требованиями к дисковому пространству и памяти, а у низкобитных версий качество заметно снижается. Модель распространяется по лицензии llama3.1.

Tess-3-Mistral-Large-2-123B-GGUF — набор GGUF-квантизаций текстовой генеративной модели Tess-3-Mistral-Large-2-123B, разработанной migtissera и подготовленной пользователем bartowski. Модель предназначена для локального запуска и генерации текста через llama.cpp, в том числе в LM Studio. В README приведён формат диалога с системными, пользовательскими и ассистентскими сообщениями. Это крупная модель на 123 млрд параметров; точная архитектура, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3, Q2 и IQ1 с размером файлов примерно от 28,39 до 130,28 ГБ. Варианты Q6_K, Q5_K_M и Q4_K_M отмечены как рекомендуемые благодаря сочетанию качества и требований к памяти, тогда как низкоразрядные варианты экономят место, но заметно уступают в качестве. Квантизации выполнены с использованием imatrix и llama.cpp версии b3509; для отдельных вариантов embedding- и output-веса сохранены в Q8_0, что потенциально может улучшать качество. Основные ограничения — очень высокие требования к оперативной памяти или видеопамяти и снижение качества при агрессивном квантовании. Модель распространяется по лицензии Mistral AI Research Licence 0.1; в README указана лицензия other и ссылка на её текст.

Это 4-битная GPTQ-квантизованная версия модели TinyLlama/TinyLlama-1.1B-Chat-v1.0. В README указано, что квантизация выполнена с использованием AutoGPTQ, а формат контрольной точки — Marlin. Разработчик исходной модели отдельно не указан; идентификатор и README позволяют определить её как чат-модель семейства TinyLlama с размером около 1,1 млрд параметров. Модель предназначена для диалоговых и других текстовых сценариев, где важны сниженные требования к памяти и вычислительным ресурсам. Конфигурация использует 4-битное симметричное квантование GPTQ с group_size 128 и параметром desc_act, установленным в false. Квантизация может упростить локальный запуск и ускорить выполнение на совместимом оборудовании, однако потенциально снижает точность по сравнению с полноразмерной версией. Мультимодальность, поддерживаемые языки, размер контекстного окна и точные архитектурные характеристики в README не указаны. Лицензия обозначена как unknown.

Tulu V2.5 DPO 13B SHP-2 — англоязычная чат-модель-помощник, разработанная Allen Institute for AI (AI2). Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, дообученная на базе Tulu 2 13B с помощью DPO на наборе предпочтений SHP-2. Она предназначена для диалогов, выполнения инструкций и генерации текста; для модели указан контекст длиной 4096 токенов. Модель принимает текст и генерирует текст. Для диалогов используется шаблон чата, встроенный в токенизатор; соблюдение формата сообщений и завершающего перевода строки влияет на качество генерации. Модель ориентирована на английский язык и распространяется по лицензии Apache 2.0. Модель может выдавать проблемные ответы, в том числе по запросу: на этапе RLHF её не настраивали на безопасные завершения, а фильтрация ответов во время использования не предусмотрена. Качество ответов также зависит от соблюдения формата ввода.

lewtun/zephyr-7b-sft-full — диалоговая языковая модель, дообученная на mistralai/Mistral-7B-v0.1 с помощью TRL. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; модель предназначена для генерации ответов в диалоге по текстовым запросам. Заявленная длина контекста — 32 768 токенов. Модель можно применять для ответов на вопросы и ведения текстового диалога. Репозиторий содержит веса в формате Safetensors и рассчитан на запуск через библиотеку Transformers. Сведения о лицензии, обучающих данных и оценках качества в доступных материалах отсутствуют.

AlphaMonarch-daser — диалоговая модель, созданная abideen на основе mlabonne/NeuralMonarch-7B. Это дообученная методом DPO модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста, общения и следования инструкциям. Для обучения использован набор предпочтений argilla/OpenHermes2.5-dpo-binarized-alpha; автор сообщает о 1080 шагах обучения и сочетании методов LaserQLoRA и DoRA с обучением половины проекций. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Автор приводит сравнения с родственными вариантами на YALL leaderboard и OpenLLM bench, где результаты различаются в зависимости от бенчмарка. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Arcee-Maestro-7B-Preview-GGUF — это GGUF-квантизированная версия языковой модели Arcee-Maestro-7B-Preview, разработанной arcee-ai и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к классу текстовых генеративных моделей и имеет размер 7 млрд параметров. В README не указаны точная архитектура, поддерживаемые языки и размер контекстного окна. Доступны варианты квантизации от Q2_K_L до Q8_0, размер файлов — примерно от 3,5 до 8,1 ГБ. Для взаимодействия требуется специальный prompt format с системным сообщением, пользовательским запросом и секцией рассуждений. Сильная сторона этой версии — возможность локального запуска на оборудовании с ограниченными ресурсами за счёт выбора степени квантизации; варианты Q5–Q6 обозначены как высококачественные, а Q4_K_M — как оптимальный вариант для большинства сценариев. Более компактные варианты экономят память, но снижают качество. Модель распространяется под лицензией Apache-2.0.

CalmexperimentT3q-7B-GGUF — это квантизированная языковая модель для генерации текста в формате GGUF. Файлы модели подготовлены MaziyarPanahi на основе automerger/CalmexperimentT3q-7B; исходная модель создана automerger и восходит к chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для локального запуска и использования в сценариях текстовой генерации, включая диалоговые приложения, написание и обработку текста, а также задачи, поддерживаемые совместимыми инструментами инференса. Модель относится к семейству Mistral и имеет размер 7B параметров. Она поддерживает только текстовую модальность; сведения о языках и размере контекстного окна в README не указаны. Доступны варианты квантизации с разной разрядностью — от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими клиентами, поддерживающими этот формат. Основные преимущества — локальный запуск, широкий выбор уровней квантизации и совместимость с инструментами, включая GPU-ускорение и OpenAI-совместимые серверные интерфейсы в отдельных реализациях. Ограничения — отсутствие в README подробных результатов оценки, рекомендуемых параметров генерации, точного контекстного окна и подтверждённых языковых характеристик; качество зависит от выбранной квантизации и используемого программного обеспечения. Лицензия — Apache-2.0.

Карточка модели jinreiyu/clone-Ternary-Bonsai-8B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-8B-mlx-2bit, поэтому описание составлено по ней. Ternary-Bonsai-8B-mlx-2bit — языковая модель Prism ML для генерации текста и диалогов на устройствах Apple. Это производная от Qwen3-8B модель семейства Qwen3 с плотной архитектурой и 7,6 млрд параметров; в карточке указаны GQA, SwiGLU, RoPE и RMSNorm. Контекстное окно — 65 536 токенов. Веса представлены в тернарном формате {-1, 0, +1} с групповыми масштабами: релиз использует формат MLX 2-bit, около 2,15 ГиБ. Модель предназначена для локального запуска на Mac, iPhone и iPad через MLX и MLX Swift, включая диалоговые сценарии. Разработчик сообщает о среднем результате 75,5 по шести категориям бенчмарков и высокой скорости на устройствах Apple; это показатели из карточки модели, а не независимая гарантия качества. Доступен формат MLX 2-bit, поэтому модель ориентирована на совместимые устройства и программный стек Apple. README отмечает, что оценка энергопотребления на мобильном устройстве приблизительная. Лицензия — Apache-2.0.

Experiment26Yamshadow_Experiment28Inex12 — объединённая модель на архитектуре Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment28Inex12-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов; размер модели составляет 7,1 млрд параметров. Модель может использоваться для генерации продолжений и ответов на текстовые запросы. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

unsloth/gemma-2-2b-bnb-4bit — это 4-битная версия базовой языковой модели Google Gemma 2 2B, подготовленная с использованием инструментов Unsloth. Модель предназначена для запуска и дообучения трансформерных текстовых моделей, включая задачи генерации текста, диалоговых сценариев и text completion. В README указана поддержка библиотеки Transformers и английского языка. Известно, что модель основана на google/gemma-2-2b и использует 4-битное квантование в формате BNB, благодаря чему требует меньше памяти по сравнению с полноразмерной версией. README не содержит сведений о точной архитектуре, размере контекста, модальностях, результатах оценки или фактических ограничениях качества. Для дообучения могут использоваться ноутбуки Unsloth; заявлены ускорение и снижение потребления памяти для поддерживаемых сценариев, однако конкретные показатели для этой модели отдельно не приведены. Модель распространяется по лицензии Gemma. Перед использованием необходимо учитывать условия этой лицензии и ограничения исходной модели Google Gemma 2.

MaziyarPanahi/gemma-2b-it-GGUF — это набор файлов модели в формате GGUF, созданный на основе google/gemma-2b-it. Исходную модель разработала Google, а конвертацию и квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и ведения диалогов. Ключевая характеристика репозитория — поддержка нескольких уровней квантования: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp и совместимых инструментов, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и других клиентов. Данные о количестве параметров, поддерживаемых языках, контекстном окне и мультимодальности в README не указаны; по представленным сведениям модель является текстовой. К сильным сторонам относятся компактные квантованные варианты и возможность локального запуска на широком спектре систем с использованием CPU или GPU, в зависимости от выбранного программного обеспечения. Более агрессивное квантование уменьшает требования к ресурсам, но может снижать точность и качество ответов. Репозиторий содержит лицензионную метку «other», однако конкретные условия лицензии в README не раскрыты.

Gemma 3 12B IT Abliterated v2 GGUF — это модифицированная версия Gemma 3 12B IT, разработанная mlabonne. Модель создана на основе google/gemma-3-12b-it с применением техники abliteration, направленной на уменьшение отказов в ответах. Доступна в формате GGUF и предназначена для запуска и генерации текста в совместимых локальных средах. Модель ориентирована на диалоговые и общие текстовые задачи, где требуется более высокая готовность отвечать на запросы, включая чувствительные темы. В README заявлена мультимодальная специализация image-text-to-text, однако подробности о поддерживаемых языках, точном размере контекста и практической работе с изображениями не приведены. Для генерации рекомендованы параметры temperature=1.0, top_k=64 и top_p=0.95. Ключевая особенность — модификация скрытых состояний целевых модулей, включая o_proj, для удаления направления, связанного с отказами. По заявлению автора, улучшенная версия нацелена на более точное снижение отказов при сохранении связности ответов; целевой показатель acceptance rate превышает 90%. Ограничениями являются потенциальное снижение защитных механизмов и отсутствие в README подробных результатов независимого тестирования, характеристик производительности и требований к оборудованию. Модель распространяется по лицензии gemma.

mlx-community/GLM-4.7-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-4.7 в формат MLX с использованием mlx-lm версии 0.30.0. По указанным метаданным модель предназначена для работы с текстом и поддерживает английский и китайский языки. Она может применяться для диалоговой генерации и других задач, связанных с продолжением текста, через библиотеку mlx-lm. Ключевая особенность модели — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноформатной версией, но потенциально может ограничивать точность по сравнению с исходной моделью. Архитектура, число параметров, размер контекста, дополнительные модальности и перечень поддерживаемых сценариев в README не указаны. Для использования требуется MLX и библиотека mlx-lm. Модель распространяется по лицензии MIT.

GLM-5.3-5bit-UVMAX — это квантованная версия языковой модели GLM-5.3-BF16, разработанной zai-org и преобразованная с помощью mlx-lm. Модель предназначена для генерации текста и запуска в экосистеме MLX, включая локальное развертывание на совместимом оборудовании. В README указаны английский и китайский языки, а также поддержка задач text-generation. Модель использует MoE-архитектуру с 743 млрд параметров и смешанную UVMAX-квантизацию со средним размером 4,67 бита на вес. Экспертные FFN-слои квантуются преимущественно в 4 и 5 бит, attention, DSA indexer и dense MLP — в 8 бит, а маршрутизаторы и нормализационные слои сохраняются в bf16. Общий размер модели составляет около 404 GiB, поэтому она помещается на одной машине с 512 ГБ памяти. Контекстное окно и точный состав поддерживаемых модальностей в README не указаны; по имеющимся данным, модель работает с текстом. По сравнению с исходной версией bf16 UVMAX демонстрирует близкие показатели на тестовых корпусах: среднее отношение perplexity составляет 1,02×, а согласие top-1 предсказаний — 94,4%. Это делает квантизацию компромиссом между качеством и снижением требований к памяти. Ограничением остаются очень высокие аппаратные требования и необходимость свежей версии mlx-lm с поддержкой GLM-5.3 и glm_moe_dsa. Модель распространяется по лицензии glm-5.3; конкретные условия следует уточнять в указанном файле LICENSE.

Goppa-LogiLlama-GGUF — это набор GGUF-квантизаций языковой модели Goppa-LogiLlama, разработанной goppa-ai и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые приложения. В README также указано обучение на наборах open-thoughts/open-thoughts-114k и open-thoughts/OpenThoughts-Unverified-173k. Доступны варианты от F16 до низкобитных Q2_K_L, включая Q8_0, Q6_K, Q5_K, Q4_K и IQ-квантизации. Размер файлов составляет примерно от 0,64 до 2,48 ГБ, поэтому можно выбрать баланс между качеством и требованиями к оперативной памяти. Наиболее качественными считаются F16, Q8_0 и варианты Q6_K; Q4_K_M обозначен как стандартный вариант для большинства сценариев. Более компактные варианты экономят память, но отличаются сниженным качеством. Модель поддерживает текстовую генерацию; сведения об архитектуре, числе параметров, длине контекста и языках в README не приведены. Указан формат prompt-шаблона на основе ChatML-подобных служебных токенов с датой отсечения знаний декабрь 2023 года. Лицензия обозначена как llama3; конкретные условия и ограничения лицензии в карточке не раскрыты.

GPT4-x-Vicuna-13b-fp16 — дообученная Nous Research языковая модель на архитектуре LLaMA с 12,9 млрд параметров. Она предназначена для генерации текста и выполнения инструкций в формате Alpaca: запрос помещается после «### Instruction:», а ответ начинается после «### Response:». Модель дообучена на наборах GPTeacher, Roleplay v2, GPT-4-LLM Uncensored, WizardLM Uncensored и Nous Research Instruct Dataset; в карточке указано около 180 тысяч инструкций, созданных GPT-4 и очищенных от отказных формулировок. Обучение проводилось пять эпох на восьми ускорителях A100-80GB. Контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch, лицензия указана как GPL. Модель подходит для ответов на инструкции и ролевого диалога. Карточка предупреждает, что в базовой модели сохраняются ограничения OpenAI; поведение и качество могут зависеть от формулировки запроса. Данные о поддерживаемых естественных языках в карточке не приведены.

Huihui-RadixArk-Qwen3.8-27B-abliterated-NVFP4 — языковая модель на базе Huihui-Qwen3.8-27B-abliterated, опубликованная edp1096 с использованием работ huihui-ai, RadixArk и sakamakismile. Модель относится к семейству Qwen3.8 и содержит около 27 миллиардов параметров. Доступна в формате, совместимом с библиотекой Transformers, и использует квантование NVFP4, ориентированное на снижение требований к памяти и ускорение инференса на совместимом оборудовании. README не содержит сведений о поддерживаемых языках, точном размере контекста и полном описании архитектуры. Модель предназначена для генерации текста и запуска локального инференса через SGLang или vLLM. В README приведены конфигурации со спекулятивным декодированием DSpark, включая использование отдельной draft-модели, а также параметры для работы с FP8, GPTQ Int4, FP8 KV-кэшем и контекстом до 16384 токенов в конфигурации vLLM. Потенциальными сильными сторонами являются крупный размер модели и экономичное NVFP4-представление, однако качество, область специализации, совместимость оборудования и ограничения abliterated-варианта требуют самостоятельной проверки. Лицензия в предоставленных данных не указана.

ClaudioItaly/intelligence-Creative — это слитая методом SLERP языковая модель на архитектуре Qwen2, созданная с помощью mergekit из ClaudioItaly/intelligence-cod-rag-7b-v3 и ZeroXClem/Qwen2.5-7B-HomerCreative-Mix. Модель содержит 7,1 млрд параметров, использует формат Safetensors и предназначена для диалоговой генерации текста; заявленная длина контекста — 32 768 токенов. Модель можно применять для ведения диалога и создания текстовых ответов. В карточке указана возможность чата, но подробные сценарии, языковое покрытие и результаты оценки качества не описаны. Лицензия в предоставленных данных не указана.