II.9Статистика, эксперименты и причинный анализ

Arcana Qwen3 2.4B A0.6B — текстовая модель Mixture of Experts, созданная suayptalha. В ней заявлено 2,4 млрд параметров суммарно и четыре эксперта по 0,6 млрд параметров. Модель предназначена для диалогов и генерации ответов с навыками программирования, математических рассуждений, медицинских вопросов и следования инструкциям; каталог также отмечает интерфейс вызова инструментов. Эксперты для кода, математики и медицинских вопросов дообучены на соответствующих наборах данных, а эксперт следования инструкциям использует Qwen/Qwen3-0.6B без дополнительного дообучения. В метаданных указана поддержка английского языка и библиотека Transformers. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Заявленная цель — повысить точность и эффективность при меньшем потреблении памяти, однако сравнительные результаты в карточке не приведены.

Dolphin 2.9.2 Qwen2 7B — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на основе Qwen2-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, дообученная на инструктивных, диалоговых и программных данных. В карточке заявлены навыки ответов на инструкции, ведения беседы, программирования, начальные агентные возможности и вызов функций. Модель предназначена для генерации текста в формате чата, помощи с кодом и выполнения запросов к функциям. Базовая модель поддерживает контекст до 128 тысяч токенов, однако полновесное дообучение Dolphin проводилось на последовательностях длиной 16 тысяч токенов. Репозиторий использует формат safetensors; метаданные указывают библиотеку Transformers. Модель описана авторами как uncensored и более склонная выполнять запросы, включая небезопасные. Для публичного сервиса рекомендуется самостоятельно добавить слой выравнивания поведения. Лицензия — Tongyi Qianwen; README допускает коммерческое использование при соблюдении её условий.

flammen10-mistral-7B — языковая модель на архитектуре Mistral, созданная FlammenAI слиянием двух моделей методом SLERP с помощью mergekit: nbeerbower/flammen9X-mistral-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для генерации текста по запросам и может использоваться в диалоговых сценариях и для ответов на математические вопросы. Модель содержит 7,1 млрд параметров, имеет контекстное окно до 32 768 токенов и распространяется в формате safetensors для библиотеки Transformers. Вторая исходная модель описана как DPO-дообученная на математических данных Mistral, что указывает на математическую составляющую слияния. Репозиторий лицензирован по Apache-2.0.

GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная Z.ai. Репозиторий unsloth содержит дообученную версию базовой модели zai-org/GLM-5.3-Flash-BF16 и распространяет веса в формате safetensors; заявлена лицензия MIT. Модель предназначена для диалогов и генерации текста, включая программирование и агентные сценарии. Архитектура GLM-5 Next сочетает разреженное и линейное внимание; в README указаны 320 млрд параметров всего и 18 млрд активных параметров. Разработчик также описывает мультимодальное предварительное обучение и улучшенную эффективность при работе с длинным контекстом, но точная длина контекста этой копии не приведена. Карточка базовой модели характеризует её как мультимодальную и поддерживающую анализ изображений, однако метаданные этого репозитория указывают в качестве задачи только text-generation. Поэтому назначение копии как модели для обработки изображений отдельно не подтверждено. Языковые теги карточки — английский и китайский. Практическое развёртывание требует соответствующей инфраструктуры для модели такого масштаба; в README перечислены SGLang, vLLM, TokenSpeed и KTransformers.

jigs97022/minicpm5-2b-distilled-reasoning-gguf — квантованная версия MiniCPM5-2B с дистиллированными рассуждениями, разработанная пользователем jigs97022 на базе модели MiniCPM5-2B от OpenBMB. Модель обучена на 10 тысячах высококачественных трасс рассуждений, полученных от Qwen3.8-Max, GLM-5.2 и Kimi K3, и предназначена для генерации текста, структурированного решения математических задач, написания кода, логических головоломок и сценариев с использованием инструментов. Доступна в формате GGUF для локального запуска через llama.cpp, Ollama, LM Studio и vLLM. Модель имеет размер 2B параметров и поддерживает контекст до 4096 токенов. Предлагаются варианты квантования Q4_K_M, Q6_K и Q8_0 объёмом примерно от 1,56 до 2,68 ГБ; они ориентированы соответственно на сбалансированную работу на ноутбуках, более высокое качество на настольных системах и минимальные потери качества. Сильными сторонами являются компактность, возможность локального CPU/GPU-инференса и специализация на пошаговом рассуждении. Ограничения включают меньший объём обучающих данных по сравнению с полноразмерными вариантами, возможное снижение качества на редких случаях, ограниченное контекстное окно, базу знаний примерно до 2024 года и склонность к подробным внутренним рассуждениям. Модель распространяется по лицензии Apache-2.0, однако для коммерческого использования рекомендуется отдельно проверить лицензию набора данных для дистилляции.

benhaotang/phi4-qwq-sky-t1 — объединённая авторами модель на основе Phi-4-QwQ, Phi-4-llama-t1-full и адаптера Phi-4-llama-t1-lora. Она создана методом TIES с помощью mergekit; архитектура — плотная LlamaForCausalLM, размер — 14,1 млрд параметров. Модель предназначена для диалоговой генерации текста и пошаговых рассуждений, включая решение сложных задач. Контекст составляет 16 384 токена. В карточке автор сообщает, что модель, по его оценке, воспроизводит возможности QwQ на уровне 14B; приведены результаты Open LLM Leaderboard, включая среднее значение 30,78% и BBH 52,61%. Оценка IFEval затруднена из-за строгого формата системного промпта Sky-T1. Модель распространяется под лицензией MIT.

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled — текстовая генеративная модель, разработанная Jackrong на базе плотной архитектуры Qwen3.5-4B. Модель дообучена методом supervised fine-tuning с применением LoRA и библиотеки Unsloth; в качестве обучающих материалов использовались дистиллированные данные рассуждений, главным образом на основе взаимодействий с Claude-4.6 Opus, а также наборы nohurry/Opus-4.6-Reasoning-3000x-filtered и Jackrong/Qwen3.5-reasoning-700x. Модель предназначена для генерации ответов с последовательным структурированным рассуждением, решения сложных задач, планирования, следования инструкциям, а также задач в областях науки и математики. Обучение ориентировано на формат с рассуждением внутри тегов <think> и последующим итоговым ответом; заявленная цель — повысить структурированность и сократить избыточные повторения при сохранении аналитичности. Поддерживаются текстовые запросы; в карточке указаны языки English, Chinese и Korean. Размер модели составляет около 4 миллиардов параметров. Размер контекстного окна и точные показатели качества не указаны. Сильными сторонами заявлены компактный размер, структурированное пошаговое рассуждение и возможность локального запуска и воспроизведения процесса дообучения. Ограничения включают отсутствие в карточке независимых бенчмарков, подробных характеристик производительности и информации о контекстном окне; заявленные преимущества не следует считать подтверждёнными сравнительным тестированием. Модель распространяется по лицензии Apache-2.0.

Sakana AI разработала RLT-32B — авторегрессионную языковую модель с 32 млрд параметров на архитектуре Qwen2. Она создана как ученическая модель по конвейеру Reinforcement-Learned Teachers: модель дистиллирована из 7B Reinforcement-Learned Teacher и обучена с учителем на его рассуждениях, с использованием гиперпараметров, системного промпта и тегов рассуждений из работы Li et al. 2025. Модель предназначена для генерации текста и диалогов с акцентом на рассуждения, включая задачи математики, науки и программирования. Она принимает текст и генерирует текст; контекст — до 32 768 токенов. В метаданных указаны английский и китайский языки, а также интерфейс для вызова инструментов. Карточка называет модель экспериментальным прототипом для исследований и разработок; качество не гарантируется, модель не предназначена для критически важных сценариев. Лицензия — Apache 2.0; авторы отдельно не рекомендуют коммерческое применение.

Synthia-S1-27b — диалоговая мультимодальная модель Tesslate AI, дообученная на базе Gemma 3 27B IT. Она предназначена для рассуждений, программирования, творческого письма и ролевых сценариев; принимает текст и изображения и формирует текстовые ответы. В карточке заявлен контекст до 128 тысяч токенов и максимальная длина ответа 8192 токена. Архитектура — плотный decoder-only Transformer с 27 млрд параметров; указаны bf16 и int8-квантизация, а в репозитории доступен формат safetensors. Модель обучали на веб-документах, примерах отладки и решения задач по программированию, а также на математических решениях. Автор приводит результаты ограниченных проверок GPQA Diamond и части MMLU Pro и отмечает, что оценки требуют более полного бенчмаркинга. Лицензия — Gemma. Модель может требовать подробных инструкций для узких задач и иногда галлюцинирует в малоизученных областях.

Ternary-Bonsai-27B-GGUF — набор GGUF-квантизаций модели Ternary-Bonsai-27B, подготовленный пользователем vcruz305 на основе официального F16-релиза prism-ml. В основе лежит backbone Qwen3.6-27B с гибридным вниманием, контекстом до 262 тысяч токенов и поддержкой vision. Модель предназначена для генерации текста и кода, диалоговых сценариев, программирования, рассуждений и отладки через llama.cpp. Репозиторий включает варианты Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 13,3 до 28,6 ГБ. Для большинства вариантов использована importance matrix, полученная на корпусе объёмом 63 КБ с примерами программирования, отладки и рассуждений; Q8_0 создан без неё. Доступны два файла mmproj для работы с изображениями. Производительность зависит от пропускной способности памяти и оборудования: на GB10 заявлены скорости примерно от 7,8 до 14 токенов в секунду. Сильная сторона модели — широкий диапазон квантизаций для систем с 12–32 ГБ памяти, а также сочетание генерации кода, рассуждений и визуального ввода. При объёме памяти до 8 ГБ автор рекомендует использовать официальные QAT-кванты prism-ml, поскольку они сохраняют более высокое качество. Совместное использование с DSpark drafter протестировано, но для этих квантизаций не рекомендуется: коэффициент принятия черновых токенов составил около 54%, поэтому прирост производительности может отсутствовать. Модель распространяется по лицензии Apache-2.0 и рассчитана на использование с llama.cpp.

Whittle-Next-27B-A3B-GGUF — это исследовательская GGUF-квантизация модели logic65/Whittle-Next-27B-A3B, разработанная David Aylward (logic65) совместно с Claude (Anthropic). Модель предназначена для запуска через llama.cpp и совместима с LM Studio, Jan, Ollama и llama-swap при наличии актуальной версии llama.cpp. Лицензия — Apache-2.0. Модель использует архитектуру Qwen4-Next в формате qwen4_exp и представляет собой смесь экспертов (MoE) с 27 млрд параметров всего и примерно 3 млрд активных параметров на токен. В ней применяются гиперсвязи остаточных потоков, хешированная n-gram-память объёмом 2 млрд строк, поуровневые эмбеддинги и дистилляция из Qwen3.8-27B. Поддерживаются текстовая генерация, диалоговые сценарии, рассуждения, математика и программирование; заявлены английский, китайский и многоязычный режимы. Доступны варианты квантизации от Q3_K_M до Q8_0 размером примерно от 13,3 до 29,3 ГБ. В README указано, что модель рассчитана на контекст до 16 384 токенов при рекомендованной настройке запуска. Сильными сторонами являются низкое число активных параметров, возможность запуска на стандартном llama.cpp без патчей, поддержка режима пошагового рассуждения и сравнительно высокая точность на математических задачах и проверке кода для исследовательского прототипа. Модель рекомендуется использовать с включённым thinking-режимом, сэмплированием и бюджетом не менее 4096 токенов для программирования. Это research preview, а не завершённая универсальная модель: ответы по коду могут быть длинными, производительность зависит от квантизации и размещения памяти, а при жадной генерации возможны зацикливания. Для полноценной оценки следует учитывать ограничения и измерения из базовой карточки модели.

DBRX Instruct — большая языковая модель компании Databricks для диалогов в несколько ходов, ответов на вопросы и задач с кодом. Это instruction-tuned версия DBRX, обученная с нуля на архитектуре Transformer decoder-only с тонкозернистой смесью экспертов (MoE): всего 132 млрд параметров, из которых для каждого входа активны 36 млрд. Модель использует RoPE, GLU и GQA; максимальная длина контекста — 32 768 токенов. Модель принимает и генерирует только текст. Она обучалась на данных на естественных языках и коде, но большая часть данных была на английском; Databricks не проверяла её proficiency на других языках и рекомендует считать модель англоязычной. DBRX Instruct предназначена для готового применения в коротких диалогах, общих вопросах на английском и задачах с кодом, а также для дальнейшей настройки под специализированные задачи. Модель выпущена по Databricks Open Model License; применяются также условия Databricks Open Model Acceptable Use Policy. Ответы модели могут быть неточными, неполными, предвзятыми или оскорбительными. Для сценариев, где важны точность и соответствие источникам, Databricks рекомендует использовать RAG и проверять модель в целевом контексте; встроенное выполнение кода и нативный вызов функций не поддерживаются.

DeepSeek-V4.1-Flash-4bit-paged — квантизированная 4-битная версия модели DeepSeek-V4.1-Flash, разработанная GreenBitAI на базе сборки pipenetwork для MLX и Apple Silicon. Это языковая модель для генерации текста, включая работу с кодом, агентские сценарии и диалоги; поддерживает потоковую загрузку экспертных весов с диска и опциональное speculative decoding с помощью встроенной DSpark multi-token prediction head. Модель использует архитектуру mixture-of-experts с маршрутизируемыми экспертами и expert paging: резидентные веса занимают 10,48 GiB, а полный набор данных модели — около 406,10 GiB, включая experts.bin, engram-таблицы и черновую голову. Точные размеры исходной архитектуры, поддерживаемые языки и максимальная длина контекста в README не указаны. Доступна через библиотеку gbx-lm; при наличии достаточного объёма памяти может работать на штатном пути, а при нехватке ресурсов подгружает необходимые веса с диска. К сильным сторонам относятся сохранение логитов исходной модели при проверках, возможность работы с большими наборами весов на совместимых системах и ускорение генерации до 2,3 раза при включённой draft head, особенно на предсказуемом коде и длинном контексте. Ограничения включают очень высокие требования к дисковому пространству и памяти, зависимость от MLX, Apple Silicon и gbx-lm, а также то, что ускорение speculative decoding зависит от сценария. Лицензия — MIT; в README также указано, что лицензия исходной модели DeepSeek сохраняется.

Карточка модели manaladan6/GLM-4.5-Air на Hugging Face совпадает с карточкой zai-org/GLM-4.5-Air, поэтому описание составлено по ней. GLM-4.5-Air — компактная гибридная модель серии GLM-4.5 от Zhipu AI, разработанная для интеллектуальных агентов. Она объединяет генерацию текста, рассуждение, программирование и работу с инструментами; поддерживает режим обдумывания для сложных запросов и вызовов инструментов, а также режим быстрого ответа. По карточке модели, у GLM-4.5-Air 106 млрд параметров, из которых активны 12 млрд. Метаданные Hugging Face указывают архитектуру GLM4 MoE, класс Glm4MoeForCausalLM, 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговых приложений, задач программирования и агентных сценариев с использованием инструментов. Она поддерживает английский и китайский языки и распространяется в формате Safetensors; библиотека Transformers указана как основная. Лицензия MIT разрешает коммерческое использование и дальнейшую разработку. Значения общего и активного числа параметров из README расходятся с числом параметров в метаданных, поэтому размер следует считать противоречивым.

Luck-Qwen3-4b-Code-FineTune — модель Ahmetggg на основе Qwen3-4B-Instruct-2507, дообученная методом QLoRA для агентного программирования, многошаговых рассуждений, работы с инструментами и более точной оценки границ собственных знаний. Это плотная языковая модель архитектуры Qwen3 с 3,7 млрд параметров; в репозитории представлены веса LoRA-адаптера и объединённые веса FP16. Модель принимает текстовые запросы и генерирует текст, включая код и структурированные вызовы инструментов. В метаданных заявлен контекст до 262 144 токенов. Модель предназначена для навигации по репозиториям, генерации и исправления кода, решения задач по математике и естественным наукам, а также многошагового взаимодействия с инструментами. Обучение использовало трассы агентного программирования, примеры рассуждений и траектории вызова инструментов; README отмечает улучшение форматирования, взаимодействия с инструментами и ответов «не знаю», не заявляя о повышении предельных возможностей базовой модели. Карточка указывает английский язык. Лицензия — Apache-2.0. Это недавняя QLoRA-настройка, поэтому заявленные улучшения следует оценивать на конкретных рабочих задачах; README не приводит сравнительных бенчмарков. Для использования адаптера нужна базовая модель unsloth/Qwen3-4B-Instruct-2507.

mistralai/Mistral-Nemo-Instruct-2407 дообучена автором репозитория nbeerbower на наборах jondurbin/truthy-dpo-v0.1 и kyujinpy/orca_math_dpo. Это плотная авторегрессионная модель семейства Mistral для генерации текста и диалога; метаданные указывают 12,1 млрд параметров, контекст до 1 024 000 токенов и формат Safetensors. Модель предназначена для ответов на инструкции, диалоговых сценариев и генерации текста, включая математические запросы и задачи на правдивость, представленные в данных дообучения. Базовая модель многоязычная и поддерживает вызов инструментов через соответствующий интерфейс. По README, дообучение выполнено в течение одной эпохи на A100 в Google Colab. Репозиторий приводит результаты Open LLM Leaderboard: среднее 24,72, IFEval 67,94 и BBH 29,54; эти оценки не гарантируют качество на конкретных пользовательских задачах. Лицензия — Apache-2.0.

NeoHorse-1-9B-GGUF — это набор GGUF-квантизованных файлов модели NeoHorse-1-9B, разработанной TokenRhythm и распространяемой в этой сборке сообществом ngquocvinh. Модель представляет собой причинную языковую модель примерно на 9 млрд параметров, созданную на основе Qwen3.5-9B и предназначенную для текстовых агентских систем, использования инструментов, программирования, рассуждений и выполнения инструкций. В сборке применена библиотека llama.cpp и поддерживается текстовая генерация. Модель рассчитана на локальный запуск с разными уровнями квантизации. Размер файлов варьируется примерно от 1,97 до 9,53 ГБ; Q4_K_M указан как сбалансированный вариант, а Q5_K_M, Q6_K и Q8_0 обеспечивают большую точность при наличии достаточного объёма памяти. Согласно данным исходной карточки, базовая модель поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов, однако эти характеристики относятся к upstream-модели и могут зависеть от используемой конфигурации запуска. Сильными сторонами являются поддержка агентских сценариев, tool use, программирования и рассуждений, а также возможность локального запуска на совместимом оборудовании. Ограничения включают отсутствие vision-весов и поддержку только текста, а также потенциальное снижение качества на низких уровнях квантизации. Приведённые результаты оценки качества относятся к совпадению следующего токена с BF16-версией, а не напрямую к качеству решения задач; показатели исходной модели не являются результатами тестирования этих GGUF-файлов. Лицензия — Apache-2.0.

OLMo-2-1124-13B-Instruct-RLVR1 — англоязычная чат-модель Allen Institute for AI (Ai2), выпущенная в ноябре 2024 года. Это плотная авторегрессионная модель семейства OLMo 2 на 13,2 млрд параметров, работающая с текстом и имеющая контекст до 4096 токенов. Модель доступна в формате safetensors и рассчитана на Transformers. Модель прошла постобучение: supervised fine-tuning на варианте набора Tülu 3, DPO и последующее RLVR-обучение. Она предназначена для диалогов и выполнения разнообразных текстовых инструкций; обучение охватывало, в частности, математические задачи MATH и GSM8K и следование инструкциям IFEval. Лицензия — Apache 2.0. В карточке указано, что безопасность модели обучалась ограниченно; без дополнительной фильтрации она может выдавать проблемные ответы, особенно по соответствующим запросам. README описывает эту версию как постобученную OLMo-2 13B, тогда как метаданные указывают базовой моделью OLMo-2-1124-7B-DPO, поэтому точная цепочка происхождения в источниках расходится.

OLMo-2-1124-13B-RM — англоязычная плотная языковая модель Allen Institute for AI на 13,2 млрд параметров, предназначенная для диалогов и разнообразных задач генерации текста. Это постобученная версия OLMo-2-13B: после контролируемого дообучения на варианте набора Tülu 3 модель прошла DPO-обучение на данных предпочтений. Карточка описывает задачи вроде математики, следования инструкциям и общения. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и работает через библиотеку Transformers. Модель ориентирована прежде всего на английский язык. Лицензия Apache 2.0 разрешает её использование на условиях этой лицензии. В карточке отмечено, что обучение безопасности ограничено и без дополнительной фильтрации ответы могут содержать проблемный контент.

Ornith-1.5-35B-A3B-REAP50-GGUF — квантизированная GGUF-версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai и подготовленной Ttimms. Модель предназначена для генерации текста, включая программирование и работу в локальных средах через llama.cpp и совместимые приложения. Она создана методом REAP с 50%-ным сокращением экспертных блоков: число экспертов в гибридной архитектуре Gated-DeltaNet и Mixture-of-Experts уменьшено с 256 до 128, удалена MTP-голова, а также визуальная башня; заявленный объём составляет около 19 млрд параметров, из которых примерно 3 млрд активны при обработке токена. Указан английский язык и текстовая модальность. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером от 11,4 до 19,7 ГБ. Рекомендуемый Q4_K_M рассчитан на видеопамять 16 ГБ с запасом под контекст; Q8_0 требует более 16 ГБ или выгрузки части вычислений на CPU. MoE-архитектура обеспечивает относительно быструю работу на CPU и Apple Silicon для модели такого размера. Для запуска требуется свежая версия llama.cpp с поддержкой архитектуры qwen35moe; поддержка Ollama на момент публикации ожидала обновления встроенной llama.cpp. Контекст модели в README не указан. До квантизации заявлены результаты HumanEval+ 84,2%, MBPP+ 89,2% и SWE-bench Verified 44,0%, однако эти показатели относятся к варианту NVFP4A16 и могут не отражать качество GGUF-версий. Ограничениями являются потеря части экспертов и удаление MTP- и визуальной компонентов, а также необходимость достаточно нового программного окружения. Модель распространяется по лицензии MIT, унаследованной от базовой модели; pruning выполнен методом REAP с исправлением перенормировки маршрутизатора.

Ornith-1.5-35B-A3B-TQ3_4S — компактная сборка модели Ornith-1.5-35B-A3B в формате GGUF с квантизацией TurboQuant TQ3_4S. В карточке указана архитектура Qwen3.5-MoE: всего 35,9 млрд параметров, из которых около 3 млрд активны на токен. Модель предназначена для диалоговой генерации текста, программирования и вызова инструментов; исходная модель также поддерживает обработку изображений при подключении vision-проектора. Для запуска требуется специализированная сборка turbo-tan/llama.cpp-tq3, поддерживающая тип тензоров TQ3_4S. В локальных измерениях автора модель занимала 17 ГиБ и показывала высокую скорость декодирования на RTX 3090; приведённые результаты бенчмарков являются собственными измерениями автора карточки. Контекст запуска до 262 144 токенов указан в параметрах тестирования, но не подтверждён как штатный предел модели. Лицензия — MIT.

duyntnet/Phi-3-mini-4k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной пользователем duytnet. Модель предназначена для генерации текста в диалоговом формате, следования инструкциям, многошагового общения, структурированного вывода, рассуждений и помощи в программировании. Заявлено улучшенное понимание Python, C++, Rust и TypeScript, а также поддержка системных инструкций через тег <|system|>. Это компактная текстовая авторегрессионная модель семейства Phi-3 Mini; конкретный размер файлов и параметры квантизаций в README не указаны. Модель работает с текстом, поддерживает английский язык и контекст до 4K токенов. Размер словаря токенизатора — до 32064 токенов. Для запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui и Ollama; исходная модель также интегрирована в Transformers. GGUF-квантизации удобны для локального запуска, однако README не содержит данных о точных требованиях к памяти, производительности или сравнительных результатах. Лицензия указана как other, без уточнения конкретных условий, поэтому права на использование следует проверять отдельно. К ограничениям относятся отсутствие заявленной мультимодальности, отсутствие подробных бенчмарков и неопределённость характеристик конкретной квантизации.

Pink Elephant 48B-S — разреженная языковая модель с архитектурой Mixture-of-Experts, разработанная Pink Elephant. В ней 47,7 млрд параметров, из которых на каждом токене активны около 14,66 млрд; используются 8 экспертов с маршрутизацией top-2. Модель создана на основе Pink Elephant 14B: плотную модель преобразовали в MoE, затем дообучили на примерах по программированию и математике и объединили обученные адаптеры с основными весами. Репозиторий содержит веса в формате safetensors; заявленная длина контекста — 16 384 токена. Модель предназначена для генерации текста, диалогов, написания и анализа кода, а также решения математических задач. В README приведены результаты HumanEval 70,12%, MATH-500 38,40%, GSM8K 68,5% и MMLU 60,0%; выборки GSM8K и MMLU для проверки были небольшими. Модель поддерживает английский язык. По данным карточки, лицензия — MIT. Для загрузки автор рекомендует Transformers и указывает trust_remote_code=True.

RootMonsteR/Qwen3-14B-Abliterated-GGUF — это квантизированная GGUF-версия модели RootMonsteR/Qwen3-14B-Abliterated, созданной на основе Qwen/Qwen3-14B. Модель разработана RootMonsteR с применением метода directional ablation из Heretic v1.3.0: заявленная цель — сохранить способности к рассуждению, программированию и tool-calling, одновременно существенно сократив количество автоматических отказов. По данным карточки, доля отказов снижена примерно с 99 до 10 из 100 тестов при KL-дивергенции 0,0333. Модель предназначена для локального текстового диалога, автономных агентов, вызова инструментов и функций, авторизованных исследований безопасности, защитных инструментов, CTF, обучения и изучения поведения моделей без отказов. Доступны варианты Q5_K_M размером около 10,5 ГБ и Q4_K_M размером около 9 ГБ; Q5_K_M рекомендуется для агентов и более надёжного формирования JSON, а Q4_K_M — при ограниченном объёме памяти. Поддерживаются llama.cpp, Ollama, LM Studio, Jan и KoboldCpp; заявлен контекст до 32 768 токенов. Указаны режимы рассуждения и без рассуждения, а также встроенный шаблон чата Qwen3. Сильными сторонами являются низкая стоимость локального запуска, сохранение исходных возможностей Qwen3-14B после квантизации, поддержка reasoning и tool-calling, а также сниженное количество рефлексивных отказов. Ограничения включают возможное ухудшение точности формата вызовов инструментов у Q4_K_M при агрессивных настройках генерации, более низкую скорость работы на CPU и необходимость использовать семплирование вместо жадного декодирования. Модель распространяется по лицензии Apache-2.0. Снижение отказов повышает требования к контролю применения: использование должно соответствовать законодательству, договорным обязательствам и согласованному объёму работ.

Модель Qwen3.8-27B-ED-5bpw-GGUF опубликована пользователем bakhtin и представляет собой квантованный вариант Qwen3.8-27B в формате GGUF. Автор указывает, что дополнительного дообучения и посттренировки не проводилось; для калибровки квантования использовалась матрица важности, собранная на русскоязычных технических текстах, программировании и формальной логике. Веса основаны на BF16-файле ggml-org/Qwen3.8-27B-GGUF. Модель поддерживает диалог и работу с изображениями: принимает текст и изображения, выдаёт текст. Квантование 5 BPW занимает около 15,92 ГиБ; автор ориентирует запуск на потребительскую видеокарту с 16 ГБ видеопамяти. По README, контекст свыше 90 тысяч токенов практически нецелесообразен из-за падения скорости. Указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-FP8 — модифицированная версия Qwen/Qwen3.8-27B, опубликованная OrcaRouter. Модель прошла abliteration: из неё удалено направление, связанное с отказами в ответах, после чего веса были офлайн квантизированы в block-FP8. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated DeltaNet и полнослойного внимания, встроенной vision-language башней и MTP-головой для спекулятивного декодирования. Модель предназначена для исследовательских задач, включая интерпретируемость, анализ механизмов отказа, AI safety, red teaming, оценку устойчивости и контролируемые эксперименты. Она поддерживает работу с текстом и изображениями, языки English и Chinese, рассуждение, function calling и контекст до 262 144 токенов. Архитектура включает 64 слоя: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного внимания. Основные линейные веса используют block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, тогда как vision tower, нормы, router, embeddings и lm_head сохранены в BF16. Сильная сторона модели — сохранение возможностей базовой Qwen3.8-27B, включая мультимодальность, инструменты, reasoning, большой контекст и MTP, при совместимости со схемой обслуживания официальной FP8-версии. Главное ограничение — существенное удаление защитного выравнивания: модель может выполнять вредоносные, неэтичные и незаконные запросы и не имеет значимых встроенных защитных механизмов. Поэтому её не следует использовать напрямую в пользовательских или производственных системах без собственных фильтров, модерации и контроля злоупотреблений. Модель распространяется по лицензии Apache 2.0; использование также должно соответствовать применимым законам и условиям лицензии базовой модели.

starchat2-15b-sft-v0.1 — дообученная HuggingFaceH4 на базе bigcode/starcoder2-15b разговорная языковая модель с архитектурой StarCoder2, предназначенная для генерации текста в диалоге. Модель содержит 21,7 млрд параметров и поддерживает контекст до 16 384 токенов. Дообучение проводилось на наборах airoboros-3.2, Code-Feedback, orca-math-word-problems-200k, SystemChat и capybara. Модель можно использовать для диалоговых ответов, помощи с кодом и решения математических задач в формате текстовой генерации. Она распространяется по лицензии BigCode OpenRAIL-M.

YamshadowStrangemerges_32_YamshadowT3q — объединённая языковая модель на архитектуре Mistral, созданная путём слияния automerger/YamshadowStrangemerges_32-7B и automerger/YamshadowT3q-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста; максимальный контекст составляет 32 768 токенов. Она предназначена для генерации текста и ответов на математические запросы. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией Apache-2.0.

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это квантизированная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанной командой DeepSeek-AI. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b4514; модель распространяется в рамках сообщества LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста и прежде всего ориентирована на задачи рассуждения и пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek R1 и настроена на работу с chain-of-thought. Указана поддержка контекстного окна до 128k токенов. Другие характеристики, включая точный размер в параметрах исходной GGUF-сборки, поддерживаемые языки и мультимодальные возможности, в README не приведены; по указанным данным модель относится к текстовым, а не мультимодальным системам. К сильным сторонам относятся компактный размер базовой модели, ориентация на рассуждения и большой заявленный контекст. Ограничения включают возможные неточные, вредоносные или неподходящие ответы, а также отсутствие гарантий качества, безопасности и стабильности использования. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнять в материалах исходной модели DeepSeek-R1-Distill-Qwen-1.5B и конкретной GGUF-сборки.

DeepSeek-V4.1-Flash-UNCENSORED-DwarfStar-Q2 — независимая общественная конверсия модели DeepSeek-V4.1-Flash, разработанной DeepSeek AI, и производного abliterated-чекпойнта dealignAI. Конверсию, упаковку и локальное тестирование выполнил pyrodog; обучение, дообучение, слияние моделей и дополнительная abliteration не проводились. Модель предназначена для генерации текста и программного кода, а также для сценариев с вызовом инструментов, что было проверено через OpenCode. Это текстовая модель с вводом и выводом в виде текста, представленная в специальном формате Q2 GGUF для inference engine DwarfStar. Файл занимает около 340,6 GiB; используются различные схемы квантования, включая IQ2_XXS, Q2_K, Q8_0, F16 и F32. Визионные веса и веса для speculative decoding DSpark удалены, поэтому данная сборка не поддерживает соответствующие возможности исходного чекпойнта. Языки, точный размер архитектуры и полный перечень параметров в карточке не указаны. В примерах запуска задан контекст до 262 144 токенов. Главные особенности — существенно меньший размер по сравнению с исходным чекпойнтом, возможность работы на Apple Silicon с SSD-streaming и поддержка инструментов через DwarfStar. Ограничения включают нестандартную раскладку тензоров: файл не предназначен для llama.cpp, Ollama, LM Studio и других обычных GGUF-рантаймов. Для работы требуются DwarfStar с поддержкой DeepSeek V4.1, быстрый локальный SSD и значительный объём дискового пространства; на тестовой системе Apple M5 Max с 128 GB unified memory основные веса превышали доступную оперативную память и загружались потоково. Качество не гарантируется эквивалентным опубликованной activation-calibrated Q2-сборке. Распространение указано под лицензией MIT.