II.2Создание и понимание программного кода

MiniMax-M2.7-AWQ-G32-STRIX-2H — это смешанно-точная AWQ-квантизация модели amd/MiniMax-M2.7-BF16, опубликованная пользователем ayysasha. Артефакт предназначен для распределённого инференса на двух системах AMD Strix Halo (gfx1151) с использованием vLLM, Ray и tensor parallelism размера 2; для запуска в README также указана поддержка ROCm. Модель использует архитектуру Mixture-of-Experts и сочетает BF16 и INT4 W4A16 с группой 32. В BF16 сохранены attention-проекции, маршрутизатор MoE, embeddings, нормализации и эксперты последних четырёх основных слоёв; большая часть остальных весов экспертов квантизована в INT4. Размер модели в памяти оценивается примерно в 145 GiB, используются 32 safetensors-фрагмента. Протестированный максимальный контекст составляет 196 608 токенов, а потенциальный предел при соответствующем объёме памяти оценивается примерно в 230–280 тысяч токенов для одной активной последовательности. Основные сильные стороны — экономия памяти по сравнению с BF16-версией при сохранении attention и критически важных компонентов в более высокой точности, а также ориентация на длинный контекст и задачи рассуждения. Ограничения связаны с узкой целевой конфигурацией: модель не предназначена для запуска на одной системе Strix Halo, требует совместимых версий vLLM, ROCm и окружения для распределённого запуска, а поведение MoE-бэкенда может зависеть от конкретных сборок. Языки и точные прикладные показатели в README не указаны. Лицензия обозначена как other, без дополнительных условий.

NeuDist-Ro-7B — экспериментальная диалоговая языковая модель, созданная Flemming Miguel слиянием двух моделей на основе Mistral: argilla/distilabeled-Marcoro14-7B-slerp и mlabonne/NeuralMarcoro14-7B. Слияние выполнено методом SLERP с LazyMergekit; модель содержит 7,1 млрд параметров и использует архитектуру Mistral для авторегрессионной генерации текста. Поддерживает контекст до 32 768 токенов и предназначена для дальнейших экспериментов с дообучением и сравнением вариантов слияния. Модель может вести диалог и генерировать текстовые ответы. В карточке указаны данные DPO-обучения ChatML и Intel Orca. README описывает её как экспериментальный вариант для поиска удачной базовой модели, поэтому качество и пригодность для конкретных задач требуют проверки. Распространяется по лицензии Apache-2.0.

nm-testing/Phi-3-mini-128k-instruct-FP8 — это компактная текстовая causal language model семейства Phi-3, основанная на Phi-3-mini-128k-instruct от Microsoft. Репозиторий nm-testing содержит FP8-квантизованный вариант, предназначенный прежде всего для тестирования и инференса в экосистемах llm-compressor, compressed-tensors и vLLM; отдельная карточка модели не предоставлена. Модель имеет около 4 млрд параметров, принимает и генерирует текст, поддерживает контекст до 128K токенов и ориентирована на assistant-like chat, генерацию текста и диалоговые сценарии. Вариант использует FP8 для квантизации весов и активаций, что уменьшает требования к памяти и дисковому пространству по сравнению с исходной моделью, но может немного снижать качество. Архитектура соответствует Phi-3; в конфигурации указаны 32 слоя, hidden size 3072 и 32 attention heads. Основной язык применения — английский; использование на других языках заявлено как неподдерживаемое или выходящее за целевую область. Сильные стороны — малый размер, длинный контекст и возможность эффективного запуска на совместимом GPU с FP8. Ограничения включают отсутствие подробной собственной model card, зависимость от совместимого программного и аппаратного стека, а также ограничения базовой модели по языку и назначению. Для исходной модели указана лицензия MIT; в найденных материалах для этого квантизованного варианта отдельные условия лицензии не приведены.

Phi-4-Uncensored-i1-GGUF — набор квантованных версий текстовой генеративной модели ccharnkij/Phi-4-Uncensored в формате GGUF. Квантизацию выполнил mradermacher; в метаданных также указаны библиотека Transformers, базовая модель и теги Phi-4, uncensored, text-generation и LoRA. Модель предназначена для генерации текста и запуска в совместимых локальных инструментах, поддерживающих GGUF. Заявленный язык — английский. Набор включает варианты квантования от i1-IQ1_S до i1-Q6_K с размером файлов примерно от 4,0 до 12,1 ГБ, а также файл imatrix для самостоятельного создания квантованных версий. Выбор варианта позволяет балансировать между требованиями к памяти, скоростью и качеством: малые кванты экономичнее, но могут заметно снижать качество, тогда как Q4_K_S, Q4_K_M и более точные варианты предлагают более благоприятный компромисс. Архитектура, число параметров, поддерживаемая длина контекста и мультимодальные возможности в README не указаны, поэтому модель следует рассматривать как текстовую и не приписывать ей неподтверждённые функции. Лицензия — MIT.

unsloth/Qwen2.5-0.5B — базовая предобученная языковая модель семейства Qwen2.5, представленная Unsloth как вариант для дальнейшего дообучения. Это плотная авторегрессионная трансформерная модель на 494 млн параметров, реализованная классом Qwen2ForCausalLM и распространяемая в формате safetensors. В архитектуре используются RoPE, SwiGLU, RMSNorm, смещение в QKV-внимании и связанные эмбеддинги; модель содержит 24 слоя и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации и продолжения текста, а также для последующего обучения под конкретные инструкции или сценарии. Она поддерживает несколько языков, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Карточка отмечает улучшения семейства Qwen2.5 в программировании, математике, следовании инструкциям, работе со структурированными данными и генерации JSON, но эти характеристики не следует считать гарантированными для базового чекпойнта такого небольшого размера. Разработчик рекомендует не использовать базовую версию непосредственно для диалогов, а сначала адаптировать её, например с помощью SFT или RLHF. Модель распространяется по лицензии Apache-2.0; для работы рекомендуется актуальная версия библиотеки Transformers.

Qwen2.5-Math-1.5B-Instruct-GGUF — это квантизированная в формате GGUF версия языковой модели Qwen2.5-Math-1.5B-Instruct, разработанной Qwen и подготовленной квантизацией компанией Second State Inc. Модель предназначена для генерации текста, диалоговых сценариев и решения математических задач; в метаданных также указаны сценарии, связанные с кодом. Заявлен английский язык, однако дополнительные языковые возможности в README не описаны. Модель содержит 1,5 млрд параметров и относится к текстовым моделям, поэтому сведения о поддержке изображений, аудио или других модальностей отсутствуют. Размер контекста в README не подтверждён: значение 128000 приведено только в закомментированном разделе, а поддержка запуска через LlamaEdge обозначена как ожидаемая. Доступны варианты с квантизацией от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 676 МБ до 3,09 ГБ. Вариант Q4_K_M отмечен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень малой потерей качества. Главное преимущество модели — небольшой размер и возможность локального запуска в различных степенях квантизации, что снижает требования к памяти. При этом низкобитные варианты могут заметно терять в качестве, особенно Q2_K и Q3, а конкретные показатели производительности и точности в README не приведены. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-0.6B-8bit — языковая модель для генерации текста, созданная сообществом mlx-community на основе Qwen/Qwen3-0.6B от разработчиков Qwen. Модель конвертирована в формат MLX с использованием mlx-lm версии 0.24.0 и предназначена для запуска в экосистеме MLX. Модель поддерживает сценарии генерации текста и может использоваться через библиотеку mlx-lm с текстовыми промптами или сообщениями в формате чата, если токенизатор содержит соответствующий chat template. Объём модели составляет 0,6 млрд параметров согласно её идентификатору; используется 8-битное представление. Другие характеристики, включая архитектуру, языки, размер контекста и поддерживаемые модальности, в README не указаны. К преимуществам относятся компактный размер и формат MLX, подходящий для локального запуска в совместимой среде. Ограничения связаны с небольшим числом параметров и отсутствием подробных данных о качестве, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache 2.0.

Qwen3-0.6B-GGUF — это квантизированная версия языковой модели Qwen3-0.6B, опубликованная организацией ggml-org. Исходная модель разработана командой Qwen и доступна в репозитории Qwen/Qwen3-0.6B. Формат GGUF предназначен для запуска средствами экосистемы llama.cpp и совместимых приложений. Модель относится к задачам генерации текста и может использоваться для локального запуска языковой модели в приложениях, поддерживающих GGUF, включая llama.app. Объём модели составляет 0,6 млрд параметров. В README не указаны архитектурные детали, поддерживаемые языки, размер контекста, конкретный вариант квантизации и требования к ресурсам, поэтому эти характеристики нельзя определить по предоставленным данным. К сильным сторонам относятся компактный размер, возможность локального использования и лицензия Apache-2.0, допускающая широкое применение при соблюдении её условий. Ограничения связаны с небольшим числом параметров и отсутствием подробных сведений о качестве, бенчмарках и вариантах квантизации; фактическая скорость и требования к памяти зависят от конкретной сборки и среды запуска. Модель автоматически сконвертирована средствами проекта ggml-org/convert.

amkkk/Qwen3.5-0.8B-GGUF-uncensored-opus-distill — это GGUF-сборка модели Qwen3.5-0.8B, основанная на базовой модели Qwen/Qwen3.5-0.8B. Сборка дополнительно дообучалась на отфильтрованном датасете nohurry/Opus-4.6-Reasoning-3000x-filtered, после чего к ней применили abliteration для уменьшения выраженности отказов на вредоносные запросы. Модель предназначена для локального запуска и генерации ответов; в метаданных указана задача image-text-to-text, однако подробности поддержки изображений в README не приведены. Доступны варианты в формате GGUF, включая F16 и квантизованный Q4_K_M, что уменьшает требования к памяти и делает модель более подходящей для запуска через llama.cpp. Размер базовой модели — 0,8 млрд параметров; контекстное окно, перечень поддерживаемых языков и точные требования к оборудованию не указаны. В эталонной оценке исходной HF-версии вариант postopus-re-re-ablated отказал в 2 из 64 вредоносных запросов и в 2 из 64 безвредных, но эти результаты относятся к исходному runtime-релизу, а не обязательно к данному GGUF-файлу. Лицензия — Apache-2.0.

llmfan46/Qwen3.5-9B-ultra-uncensored-heretic-GGUF — GGUF-квантизации модели llmfan46/Qwen3.5-9B-ultra-uncensored-heretic, созданной независимым разработчиком LLMfan46 на основе Qwen/Qwen3.5-9B. Это декензурированная версия исходной модели, обработанная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), с изменением компонентов attention в слоях 15–31. По названию модель относится к классу примерно 9B-параметрических моделей, однако точные варианты квантования в представленном README не перечислены. Модель предназначена для генерации текста и диалоговых сценариев, в которых требуется меньше отказов, ограничений и уклончивых ответов. В заявленном тесте доля отказов снизилась с 86/100 у исходной модели до 4/100, а KL-дивергенция составила 0,0241, что указывает на близость поведения к оригиналу. В тестах PIQA результаты практически сохранились: acc 0,7960 против 0,7943 и acc_norm 0,8009 против 0,8014 у исходной версии. Сильной стороной является сочетание сниженного числа отказов с сохранением базовых возможностей модели. Ограничения связаны с тем, что удаление защитных механизмов может повысить риск небезопасных, нежелательных или неточных ответов; приведённые показатели основаны на ограниченном наборе тестов и не гарантируют сохранение качества во всех задачах. Языки, размер контекста и точный набор поддерживаемых модальностей в README не указаны, хотя метаданные классифицируют модель как image-text-to-text. Распространение заявлено по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Aggressive-W4A16-AWQ — это 4-битная AWQ-квантизация модели Qwen3.8-27B-Uncensored-Aggressive, разработанная philbert440. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая работу с изображениями и текстом. В README также указано сохранение vision tower и интегрированной MTP head. Модель имеет размер 27B параметров и использует формат compressed-tensors, схему W4A16 с размером группы 128, асимметричным квантованием и MSE observer. Калибровка выполнялась на 256 образцах Magpie-CoT длиной до 1024 токенов. Версия основана на рецепте α=1.15, который, по заявленным оценкам, обеспечивает более высокую открытость при сохранении показателей factual и GSM8K на уровне исходной модели. При этом README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель позиционируется как uncensored и de-refused, то есть с ослабленными ограничениями на отказы, что может быть полезно для исследовательских и специализированных сценариев, но требует ответственного применения. К ограничениям относятся возможное снижение точности из-за 4-битного квантования и повышенные риски небезопасной генерации. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-2B-Uncensored-GGUF — квантованная GGUF-версия модели empero-ai/Qwen3.8-2B, созданная на базе Qwen/Qwen3.5-2B от команды Alibaba Qwen. Дистилляцию выполнил empero-ai, удаление отказов методом abliteration с использованием Heretic v1.4.0 — insraq, а конвертацию в GGUF — llama.cpp. Модель содержит около 2 млрд параметров и использует гибридную архитектуру Qwen3.5 с Gated DeltaNet и полным attention. Модель предназначена для генерации текста и локального запуска на смартфонах, одноплатных компьютерах и обычных CPU через llama.cpp или совместимые приложения, включая PocketPal AI. Доступна текстовая версия без vision projector; поддержка изображений отсутствует. Контекстное окно и набор поддерживаемых языков в карточке не указаны. Используется встроенный chat template, а ответы модели открываются блоком рассуждений. Для работы требуется сборка llama.cpp с поддержкой архитектуры qwen35; размер файла Q4_K_M составляет около 1,27 ГБ, заявленная скорость на Apple Silicon CPU — 31,7 токена в секунду. К сильным сторонам относятся небольшой размер, возможность CPU-only запуска и удобство локального использования. Модель является uncensored: направление отказов было удалено, поэтому она может не отказывать в потенциально вредных или незаконных запросах. Также отсутствует MTP head, что исключает соответствующую возможность спекулятивной генерации. В карточке указано, что модель предназначена для исследовательского и личного использования. Лицензия Apache-2.0 унаследована от базовой Qwen3.5-2B.

Baekpica/Qwen3.8-Flash-Next-GGUF — это GGUF-конверсия мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия создана Baekpica и привязана к конкретной ревизии исходной модели. Модель предназначена для задач обработки текста и изображений, а также для локального запуска и экспериментов с инференсом на специализированном оборудовании, включая DGX Spark с чипом GB10. Архитектура включает 48 текстовых слоёв, 36 gated-delta-слоёв, 12 слоёв полноразмерного внимания, 512 маршрутизируемых экспертов с выбором 10 экспертов, общие эксперты, четыре потока hyper-connection, vision tower, слой MTP и таблицу PLE n-грамм размером 51,2 млрд параметров. Доступны варианты BF16 без численной потери при конвертации и Q8_0 со смешанным представлением тензоров; BF16 занимает около 360 ГБ в 12 шардах, а Q8_0 — около 192 ГБ в 7 шардах. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Сильными сторонами являются сохранение мультимодальной и speculative-decoding топологии исходной модели, тщательная проверка целостности тензоров и наличие аудированных контрольных сумм. Основное ограничение — специальная архитектура GGUF qwen4exp и зависимость от ветки dfm проекта ds4: поддержка runtime ещё реализуется и проверяется, поэтому совместимость с upstream llama.cpp и другими GGUF-средами гарантировать нельзя. На текущем этапе файлы следует рассматривать прежде всего как конверсионные артефакты, а не как готовый универсальный релиз. Использование весов регулируется Qwen Community License 1.0. Лицензия Apache-2.0 для этой модели не заявлена.

Это GGUF-квантизированная версия языковой модели Qwen3-0.6B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Указанный репозиторий содержит варианты весов с разными уровнями квантования — от BF16 до низкобитных форматов, позволяющих выбирать между качеством и потреблением памяти. Модель имеет размер 0,6 млрд параметров и работает в текстовой модальности. README не содержит сведений о поддерживаемых языках, размере контекстного окна, архитектурных деталях исходной модели или специализированных сценариях обучения. Для диалогового взаимодействия используется шаблон с ролями system, user и assistant на основе специальных токенов Qwen. Сильной стороной являются небольшой размер, возможность локального запуска и широкий выбор квантованных вариантов: от высококачественных Q6 и Q5 до более компактных Q3 и Q2 для систем с ограниченной оперативной памятью. Более сильное квантование уменьшает размер файлов, но может снижать качество. Лицензия в README не указана, поэтому условия использования необходимо уточнять в карточке исходной модели Qwen/Qwen3-0.6B.

Qwopus3.8-27B-Flash-ROCMFP4-GGUF — экспериментальная квантованная версия мультимодальной модели Jackrong/Qwopus3.8-27B-Flash, подготовленная 1337Hero. Модель предназначена для генерации текста и работы с изображениями, включая сценарии визуально обусловленной генерации. Она использует архитектуру qwen35, имеет 27,3 млрд параметров, 64 основных слоя, гибридное линейное и полноформатное внимание, контекст до 262 тысяч токенов и встроенный MTP-слой для спекулятивного декодирования. Визионный энкодер выполнен в стиле Qwen3.5. Репозиторий содержит два варианта 4-битной квантовки ROCmFP4: STRAIGHT с размером 16,52 GiB, ориентированный на качество, и STRIX_LEAN размером 13,83 GiB, ориентированный на экономию памяти и скорость. Варианты показывают небольшое ухудшение perplexity относительно BF16-источника; для STRAIGHT измерено 6,2039, для STRIX_LEAN — 6,3187 на Wikitext-2. STRIX_LEAN быстрее и помещается на видеокарту с 24 ГБ памяти с запасом. Для MTP на Strix Halo наилучшие измеренные параметры дали прирост скорости декодирования до 29% по сравнению с обычной генерацией. Главное ограничение — нестандартный формат ROCmFP4: файлы не предназначены для upstream llama.cpp, Ollama, LM Studio или vLLM и требуют сборки ROCmFPX. Поддержка проверена на AMD RDNA4 gfx1201 и протестирована на gfx1151. Визионный проектор поставляется отдельно в формате F32 и также требует подключения через параметр mmproj; качество и скорость работы с изображениями отдельно не оценивались. Полноценные тесты HumanEval, MBPP и агентных сценариев не проводились, поэтому качество модели в этих задачах не подтверждено. Указана лицензия Apache-2.0.

aufklarer/Silero-VAD-v5-MLX — конвертированные веса Silero VAD v5 для запуска с библиотекой MLX на устройствах Apple Silicon. Модель предназначена для обнаружения речевой активности в аудиопотоке: принимает последовательные фрагменты по 512 отсчётов (32 мс при частоте 16 кГц) и выдаёт вероятность наличия речи от 0 до 1 для каждого фрагмента. Состояние LSTM сохраняется между фрагментами для потоковой обработки. Архитектура включает STFT, свёрточный энкодер из четырёх слоёв Conv1d с ReLU, LSTM со скрытым размером 128 и свёрточный декодер с сигмоидой; размер — около 309 тысяч параметров. Заявлена задержка менее миллисекунды. Репозиторий содержит веса safetensors, преобразованные из официальной JIT-модели Silero VAD v5; базовая модель — snakers4/silero-vad. Лицензия — MIT.

ThakiCloud/SKILLRET-Embedding-8B — текстовая модель эмбеддингов на архитектуре Qwen3, разработанная ThakiCloud и дообученная на обучающей части бенчмарка SkillRet контрастивным обучением. Она предназначена для поиска подходящих навыков AI-агентов по запросу пользователя на естественном языке в большой библиотеке навыков. Модель содержит 7,6 млрд параметров, использует Sentence Transformers и принимает текст, возвращая эмбеддинги для семантического сопоставления запросов с описаниями навыков. Длина контекста составляет 40 960 токенов. В тесте SkillRet на 4 392 запросах и 6 006 навыках указаны NDCG@10 0,8644 и Recall@10 0,9325. Модель оптимизирована для англоязычных запросов и навыков AI-агентов; качество на данных за пределами распределения SkillRet может отличаться. Она находит навыки, но не исполняет их. Лицензия — Apache-2.0.

SmolLM-135M-Instruct-4bit — компактная инструкционная языковая модель, разработанная HuggingFaceTB и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для запуска и генерации текста с использованием библиотеки mlx-lm, в том числе на совместимом оборудовании Apple. Исходная модель доступна в экосистеме Hugging Face. Модель содержит 135 миллионов параметров и использует 4-битное квантование, что уменьшает требования к памяти и делает её подходящей для локального запуска и ресурсоограниченных сценариев. В README указана поддержка английского языка. Архитектура, максимальная длина контекста и поддерживаемые модальности не уточняются; по назначению это текстовая instruction-following модель. К сильным сторонам относятся небольшой размер, экономичность и готовность к использованию в MLX через mlx-lm. Ограничениями являются существенно меньшая ёмкость по сравнению с крупными языковыми моделями, возможное снижение качества из-за 4-битного квантования и отсутствие данных о точности, производительности и контекстном окне. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/SmolLM-1.7B-Instruct-v0.2-GGUF — это квантизированная версия языковой модели SmolLM-1.7B-Instruct-v0.2, разработанной HuggingFaceTB и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых и других локальных сценариях инференса. Модель содержит 1,7 млрд параметров и поддерживает варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и GPT4All. Другие характеристики, включая архитектуру, поддерживаемые языки и размер контекста, в README не указаны. К сильным сторонам относятся компактный размер, возможность запуска локально и широкий выбор уровней квантизации. Ограничения включают потенциальную потерю качества при использовании более агрессивной квантизации, а также отсутствие в предоставленных данных сведений о лицензии, языковых возможностях, результатах оценки и конкретных сценариях применения. Условия лицензирования в README не указаны.

HuggingFaceTB/SmolLM2-1.7B-Instruct-GGUF — это квантованная версия SmolLM2-1.7B-Instruct, преобразованная в формат GGUF с помощью llama.cpp через GGUF-my-repo. Исходная модель разработана HuggingFaceTB, а данный вариант опубликован ngxson. Модель предназначена для генерации текста и использования в экосистеме llama.cpp, включая локальный запуск через командную строку или сервер. Модель содержит около 1,7 млрд параметров и использует квантование Q4_K_M, что ориентировано на более экономичное использование памяти по сравнению с полноразмерными весами. В README указана поддержка английского языка и текстовая модальность. Пример запуска сервера использует контекст длиной 2048 токенов, однако точный максимальный размер контекста в карточке не заявлен. Сильные стороны модели — компактный размер, возможность локального инференса и совместимость с llama.cpp. Ограничения включают англоязычную специализацию, возможное снижение точности из-за квантования и отсутствие подробных сведений о качестве, бенчмарках, архитектуре и рекомендуемых сценариях применения. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-1.7B-GGUF — набор общественных GGUF-квантизаций базовой текстовой модели XHToken/Spark-X2.5-1.7B. Релиз подготовлен пользователем ngquocvinh; обучение или дообучение в этом репозитории не выполнялись. Модель предназначена для локального запуска и генерации текста через llama.cpp. Доступны девять вариантов квантизации размером от 0,40 до 1,70 GiB: Q1_0, IQ1_M, IQ2_XS, Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Для NVIDIA A10M заявлена скорость генерации примерно от 175,54 до 336,65 токена в секунду при однопоточном тестировании. Q4_K_M рекомендован как вариант по умолчанию, а Q5_K_M — для повседневного использования; более компактные Q1/Q2 и IQ-варианты рассчитаны на системы с ограниченной памятью. Сильной стороной набора является выбор между качеством, размером и скоростью, а также проверка всех файлов на загрузку и генерацию. При агрессивной квантизации возможно ухудшение следования инструкциям, рассуждений и надёжности вызова инструментов, поэтому вариант следует выбирать и тестировать под конкретную задачу. Языки, контекстное окно, точная архитектура и мультимодальные возможности в README не указаны. Производные файлы распространяются по Apache License 2.0 с требованием сохранять атрибуцию и лицензию исходной модели; релиз не является официальным выпуском или одобрением XHToken/SparkLLM.

Spark-X2.5-4B-uncensored-GGUF — набор квантованных сборок модели Spark-X2.5-4B-uncensored, разработанный InfinimindCreations и распространяемый в формате GGUF. Модель предназначена для генерации текста и запуска локальных чат- и inference-сценариев через llama.cpp или Ollama с поддержкой Spark-X2.5. Указан английский язык, а библиотека и тег pipeline соответствуют GGUF и text-generation. Доступны варианты Q4_K_M размером 2,60 ГБ, Q6_K размером 3,38 ГБ, Q8_0 размером 4,38 ГБ и BF16 размером 8,23 ГБ; Q4_K_M рекомендован как вариант по умолчанию, а Q8_0 описан как почти без потерь. По данным карточки, модель была проверена на генерации текста и демонстрирует отсутствие отказов на 400 вредоносных запросах при заявленном отсутствии измеримой потери возможностей; при этом удаление отказов может повысить риски небезопасного применения. Для запуска требуются форк XHToken/llama.cpp и совместимые исправления: стандартные llama.cpp и Ollama не загружают эти файлы. Модель по умолчанию записывает ответ в reasoning-блок, поэтому для получения видимого содержимого необходимо отключать режим размышлений параметром enable_thinking: false или --think=false. Лицензия — Apache-2.0; авторы также указывают исследовательское назначение и ответственность пользователя за соблюдение законодательства.

TheDrummer_Tiger-Gemma-12B-v3-GGUF — это набор GGUF-квантизаций модели Tiger-Gemma-12B-v3, разработанной TheDrummer. Файлы квантизированы пользователем bartowski с помощью llama.cpp версии b5849 и imatrix с использованием специализированного набора данных. Модель предназначена для локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В основе лежит модель размером 12 млрд параметров; доступны варианты от BF16 до низкобитных форматов Q2, Q3, Q4, Q5, Q6, Q8 и IQ. Размер файлов составляет примерно от 6,08 до 25,55 ГБ. Более высокие разрядности обычно обеспечивают лучшее сохранение качества, тогда как низкобитные варианты требуют меньше оперативной памяти. В README модель отмечена тегом image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и контекстном окне не приведены. Основное преимущество набора — широкий выбор квантизаций для подбора баланса между качеством, скоростью и требованиями к памяти; варианты Q4_K_M, Q5, Q6 и Q8 описаны как качественные или рекомендуемые, а некоторые форматы оптимизированы для CPU и Apple Silicon. Ограничения включают отсутствие указанного chat template, из-за чего рекомендуемый формат промпта может быть неточным, а также отсутствие в карточке сведений о лицензии, языках, контекстном окне и результатах тестирования. Условия лицензирования в README не указаны.

v6-Finch-14B-HF-GGUF — набор GGUF-квантизаций базовой модели RWKV/v6-Finch-14B-HF, подготовленный пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. README не содержит сведений о специализированных сценариях применения, языках или формате промптов; для последнего рекомендуется обратиться к странице исходной модели. Модель имеет размер 14 млрд параметров. Доступны варианты от полноточного F16 размером 28,60 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2 размером примерно от 5,47 до 15,62 ГБ, включая варианты, оптимизированные для ARM. Квантизации созданы с использованием imatrix на базе llama.cpp; также заявлено исправление токенов BOS/EOS. Более качественные варианты требуют больше оперативной памяти, а низкобитные экономят ресурсы ценой снижения качества. Лицензия модели — Apache-2.0. Контекстное окно, точная архитектура, поддерживаемые языки, показатели качества и ограничения исходной модели в представленном README не указаны.

Granite-3.3-2B-Instruct — языковая модель IBM Granite Team с 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.3-2b-base для следования инструкциям и решения задач, требующих рассуждений. Это плотная авторегрессионная модель для генерации текста с контекстом до 131 072 токенов; поддерживает чат и интерфейс вызова инструментов. Модель предназначена для ассистентов и бизнес-приложений. Она подходит для ответов на вопросы, суммаризации длинных документов и встреч, классификации и извлечения текста, RAG, задач по математике и программированию, а также многоязычного диалога. README указывает поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. По данным разработчика, модель улучшена в рассуждениях, выполнении инструкций, математике и программировании; для структурирования ответа доступны специальные маркеры рассуждений и итогового ответа. Это генеративная языковая модель, поэтому результаты могут содержать ошибки; ограничения базовой Granite-3.3-2B-Base также применимы. Лицензия — Apache 2.0.

CiscoKpanse/sp-DNM-4-26B-A4B-it_v0.1 — инструкция-настроенная мультимодальная модель семейства Gemma 4, созданного Google DeepMind. Вариант 26B A4B использует архитектуру Mixture-of-Experts: обрабатывает текст и изображения и генерирует текст; поддерживает диалог и визуальные задачи, включая ответы по изображениям, OCR, разбор документов, диаграмм и экранных интерфейсов. По карточке семейства Gemma 4 также предназначена для рассуждений, программирования, суммаризации и сценариев с вызовом инструментов. Для вариантов 26B A4B заявлено контекстное окно до 256 тысяч токенов и поддержка множества языков. Семейство использует гибридное внимание с локальными и глобальными слоями. Данная копия опубликована в формате safetensors и доступна по лицензии Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому не все заявленные возможности обязательно относятся к этому варианту: обработка аудио указана только для E2B и E4B, а видео — как возможность семейства. Ответы модели могут содержать ошибки; результаты распознавания и извлечения данных из изображений следует проверять.

Карточка модели Aizen366/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели Iambackup/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели mdamir97/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели RedHatAI/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.