II.3Рефакторинг, миграция и модернизация

Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, опубликованная пользователем minte1431. В README также упоминается проект OBLITERATUS, однако точный разработчик модификации явно не указан. Модель представляет собой вариант Qwen с изменённым поведением отказов, созданный методом abliteration: из весового пространства удалялись направления, связанные с отказами и защитными ответами, с последующей итеративной доработкой и смешиванием нескольких вариантов. Модель предназначена для генерации текста, программного кода, агентских сценариев и исследований поведения LLM в задачах red teaming и AI safety. Заявлена поддержка обычного и thinking-режима, а также форматов GGUF, Safetensors и MLX. Размер модели — 27B параметров; базовая архитектура — Qwen3.8. Сведения о языках и размере контекстного окна в README не указаны. Для инференса рекомендуются температура 0, repetition_penalty 1.15 и не менее 2048 новых токенов; системный промпт рекомендуется не задавать. Сильной стороной заявляется существенно сниженная склонность к отказам и отвлечённым лекциям по безопасности при сохранении большей части возможностей базовой модели. Для версии V3 указаны результаты MMLU 82,3% против 84,5% у исходной модели, а также успешное выполнение 20 из 20 проверенных задач генерации кода. Ограничениями являются некоторое падение качества относительно базовой Qwen3.8-27B, возможные циклы при генерации без repetition_penalty и необходимость аккуратной настройки параметров в агентских сценариях. Лицензия — Apache-2.0.

ZeroXClem-Qwen3-8B-HoneyBadger-EXP — экспериментальное слияние моделей на архитектуре Qwen3, созданное командой ZeroXClem методом model_stock с помощью MergeKit. Модель содержит 7,6 млрд параметров, работает с текстом и рассчитана на контекст до 40 960 токенов. В основе слияния лежат Qwen3-совместимые модели, включая AXCXEPT/Qwen3-EZO-8B-beta, KaraKaraWitch/CavesOfQwen3-8b, YOYO-AI/Qwen3-8B-YOYO и другие. Модель предназначена для диалогов, следования инструкциям, рассуждений, ролевых бесед и историй, а также понимания и генерации кода. README заявляет поддержку структурированных ответов, включая JSON, Markdown и LaTeX, и рекомендует шаблон чата Qwen3 либо Ollama Modelfile для инференса. Основной язык по карточке — английский; подтверждённая лицензия — Apache-2.0. Это ранний экспериментальный прототип, который, по предупреждению автора, не готов к производственному применению и может выдавать невыравненные или нефильтрованные ответы. Качество и безопасность результатов не гарантируются.

SmolLM3-3B-MOPD-Top64-DR-NoThinking-500 — это исследовательский чекпойнт языковой модели SmolLM3, подготовленный Huangsssz на основе BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель содержит 3,1 млрд параметров, использует плотную архитектуру SmolLM3ForCausalLM и принимает текстовые запросы для генерации текста; заявленная длина контекста — 65 536 токенов. Чекпойнт получен после 500 шагов дообучения методом дистилляции с пересечением наборов наиболее вероятных 64 токенов студента и учителей. Учителя специализировались на математике, коде и следовании инструкциям; генерация и оценивание выполнялись с отключённым режимом рассуждений. Для запуска автор рекомендует явно передавать enable_thinking=False. В README приведены результаты отдельных фиксированных оцениваний по математике, программированию и следованию инструкциям; они не доказывают устойчивого улучшения. Модель ориентирована на исследовательские эксперименты и генерацию ответов общего назначения, особенно в математике, программировании и выполнении инструкций. Это полный экспорт весов BF16 для Hugging Face Transformers с токенизатором и исходным шаблоном чата. Репозиторий указывает лицензию Apache-2.0. Чекпойнт является ранней исследовательской версией после ограниченного числа шагов; опубликованные оценки имеют фиксированный протокол и ограниченную статистическую надёжность.

DavidAU Gemma 4 E4B it The DECKARD V3 Expresso HERETIC UNCENSORED Thinking — дообученная DavidAU на закрытом наборе данных The Deckard модель Google Gemma 4 E4B Instruct. Это плотная мультимодальная модель с режимами instruct и thinking; по карточке базовая Gemma E4B имеет около 8 млрд параметров, из которых активны примерно 4,5 млрд. Автор указывает контекст до 128 тысяч токенов и поддержку текста, изображений, видео и аудио. Модель предназначена для диалога, рассуждений, программирования, творческого письма и ролевых сценариев. По заявлению автора, настройка усиливает характер, детализацию и глубину ответов; шаблон по умолчанию включает режим thinking, также доступен шаблон instruct. Карточка описывает модель как uncensored, поэтому она может выдавать более мрачный или интенсивный контент. Вес опубликован в формате bfloat16 Safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Заявления о качестве основаны на внутренних тестах автора; независимая оценка в карточке не приведена.

Meta-Llama-3-8B-Alternate-Tokenizer — текстовая авторегрессионная языковая модель семейства Llama 3, разработанного Meta. В репозитории указана архитектура LlamaForCausalLM с плотной моделью размером около 7,5 млрд параметров; веса доступны в формате safetensors. Модель принимает текст и генерирует текст или код, а метаданные отмечают поддержку диалогового режима. Контекст — до 8192 токенов. Модель подходит для генерации текста, диалогового помощника и адаптации к задачам генерации естественного языка. README семейства описывает применение прежде всего на английском языке, включая коммерческие и исследовательские сценарии; это описание не подтверждает отдельное дообучение данного репозитория. В README также указано, что модели Llama 3 используют Grouped-Query Attention для масштабирования инференса. Репозиторий содержит общую карточку семейства Llama 3, поэтому специфические свойства альтернативного токенизатора здесь не раскрыты. Для использования действует специальная коммерческая лицензия Llama 3 и связанные с ней правила допустимого использования; модель не предназначена для применения на языках, отличных от английского, согласно приведённому описанию.

failspy/Phi-3-medium-4k-instruct-abliterated-v3 — доработанная модель Microsoft Phi-3 Medium Instruct, созданная автором failspy. Веса bfloat16 обработаны ортогонализацией, чтобы ослабить склонность модели отказываться отвечать на запросы. Это плотная авторегрессионная языковая модель на 13,8 млрд параметров с контекстом 4096 токенов; репозиторий содержит веса Safetensors. Модель предназначена для диалоговой генерации текста и кода, в том числе для запросов, на которые исходная модель могла бы отказать. Автор сообщает, что сохранены остальные свойства исходной модели, однако результат может зависеть от запроса и не гарантирует отсутствия отказов. Модель в целом стабильна по оценке автора, но склонна к галлюцинациям сильнее оригинала; методика также может иметь побочные эффекты. Лицензия — MIT. Автор указывает, что модель проверялась на галлюцинации, но не приводит результаты количественной оценки. В карточке языки обозначены только как multilingual, поэтому конкретные поддерживаемые языки и основной язык не уточняются.

Это GGUF-версия модели Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32, подготовленная mradermacher в виде квантованных весов с imatrix. По метаданным, исходная модель дообучена на базе nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32 и предназначена для диалоговой генерации текста и следования инструкциям. В README указаны варианты квантования IQ и наличие файла imatrix для самостоятельного создания квантов; также отмечена поддержка изображений, но детали мультимодального использования в этой карточке не приведены. Модель можно применять для генерации и продолжения текста, ответов в чате, творческого письма и задач программирования, если эти возможности унаследованы от исходной модели. Метаданные указывают на контекст 256 тыс. или 1 млн токенов, однако точное значение для этой сборки не подтверждено. Языковые теги карточки: английский, китайский, японский и испанский. Репозиторий распространяется по лицензии Apache-2.0. Квантование уменьшает требования к памяти, но конкретный компромисс между размером и качеством зависит от выбранного варианта; README отмечает, что некоторые малые IQ-кванты могут быть предпочтительнее аналогичных по размеру вариантов.

bluehawana подготовил вариант Qwen3.8-27B для MLX с добавленной родной головой multi-token prediction (MTP). Базовые веса побайтно совпадают с конвертацией mlx-community/Qwen3.8-27B-bf16; к ним добавлены 15 тензоров MTP в bf16. Модель содержит 27 млрд параметров и занимает около 55,4 ГБ. Для работы требуется MLX-совместимый runtime с поддержкой нативного MTP speculative decoding, например oMLX с включённой настройкой Lightning MTP. Модель предназначена для генерации текста в диалогах и сценариях кодирования или работы с агентами. По данным README, в однопоточном режиме на M5 Max с 128 ГБ памяти скорость декодирования с MTP составляет 25,9 токена/с против 9,3 токена/с без головы; принятие черновых токенов на задачах кодирования и агентов указано в диапазоне 75–99%. Ускорение зависит от runtime и сценария: MTP рассчитана на один поток, а при параллельных запросах используется обычное пакетное декодирование. Лицензия — Apache-2.0. Указанная в карточке возможность — чат, а основной тег задачи — text-generation. Метаданные описывают базовую Qwen как мультимодальную, однако README этой версии сосредоточен на текстовой генерации и MTP; не следует считать поддержку изображений подтверждённой именно для этого репозитория.

Manojb/Qwen-7B-toolcalling-ReSearch-gguf-Q8_0 — локальная языковая модель в формате GGUF, разработанная на базе agentrl/ReSearch-Qwen-7B и упакованная с квантизацией Q8_0 авторами Manojb и mradermacher. Модель основана на Qwen-7B и обучалась с использованием датасета RUC-NLPIR/FlashRAG_datasets. ReSearch — подход, в котором поиск интегрирован в цепочку рассуждений и выбор момента и способа поиска формируется с помощью текстового рассуждения, а результаты поиска влияют на дальнейшие выводы. Модель предназначена для генерации текста, ассистирования в программировании, локального использования и сценариев function calling и tool calling, включая взаимодействие с API-инструментами. Она ориентирована на английский язык и может запускаться через Ollama или другие совместимые средства работы с GGUF. Версия Q8_0 занимает около 8,2 ГБ и рассчитана примерно на 9–12 ГБ VRAM; заявлено отсутствие заметных потерь качества относительно исходной модели. Для этой базовой модели README рекомендует не применять chat completion. К сильным сторонам относятся высокая точность квантизации Q8_0, поддержка локального запуска и специализированная ориентация на вызов инструментов и поиск. Ограничения включают размер модели около 7B параметров, англоязычную заявленную специализацию, необходимость корректного режима работы без chat completion и потребность примерно в 9–12 ГБ VRAM. Модель распространяется по лицензии MIT.

Модель win10/sthenno-Test-maybe-is-pro-v2 — объединённая языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная автором репозитория методом Model Stock с помощью mergekit. В объединение вошли arcee-ai/Virtuoso-Small, deepseek-ai/DeepSeek-R1-Distill-Qwen-14B, Qwen/Qwen2.5-Coder-14B, sthenno-com/miscii-14b-1225 и sthenno/tempesthenno-ppo-ckpt40; базовой моделью при слиянии служила sthenno-com/miscii-14b-1225. Модель предназначена для генерации текста и диалогов. Заявленная длина контекста составляет 131 072 токена; веса доступны в формате safetensors. В состав слияния входят модели для программирования и рассуждений, однако README не описывает отдельные проверенные сценарии или сравнительные результаты, поэтому их качество для конкретных задач не установлено. Лицензия в предоставленных данных не указана.

Uraion Forge 2B — компактная языковая модель Uraion Labs для генерации текста, агентных сценариев и рассуждений. Это дообучение openbmb/MiniCPM5-2B с плотной архитектурой LlamaForCausalLM; модель содержит 2,2 млрд параметров и принимает контекст до 131 072 токенов. Репозиторий содержит веса Safetensors, а карточка описывает использование через Transformers и развёртывание на GPU и устройствах с ограниченными ресурсами. Модель предназначена для многошаговых рабочих процессов с вызовом инструментов, генерации кода, количественных задач и ответов в структурированном JSON. Разработчик заявляет, что обучение направлено на сокращение затянутых рассуждений, ошибок в параметрах вызовов и потери состояния между ходами; в карточке также приведены результаты внутренних тестов на агентных сценариях, коде и длинном контексте. Указанная лицензия — Apache-2.0. Результаты бенчмарков в README относятся к тестам разработчика; в частности, показатели генерации кода заметно ниже результатов агентных рабочих процессов. Модель компактна, поэтому её общие возможности ограничены по сравнению с более крупными языковыми моделями.

WestBreeze-7B-DPO — языковая модель на архитектуре Mistral, созданная PetroGPT слиянием моделей через LazyMergekit. Конфигурация указывает на слияние WestSeverus-7B-DPO-v2 и Breeze-Petro-7B-Instruct-v1 методом slerp; в метаданных базовой моделью указана PetroGPT/WestSeverus-7B-DPO-v2. Репозиторий содержит веса Safetensors, а общий размер модели составляет 14,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов. Для базовой модели заявлены справочная помощь по математике, естественным наукам и программированию; эти сценарии могут быть полезны и для WestBreeze, однако отдельные оценки её качества в README не приведены. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках не приведены. Лицензия — Apache-2.0. Характеристики и области применения частично основаны на описании базовой модели, поэтому качество ответов WestBreeze в отдельных задачах по карточке установить нельзя.

Карточка модели qihoo360/360Zhinao-7B-Chat-32K на Hugging Face совпадает с карточкой qihoo360/360Zhinao-7B-Base, поэтому описание составлено по ней. 360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

Olmo-3.1-32B-Think-GGUF — это квантизированная версия текстовой генеративной модели Olmo-3.1-32B-Think, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, включая IQ-квантизации. Размер файлов варьируется примерно от 14 до 64 ГБ, поэтому модель можно адаптировать под доступные ресурсы, выбирая компромисс между качеством и потреблением памяти. Указан английский язык; сведения об архитектуре, максимальном контексте, мультимодальности и поддерживаемых языках, кроме английского, не предоставлены. Сильной стороной модели являются варианты с высокой точностью, близкой к исходной, а также возможность локального запуска на совместимом оборудовании. Низкобитные варианты экономят память, но могут снижать качество генерации; некоторые форматы имеют устаревшие особенности или не рекомендуются из-за более низкого качества. Модель распространяется по лицензии Apache-2.0.

AMD-OLMo-1B-SFT-DPO-GGUF — квантизированная версия языковой модели AMD-OLMo-1B-SFT-DPO, разработанной AMD на основе открытой архитектуры и подходов обучения OLMo-1B. Формат GGUF подготовлен bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio. Модель содержит около 1 миллиарда параметров, поддерживает контекст длиной до 2048 токенов и использует словарь размером 50 280 токенов. Базовое предварительное обучение выполнено на 1,3 триллиона токенов из набора Dolma. Затем модель прошла supervised fine-tuning на наборах Tulu V2, OpenHermes-2.5, WebInstructSub и Code-Feedback, а также выравнивание предпочтений методом Direct Preference Optimization на наборе UltraFeedback. К сильным сторонам относятся открытая основа, компактный размер, адаптация к следованию инструкциям и наличие дополнительного обучения на данных для общего, веб- и программного контента. Ограничения включают небольшой контекст, неизвестную из README языковую специализацию и возможные ошибки, неточности или нежелательный контент при генерации; квантизация также может влиять на качество. Указана лицензия Apache-2.0.

Fleet Llama Release — экспериментальная архитектура маршрутизации запросов по специалистам, разработанная Noumenon Labs на базе Meta Llama 3.2 3B Instruct. Модель содержит общий языковой backbone и обученный семантический маршрутизатор, который выбирает подходящий эксперт для каждого пользовательского хода; затем выбранный маршрут сохраняется на время генерации ответа. Среди маршрутов указаны Python, медицина, математика, вызов функций, SQL и базовая модель. Специалисты реализованы как лёгкие адаптеры или дельты весов. Модель предназначена для диалоговой генерации текста с выборочной специализацией по содержанию запроса. В карточке указаны 3,2 млрд параметров, контекст до 131 072 токенов, поддержка интерфейса вызова инструментов и формат safetensors. Для загрузки требуется пользовательский код модели Transformers с параметром trust_remote_code=True. Авторы называют релиз экспериментальным; производительность зависит от оборудования и конфигурации, а универсальное ускорение не заявлено. Лицензия — Llama 3.2 Community License. Основа — Meta Llama 3.2 3B Instruct; языки в карточке модели напрямую не перечислены.

Fwizzer-R1-3B-EN-v2 — компактная языковая модель, разработанная fwizzer1 на основе Ministral-3-3B-Instruct-2512 от Mistral AI. Модель дообучена методом LoRA на наборе данных fwizzer1/en-deepthink-mega, включающем 17 281 проверенную пару с рассуждениями. Основная специализация — англоязычные задачи рассуждения, математика, логический вывод и генерация кода; в карточке также заявлена поддержка русского языка. Модель имеет 3,29 млрд параметров и предназначена для текстовой генерации. Заявлено контекстное окно до 32 768 токенов, при этом рекомендуемая длина контекста составляет 8192 токена. Она рассчитана на локальный запуск на потребительских GPU, ноутбуках и одноплатных компьютерах; для GGUF-квантизаций указано потребление примерно от 2,5 до 4,2 ГБ VRAM или RAM в зависимости от варианта. Поддерживаются сценарии работы через llama.cpp, LM Studio, Ollama, vLLM и другие совместимые инструменты. Сильными сторонами являются малый размер, ориентация на пошаговое решение задач и заявленные результаты на GSM8K — 84,1%, MATH — 56,3% и HumanEval — Pass@1 65,2%. Ограничения включают компактный масштаб модели по сравнению с крупными LLM и встроенный системный промпт, задающий формат рассуждений в тегах <think> и </think>; его влияние и качество ответов могут зависеть от конкретного клиента и настроек запуска. Модель распространяется по лицензии Apache 2.0.

DavidAU разработал The-DECKARD-HERETIC-UNCENSORED-Thinking — дообученную модель Google Gemma 4 E4B Instruct с настройкой на внутренних датасетах и изменённым шаблоном чата, который по умолчанию включает режим рассуждения. Модель предназначена для диалога, творческого письма, ролевых сценариев, генерации историй и кода. Автор сообщает о поддержке текста, изображений, видео и аудио, а также контекста до 128 тысяч токенов. Gemma 4 E4B описана как модель примерно с 8 млрд параметров, из которых около 4,5 млрд активны; веса этой версии представлены в формате bfloat16 и safetensors. Карточка приводит внутренние результаты сравнения с базовой моделью, но отмечает, что статистика ещё собирается и instruct-режим иногда показывает лучшие результаты, чем thinking. Использование чата в режиме instruct требует отдельного шаблона. Лицензия — Apache 2.0.

ggml-org/gpt-oss-20b-GGUF — это GGUF-квантизированная версия модели gpt-oss-20b, разработанной OpenAI и опубликованной в формате для запуска с помощью инструментов экосистемы ggml-org. Модель предназначена для генерации текста и локального или совместимого с llama.cpp использования; в README приведён пример запуска через llama serve и llama.app. Модель относится к классу text-generation и имеет размер 20B согласно названию базовой модели. Она поставляется в квантизированном формате GGUF, что обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, однако конкретный тип квантизации в README не указан. Поддерживаемые языки, размер контекста, архитектура, модальности и показатели качества не раскрыты. Лицензия модели — Apache-2.0. README указывает, что конвертация выполнена автоматически с использованием проекта ggml-org/convert, а исходными моделями названы openai/gpt-oss-20b и RedHatAI/gpt-oss-20b-speculator.eagle3. Из-за отсутствия подробных технических характеристик нельзя оценить языковое покрытие, производительность и ограничения модели более точно.

Openthoughts-4-code-qwen3-32b-annotated-32k_qwen2.5-1.5B_32k — диалоговая языковая модель семейства Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct и дообученная на датасете laion/openthoughts-4-code-qwen3-32b-32k-annotated. Она предназначена для генерации текста и диалоговых ответов, в том числе по примерам кода из обучающих данных. Модель имеет архитектуру Qwen2ForCausalLM, 1,5 млрд параметров и контекст до 32 768 токенов; доступна в формате Safetensors и рассчитана на работу с текстом. Модель может быть полезна для генерации кода и ответов в чат-сценариях, однако README не приводит результатов оценки, конкретных ограничений или подробностей обучения. Лицензия — Apache-2.0.

Phoenix-v1-8x7B — экспериментальная чат-модель от Jan, созданная как MoE-слияние нескольких моделей для общего общения, ролевых диалогов, программирования и написания текстов. В README базовая модель названа trinity-v1; также перечислены Toppy-M-7B, CodeLlama-7b-Instruct-hf и Seraph-7B как источники навыков. В метаданных указана архитектура Mixtral MoE и класс MixtralForCausalLM, 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для чат-ботов и локального запуска через Jan Desktop на macOS, Windows и Linux. Основной язык по карточке и тегам — английский. Качество не подтверждено опубликованными результатами: таблица оценки в README содержит вопросительные знаки. Модель распространяется по лицензии Apache-2.0.

Qwen3-0.6B-Base — базовая плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная модель примерно с 508 млн параметров: 28 слоёв, группированное внимание с 16 головами Q и 8 головами KV. Она принимает текст и генерирует продолжение, служит основой для дообучения и адаптации под прикладные задачи. Модель предназначена для языкового моделирования общего назначения, включая генерацию текста, работу с кодом, STEM-темами, логическими рассуждениями и многоязычными данными. Контекстное окно составляет 32 768 токенов. В README указано, что семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; перечень языков, поддерживаемых именно этой базовой версией, отдельно не приведён. Модель распространяется под лицензией Apache-2.0. Это базовая предобученная версия, поэтому для диалогового помощника или специализированного приложения обычно потребуется дообучение либо настройка шаблона запросов; карточка не приводит конкретных гарантий качества для таких сценариев.

Salamandra-2B — базовая авторегрессионная языковая модель семейства Salamandra, разработанная командой проекта Salamandra и обученная с нуля. Это плотная decoder-only модель на архитектуре Llama с примерно 2,25 млрд параметров по карточке модели и контекстом до 8192 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0, допускающая коммерческое использование. Модель предназначена для генерации текста на европейских языках и коде, а также для дальнейшего дообучения под конкретные задачи. Она предварительно обучена на 12,875 трлн токенов тщательно отобранных данных из 35 европейских языков и кода. Её можно применять для продолжения текста, черновой генерации и многоязычных сценариев; это базовая версия, а не вариант, настроенный как диалоговый помощник. В опубликованных оценках отмечены общественные и когнитивные смещения: модель может предпочитать ранние варианты ответа в списках и зависеть от формулировки подсказки. Данные обучения преимущественно отражают стандартные языковые варианты, поэтому качество для диалектов и малоресурсных языков может быть ниже. Перед применением в продуктивных системах необходимы проверка качества и адаптация к целевому сценарию.

Это 16-битная конверсия StableLM 2 от SirSahOl для локального запуска на GPU компьютеров Apple Silicon. Веса модели StableLMForCausalLM сохранены в формате safetensors для MLX; исходная модель — stabilityai/stablelm-2-1_6b. В README указано 1,6 млрд параметров, а в метаданных — 1,4 млрд. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст; карточка базовой модели указывает поддержку английского, немецкого, испанского, французского, итальянского, нидерландского и португальского языков. Модель подходит для локального диалога, генерации текста и дополнения кода. MLX позволяет использовать ускорение Apple Silicon, а 16-битные веса сохраняют исходную точность представления. README оценивает занимаемую память примерно в 3,9–4 ГБ и рекомендует не менее 8 ГБ объединённой памяти; фактическая скорость зависит от оборудования и длины запроса. Это конверсия, а не новая архитектура или отдельное дообучение. Лицензия обозначена как «other»; перед использованием следует проверить её условия в репозитории исходной модели и этой конверсии. Конверсия рассчитана на Apple Silicon и не предназначена для других GPU без совместимого окружения MLX.

Карточка модели qihoo360/360Zhinao-7B-Chat-360K на Hugging Face совпадает с карточкой qihoo360/360Zhinao-7B-Base, поэтому описание составлено по ней. 360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

Atem-Wisdom-1.5B-i1-GGUF — набор квантизированных GGUF-файлов базовой модели EphAsad/Atem-Wisdom-1.5B, подготовленный и опубликованный mradermacher. Модель относится к семейству Qwen2 и предназначена для генерации текста с акцентом на рассуждения, включая математические, программные и другие задачи, требующие пошагового анализа. В обучении использовались наборы данных OpenThoughts-114k-math, Kimi-K2.5-Reasoning-1M-Cleaned, CodeX-2M-Thinking, medical-o1-reasoning-SFT, MiniMax_M2.7_Distilled_5k и OpenCodeReasoning, а также применялись LoRA и дистилляция. Указанный язык — английский. Это компактная текстовая модель с размером 1,5 млрд параметров, поставляемая в различных вариантах квантизации для llama.cpp и совместимых инструментов. Доступны варианты от IQ1 и Q2 до Q6, размер файлов составляет примерно от 0,5 до 1,4 ГБ. В README рекомендуется i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S отмечен как оптимальный баланс размера, скорости и качества; низкобитные варианты экономят память, но могут заметно уступать по качеству. Мультимодальность и размер контекстного окна не указаны. Модель лицензирована по Apache-2.0. Описанные файлы являются квантизированными версиями, поэтому фактическое качество зависит от выбранного варианта; некоторые варианты прямо обозначены как имеющие низкое качество. Данные о результатах бенчмарков, безопасности и ограничениях применения в README отсутствуют.

DeepSeek-V4.1-Flash-MixedQ2-GGUF — это квантизированный GGUF-артефакт модели DeepSeek-V4.1-Flash от deepseek-ai, опубликованный пользователем apetersson. Модель предназначена для генерации текста и запуска в совместимых средах, поддерживающих архитектуру DeepSeek V4.1 и смешанные GGUF-квантизации. Это модель с маршрутизацией экспертов: 543,581,798,400 маршрутизируемых весов занимают около 152,88 ГБ, а общий размер пяти GGUF-файлов составляет 169,92 ГБ. Языки, размер контекстного окна и точная информация о поддерживаемых модальностях в README не указаны. Для проекций gate/up используется IQ2_XXS с эффективной точностью 2,0625 бита на вес, для down — Q2_K с 2,625 бита на вес; остальные тензоры сохраняют нативную или преобразованную точность BF16/F32. Квантизация не основана на калибровке активациями и использует единичный вектор важности, поэтому она экономит память, но может уступать калиброванным вариантам по качеству. Структурная проверка всех пяти шардов прошла успешно, а CPU-ядро показало косинусное сходство 0,99998 с деквантизированным эталоном. Артефакт рассчитан на мощное оборудование: заявлена работа на одной B200 180 ГБ или B300 288 ГБ с размещением Engram-таблиц в оперативной памяти; также указаны конфигурации с несколькими RTX PRO 6000. На момент публикации сквозной запуск в SGLang ещё ожидал повторной проверки после добавления config.json и токенизатора, llama.cpp не поддерживал загрузку файлов V4.1, а официальный путь GGUF в vLLM не имел карты тензоров DeepSeek. В состав не входят Engram-таблицы, блоки MTP/DSpark и vision/aligner-тензоры, поэтому совместимость среды и комплектность дополнительных файлов необходимо проверять отдельно. Лицензия — MIT.

Wladastic опубликовал экспериментальную смешанную квантизацию DeepSeek-V4-Flash-0731 в формате GGUF для запуска через llama.cpp на системах с ограниченной видеопамятью, где часть весов экспертов хранится в оперативной памяти. Исходная модель имеет 304 млрд параметров и MoE-архитектуру с 43 слоями: внимание и ряд общих компонентов сохранены в более высокой точности, а routed-эксперты квантизированы до IQ2_XXS или IQ3_XXS в зависимости от слоя. Файл занимает около 85,8 ГБ. Модель предназначена для диалоговой генерации текста, в том числе для программирования и агентных сценариев. Автор сообщает об успешной загрузке и генерации в llama.cpp, измерении perplexity на локальном отложенном корпусе и настройке запуска с контекстом до 128 тысяч токенов. Эти проверки не подтверждают эквивалентность исходной модели или качество на широком наборе задач. В GGUF отсутствуют MTP- и draft-тензоры, поэтому встроенное speculative decoding недоступно. Репозиторий распространяется по лицензии MIT; это сторонняя квантизация, не связанная официально с DeepSeek.

fraQtl/Gemma-4-E2B-it-Hi-Fi-GGUF — это GGUF-квантизация модели google/gemma-4-E2B-it, подготовленная fraQtl с использованием calibration-aware per-tensor quantization. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Заявлены английский язык, работа без подключения к сети и сценарии edge/on-device. В репозитории представлены варианты Q4_K_M: изоразмерный файл объёмом около 3,46 ГБ с эффективными 5,93 битами на вес и телефонный вариант около 2,86 ГБ с 4,89 битами на вес. По приведённым измерениям, они точнее воспроизводят распределения исходной модели в сравнении с указанным community Q4_K_M baseline. На iPhone 16-класса для демонстрационного сценария заявлены около 516 МБ resident memory, примерно 12 токенов в секунду в интерактивном режиме и 21,6 токена в секунду в тесте генерации на 256 токенов. Модель подходит для офлайн-ассистентов, общих вопросов, генерации кода, чтения документов и работы в приложениях, где действия выполняются отдельным детерминированным программным слоем. В демонстрации поддерживаются голосовой ввод, озвучивание ответов, календарные операции и работа с контактами, однако распознавание речи, синтез речи и фактическая запись событий выполняются компонентами приложения, а не самой языковой моделью. По замыслу отсутствуют сетевые вызовы, доступ к электронной почте и сообщениям; квантизация может снижать точность по сравнению с исходной bf16-моделью. Лицензия — Apache 2.0.

UCLA-EMC/Meta-Llama-3.1-8B-AWQ-INT4 — квантизированная версия базовой модели Meta-Llama-3.1-8B, разработанной Meta и подготовленной в формате AWQ сообществом UCLA-EMC. Это авторегрессионная текстовая генеративная модель: принимает текст и генерирует текст. Модель предназначена для локального запуска и задач общего текстового продолжения, включая генерацию кода и другой контент по заданному запросу. Версия является базовой, а не instruction-tuned, поэтому она не оптимизирована специально для диалогового следования инструкциям. Модель имеет размер 8B параметров и квантизацию INT4 с использованием AutoAWQ, GEMM-ядер, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 7,29 ГБ VRAM; модель тестировалась на GPU NVIDIA T4 и может запускаться на менее мощном оборудовании. В README указана поддержка английского языка; размер контекста для самой модели не указан, а параметр fuse_max_seq_len=512 приведён только в примере запуска. Для работы используются Transformers, Accelerate и AutoAWQ. Модель распространяется по лицензии CC BY-NC-4.0, поэтому её применение ограничено условиями этой лицензии, включая некоммерческий характер использования.