II.3Рефакторинг, миграция и модернизация

unsloth/gemma-3-12b-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия Gemma 3 12B, разработанная Google DeepMind и подготовленная Unsloth. Модель использует открытые веса и предназначена для запуска и дообучения через Transformers, включая сценарии локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Для версии 12B заявлено контекстное окно до 128K токенов, изображения приводятся к разрешению 896 × 896 и кодируются в 256 токенов каждое, максимальный объём генерируемого результата составляет 8192 токена. Gemma 3 поддерживает более 140 языков, однако в метаданных этой карточки явно указан английский язык. Ключевое преимущество варианта — снижение требований к памяти благодаря 4-битной квантизации; Unsloth также указывает на селективную Dynamic Quantization, призванную сохранить больше качества по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможные потери качества из-за квантизации, необходимость совместимого программного и аппаратного окружения, а также типичные риски генеративных моделей: ошибки, неточные ответы и зависимость результатов от формулировки запроса. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google.

Карточка модели Iambackup/gemma-4-E4B-it на Hugging Face совпадает с карточкой AtharvOG/Atharvs_Model, поэтому описание составлено по ней. Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.

heretic-org/IBM-granite-4.1-8b-heretic — производная модель на базе IBM Granite-4.1-8B, созданная методом abliteration, который резко снижает склонность модели отказывать в ответах. В сравнении с исходной моделью в карточке указаны 5 отказов из 416 запросов против 409 из 416; также приведено значение KL divergence 0,0285. Это плотный decoder-only трансформер Granite с 8,4 млрд параметров и контекстом до 131 072 токенов, доступный в формате safetensors для Transformers. Модель предназначена для диалога и генерации текста: она может следовать инструкциям, отвечать на вопросы, суммировать и извлекать информацию, классифицировать текст, помогать с кодом и использовать вызов инструментов, унаследованные от Granite-4.1-8B. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; качество на других языках может отличаться от английского. Модель опубликована heretic-org под лицензией Apache 2.0. Снижение числа отказов не гарантирует точности или безопасности ответов: модель может выдавать ошибочную, предвзятую или небезопасную информацию, поэтому её следует проверять и настраивать для целевого применения.

Saxo, специалист по данным компании Linkbricks, дообучил Hermes-3-Llama-3.1-70B, чтобы усилить работу модели с японским языком. Модель семейства Llama с архитектурой dense содержит 69,5 млрд параметров и принимает текст. Для обучения использовали продолженное предобучение на японском корпусе новостей и Википедии, затем SFT и DPO; токенизатор оставили от базовой модели без расширения словаря. Модель предназначена для диалогов, генерации и редактирования текстов, анализа отзывов и публикаций в социальных сетях, программирования, математических и логических задач. Она обучалась на японских, корейских, китайских и английских данных, поддерживает контекст до 131 072 токенов и интерфейс вызова функций и инструментов. Доступна по лицензии Apache-2.0.

QuantFactory/Qwen2.5-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели Qwen от Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она также улучшена для задач программирования и математики. Модель содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Поддерживаются контексты до 32 768 токенов и генерация до 8192 токенов. Модель многоязычная и поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Квантизация в формате GGUF может снизить требования к ресурсам и упростить локальный запуск, однако README не содержит сведений о конкретном типе квантизации, размере файлов, точности или производительности. Модель предназначена для текстовых сценариев и не заявляет поддержку изображений или других модальностей. Распространяется по лицензии Apache-2.0.

unsloth/Qwen3-0.6B-unsloth-bnb-4bit — 4-битная версия причинной языковой модели Qwen3-0.6B, подготовленная Unsloth на базе Qwen/Qwen3-0.6B и предназначенная для запуска и дообучения через библиотеку Transformers. Модель ориентирована на генерацию текста, диалог, следование инструкциям, решение задач, написание кода, рассуждения и интеграцию с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и имеет 28 слоёв. В архитектуре внимания используется GQA с 16 головами Q и 8 головами KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает переключение между режимами рассуждения и обычной генерации, а также более 100 языков и диалектов; при этом в карточке для данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальный запуск, однако оно может сопровождаться некоторой потерей точности по сравнению с полноразмерными версиями. Для работы рекомендуется использовать актуальную версию Transformers; версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen/Qwen3-1.7B-MLX-bf16 — языковая модель семейства Qwen3, представленная в формате MLX и весах BF16. По метаданным, это производная Qwen/Qwen3-1.7B-Base; модель плотная, с архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Она предназначена для генерации текста и диалогов, выполнения инструкций, рассуждений, математических и программных задач, а также интеграции с инструментами. Модель переключается между режимом рассуждений и обычным режимом диалога. README указывает поддержку более 100 языков и диалектов, а метаданные задают контекст до 40 960 токенов. Разработчик рекомендует MLX для запуска; веса опубликованы в формате safetensors. Лицензия Apache-2.0 разрешает свободное использование на её условиях. Компактный размер упрощает запуск по сравнению с крупными моделями семейства, а интерфейс вызова инструментов подходит для агентных сценариев. Как модель на 1,7 млрд параметров, она может уступать более крупным моделям в сложных задачах; в режиме рассуждений не рекомендуется жадное декодирование, поскольку оно может ухудшать ответы и приводить к повторениям.

NVIDIA Qwen3.8-27B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.8-27B, разработанной Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Модель основана на архитектуре Transformer, содержит около 27 млрд параметров и предназначена для генерации текста и мультимодального понимания. Модель рассчитана на AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста достигает 262 тысяч токенов. Квантизация использует смешанный формат NVFP4/FP8: NVFP4 применяется к MLP-слоям и языковой голове, а FP8 — к слоям self-attention и linear attention. Для запуска указаны vLLM и SGLang на GPU NVIDIA Blackwell, предпочтительно в Linux. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных, оптимизация для ускоренного вывода на совместимом оборудовании NVIDIA и снижение требований к памяти благодаря квантизации. Ограничения включают зависимость от NVIDIA Blackwell и поддерживаемых сред выполнения, а также отсутствие раскрытых сведений о полном обучающем наборе данных, его размере и языковом составе. Перед промышленным использованием необходимы тестирование на прикладных данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и заявлена для коммерческого и некоммерческого использования.

unsloth/gemma-3-12b-it-GGUF — это GGUF-версия инструкционно дообученной модели Google Gemma 3 12B, опубликованная Unsloth. Модель создана Google DeepMind и относится к семейству компактных открытых моделей, разработанных на основе технологий Gemini. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Она мультимодальная: принимает текст и изображения, но генерирует текст. Для версии 12B заявлено контекстное окно до 128 000 токенов, максимальный объём генерируемого ответа — до 8192 токенов. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Gemma 3 поддерживает более 140 языков, однако для данной карточки явно указан английский язык. Сильными сторонами модели являются сочетание относительно компактного размера, мультимодальности, большого контекстного окна и пригодности для локального развёртывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре. Ограничения включают зависимость качества от выбранного GGUF-квантизованного варианта и аппаратных ресурсов, а также возможное снижение точности по сравнению с более крупными моделями; конкретные параметры квантизации в README не указаны. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

Это инструкционная чат-модель Qwen2.5-3B, размещённая Unsloth и основанная на Qwen/Qwen2.5-3B-Instruct. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, помощь с кодом и математикой, работу со структурированными данными и формирование JSON. Модель имеет плотную архитектуру Qwen2 с 3,1 млрд параметров; в README указаны 36 слоёв, поддержка контекста до 32 768 токенов и генерация до 8 192 токенов. Модель работает с текстом и рассчитана на многоязычное использование: README заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, немецкий и японский. Среди отмеченных сильных сторон семейства — следование инструкциям, генерация длинных текстов и структурированные ответы. Метаданные указывают библиотеку Transformers, формат Safetensors и интерфейс чата с поддержкой вызова инструментов. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория. Приведённый README в основном описывает семейство Qwen2.5 и материалы Unsloth; он не содержит отдельной оценки качества именно этой публикации модели.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Thinking на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Thinking, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

Athena-1 1.5B — компактная языковая модель на 1,5 млрд параметров, дообученная разработчиком карточки на Qwen/Qwen2.5-1.5B-Instruct. Она предназначена для генерации текста по инструкциям и диалогов, а также для задач с кодом, математикой, документами и структурированными данными. Модель может формировать JSON и другие структурированные ответы; заявлена поддержка генерации до 8 тысяч токенов за один ответ. Модель использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. В README заявлена поддержка более 29 языков, включая английский, русский, китайский, французский, испанский, немецкий, японский и арабский; метаданные карточки отмечают английский. Размер модели рассчитан на применение в сценариях с ограниченными вычислительными ресурсами. Модель распространяется по лицензии Apache-2.0.

Mungert/EXAONE-4.0-32B-GGUF — GGUF-квантизированная версия языковой модели EXAONE-4.0-32B, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, решения сложных задач и агентских сценариев с использованием инструментов. Она поддерживает обычный режим работы и режим рассуждений, а также английский, корейский и испанский языки. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя, архитектуру GQA с 40 attention-головами и 8 KV-головами, словарь размером 102 400 токенов и контекст до 131 072 токенов. Архитектура использует гибридное внимание: локальное и глобальное внимание в соотношении 3:1, а также QK-Reorder-Norm. Включение режима рассуждений выполняется через параметр enable_thinking. Данный вариант подготовлен с помощью llama.cpp и использует GGUF-квантизацию; автор сборки применяет дополнительное повышение точности отдельных важных слоёв, что может улучшать качество при низкой разрядности ценой увеличения размера файла. Сильными сторонами являются большой контекст, мультиязычность, сочетание обычного и reasoning-режимов, а также возможность локального запуска через экосистему llama.cpp. Ограничения конкретного варианта зависят от выбранного уровня квантизации и аппаратных ресурсов; README не содержит точных характеристик каждой квантованной сборки и результатов сравнительных тестов. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия указаны в файле LICENSE.

Gemma-4-E4B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Модель предназначена для локального запуска на ноутбуках, производительных смартфонах и потребительских GPU, включая сценарии с повышенными требованиями к конфиденциальности и задержке ответа. Модель поддерживает работу с текстом, изображениями и аудио; заявлены анализ документов и PDF, распознавание текста и рукописного ввода, анализ интерфейсов и экранов, интерпретация диаграмм, обнаружение объектов с указанием их положения, программирование, агентские сценарии и понимание речи. Указана поддержка английского языка. Архитектура описана как плотная мультимодальная модель с 42 слоями, эффективным числом параметров около 4,5 млрд и общим объёмом 8 млрд параметров с Per-Layer Embeddings. Заявлены контекст до 128K токенов, словарь размером 262K и скользящее окно на 512 токенов, а также настраиваемые режимы рассуждения. Сильными сторонами являются мультимодальность, большой контекст, возможность локального инференса и наличие вариантов квантизации размером примерно от 4,4 до 8,01 ГБ, а также BF16 и F16. Ограничения включают отсутствие в карточке результатов независимого тестирования, подробностей о поддерживаемых языках помимо английского и конкретных требований к производительности; для мультимодального режима может потребоваться отдельный файл mmproj и совместимый runtime, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

Это модель realoperator42, представляющая собой «разцензурированную» версию IBM Granite-4.1-3B, созданную с помощью Heretic v1.4.0. Это плотный декодерный трансформер с 3,4 млрд параметров, ориентированный на диалог и генерацию текста; максимальная длина контекста — 131 072 токена. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Модель подходит для генерации ответов на инструкции и диалоговых сценариев, включая суммаризацию, извлечение и классификацию текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Исходная Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; данные карточки не подтверждают отдельную языковую оценку именно этой модификации. В README приведено сравнение отказов: 3 из 100 для этой версии против 88 из 100 у исходной модели, поэтому её поведение в отношении отказов заметно изменено. Модификация создана методом abliteration, меняющим поведение модели без обычного дообучения на целевом наборе данных. README сообщает о воспроизводимости процесса и приводит KL-дивергенцию 0,2603 относительно исходной модели. Она может выдавать неточные, предвзятые или небезопасные ответы; перед применением требуется оценить её поведение и настроить подходящие меры безопасности.

salamanderDixon/granite-4.1-3b-heretic — производная версия Granite-4.1-3B, созданная методом abliteration: в карточке приведены параметры удаления отказов и сравнение с исходной моделью IBM. Это плотный decoder-only трансформер семейства Granite с 3,4 млрд параметров, предназначенный для диалогов и генерации текста. Метаданные указывают контекст до 131 072 токенов и формат safetensors. Модель подходит для ответов на вопросы, суммаризации, извлечения и классификации текста, RAG, задач с кодом и диалоговых сценариев. Базовая Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки, а также работу с инструментами. В приведённом сравнении у этой версии 3 отказа из 100 против 88 у исходной модели; снижение отказов может сопровождаться ослаблением защитного поведения. Лицензия — Apache 2.0.

Llama3-TenyxChat-70B — чат-модель на базе Llama 3, разработанная Tenyx Research. Модель объёмом 69,5 млрд параметров дообучена методом Direct Preference Optimization (DPO) на наборе предпочтений UltraFeedback с применением фирменного подхода Tenyx к тонкой настройке. Она использует архитектуру LlamaForCausalLM и шаблон чата Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговых ответов и работы в роли полезного ассистента: она может помогать с письмом, извлечением сведений, программированием, математическими и STEM-вопросами, а также общими вопросами и рассуждениями. В карточке сообщается о результатах на MT-Bench и других бенчмарках, однако авторы отмечают, что модель может испытывать трудности с рассуждениями и математикой и иногда отвечает слишком многословно. Её специально не настраивали на соответствие предпочтениям безопасности людей, поэтому при провокационных запросах возможны нежелательные ответы. Модель рассчитана на английский язык. Лицензия — Meta Llama 3 Community License.

MyAwesomeModel — языковая модель, опубликованная в репозитории mcptester0606/MyAwesomeModel-TestRepo. Разработчик явно не указан. Модель реализована на базе библиотеки Transformers и ориентирована на задачи рассуждения, понимания и генерации текста, включая математику, программирование, логику, ответы на вопросы, классификацию, анализ тональности, суммаризацию, перевод, диалоговую генерацию и следование инструкциям. Также заявлены поддержка function calling, системных промптов, загрузки файлов и генерации с использованием результатов веб-поиска через специальные шаблоны запросов. По данным README, обновлённая версия получила более глубокое рассуждение и улучшенные алгоритмы постобучения. На тесте AIME 2025 точность выросла с 70% до 87,5%, а средний объём рассуждений увеличился примерно с 12 до 23 тысяч токенов на задачу. В сравнительных оценках модель показывает наиболее заметные результаты в логическом рассуждении, генерации кода, понимании текста и следовании инструкциям, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Увеличенная глубина рассуждений может повышать вычислительные затраты и задержку ответа; конкретные ограничения и результаты независимой оценки не указаны. Лицензия модели — MIT.

lunahr/Phi-4-mini-instruct-abliterated — изменённая версия компактной языковой модели Phi-4-mini-instruct от Microsoft. Это плотная авторегрессионная модель семейства Phi-3 с 3,8 млрд параметров; репозиторий содержит веса в формате Safetensors. Модель предназначена для генерации текста, диалогов, программирования и решения задач, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Для исходной Phi-4-mini-instruct в README заявлено контекстное окно 128 тыс. токенов, однако метаданные этой модели указывают native context 4096 токенов. Модель поддерживает множество языков, включая английский, русский, китайский, арабский, японский и европейские языки. В README версия названа abliterated, то есть подвергшейся изменению механизмов отказа; степень и последствия этого изменения не описаны. Она унаследовала от базовой модели возможности диалогов, генерации кода и интерфейс вызова инструментов. Для вызовов инструментов возможны вымышленные имена функций или URL, а качество может различаться между языками; перед применением в чувствительных сценариях необходима оценка точности и безопасности. Лицензия — MIT.

unsloth/Qwen3-1.7B-GGUF — GGUF-версия языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это авторегрессионная causal language model для диалогов, следования инструкциям, генерации текста и кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из них 1,4 млрд без учёта embedding, и имеет 28 слоёв. Архитектура внимания использует GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает переключение между режимами thinking для сложного рассуждения и no_think для более эффективного общего диалога. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая llama.cpp и Ollama. Сильные стороны модели — компактный размер, мультиязычность, следование инструкциям, рассуждения, генерация кода и возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают небольшой по современным меркам объём параметров и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

XythicK/Qwen3-1.7B-GGUF — это GGUF-версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, включая английский; в предоставленных данных явно указан язык en. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к эмбеддингам, и имеет 28 слоёв. В архитектуре используется групповое совместное внимание (GQA) с 16 головами для Q и 8 для KV. Контекстное окно составляет 32 768 токенов. Qwen3-1.7B поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и режимом без рассуждений для более эффективного универсального диалога. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, рассуждений, генерации кода, диалогов и агентских сценариев. Ограничения, связанные с точностью, качеством на отдельных языках, ресурсоёмкостью и возможностями GGUF-квантизации, в README не указаны. Модель распространяется по лицензии Apache-2.0.

AxionML/Qwen3.5-0.8B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-0.8B, разработанная AxionML для открытого и готового к развёртыванию использования. Модель представляет собой каузальную языковую модель с vision-энкодером и поддерживает обработку текста и изображений. Она предназначена для генерации и понимания текста, визуального анализа, рассуждений, программирования и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и имеет нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Версия NVFP4 создана с помощью NVIDIA TensorRT Model Optimizer: веса и активации линейных слоёв представлены в 4-битном формате FP4, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся небольшой размер, экономичное хранение и инференс, длинный контекст и мультимодальность. К ограничениям относятся возможная потеря качества из-за агрессивной 4-битной квантизации и зависимость производительности от совместимого оборудования и программного стека; модель ориентирована прежде всего на GPU с поддержкой NVFP4, включая архитектуру NVIDIA Blackwell. Доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

llmfan46 представил uncensored-вариант Gemma 4 26B A4B IT, дообученный с изменением компонента attn.o_proj. Это диалоговая мультимодальная модель для анализа изображений и генерации текста; карточка указывает на поддержку чата и vision, а также на архитектуру Gemma 4 и формат safetensors. Базовая модель разработана Google DeepMind, использует гибридный механизм внимания и рассчитана на контекст до 256 тысяч токенов. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста и рукописей, понимания графиков и интерфейсов, а также для диалогов, рассуждений, программирования и вызова инструментов. Вариант предназначен для ослабления ограничений базовой модели, однако карточка не описывает метод дообучения и не приводит отдельные оценки качества именно этой версии. Поддерживаемые базовой линейкой языковые и аудиовозможности не следует полностью переносить на этот чекпойнт: метаданные подтверждают только image-text-to-text и vision. Модель выпущена по лицензии Apache-2.0. Возможны предвзятость и пробелы в данных, ошибки в фактах и затруднения с неоднозначными или сложными запросами; маркировка uncensored также означает, что ответы могут быть менее ограничены защитными механизмами.

Granite-4.0-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный трансформер с плотной архитектурой GraniteMoeHybridForCausalLM; в метаданных указано 3,4 млрд параметров и контекст до 131 072 токенов. Модель обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста, суммаризации, классификации, извлечения информации, ответов на вопросы и дополнения кода, включая заполнение пропусков между префиксом и суффиксом (FIM). Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель не проходила safety alignment, поэтому может генерировать предвзятые, ошибочные или проблемные ответы; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Лицензия — Apache 2.0.

Hunyuan-1.8B-Instruct — компактная инструктивная языковая модель Tencent из семейства Hunyuan. Это плотная авторегрессионная модель на 1,8 млрд параметров для генерации текста и диалогового взаимодействия; она поддерживает вызов инструментов через соответствующий интерфейс. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, задач по математике и программированию, а также агентных сценариев. Поддерживаются быстрый и медленный режимы рассуждения и контекст до 256K токенов. В карточке приведены результаты тестирования разных вариантов семейства, но отдельные цифры для модели 1.8B не следует считать гарантией качества в реальных задачах. Модель разработана Tencent и опубликована 30 июля 2025 года. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. Сведения о лицензии в предоставленных данных отсутствуют.

MyAwesomeModel — модель из репозитория liufeftwer145, распространяемая через Hugging Face и предназначенная для извлечения признаков; в метаданных указаны библиотека Transformers, PyTorch и тег BERT. README описывает обновлённую версию модели с улучшенными способностями к рассуждению и выводу, а также применением алгоритмической оптимизации на этапе post-training. Модель заявлена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и текста, суммаризации, перевода, диалогов, поиска знаний и следования инструкциям. README также упоминает поддержку системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска, а также доступ через чат-интерфейс и API. В README приведены результаты внутренних или заявленных benchmark-оценок по нескольким категориям, включая математику, программирование и общую логику; для AIME 2025 указано повышение точности с 70% до 87,5% по сравнению с предыдущей версией. Рекомендуемая температура составляет 0,6. Модель распространяется по лицензии MIT.

Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Она запускается с использованием совместимого ПО, в частности LlamaEdge версии 0.14.0 и выше, с шаблоном запросов phi-3-chat. В README указана поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с хорошим балансом размера и качества, при этом f16 обеспечивает отсутствие дополнительного квантования. Модель удобна для локального запуска и развёртывания в средах с ограниченными ресурсами, однако качество и требования к памяти зависят от выбранного варианта квантования. README не содержит подробностей об архитектуре, точном числе параметров, поддерживаемых языках и отдельных результатах оценки. Распространение осуществляется по лицензии MIT, унаследованной от исходной модели Microsoft.