II.10Разработка и эксплуатация AI/ML-систем

fengminqi/my-tg-qwen2.5-7b — дообученная fengminqi языковая модель семейства Qwen2.5 с плотной архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель предназначена для генерации текста и диалогового общения. Указанный в метаданных контекст — 32 768 токенов; карточка также отмечает интерфейс вызова инструментов. Среди тегов языка указан английский. Веса представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специализацию дообучения, поэтому конкретные преимущества и ограничения в отдельных предметных областях установить нельзя.

JANGQ-AI/Nemotron-Cascade-2-30B-A3B-JANG_4M — квантованная версия NVIDIA Nemotron-Cascade-2-30B-A3B, подготовленная Jinho Jang с помощью открытого формата и движка JANG для MLX. Это языковая модель для диалогов и генерации текста с пошаговым режимом рассуждений и интерфейсом вызова инструментов. В основе — гибридная архитектура Nemotron-H: Mamba-2, смесь экспертов (MoE) и слои внимания; в README указаны 52 слоя и 128 экспертов с выбором шести. Квантование JANG_4M использует 4,1 бита и 8-битные веса внимания. Метаданные указывают 1,9 млрд параметров и контекст до 262 144 токенов. Модель ориентирована на рассуждения, в том числе решение математических задач, а также на обычные диалоги и агентные сценарии. По результатам теста MMLU на 200 вопросах, приведённым автором карточки, она набрала 93% в режиме рассуждений; это результат собственного тестирования, а не независимая оценка. Для запуска нужны Apple Silicon с не менее чем 24 ГБ объединённой памяти и совместимая среда MLX, например MLX Studio или пакет JANG для MLX; обычные загрузчики MLX могут не поддерживать отображение весов этой архитектуры. В карточке указана лицензия «other», конкретные условия следует проверять у автора базовой модели и производной версии.

Hasnonname/Qwen2.5-14B-Wheatear-v0 — дообученная модель семейства Qwen2.5 на 14 млрд параметров, основанная на Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов и генерации текста; метаданные также указывают интерфейс для вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM, принимает текст и поддерживает контекст до 32 768 токенов. В репозитории README перечислены отдельные варианты квантования GGUF, но сведения о назначении дообучения, его данных и результатах не приведены. Основная модель опубликована в формате safetensors. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Qwen3-235B-A22B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия текстовой instruct-модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и предназначено для оптимизированного запуска на компьютерах с Apple Silicon. Модель распространяется как community-модель LM Studio и основана на оригинальной модели Qwen/Qwen3-235B-A22B-Instruct-2507. Модель предназначена для генерации текста и выполнения инструкций, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектуре, модальностях и конкретных сценариях применения. Квантование снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество ответов; кроме того, вариант ориентирован прежде всего на экосистему Apple Silicon. Модель предоставляется по лицензии Apache-2.0. Как и другие генеративные модели, она может создавать неточные, вредные или вводящие в заблуждение материалы, поэтому результаты требуют проверки.

Qwen3-4B-Instruct-2507-MLX-6bit — это 6-битно квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сценариях, поддерживающих MLX. Ключевая характеристика модели — 6-битное квантование, снижающее требования к памяти по сравнению с полноразмерной версией и делающее модель более подходящей для локального использования на совместимых компьютерах Apple. В README не указаны архитектура, точный объём контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти свойства нельзя достоверно описать. К ограничениям относятся возможные ошибки, неточности и генерация неподходящего или вредного содержания, характерные для языковых моделей. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-PRISM-LITE-GGUF — мультимодальная GGUF-версия Qwen3.5-122B-A10B, подготовленная Ex0bit с применением PRISM-процесса для частичного снижения чрезмерных отказов. Модель предназначена для диалогов, рассуждений и анализа изображений и видео; поддерживает режимы Thinking и Instant. В README заявлены 122 млрд параметров, из которых 10 млрд активны на токен, архитектура MoE с 256 маршрутизируемыми и одним общим экспертом на слой, а также сочетание GatedDeltaNet и пол attention. Контекст составляет 262 144 токена. Поставляется в формате GGUF с динамической поканальной квантизацией размером около 57,7 ГБ; для работы с изображениями включён файл vision encoder mmproj. Метаданные указывают лицензию Apache-2.0 и библиотеку llama.cpp. Вариант LITE снижает чрезмерные отказы лишь частично; заявления README о сохранении связности и удалении отказов не сопровождаются независимыми оценками. Базовая модель поддерживает широкий набор языков, включая русский.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6 27B. По данным README, разработка выполнялась в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh; использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется в формате GGUF, включая обычные и MTP-варианты, и предназначена для запуска на потребительском оборудовании. Модель ориентирована на широкий спектр задач: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо и ролевые сценарии. Заявлена поддержка английского и китайского языков, а также возможностей vision, однако подробности о поддерживаемых входных форматах и размере контекстного окна в README не указаны. MTP-варианты используют multi-token prediction; для них рекомендуется температура не выше 1 и отключённый repetition penalty, поскольку более высокие значения могут ухудшать производительность. Все квантизации относятся к NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также доступность вариантов для разного объёма памяти. README утверждает, что модель превосходит базовую Qwen3.6 27B в шести из семи тестов и сопоставима с ней в седьмом, но независимые результаты и подробные методики приведены недостаточно. Ограничения включают отсутствие точных сведений о контекстном окне, архитектуре vision-компонента и требованиях к памяти; для MTP-вариантов также указано, что при низком уровне принятия токенов лучше использовать обычную квантизацию. Лицензия — Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — мультимодальная плотная модель с обработкой изображений, созданная DavidAU на основе Qwen/Qwen3.6-27B. Автор описывает расширение модели с 27 до 40 млрд параметров и многоэтапное дообучение: на наборах Deckard/PDK и на данных дистилляции рассуждений Claude 4.6 Opus. Модель рассчитана на диалог, рассуждения, программирование и творческое письмо, включая создание сюжетов и ролевые сценарии; поддерживает вызов инструментов и анализ изображений. В карточке указана длина контекста 256 тыс. токенов, а также режим рассуждений с переменной длиной ответа. Заявления автора о превосходстве в тестах не сопровождаются в предоставленном тексте конкретными результатами, поэтому их следует считать заявлениями автора. README также описывает модель как uncensored и предупреждает о возможности генерации откровенного контента по запросу; отмечены возможные зацикливания на низких квантизациях или слишком коротких запросах. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

SwagMessiah100/Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B-Uncensored, разработанной JonathanColetti. Репозиторий SwagMessiah100 применяет к исходным весам карту динамического распределения битов Unsloth Dynamic 3.0 и соответствующую матрицу важности. Модель предназначена для генерации текста, диалогов и локального запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель имеет размер 27 млрд параметров и поддерживает контекст до 262 144 токенов, включая заявленное извлечение информации на длине около 250 806 токенов для варианта UD-Q3_K_XL. Доступны девять уровней квантования, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Динамическое распределение битов сохраняет более высокую точность в чувствительных тензорах и сильнее сжимает менее чувствительные, благодаря чему, по приведённым измерениям, вариант Q3 превосходит протестированные варианты Q4 по perplexity и может обеспечивать более высокую скорость. К сильным сторонам относятся uncensored-поведение, длинный контекст, несколько вариантов размера и качества квантования, а также проверка файлов нагрузочным тестированием. Производительность и качество зависят от конкретного варианта, оборудования и длины генерации; измерения проводились на RTX 4090 24 ГБ с llama.cpp и DFlash2. Для коротких запросов заявлена медианная скорость около 24,9 токена в секунду, для длинной генерации — до 56,3 токена в секунду, поэтому модель требовательна к ресурсам. Лицензия — Apache 2.0.

Qwen3-VL-30B-A3B-Thinking-NVFP4 — квантованная версия мультимодальной модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen. Модель предназначена для задач image-text-to-text: анализа изображений, визуального восприятия, OCR, описания сцен и ответов на вопросы по изображениям. Она поддерживает текстовые и визуальные входные данные, а также языки English, Chinese, Japanese, Korean, French, German, Spanish, Portuguese, Russian и Arabic. Архитектура основана на MoE-модели с 31 млрд параметров в общей сложности и примерно 3 млрд активных параметров. Квантизация NVFP4 W4A4 применяется к текстовому языковому backbone, включая веса и активации; vision encoder, мультимодальный projector, LM head и MoE-gates сохраняются в формате BF16. Для запуска рекомендуется vLLM на GPU NVIDIA Blackwell; объём видеопамяти модели составляет около 16 ГБ против примерно 62 ГБ для BF16 и 31 ГБ для FP8. На Blackwell доступно полное ускорение NVFP4, а на более старых GPU сохраняется экономия памяти, но без ускорения квантизации активаций. Модель поддерживает управляемый режим рассуждений: /think предназначен для сложного визуального анализа, а /no_think — для более быстрых задач восприятия, OCR и простых описаний. Для корректного разделения рассуждений и ответа в vLLM рекомендуется специальный reasoning parser; заявленная максимальная длина контекста в примере запуска составляет 8192 токена. Ограничениями являются зависимость полной производительности NVFP4 от архитектуры Blackwell и возможные ограничения контекста или размера батча на GPU с 24 ГБ памяти. Модель распространяется по лицензии Apache-2.0.

PocketAI выпустила конвертированную и упакованную для запуска на Apple Silicon версию Qwopus3.6-27B-v2 от Jackrong. Это плотная языковая модель семейства Qwen3.5 с 26,896 млрд параметров в формате BF16 и нативной боковой MTP-головой для ускорения генерации методом speculative decoding. PocketAI не обучала и не дообучала базовую модель. Модель предназначена для диалоговой генерации текста, рассуждений и работы с инструментами. Пакет содержит только текстовую модель, без компонентов для обработки изображений; заявлены английский, китайский, испанский, русский и японский языки. Для ускорения через MTP требуется MTPLX версии 2.4.0 или новее; стандартный mlx-lm не поддерживает боковой файл MTP самостоятельно. Репозиторий распространяется по лицензии Apache-2.0. Модель обозначена как экспериментальная и не проходила всестороннюю оценку безопасности; результаты следует проверять перед использованием в важных сценариях. Приведённые в README показатели скорости получены на одной конфигурации Apple Silicon и не гарантируют аналогичную производительность на другом оборудовании.

Карточка модели VECTORVV1/READ-PRO-OCR на Hugging Face совпадает с карточкой lenhattruong165/orc-deepseek-unli, поэтому описание составлено по ней. Unlimited-OCR — мультимодальная модель семейства Unlimited-OCR, представленная авторами проекта в июне 2026 года. Она предназначена для распознавания текста на изображениях и длинного разбора документов за один проход, включая сценарии с преобразованием страниц PDF в изображения. В карточке указаны 559,7 млн параметров, архитектура UnlimitedOCRForCausalLM, контекст 32 768 токенов и работа через Transformers; README также описывает поддержку запуска в vLLM и SGLang. Модель принимает изображения и текстовые запросы, а результат выдаёт в виде текста. Метаданные отмечают мультиязычную поддержку, но конкретные языки не перечисляют. Лицензия — MIT. Карточка связывает модель с Deepseek-OCR, однако точный идентификатор базовой модели не указан.

SauerkrautLM-v2-14b-SFT — языковая модель VAGO solutions, дообученная на базе Qwen/Qwen2.5-14B методом Spectrum Fine-Tuning в два этапа. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса safetensors. Модель предназначена для диалогов и следования инструкциям, генерации текста, математических рассуждений, вызова функций и задач на здравый смысл. Разработчики сообщают об улучшениях математических способностей, работы с функциями и многоязычной генерации. В README явно названы немецкий и английский, а метаданные также перечисляют итальянский, французский, португальский, нидерландский, арабский и испанский. Модель распространяется по лицензии Apache 2.0. Авторы предупреждают, что фильтрация данных не исключает появления неподходящего или некорректного контента; стабильно безопасное поведение не гарантируется.

google/t5gemma-xl-xl-ul2 — предварительно обученная текстовая модель семейства T5Gemma от Google с энкодером XL и декодером XL, адаптированная с использованием UL2. Архитектура типа encoder-decoder преобразует текст в текст; веса сохранены в формате safetensors и предназначены для работы через Transformers. Модель рассчитана на английский язык. Модель подходит для генерации текста, суммаризации, ответов на вопросы и рассуждений; энкодер также можно применять в задачах классификации и понимания текста. Возможные сценарии — подготовка черновиков и кратких изложений, ответы по предоставленному тексту и NLP-исследования. В карточке не указаны размер в параметрах и длина контекста. К ограничениям относятся возможные фактические ошибки, влияние пробелов и смещений обучающих данных, трудности с неоднозначностью и сложными открытыми задачами. Лицензия — Gemma; для применения необходимо учитывать условия Gemma и политику допустимого использования.

Tralalabs_Pythia-6.9B-Instruct-v1-Merged-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Pythia-6.9B-Instruct-v1-Merged, разработанной Tralalabs и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, работы в качестве чат-ассистента и агентских приложений. Доступны варианты от BF16 до различных уровней квантизации, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. Модель поддерживается инструментами llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми приложениями. Модель обучалась с использованием наборов данных OpenAssistant Guanaco и Tulu v2 SFT Mixture. Заявлена поддержка английского, испанского, немецкого, русского, японского, французского, польского, вьетнамского, китайского, венгерского, корейского, каталонского и баскского языков. Точная архитектура, размер контекстного окна и формат инструкций в README не указаны; для выбора шаблона промпта рекомендуется обратиться к странице исходной модели. Сильной стороной является широкий выбор квантизаций, включая рекомендуемые варианты Q4_K_M, Q5_K_M и Q6_K, позволяющие запускать модель локально при разных аппаратных ресурсах. Ограничения включают отсутствие описания точных характеристик, бенчмарков и prompt format, а также возможное снижение качества в наиболее компактных вариантах. Распространение указано по лицензии Apache-2.0.

airoboros-13b-gpt4-1.4 — плотная авторегрессионная модель семейства LLaMA примерно на 12,9 млрд параметров, дообученная автором jondurbin на синтетических данных, созданных с помощью GPT-4. Это полное дообучение, а не QLoRA; модель опубликована в формате PyTorch и использует шаблон диалога Vicuna 1.1. Модель предназначена для генерации ответов в диалоге, ответов на вопросы по предоставленному контексту, написания текстов и кода. В обучающие примеры включены многоходовые беседы, ролевые диалоги, шутки, загадки и задачи по программированию на десяти языках. Контекстное окно составляет 2048 токенов; русский язык отдельно не заявлен. Автор сообщает, что модель обучали отвечать по заданному контексту и стараться ограничивать ответ его содержимым, однако это не гарантирует отсутствия выдуманных фактов. В карточке также указана настройка на ответы без отказов, в том числе на потенциально незаконные или аморальные запросы. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.3-GGUF — квантизированная версия модели OwenArli/ArliAI-Llama-3-8B-Dolfin-v0.3, созданная QuantFactory с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и дообучена на улучшенном наборе данных Dolphin и WizardLM. Модель предназначена для генерации текста, диалоговых сценариев и выполнения пользовательских инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Поддерживается чатовый формат с системными сообщениями, пользовательскими запросами и ответами ассистента. Размер базовой модели составляет 8 млрд параметров; используется архитектура семейства Llama 3 и текстовая модальность. Обучение проводилось с длиной последовательности 2048 токенов, при этом заявлена работоспособность с контекстом до 8192 токенов. Дообучение выполнялось методом QLoRA с 4-битной загрузкой, рангом 64 и alpha 128; обучаемыми были примерно 2% параметров. Данные о поддерживаемых языках, конкретных параметрах квантизации и результатах бенчмарков не приведены. Модель может быть полезна в локальных приложениях и системах, где важны экономичное использование памяти и выполнение инструкций. Ограничения включают отсутствие опубликованных результатов OpenLLM Benchmark и неполное описание характеристик квантизированных вариантов. Использование регулируется лицензией Meta Llama 3 License, обозначенной в карточке как llama3.

ERNIE-4.5-21B-A3B-Thinking-GGUF — это квантизированная версия языковой модели ERNIE-4.5-21B-A3B-Thinking, разработанной Baidu. Данный репозиторий подготовлен пользователем bartowski в формате GGUF с использованием llama.cpp и калибровочных imatrix-данных. Модель предназначена для генерации текста и локального запуска в llama.cpp, LM Studio и других совместимых проектах. В README указано, что доступны варианты от исходных весов BF16 размером 43,66 ГБ до различных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Обозначение 21B указывает на заявленный размер модели, однако дополнительные сведения об архитектуре, числе активных параметров, контекстном окне, поддерживаемых языках и модальностях в предоставленных данных отсутствуют. Формат GGUF и набор квантований позволяют выбирать компромисс между качеством, потреблением памяти и скоростью локального вывода; наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M описан как рекомендуемый вариант стандартного размера. Ограничения включают снижение качества при использовании более компактных квантований, особенно Q3 и некоторых IQ-вариантов, а также отсутствие указанного в README шаблона промпта. Лицензия модели и условия её использования в предоставленных данных не указаны, поэтому их следует уточнить на странице исходной модели Baidu.

Canary-1b-v2 — мультиязычная модель NVIDIA для распознавания речи и перевода устной речи. Это модель примерно с 1 млрд параметров на архитектуре encoder-decoder: FastConformer извлекает признаки из аудио, а Transformer Decoder генерирует текст. Модель работает с 25 европейскими языками: болгарским, хорватским, чешским, датским, нидерландским, английским, эстонским, финским, французским, немецким, греческим, венгерским, итальянским, латышским, литовским, мальтийским, польским, португальским, румынским, словацким, словенским, испанским, шведским, русским и украинским. Модель предназначена для транскрибации речи на этих языках, а также перевода речи между английским и каждым из остальных 24 языков. Она автоматически расставляет знаки препинания и заглавные буквы, поддерживает временные метки на уровне слов и сегментов, в том числе для переведённого текста, и обрабатывает длинные записи с динамическим разбиением на фрагменты. NVIDIA заявляет о высокой скорости и качестве относительно моделей сопоставимого размера; результаты зависят от языка и условий записи. Модель можно использовать для голосовых помощников, субтитров, транскрибации разговоров и голосовой аналитики. Для работы предусмотрен NVIDIA NeMo; карточка также описывает использование через Transformers. Лицензия — CC BY 4.0, допускающая коммерческое и некоммерческое использование с соблюдением её условий.

MiniMax-M2-REAP-139B-A10B — это языковая модель для генерации текста, разработанная Cerebras. Она создана на основе MiniMax-M2: методом REAP из исходной модели равномерно удалено 40% экспертов. По доступным данным, модель использует разреженную MoE-архитектуру, имеет заявленный размер 139B параметров и активную часть A10B. Указан английский язык; сведения о поддерживаемых модальностях и размере контекста отсутствуют. Эта версия представляет собой GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и калибровочных данных imatrix. Она предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от Q8_0 до 2-битных и IQ-квантизаций с размером файлов примерно от 55 до 148 ГБ; более высокие разрядности обычно обеспечивают лучшее качество, а низкоразрядные варианты уменьшают требования к памяти, но могут заметно снижать качество. Сильными сторонами являются широкий выбор квантизаций, возможность локального использования и сохранение работоспособности после структурного сокращения MoE-модели. Ограничения включают очень большой объём памяти, зависимость качества от выбранного варианта квантизации и отсутствие в карточке подробных результатов оценки. Лицензия указана как other; конкретные условия необходимо уточнять в лицензии исходной модели Cerebras.

DeepSeek-V2-Lite-IMat-GGUF — это GGUF-квантизированная версия языковой модели DeepSeek-V2-Lite, разработанной deepseek-ai. Квантизацию выполнил legraphista с использованием llama.cpp и метода IMatrix, предназначенного для снижения размера модели с сохранением качества. Модель относится к задачам генерации текста и рассчитана на запуск через совместимые инструменты, включая llama.cpp. В репозитории доступны варианты от исходных FP16 и BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серии. Размер файлов составляет примерно от 5,64 до 31,42 ГБ. IMatrix применяется в вариантах с более низкой точностью, включая Q4_K, Q3_K, Q2_K и IQ-квантизации; для FP16, BF16, Q8_0 и некоторых других вариантов он не используется. Исходная модель имеет тип данных BF16. Сильная сторона сборки — широкий выбор компромиссов между качеством, размером и требованиями к ресурсам, а IMatrix может улучшать сохранение качества при агрессивной квантизации. README не содержит сведений об архитектуре, числе параметров, длине контекста, поддерживаемых языках, мультимодальности, результатах оценивания или лицензии, поэтому эти характеристики нельзя достоверно определить по представленным данным.

DNA 2.0 — языковая модель компании Dnotitia Inc., созданная дообучением Smoothie-Qwen3-14B. Это плотная авторегрессионная модель семейства Qwen3 с 14 млрд параметров, предназначенная для диалогов, рассуждений, математических задач и повседневных запросов. В README заявлены улучшения пошагового решения задач, логического вывода и генерации на корейском и английском языках; модель также позиционируется как менее ограничивающая ответы на чувствительные темы. Модель принимает текст и генерирует текст. README указывает контекст 32 тыс. токенов с расширением до 131 тыс. через YaRN, тогда как метаданные каталога фиксируют нативный контекст 40 960 токенов. Поддерживается режим управления рассуждением через команды /think и /no_think. Доступны веса Safetensors для Transformers, лицензия — Apache 2.0. Заявления README об оценках и улучшениях представлены разработчиком и не сопровождаются подробностями протокола оценки; качество на конкретных задачах следует проверять отдельно. Для генерации с включённым режимом рассуждения автор не рекомендует жадное декодирование из-за ухудшения качества и риска повторов.

Gemma-4-31B-it-ROCmFP4-GGUF — это мультимодальная квантизированная GGUF-версия модели Gemma-4-31B-it, разработанной Google и подготовленной пользователем kingjones777. Модель предназначена для генерации и анализа текста, а также для обработки изображений; для визуального ввода в репозиторий включён отдельный проектор mmproj-BF16.gguf. В репозитории представлены четыре варианта квантизации: 4-битный ROCmFP4 и 6- или 8-битные ROCmFPX, размером примерно от 16,44 до 30,04 ГиБ. Модель рассчитана прежде всего на AMD Strix Halo с графикой gfx1151, включая Ryzen AI MAX+ 395, и поддерживает ускорение через ROCmFPX. Заявленный контекст в проверках составлял 4096 токенов; языки явно не указаны. Для ускорения генерации поддерживается speculative decoding с drafter-моделью Gemma-4-31B-it-assistant. На рекомендованном 4-битном варианте измерена скорость до 21,68 токена в секунду с MTP и около 11,81 токена в секунду без него. Сильные стороны модели — мультимодальность, наличие нескольких вариантов точности, проверенная работа с текстом и изображениями на реальном оборудовании, а также заметное ускорение за счёт speculative decoding. Основное ограничение — необходимость специальной сборки llama.cpp с поддержкой ROCmFPX: стандартные llama.cpp, Ollama и LM Studio эти типы файлов не загружают. Для обработки изображений требуется отключить flash attention, а использование MTP может зависеть от версии сборки и операционной системы. Модель распространяется по лицензии Gemma. Условия использования следует уточнять в лицензии Google Gemma; README не приводит дополнительных ограничений.

GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, представленная в карточке Unsloth с исправлениями шаблона диалога. Это версия на 9 млрд параметров, рассчитанная на локальное развёртывание и приложения с низкой задержкой; архитектура GLM4V использует условную генерацию текста по изображениям. Модель принимает изображения и текст, понимает документы, страницы с таблицами, диаграммами и иллюстрациями, а также снимки экранов. Контекстное окно семейства заявлено до 128 тысяч токенов. Модель подходит для визуальных диалогов, анализа документов, интерпретации интерфейсов и генерации кода HTML/CSS по скриншотам. Поддерживает вызов инструментов и смешанную генерацию текста и визуального контента. По README, её сильная сторона — мультимодальные сценарии; чисто текстовые ответы слабее, а на сложных запросах возможны чрезмерные рассуждения и повторы. Также отмечены ошибки при подсчёте объектов и распознавании конкретных людей. Репозиторий распространяется по лицензии MIT.

MLX-версия языковой модели GLM-4.7, разработанной организацией zai.org и конвертированной сообществом mlx-community из исходной модели zai-org/GLM-4.7 с помощью mlx-lm 0.30.0. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple. Типичные сценарии включают диалоговое взаимодействие и другие задачи текстовой генерации. Модель использует 6-битное квантование и формат MLX. В карточке указаны поддерживаемые языки English и Chinese, модальность — текстовая. Архитектура, количество параметров и размер контекста в README не уточняются. К сильным сторонам относятся адаптация для MLX и снижение требований к памяти благодаря 6-битному представлению; ограничения — отсутствие подробных данных о качестве, производительности, точном аппаратном охвате и возможностях исходной GLM-4.7. Модель распространяется по лицензии MIT.

GLM-5.2-DQ4plus-q8 — это конвертированная в формат MLX и смешанно квантованная версия языковой модели GLM-5.2, разработанной Z.ai (zai-org) и опубликованной сообществом mlx-community. Модель предназначена для генерации текста и локального запуска на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; для использования рекомендуется библиотека mlx-lm. Ключевая особенность — смешанная квантизация: большинство тензоров сохраняется в 8-битном формате, тензоры up и gate экспертных слоёв квантуются до 4 бит, а down-тензоры — до 5 и 6 бит в зависимости от блока. Такой подход призван сохранить качество при меньшем потреблении памяти и оставить место для контекстного окна. В README не указаны точный размер модели, архитектура GLM-5.2, поддерживаемые языки, модальности и длина контекста; заявленные характеристики применимы прежде всего к MLX-окружению Apple Silicon. Модель ориентирована на пользователей, которым нужен локальный запуск крупной языковой модели на совместимом Mac. Её сильная сторона — компромисс между качеством и требованиями к памяти благодаря преимущественно 8-битным весам и более экономной квантизации экспертных тензоров. Ограничения связаны с привязкой к MLX и оборудованию Apple Silicon, а также с возможными потерями качества из-за квантизации. Модель распространяется по лицензии MIT.

local-inference-lab/GLM-5.3-Flash-NVFP4 — квантованная и дистиллированная версия модели zai-org/GLM-5.3-Flash-BF16. Модель предназначена для генерации текста и диалоговых сценариев, поддерживает английский и китайский языки, а также мультимодальные задачи с использованием встроенного vision encoder. Архитектура сохранена: 45 decoder-слоёв, включая 3 плотных слоя и 42 MoE-слоя с 288 маршрутизируемыми экспертами в каждом, из которых для каждого токена активируются 8, дополнительно используется общий эксперт. Механизм внимания сочетает linear attention и DeepSeek Sparse Attention; заявленный размер модели на диске составляет около 199 ГБ. Длина контекста в README не указана. Ключевая особенность модели — quantization-aware distillation: веса маршрутизируемых экспертов обучались с учётом NVFP4-квантования, чтобы компенсировать ошибки низкой точности и приблизить ответы к исходной BF16-модели. Экспертные gate, up и down projections хранятся в NVFP4, вспомогательный MTP-модуль использует MXFP8, а остальные основные компоненты преимущественно сохраняют BF16 или FP32. Сильными сторонами являются сочетание MoE-архитектуры, дистилляции и низкобитного представления весов при сохранении vision encoder и MTP. Ограничения включают значительный объём модели, дополнительные требования к памяти для KV-кэша и буферов, а также необходимость runtime с поддержкой архитектуры glm5_next и смешанного формата ModelOpt NVFP4/MXFP8, включая покомпонентные масштабы активаций. Модель распространяется по лицензии MIT.

inferencerlabs/GLM-5.3-MLX-Q4i — квантизированная версия языковой модели GLM 5.3, основанная на zai-org/GLM-5.3-BF16 и подготовленная сообществом inferencerlabs. Модель предназначена для генерации и продолжения текста, локального текстового инференса и других задач, поддерживаемых библиотекой MLX. Данные о размере модели, архитектуре, языках и максимальной длине контекста в README не указаны. Модель использует формат MLX и квантизацию Q4-INF, настроенную методом INF для повышения общей точности при ограничении памяти до 512 GiB. По приведённым данным конверсии GLM 5.1, Q4-INF показала perplexity 1,21093, точность токенов 97,70% и missed divergence 10,65%; эти показатели не следует напрямую считать результатами для GLM 5.3. На M3 Ultra заявлена скорость около 15,8 токена в секунду при обработке последовательности длиной около 1000 токенов и потребление примерно 428,6 GiB памяти. Сильной стороной модели является адаптация под экосистему MLX и сохранение высокой точности при 4-битной квантизации, однако использование требует значительного объёма оперативной памяти и совместимого оборудования или программного окружения. Модальности ограничены текстом согласно указанному pipeline_tag. Лицензия в README не указана.

LFM2.5-8B-A1B-CoreAI — это конверсия модели LiquidAI/LFM2.5-8B-A1B для локального выполнения в формате Apple Core AI (.aimodel). Конверсию подготовило сообщество Core AI model zoo; базовая модель разработана Liquid AI. Модель предназначена для генерации текста, чат-диалогов, суммаризации и других языковых задач на устройствах Apple без отправки данных в облако, включая интеграцию с CoreAIKit и системными сценариями LanguageModelSession. Архитектура представляет собой гибридный decoder-only MoE: 24 слоя, из которых 18 используют short-convolution mixers, а 6 — GQA attention. Первые два слоя плотные, остальные используют разреженный MoE с 32 экспертами и выбором 4 экспертов на токен. Общий размер составляет около 8,3 млрд параметров, при этом активно на токен используется примерно 1,5 млрд; hidden size — 2048, словарь — 128 тысяч токенов. В README языки и максимальный размер контекста не указаны. Модель ориентирована на GPU и Neural Engine устройств Apple; опубликованный чистый bundle предназначен для Mac, а вариант int4 проверен на iPhone 17 Pro, но не поставляется из-за заметной потери качества. Сильные стороны модели — локальная работа, MoE-эффективность и оптимизированное ядро gather_qmm, которое читает веса только выбранных экспертов. Для Mac заявлена скорость около 140–141 токена в секунду при размере bundle 8,8 ГБ, а качество симметричного int8-варианта соответствует уровню fp16 в описанном тесте. Ограничения включают значительный объём загрузки, зависимость от устройств Apple и наличие проблем у базовой модели с повторяющейся генерацией при использовании без chat template и sampling. Модель распространяется по лицензии lfm-open-license-v1.0; точные условия приведены в файле LICENSE.