II.10Разработка и эксплуатация AI/ML-систем

Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Qwen2.5-2B-Instruct — компактная текстовая языковая модель семейства Qwen2, представленная win10. По карточке она собрана с помощью LazyMergekit из повторяющихся ссылок на Qwen/Qwen2.5-1.5B-Instruct; метаданные каталога классифицируют её как дообученную производную этой базовой модели. Модель предназначена для диалогов, генерации текста и структурированных ответов, включая сценарии с интерфейсом вызова инструментов. Архитектура — плотная Qwen2ForCausalLM, размер — 2,7 млрд параметров, контекст — 32 768 токенов. Доступен формат safetensors. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют. Качество, безопасность ответов и фактическая эффективность вызова инструментов отдельно не описаны.

Qwen3-30B-A3B-Instruct-2507-GGUF — языковая instruction-модель для генерации текста, созданная Qwen и представленная в формате GGUF сообществом LM Studio. Она основана на исходной модели Qwen3-30B-A3B-Instruct-2507; GGUF-квантизация выполнена командой LM Studio с использованием llama.cpp версии b6022. Модель предназначена для сценариев, связанных с обработкой и генерацией текста, включая работу через совместимые локальные приложения и инструменты на базе llama.cpp. В названии указана конфигурация 30B-A3B, однако README не содержит подробностей об архитектуре, фактическом количестве активных параметров, размере контекста, поддерживаемых языках, доступных модальностях и конкретных вариантах квантизации. К сильным сторонам относятся instruction-настройка и формат GGUF, удобный для локального запуска в совместимой инфраструктуре. При этом отсутствуют сведения о результатах тестирования и специализированных возможностях, поэтому качество на конкретных задачах по README оценить нельзя. Как и другие генеративные модели, она может выдавать неточную, вредную или неподходящую информацию. Для модели указана лицензия Apache-2.0.

lmstudio-community/Qwen3-32B-MLX-4bit — это 4-битная версия модели Qwen3-32B, разработанной Qwen и преобразованной сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска в экосистеме MLX; README не содержит сведений о конкретных прикладных сценариях, поддерживаемых языках, архитектуре, размере контекста или доступных модальностях помимо текста. Ключевая характеристика модели — 32B в названии и 4-битное квантование, что ориентировано на более эффективное использование памяти при локальном запуске, однако README не приводит измерений производительности, качества или требований к оборудованию. Использование предполагается через библиотеку mlx-lm с применением чат-шаблона токенизатора, если он доступен. Модель распространяется по лицензии Apache 2.0; ограничения и известные недостатки отдельно не указаны.

avyukth/Qwen3.8-27B-AWQ-INT4 — это квантизированная 4-битная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем avyukth. Модель предназначена для генерации текста и обработки изображений с текстовыми запросами, включая визуальное чтение текста, распознавание форм, цветов и положения объектов, а также задачи рассуждения и диалоговые сценарии. Модель реализует архитектуру Qwen3.5 с классом Qwen3_5ForConditionalGeneration и содержит 27 миллиардов параметров в исходной версии. Веса Linear-модулей квантизированы по схеме symmetric W4A16 с размером группы 128, занимают около 18 ГБ на диске и требуют примерно 17,68 ГиБ видеопамяти. Vision tower, lm_head и MTP head сохранены в формате bfloat16. Заявлена работа на одной видеокарте с 24 ГБ памяти; проверено использование на RTX 3090 через vLLM. В README указана настройка с максимальной длиной контекста 8192 токена, однако поддерживаемые языки отдельно не перечислены. Сильными сторонами являются существенное уменьшение размера модели, сохранение мультимодальных возможностей и высокая измеренная точность на ограниченной выборке GSM8K: 39 из 40 задач при температуре 0. Ограничения связаны с тем, что 48 из 64 слоёв linear attention квантизированы без activation-aware scaling, vision tower не квантизирован, а некоторые проекции требуют padding и slicing в vLLM, что снижает производительность. Результат GSM8K получен только на 40 задачах и не является полноценным сравнением с исходной моделью. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели. Репозиторий содержит только квантизированные веса; авторство самой модели принадлежит команде Qwen.

Qwen3.8-27B-huihui-abliterated-NVFP4-NInfer — мультимодальная модель для работы с текстом и изображениями, упакованная в формат NVFP4 для движка NInfer. Артефакт основан на huihui-ai/Huihui-Qwen3.8-27B-abliterated и является результатом конвертации формата без дополнительного дообучения или изменения поведения. Модель позиционируется как версия без стандартных отказов, унаследовавшая эти характеристики от исходной модели. Конкретный разработчик данного артефакта в README не указан; конвертация подготовлена для экосистемы NInfer. Модель предназначена для локального инференса, генерации текста, обработки изображений и сценариев с длинным контекстом. Она включает текстовый и зрительный компоненты, MTP-модуль для speculative decoding, оптимизированную proposal head, токенизатор, chat template и ресурсы обработки мультимедиа. Заявлена поддержка контекста до 262 144 токенов при серверном запуске. Размер файла составляет около 21,5 ГБ, а для весов требуется примерно 19 ГиБ видеопамяти. Ключевое ограничение — требование видеокарты NVIDIA Blackwell с compute capability 12.0 (sm_120a); на Ada и Hopper NVFP4 не запускается. Модель совместима со стандартной сборкой NInfer и рассчитана на ускоренный инференс с MTP: в приведённых измерениях скорость speculative decoding достигала 269,9 токена в секунду, а prefill — 875–1 900 токенов в секунду, однако результаты зависят от оборудования и настроек. Языки явно не перечислены. Лицензия — Apache-2.0.

Модель quyetdev/qwen3_8B_fine_tuned_16bit_v3 — дообученная языковая модель семейства Qwen3, разработанная quyetdev на базе unsloth/qwen3-8b-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров. Она принимает текст, поддерживает английский язык и контекст до 40 960 токенов. В репозитории опубликованы веса в формате safetensors; лицензия — Apache-2.0.

inferencerlabs/Qwen3.8-Flash-Next-MLX-Q4 — это мультимодальная квантованная версия модели Qwen3.8-Flash-Next, адаптированная для инференса с использованием MLX. README не указывает разработчика исходной модели; опубликованный вариант предоставлен inferencerlabs. Модель поддерживает сценарии image-text-to-text, то есть обработку изображений и текста с генерацией текстового ответа. Модель предназначена для локального запуска, в частности на компьютерах Apple Silicon через приложение Inferencer. В README приведён результат тестирования на M5 Max: около 57,5 токена в секунду при использовании примерно 98,7 GiB памяти для мультимодального инференса. Также указано, что для больших контекстных окон может потребоваться увеличение доступной памяти. Архитектура, количество параметров, точный размер контекста и поддерживаемые языки не указаны. Ключевое преимущество модели — снижение требований к памяти и вычислениям за счёт квантования при сохранении значительной точности. Для варианта с квантованием Q4.5 README указывает точность токенов 91,65% и perplexity 1,33593; эти показатели приведены для оценки квантования и могут не полностью соответствовать варианту Q4 из идентификатора модели. Ограничения включают возможное снижение точности по сравнению с базовой моделью, высокие требования к оперативной памяти для мультимодальной работы и отсутствие в README сведений о лицензии, поэтому условия использования следует уточнять отдельно.

Qwen3-gabliterated-image-generation — дообученная языковая модель компании goonsai-com на базе Goekdeniz-Guelmez/Qwen3-4B-Sky-High-Hermes-gabliterated. Это плотная причинная модель Qwen3 с 3,7 млрд параметров, рассчитанная на генерацию текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста составляет 262 144 токена. Модель обучали с использованием Unsloth и библиотеки TRL. Несмотря на название репозитория, README и метаданные описывают текстовую генеративную модель и не подтверждают создание изображений. Модель распространяется под лицензией Apache-2.0. Карточка не приводит сведений о качестве, обучающих данных или специальных ограничениях, поэтому пригодность для конкретных сценариев следует оценивать отдельно.

Savant-LLaMa-70B — объединённая языковая модель автора TareksGraveyard, созданная с помощью mergekit методом della_linear. В качестве базовой использована nbeerbower/Llama-3.1-Nemotron-lorablated-70B; в объединение также вошли пять моделей семейств Llama от EVA-UNIT-01, Sao10K, SicariusSicariiStuff и TheDrummer. Модель предназначена для диалогового общения и генерации текста. Она построена на архитектуре Llama с 69,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В README автор описывает результат как эксперимент слияния и оценивает его как достойный, но отмечает, что предпочитает другой собственный вариант. Репозиторий содержит веса Safetensors и использует лицензию Llama 3.3. Перед применением следует учитывать условия лицензии Llama 3.3 и ограничения, унаследованные от включённых моделей; README не приводит отдельной оценки качества или подробных рекомендаций по безопасному использованию.

Seed-OSS-36B-Instruct-MLX-6bit — это 6-битная MLX-квантизованная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизация предоставлена командой LM Studio с использованием mlx_lm; сама модель предназначена для генерации текста и работы по инструкциям. Модель подходит для локального запуска в сценариях, требующих ответов на естественном языке и выполнения текстовых задач. Она оптимизирована для устройств Apple Silicon благодаря формату MLX. Известно, что модель содержит около 36 миллиардов параметров и использует 6-битное представление, однако сведения о поддерживаемых языках, длине контекста, конкретной архитектуре и доступных модальностях в README не указаны. К сильным сторонам относятся крупный размер базовой модели, инструкционная настройка, снижение требований к памяти за счёт 6-битной квантизации и оптимизация для экосистемы Apple Silicon. Ограничениями являются зависимость от совместимого MLX-окружения и возможная потеря точности по сравнению с полной версией из-за квантизации; количественные характеристики качества и рекомендации по аппаратным требованиям не приведены. В карточке указана лицензия Apache-2.0.

Ternary Bonsai 2 27B Abliterated v2 — производная 27-миллиардная текстовая модель, представленная BoldingBuilds в формате GGUF PQ2_0 с дополнительным вариантом MTP для спекулятивного декодирования. В README описаны изменения относительно исходной модели: удаление отказов и корректировка одной строки выходного слоя, призванная помочь модели завершать рассуждение и выдавать ответ. По карточке, файлы рассчитаны на запуск через форк llama.cpp от PrismML; стандартные сборки llama.cpp, Ollama и LM Studio без поддержки PQ2_0 их не загрузят. Модель предназначена для локальной генерации текста и диалогов, включая сложные запросы, рассуждения, математические и программные задачи. В сравнительных тестах она близка к исходной Bonsai 2 на математике и HumanEval, но результаты зависят от бюджета токенов и параметра reasoning_effort; в README рекомендован уровень medium. Вариант MTP, по заявлению автора, ускоряет декодирование примерно на 40%. Модель лишена обычного поведения отказа и может отвечать на запросы, которые исходная модель отклонила бы. Автор указывает исследование устойчивости выравнивания и локальное использование без фильтрации как сценарии применения, а также предостерегает от пользовательского развертывания без собственного слоя безопасности. В README также отмечено статистически значимое снижение MMLU относительно исходной модели. Лицензия репозитория — Apache-2.0.

TheBloke/wizardLM-7B-HF — полноразмерная модель WizardLM-7B в формате Hugging Face для генерации текста и выполнения инструкций. Она основана на Llama 7B: к исходным весам применены delta-веса WizardLM, полученные методом Evol-Instruct, после чего объединённая модель преобразована в float16. В репозитории указано около 6,6 млрд параметров и контекст до 2048 токенов. Модель предназначена для ответов на запросы и выполнения разнообразных инструкций на естественном языке; файлы подходят для инференса на GPU и как основа для дальнейшей квантизации или конвертации. Карточка отмечает, что ранняя WizardLM уступала ChatGPT на полном тестовом наборе и оставалась на начальном этапе развития, хотя показывала преимущество на сложных инструкциях. Лицензия в метаданных обозначена как other.

nxn1231/yi6 — текстовая генеративная модель семейства Yi, основанная на 01-ai/Yi-6B. Модель разработана на базе открытой модели 01.AI и использует плотную архитектуру LlamaForCausalLM; в репозитории представлены веса PyTorch в формате Safetensors. Размер составляет 5,8 млрд параметров, контекст — до 4096 токенов. Лицензия — MIT. Модель предназначена для генерации текста на английском и китайском языках, понимания языка, рассуждений на основе здравого смысла и ответов на вопросы по прочитанному. Её можно применять для диалога, написания и продолжения текстов, а также для прототипирования приложений на базе LLM. README сообщает, что семейство обучалось на многоязычном корпусе объёмом 3 трлн токенов, но конкретные показатели качества этой копии отдельно не приводятся.

Zen Ingress 1-3B SFT Merged — это плотная причинно-следственная языковая модель ZenithLLM с 3,1 млрд параметров, созданная на основе Qwen/Qwen2.5-3B-Instruct. Это версия первого этапа supervised fine-tuning с объединёнными весами; модель распространяется в формате Safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для математических рассуждений, пошагового аналитического решения задач и следования структурированным инструкциям в диалогах. Она может применяться для генерации ответов и структурированного текста; в метаданных также указана поддержка интерфейса вызова инструментов. В карточке указан английский язык. Модель доступна по лицензии Apache-2.0. Это промежуточная SFT-версия: для предпочтительно выровненной финальной версии автор указывает отдельную модель Zen Ingress 1-3B DPO Merged.

ZEUS 8B V17 – ABLITERATED V4 — диалоговая языковая модель, созданная T145 слиянием нескольких моделей семейства Llama 3.1 методом DARE TIES. В объединение вошли инструкционные и uncensored-варианты, включая unsloth/Meta-Llama-3.1-8B-Instruct; всего около 7,5 млрд параметров. Модель использует архитектуру LlamaForCausalLM и формат safetensors, поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ролевые сценарии и вызов инструментов через соответствующий интерфейс. В README приведены результаты оценивания Open LLM Leaderboard, в том числе 72,28% на IFEval и 30,97% на BBH; эти показатели не гарантируют качества на конкретных задачах. Модель позиционируется как abliterated и uncensored, поэтому может выдавать нежелательный или небезопасный контент. Лицензия — llama3.1.

ANITA-NEXT-24B-Magistral-2506-VISION-ITA — мультимодальная модель семейства ANITA, разработанная Марко Полиньяно и исследовательской группой SWAP Университета Бари Альдо Моро. Она создана на основе текстовой модели ANITA-NEXT-24B-Magistral-2506-ITA с добавлением зрительных слоёв и процессора Mistral-Small-3.1-24B-Instruct-2503; архитектура — Mistral3, около 23,4 млрд параметров. В карточке указано дообучение SFT с QLoRA и выравнивание DPO, а каталог отмечает слияние моделей. Модель предназначена для диалогов на итальянском и английском языках с анализом изображений, а также для последующей настройки под специальные задачи на итальянском. Она принимает текст и изображения и генерирует текст, включая код. Метаданные указывают контекст 40 960 токенов; README заявляет 128 тыс. токенов, отмечая снижение качества после 40 тыс. Лицензия — Apache-2.0.

Aurora-Borealis-LLaMa-70B — экспериментальная объединённая языковая модель от автора Tarek07, созданная с помощью mergekit из нескольких моделей семейства LLaMa. В README описан метод слияния DARE TIES с градиентной настройкой влияния компонентов; базой указана TareksLab/MO-MODEL6-V0.1-LLaMa-70B. Архитектура — плотная авторегрессионная LLaMaForCausalLM, размер — 69,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Автор описывает её как эксперимент со слиянием специализированных моделей; README рекомендует температуру 1,0, Min P 0,02 и запускать квантованные варианты не ниже Q5. Доступны веса safetensors. Лицензия — llama3.3.

calme-3.2-instruct-78b-GGUF — это квантизированная версия инструкционной языковой модели calme-3.2-instruct-78b, разработанной MaziyarPanahi и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях на базе llama.cpp и LM Studio. В README указана поддержка английского языка и шаблон чата с ролями system, user и assistant. Модель основана на Qwen2.5-72B-Instruct, но имеет заявленный размер 78B параметров. Это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты квантизации от Q2_K до Q8_0 с размером файлов примерно от 31,85 до 82,85 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые; более компактные варианты экономят память, но могут снижать качество. Длина контекста в предоставленных данных не указана. Сильная сторона модели — широкий выбор квантизаций для локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения включают высокие требования к оперативной или видеопамяти, снижение качества в низкобитных вариантах и отсутствие сведений о результатах оценки. Лицензия обозначена как other с ссылкой на лицензию Qwen/Qwen2.5-72B-Instruct; перед использованием необходимо учитывать условия этой лицензии.

Chuluun-Qwen2.5-72B-v0.08-GGUF — это набор квантизированных моделей в формате GGUF для генерации текста, подготовленный пользователем bartowski на основе модели DatToad/Chuluun-Qwen2.5-72B-v0.08. Квантизация выполнена с использованием llama.cpp версии b4497 и метода imatrix. Модель предназначена для локального запуска, в частности через LM Studio, а также совместимых инструментов на базе llama.cpp. В репозитории представлены варианты с разными типами квантизации и размером файлов — примерно от 27,94 до 77,26 ГБ. Доступны форматы Q2, Q3, Q4, Q5, Q6, Q8 и IQ, причём Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и IQ4_XS отмечены как рекомендуемые с точки зрения сочетания качества и требований к памяти. Более компактные варианты экономят оперативную память, но могут заметно уступать по качеству; Q8_0 обеспечивает максимально высокое качество, однако обычно не нужен. В README указано, что модель поддерживает английский язык. Рекомендуемый шаблон запросов использует формат сообщений Qwen с ролями system, user и assistant. Архитектура, длина контекста, точное число параметров исходной модели, дополнительные модальности и лицензия в предоставленных данных не указаны.

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это квантизированная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанной командой DeepSeek-AI. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b4514; модель распространяется в рамках сообщества LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста и прежде всего ориентирована на задачи рассуждения и пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek R1 и настроена на работу с chain-of-thought. Указана поддержка контекстного окна до 128k токенов. Другие характеристики, включая точный размер в параметрах исходной GGUF-сборки, поддерживаемые языки и мультимодальные возможности, в README не приведены; по указанным данным модель относится к текстовым, а не мультимодальным системам. К сильным сторонам относятся компактный размер базовой модели, ориентация на рассуждения и большой заявленный контекст. Ограничения включают возможные неточные, вредоносные или неподходящие ответы, а также отсутствие гарантий качества, безопасности и стабильности использования. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнять в материалах исходной модели DeepSeek-R1-Distill-Qwen-1.5B и конкретной GGUF-сборки.

Dumpling-Qwen2.5-32B-GGUF — это квантованные файлы языковой модели Dumpling-Qwen2.5-32B, подготовленные пользователем bartowski на базе модели nbeerbower. Модель предназначена для генерации текста и локального запуска через llama.cpp, в частности в LM Studio. Она может использоваться для диалогов, написания и преобразования текстов, ответов на вопросы и других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит 32 миллиарда параметров и распространяется в формате GGUF с вариантами от BF16 до низкобитных квантований Q2–Q8 и IQ. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Для квантования применялась imatrix с использованием llama.cpp. В README не указаны точный контекст, перечень поддерживаемых языков и мультимодальные возможности; по заявленному pipeline_tag это текстовая, а не мультимодальная модель. Для работы рекомендуется использовать соответствующий шаблон prompt с маркерами Qwen. Сильной стороной является широкий выбор квантований, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию. Более компактные варианты экономят память, но могут заметно снижать качество. Модель лицензирована по Apache-2.0.

Experiment26Yamshadow_Experiment29Pastiche — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment29Pastiche-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых ответов с контекстом до 32 768 токенов. В метаданных указана лицензия Apache-2.0. README не описывает специальные предметные области или подтверждённый набор поддерживаемых языков.

Fireball-Mistral-Nemo-12B-Philos — дообученная методом supervised fine-tuning языковая модель EpistemeAI для генерации текста. По карточке, обучение охватывало философию, математику, программирование и языки; модель предназначена для ответов и генерации текста в этих областях. Модель основана на unsloth/Mistral-Nemo-Base-2407-bnb-4bit и использует плотную архитектуру Mistral с 12,1 млрд параметров. В метаданных указан контекст до 1 024 000 токенов; карточка базовой модели описывает окно в 128 тысяч токенов, поэтому заявленная для этой модели длина контекста может зависеть от конфигурации и реализации. Указан английский язык; карточка также сообщает об обучении на многоязычных и программных данных, не уточняя полный список языков. Модель распространяется по лицензии Apache 2.0. В карточке приведены рекомендации по использованию базовой Mistral Nemo, но нет отдельных оценок качества Fireball и подробных результатов тестирования.

matrixportalx/gemma-3-1b-it-GGUF — это конвертированная в формат GGUF версия инструкционной модели google/gemma-3-1b-it, разработанной Google. Конвертация выполнена с использованием llama.cpp и сервиса all-gguf-same-where от ggml.ai. Модель предназначена для генерации текста и может запускаться через llama.cpp или совместимые инструменты, включая llama-cpp-python. Модель имеет размер 1 миллиард параметров и относится к текстовым моделям: в README не заявлена поддержка изображений или других модальностей. Доступны варианты с разными уровнями квантования — от Q2_K до Q8_0, а также F16. Q4_K_M рекомендован как сбалансированный вариант для CPU, Q4_0 — для ARM-устройств, а Q8_0 и F16 ориентированы на более высокое качество с большими требованиями к ресурсам. В примерах указано использование контекста до 2048 токенов, однако максимальный контекст исходной модели в представленном README не указан. К сильным сторонам относятся компактный размер, сниженное потребление памяти, кроссплатформенность и возможность локального запуска на CPU, включая ARM-устройства. К ограничениям относятся неизбежные потери качества при агрессивном квантовании, отсутствие подробных сведений о языках, архитектуре, результатах оценки и фактических возможностях исходной Gemma 3. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии необходимо уточнять в оригинальной карточке модели.

Gemma 3 4B IT QAT GGUF — мультимодальная модель семейства Gemma 3, разработанная Google и представленная в формате GGUF сообществом LM Studio. Квантизация выполнена с использованием Quantization Aware Training для повышения качества работы в 4-битном режиме. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммирование и задачи, требующие рассуждений. Она поддерживает текстово-изображённые сценарии, обрабатывает изображения, нормализованные до разрешения 896 × 896 пикселей, имеет контекстное окно до 128 000 токенов и максимальную длину вывода 8192 токена. Другие характеристики, включая языковой охват и точный набор архитектурных параметров, в README не указаны. К сильным сторонам относятся мультимодальность, большое контекстное окно и оптимизация 4-битной версии с помощью QAT, что делает модель подходящей для локального запуска при ограниченных ресурсах. Ограничения связаны с применением квантизации и указанным пределом разрешения изображений; конкретное влияние на качество и требования к аппаратным ресурсам не описаны. Модель распространяется по лицензии Gemma, для доступа к ней на Hugging Face требуется принять условия лицензии Google.

xdavxd выпустил Gemma 4 26B A4B IT QAT Heretic EGA — версию Gemma 4 с ослабленным механизмом отказа на базе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалогов, рассуждений и анализа изображений. Архитектура — Gemma4ForConditionalGeneration; веса представлены в BF16 в формате safetensors. В README приведены инструкции по развёртыванию через vLLM и оценка на нескольких тестах, включая задачи следования инструкциям, математику и работу с длинным контекстом. При модификации из весов проекций внимания и MLP, включая проекции экспертов MoE, удаляли направления, связанные с отказами. Автор сообщает, что на тесте из 100 вредоносных запросов модель отказала в 4 случаях, а на наборе из 686 запросов — в 11; сравнение возможностей проводилось с одним запуском и одной случайной инициализацией, поэтому результаты не являются статистически строгими. Снижение отказов означает, что модель может отвечать на запросы, от которых исходная версия отказывалась. Лицензия — Apache-2.0.

mlx-community/GLM-4.7-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-4.7 в формат MLX с использованием mlx-lm версии 0.30.0. По указанным метаданным модель предназначена для работы с текстом и поддерживает английский и китайский языки. Она может применяться для диалоговой генерации и других задач, связанных с продолжением текста, через библиотеку mlx-lm. Ключевая особенность модели — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноформатной версией, но потенциально может ограничивать точность по сравнению с исходной моделью. Архитектура, число параметров, размер контекста, дополнительные модальности и перечень поддерживаемых сценариев в README не указаны. Для использования требуется MLX и библиотека mlx-lm. Модель распространяется по лицензии MIT.

bartowski/inclusionAI_Ring-mini-2.0-GGUF — это набор квантизованных версий языковой модели Ring-mini-2.0, разработанной inclusionAI. Модель предназначена для генерации текста и запускается в формате GGUF через llama.cpp, LM Studio и другие совместимые приложения. В README указано, что квантизация выполнена с использованием llama.cpp и метода imatrix. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 6,82 до 32,54 ГБ. Более крупные варианты обеспечивают более высокое качество, а Q4_K_M указан как вариант по умолчанию для большинства сценариев; Q6_K и Q6_K_L отмечены как версии очень высокого качества. Модель поддерживает формат промпта с ролями SYSTEM, HUMAN и ASSISTANT, а также специальным маркером рассуждений. Набор подходит для локального вывода текста на устройствах с ограниченными ресурсами, если выбрать подходящий уровень квантизации. Ограничения, архитектура, количество параметров, поддерживаемые языки, размер контекстного окна и мультимодальные возможности в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в описании исходной модели inclusionAI/Ring-mini-2.0.

JSONify-Flux-Large — дообученная PrithivMLmods мультимодальная модель на архитектуре Qwen2-VL-7B-Instruct, настроенная на изображения, созданные Flux, и соответствующие им описания. Она предназначена для описания изображений, визуальных вопросов и рассуждений, распознавания текста на изображениях и решения математических задач с выводом в формате JSON; поддерживает многошаговый диалог и анализ видео. Модель содержит 7,1 млрд параметров, принимает изображения и текст, выдаёт текст, а максимальный контекст составляет 32 768 токенов. В карточке заявлена поддержка английского и китайского языков, а также распознавание текста на японском, арабском и ряде европейских языков. Веса опубликованы в формате Safetensors, библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит независимых сравнительных результатов, поэтому заявления о высокой точности и длительности поддерживаемого видео не следует считать подтверждёнными гарантиями качества.