II.10Разработка и эксплуатация AI/ML-систем

DictaLM-3.0-Nemotron-12B-Instruct-GGUF — инструкционная большая языковая модель из семейства Dicta-LM 3.0, разработанного организацией DICTA. Модель предназначена для генерации и обработки текста, диалоговых сценариев и выполнения пользовательских инструкций на иврите и английском языке. Она также поддерживает tool-calling для интеграции с внешними инструментами и API. Модель содержит 12 миллиардов параметров и использует гибридную архитектуру Hybrid-SSM. Она была изначально создана на базе NVIDIA-Nemotron-Nano-12B-v2-Base; в README для исходной версии указана точность BF16. Данный идентификатор относится к варианту GGUF, однако конкретные параметры квантования и размер контекста не указаны. К сильным сторонам относятся специализация на иврите, поддержка английского языка и доступность open-weight для загрузки и неограниченного использования. Ограничения включают отсутствие сведений о контекстном окне, точной конфигурации GGUF и подробных результатах оценки в представленных данных. Модель распространяется по лицензии NVIDIA Open Model License.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — модификация базовой модели Qwen3.6-27B, разработанная HauhauCS. Это мультимодальная модель для работы с текстом, изображениями и видео, представленная в формате GGUF и предназначенная для запуска в llama.cpp, LM Studio и других совместимых средах. Она ориентирована на агентное программирование, использование инструментов, рассуждения, творческое письмо и ролевые сценарии, а версия Aggressive специально настроена на прямые ответы без предварительных оговорок на жёсткие запросы. README заявляет отсутствие отказов в тесте из 465 запросов, однако это утверждение следует считать характеристикой автора сборки, а не независимой гарантией поведения модели. Модель содержит 27 млрд плотных параметров, 64 слоя и гибридную архитектуру с 48 слоями линейного внимания Gated DeltaNet и 16 слоями полноценного Gated Attention. Нативный контекст составляет 262 тыс. токенов и может быть расширен примерно до 1 млн с помощью YaRN. Указана поддержка английского, китайского и других языков, а также встроенная мультимодальность; для обработки визуальных данных поставляется отдельный компонент mmproj. Доступны квантизированные варианты от Q8 до Q2, включая специализированные K_P-квантизации, оптимизированные для сохранения качества. Сильными сторонами являются большой контекст, поддержка текста, изображений и видео, широкий выбор вариантов квантизации и отсутствие изменений в заявленных исходных возможностях Qwen3.6-27B. Ограничение версии Aggressive — менее сдержанная манера поведения и отсутствие защитных отказов, что повышает риски при использовании. Модель распространяется по лицензии Apache-2.0; сведения о требованиях к аппаратному обеспечению в README не приведены, но размер файлов квантизаций составляет примерно от 10 до 32 ГБ, не считая mmproj размером 928 МБ.

Elita-0.1-Distilled-R1-Abliterated — текстовая генеративная модель на базе DeepSeek-R1-Distill-Qwen-7B, дообученная prithivMLmods на данных для рассуждений по цепочке мыслей. Модель использует плотную архитектуру Qwen2 и содержит 7,1 млрд параметров; заявленная длина контекста — 131 072 токена. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для следования инструкциям, многошаговых рассуждений, логических задач, ответов на вопросы и создания связных объяснений. Её можно применять в виртуальных помощниках, образовательных инструментах, автоматизации, подготовке сводок и отчётов. В карточке указана английская локаль; иных языков README и метаданные не подтверждают. Модель распространяется по лицензии Apache-2.0. Среди ограничений автор отмечает риск фактических ошибок и предвзятости, слабые результаты в узкоспециализированных областях и зависимость качества ответа от ясности запроса. Для запуска требуются значительные вычислительные ресурсы; оптимизация для развёрнутых рассуждений может быть менее подходящей для простых задач.

ReadyArt/gemma-4-31B-it-scotoma-2-GGUF — это набор GGUF-квантизированных вариантов модели gemma-4-31B-it-scotoma-2, опубликованный ReadyArt. В основе лежит Gemma 4 31B от Google DeepMind, доработанная методом γ-fold и тремя раундами DPO на 9,3 тыс. пар предпочтений. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и мультимодального анализа изображений; GGUF-формат ориентирован на локальный запуск через llama.cpp и совместимые приложения. Базовая Gemma 4 31B — плотная модель примерно с 30,7 млрд параметров, гибридным вниманием, поддержкой текста и изображений и контекстом до 256 тысяч токенов. Семейство Gemma 4 поддерживает более 140 языков на уровне предобучения и имеет режимы рассуждений, но для конкретного производного варианта ReadyArt подробные отдельные языковые оценки не указаны. Доступны разные уровни квантизации, поэтому требования к памяти и качество зависят от выбранного GGUF-файла. Scotoma 2 изменяет поведение исходной instruction-tuned модели: ослабляет осторожные рефлексы и уменьшает повторяющиеся стилистические шаблоны, включая рефлексивные отрицания, конструкцию «not X, but Y», вставки с em dash и нагромождение прилагательных. По заявлению автора, модель сохраняет интеллект базовой версии и делает ответы более разнообразными, но это исследовательский артефакт, а не продукт; поведение зависит от запроса и контекста, а квантизация может дополнительно снижать качество. Модель не является полностью uncensored и в целом сохраняет отказы базовой модели. Указана лицензия Apache-2.0 с применением условий лицензии Gemma.

Meta Llama 3.1 8B Instruct GGUF — это квантизированная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 миллиардами параметров. Исходную модель разработала Meta, а данный вариант подготовлен для библиотеки GGUF и распространяется quantizer’ом brooketh; он предназначен для локального использования в приложениях на базе llama.cpp, включая Backyard AI. Модель ориентирована на генерацию текста и диалоговые сценарии, в которых требуется следовать инструкциям. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный контекст составляет до 131 072 токенов. Формат GGUF позволяет распределять вычисления между CPU и GPU и запускать модель на более широком спектре оборудования, однако квантизация снижает требования к ресурсам ценой возможного ухудшения связности и качества при более низкой точности. Модель не дообучена специально для roleplay. Лицензия указана как llama3.1; перед использованием следует ознакомиться с её условиями. README не содержит сведений о конкретном уровне квантизации, размере файла, требованиях к памяти или результатах тестирования, поэтому производительность и качество на конкретном оборудовании заранее определить нельзя.

unsloth/Qwen2.5-VL-3B-Instruct-unsloth-bnb-4bit — инструкция-дообученная мультимодальная модель семейства Qwen2.5-VL, разработанная командой Qwen и представленная в 4-битном формате квантования unsloth-bnb. Модель основана на Qwen/Qwen2.5-VL-3B-Instruct и предназначена для обработки изображений, видео и текста с использованием библиотеки Transformers. Модель поддерживает анализ объектов, текста, таблиц, графиков, документов и компоновки изображений, визуальную локализацию объектов с помощью координатных рамок или точек, структурированный вывод данных, а также понимание длительных видеоматериалов и выделение релевантных моментов. Она также ориентирована на агентские сценарии, включая взаимодействие с компьютером и мобильными устройствами. Архитектура включает языковую модель на 3 миллиарда параметров и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm; для видео используются динамическое разрешение и динамическая частота выборки кадров. В метаданных указан английский язык, однако полный набор поддерживаемых языков в README не раскрыт, как и размер контекстного окна. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению, работа с визуальными документами, видео и структурированными ответами, а также поддержка агентских задач. Ограничения включают меньшую ёмкость по сравнению с версиями на 7 и 72 миллиарда параметров и неравномерные результаты на разных бенчмарках; производительность зависит от типа визуального и агентского сценария. Лицензия указана как qwen-research; подробные условия приведены по ссылке на лицензию базовой модели.

Qwen3.5-122B-A10B-REAP-20-abliterated-GGUF — это набор GGUF-квантизаций разреженной MoE-модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-99B, которая, в свою очередь, получена из Qwen/Qwen3.5-122B-A10B. Из исходной модели удалено около 20% экспертов: сохранено 205 из 256, что уменьшило общий размер примерно со 122B до 99B параметров при сохранении бюджета около 10B активных параметров. Модель предназначена для генерации текста и запуска в совместимом программном обеспечении, включая llama.cpp. Архитектура — qwen35moe, модель содержит 48 слоёв и использует стандартное предсказание одного токена без Multi-Token Prediction (MTP/NextN). Доступны варианты GGUF с квантованием от Q6_K до IQ2_XS, с размером файлов примерно от 81,3 до 29,5 ГБ; квантизация выполнена с использованием importance-matrix на общем калибровочном наборе. Языки, размер контекстного окна и поддерживаемые модальности в README не указаны. Модель сохраняет основные возможности исходной архитектуры при меньшем числе экспертов, а вариант REAP-20 должен иметь больше ёмкости и больший размер, чем REAP-30. Дополнительно выполнена abliteratation — ортогонализация весов для снижения жёстких отказов на запросы для взрослого и творческого контента; защитные ограничения против самоповреждения и содействия реальным противоправным действиям, согласно описанию, сохранены. Это не универсальная модель для всех аудиторий, а крупная по требованиям к памяти система, причём качество зависит от выбранного уровня квантования. Лицензия — Apache-2.0, унаследованная от базовой модели.

Youssofal/Qwen3.6-35B-A3B-Abliterated-Heretic-GGUF — это GGUF-релиз модифицированной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; запуск возможен через llama.cpp с использованием совместимого мультимодального projector-файла. Релиз создан с применением Heretic для удаления исходного паттерна отказов на уровне весов. Модель использует разреженную MoE-архитектуру с 35,95 млрд общих параметров и примерно 3 млрд активных параметров на токен. В составе 40 текстовых слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен; семейство архитектуры — qwen3_5_moe. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M, различающиеся качеством и требованиями к ресурсам. Языки и точный размер контекстного окна в README не указаны. Сильной стороной релиза является сохранение мультимодальной архитектуры и общего профиля возможностей базовой модели при значительно меньшей склонности к отказам: в указанной проверке модель отказала в 1 из 25 запросов против 22 из 25 у оригинала. Это одновременно является ограничением и фактором риска: встроенное поведение отказа удалено, поэтому модель может отвечать на запросы, которые базовая версия отклоняла, и требует самостоятельного контроля безопасности. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

LibertAIDAI/Qwen3.6-35B-A3B-NVFP4-GGUF — это GGUF-квантизация мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen и адаптированной LibertAI для работы с llama.cpp. Модель предназначена для генерации текста, рассуждений и обработки изображений и видео совместно с vision-проектором mmproj. Заявленный язык — английский. Модель использует гибридную архитектуру attention и SSM с механизмом Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активируются на каждом токене; предусмотрено 40 слоёв и 256 экспертов, из которых активны 8. Маршрутизируемые экспертные FFN-тензоры представлены в формате NVFP4, а attention, shared experts, SSM-блоки linear_attn и embeddings используют обычные варианты GGUF-квантизации. Доступны варианты с Q4_K_M, Q8_0 и BF16 для неэкспертных тензоров; для мультимодального ввода требуется отдельный vision-проектор F16 размером около 861 МБ. Основное преимущество NVFP4-варианта — уменьшенный размер и высокая скорость на NVIDIA Blackwell, особенно для версии Q4_K_M; на RTX 5090 она показала до 223 токенов в секунду при генерации. При этом для этой MoE-модели стандартный GGUF Q4_K_M в некоторых сценариях пакетной обработки быстрее NVFP4-варианта, поэтому выигрыш NVFP4 зависит от оборудования и режима работы. На старых GPU поддержка NVFP4 работает через альтернативные kernels и не даёт заявленного преимущества Blackwell. Контекст модели в README не указан. Распространение выполняется по лицензии Apache 2.0. Для запуска необходимы llama.cpp и соответствующий GGUF-файл; мультимодальный режим дополнительно требует vision-проектор.

Qwen3-Next-80B-A3B-Thinking-8bit — языковая модель для генерации текста, представленная сообществом mlx-community. Она преобразована из базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking в формат MLX с использованием mlx-lm 0.27.1; исходная модель разработана командой Qwen. Модель предназначена для текстовых сценариев, включая диалоговое взаимодействие и генерацию ответов с применением режима Thinking. В названии указаны масштаб 80B, конфигурация A3B и 8-битное представление весов. Модель поддерживает работу через библиотеку mlx-lm и рассчитана на запуск в экосистеме MLX. В README не указаны языки, размер контекста, точная архитектура, перечень модальностей и результаты бенчмарков. Сильной стороной модели является адаптация для MLX и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полноточными вариантами. Ограничения и фактические требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

Vedika 4.1 Flash — экспериментальная предварительная версия мультимодальной модели Veda Labs с открытыми весами. Это причинная языковая модель с визуальным энкодером, ориентированная на диалог, рассуждения и агентные сценарии; интерфейс также предусматривает вызов инструментов. Для загрузки требуется включить trust_remote_code из-за пользовательской архитектуры. Модель совместима с Transformers и рядом движков инференса. Модель содержит 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура сочетает разреженное внимание Vedika, Gated DeltaNet, MoE и gated residual. Заявленная длина контекста — 262 144 токена с возможностью расширения до 1 000 000. README не приводит перечень поддерживаемых языков и численные результаты бенчмарков; модель работает в режиме рассуждений по умолчанию. Лицензия в предоставленных материалах не указана.

LGAI-EXAONE/EXAONE-4.5-33B-AWQ — квантованная версия мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуально-языковые задачи, рассуждения и обработку контекста на корейском языке. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Модель имеет 33 млрд параметров: 31,7 млрд приходится на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное Sliding Window Attention и глобальное внимание. Размер контекста составляет 262 144 токена, отсечка знаний — декабрь 2024 года. Версия AWQ применяет 4-битное группажное квантование весов W4A16g128, что снижает требования к памяти, но может уменьшать точность по сравнению с исходной моделью. Сильными сторонами заявлены конкурентные результаты на общих бенчмарках, превосходство сопоставимых по размеру моделей в понимании документов и корейском контекстном рассуждении, а также поддержка изображений. Ограничения включают возможные потери качества из-за квантования, ограниченность знаний датой отсечки и отсутствие в README подробностей о требованиях к оборудованию, производительности и безопасном применении. Лицензия указана как exaone; дополнительные условия следует уточнять в файле LICENSE.

German-RAG-MISTRAL-7B-v3.0-ORPO-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer Mistral, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель дообучена методом ORPO на немецкоязычных и англоязычных данных для сценариев Retrieval-Augmented Generation (RAG). Она предназначена для ответов на вопросы по найденным документам и контексту, извлечения релевантной информации, суммаризации и рассуждений. В README приведены результаты тестирования на наборах для извлечения, ответов на вопросы, суммаризации и сложных рассуждений; это результаты авторской оценки, а не гарантия качества для конкретных данных. Модель может выдавать неверные факты, поэтому ответы следует проверять. Без дополнительной фильтрации она может генерировать вредный или чувствительный контент. Лицензия модели и кода — Apache 2.0.

ZuzeTt/GLM-4.6V-Flash-heretic-Imatrix-GGUF — пользовательская модификация мультимодальной модели GLM-4.6V-Flash, первоначально разработанной организацией zai-org. Данная версия создана AlexH с использованием Heretic 1.1.0 и не является официальным релизом zai-org. Модель предназначена для локального развертывания и приложений с низкой задержкой. Модель относится к семейству GLM-V и имеет около 9 млрд параметров. Она работает с текстом и изображениями, включая документы, скриншоты, таблицы, графики и веб-интерфейсы. Заявлена поддержка контекста до 128 тысяч токенов, мультимодального понимания документов, native Function Calling, генерации смешанного текстово-визуального контента, восстановления HTML/CSS по скриншотам и визуального редактирования. В метаданных указаны китайский и английский языки. Ключевая особенность этой версии — decensored-модификация, направленная на снижение количества отказов и повышение отклика в сложных или нестандартных сценариях. В приведённом сравнении модель отказала в 63 из 100 тестовых случаев против 100 из 100 у исходной модели; при этом README не описывает методику тестирования. Ограничения связаны с неофициальным характером модификации, возможными отличиями в поведении и отсутствием подробных данных о качестве после изменений. В качестве лицензии указана MIT.

granite-4.2-8b-MLX-6bit — это 6-битно квантованная версия языковой модели granite-4.2-8b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, режимом thinking и вызовом инструментов. Модель относится к классу текстовых генеративных моделей, имеет размер 8B в исходной версии и работает с текстовой модальностью. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Размер контекста и дополнительные архитектурные характеристики не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 6-битному квантованию и оптимизации MLX для Apple Silicon. Ограничения включают возможные потери качества по сравнению с полной точностью, зависимость от совместимого оборудования и отсутствие в README подробных данных о производительности, точности и размере контекста. Модель распространяется по лицензии Apache-2.0.

HyperCLOVA X SEED 14B Think — плотная языковая модель семейства HyperCLOVAX, разработанная командой HyperCLOVA X. Она предназначена для диалогов и генерации текста с возможностью пошагового рассуждения, в том числе для математических и кодовых задач. Разработчики использовали pruning и дистилляцию знаний, а затем многоэтапное обучение: SFT, обучение с проверяемыми наградами, настройку длины рассуждений и совместное обучение с обратной связью от людей и проверяемыми наградами. В README приведён размер 14,74 млрд параметров; метаданные указывают 14,1 млрд параметров и контекст 131 072 токена. Архитектура основана на Transformer, Peri-Layer Normalization и μP; модель принимает и выдаёт текст. README сообщает о сильных результатах на корейском языке и знании корейской культуры, а также о конкурентных результатах в математике и программировании. Длину рассуждений можно задавать текстовой инструкцией; поддерживается многоходовый диалог и описан сценарий вызова инструментов. Модель подходит для корейскоязычных диалоговых помощников, решения задач на рассуждение и ответов на вопросы, а также для генерации и объяснения кода. README приводит контекст 32 тыс. токенов, тогда как метаданные указывают 131 072 токена. Лицензия помечена как other, поэтому конкретные условия использования следует проверять в файлах репозитория модели.

RedHatAI/Inkling-FP8-dynamic — мультимодальная модель, разработанная RedHatAI на основе thinkingmachines/Inkling. Она предназначена для генерации текста по текстовым, графическим и аудиовходам, включая диалоговые сценарии, анализ изображений и аудио, а также универсальные задачи рассуждения и обработки мультимодального контента. Модель использует архитектуру InklingForConditionalGeneration и Mixture-of-Experts с 975 млрд общих параметров, из которых 41 млрд активируются для отдельного запроса. Веса и активации языкового блока квантизированы в FP8: веса используют статическое поканальное масштабирование, а активации — динамическое масштабирование на уровне токенов. Энкодеры изображений и аудио, эмбеддинги, нормализация, смещения, маршрутизация MoE и отдельные слои сохранены в исходной точности. Квантизация примерно вдвое уменьшает размер модели на диске и требования к памяти по сравнению с 16-битным представлением. В конфигурации развертывания заявлена поддержка контекста до 131 072 токенов и до четырёх изображений и одного аудиофайла на запрос. К сильным сторонам относятся поддержка нескольких модальностей, высокая общая ёмкость MoE-модели, снижение требований к GPU-памяти благодаря FP8 и готовность к инференсу через vLLM. Ограничения включают значительный абсолютный размер модели, необходимость совместимой версии vLLM с поддержкой FP8 для Inkling и отсутствие в README сведений о языках, результатах бенчмарков и качестве после квантизации. Модель распространяется по лицензии Apache-2.0.

SteelStorage/L3.1-Meta-In-15B — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B-Instruct. Репозиторий содержит веса в формате safetensors; размер модели — 14,5 млрд параметров, контекстное окно — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и запросы в чат-сценариях. В метаданных заявлена поддержка text-generation и возможности chat; базовая модель описана как многоязычная инструктивная модель Llama 3.1. Карточка не приводит результатов оценки качества, поэтому фактические сильные стороны сверх характеристик базовой модели подтвердить нельзя. Лицензия в предоставленных данных не указана.

LFM2.5-2.6B — компактная текстовая модель Liquid AI для локального запуска и агентных сценариев на устройствах с ограниченными ресурсами. Это дообученная на базе LiquidAI/LFM2.5-2.6B-Base модель семейства LFM2: плотная архитектура Lfm2ForCausalLM с 2,6 млрд параметров, 30 слоями, включая блоки коротких свёрток и GQA. Модель поддерживает контекст до 131 072 токенов и работает с Transformers, vLLM и SGLang; для репозитория указан формат safetensors. Модель предназначена для диалогов, вызова инструментов, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В README заявлена многоязычная поддержка 17 языков, включая русский, а также постобучение с обучением с подкреплением в популярных агентных средах. README приводит высокую скорость инференса на отдельных устройствах, но эти показатели зависят от оборудования и условий запуска. Модель не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и документах Liquid AI.

LFM2-8B-A1B — гибридная языковая модель Liquid AI для локального запуска на телефонах, планшетах и ноутбуках. Это MoE-модель с 8,3 млрд параметров, из которых при генерации активны около 1,5 млрд. Архитектура сочетает 18 блоков коротких свёрток с двойными gates и 6 блоков grouped-query attention. Контекст — до 128 000 токенов. Модель предназначена для диалогов, следования инструкциям, извлечения данных, RAG, творческого письма и агентных сценариев с вызовом инструментов. Разработчик отмечает улучшения в знаниях и программировании по сравнению с LFM2-2.6B, однако не рекомендует её для задач с высокими требованиями к знаниям или навыкам программирования; для узких сценариев советует дополнительное дообучение. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Доступна в формате safetensors и запускается через Transformers; карточка также описывает запуск через vLLM и llama.cpp. Лицензия обозначена как other, поэтому условия использования следует сверять с лицензией в репозитории.

EnlistedGhost/Ministral-3-14B-Instruct-2512-GGUF — это конвертированная и квантованная версия Ministral-3-14B-Instruct-2512 от Mistral AI, опубликованная EnlistedGhost. Модель распространяется в формате GGUF и совместима с Ollama и Llama.cpp. Она предназначена для диалоговых текстовых задач и мультимодального анализа изображений, включая обработку запросов по тексту и изображениям; создавать изображения и обрабатывать аудио или видео она не умеет. Модель имеет 14 млрд параметров, поддерживает мультимодальный режим благодаря vision-проекторам и поставляется с несколькими файлами mmproj. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. В релиз включены варианты F16 и K-квантования с разным соотношением размера и качества. Автор также добавил собственный шаблон чата и скользящее окно контекста для последних восьми взаимодействий, однако фактический доступный размер контекста в README не указан. К сильным сторонам относятся локальный запуск через Ollama или Llama.cpp, поддержка изображений и выбор вариантов квантования. Ограничения включают отсутствие генерации изображений и поддержки аудио или видео, а также возможную потерю качества при квантовании. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR выпустила квантованную сборку Muse-Glimmer-30B в формате GGUF с квантизацией MXFP4. В основе — Muse-Glimmer-30B от Meta: плотный причинный трансформер примерно на 27,8 млрд параметров со встроенным визуальным энкодером ViT-G/14. Модель предназначена для генерации текста в диалоге и анализа изображений, включая скриншоты, графики и документы. README заявляет контекст 131K+ токенов; для запуска указаны llama.cpp build 1647+ с поддержкой CUDA и видеокарта NVIDIA с 16 ГБ видеопамяти или больше. Квантизация MXFP4 использует 4,46 бита на вес, а файл модели занимает около 14,8 ГБ. В README приведены результаты на RTX 5060 Ti 16GB: 246,3 токена/с при обработке запроса и 25,3 токена/с при генерации; это результаты конкретной конфигурации и оборудования. Для обработки изображений требуется llama-mtmd-cli или сервер llama.cpp с mmproj. Базовая модель имеет лицензию Apache 2.0; отдельные условия лицензии этой сборки в предоставленных данных не приведены.

QRWKV6-32B-Instruct-Preview-v0.1 — диалоговая языковая модель Recursal.AI, созданная преобразованием Qwen2.5-32B-Instruct в вариант архитектуры RWKV-6 без обучения с нуля. Модель имеет 32 млрд параметров; в метаданных заявлен контекст 131 072 токена, тогда как README сообщает, что обучение проводилось до 16 тыс. токенов и для стабильной работы на большей длине может потребоваться дополнительное обучение. Модель предназначена для генерации текста и диалогов, включая ответы на вопросы и интерфейс вызова инструментов. Разработчики приводят результаты ряда языковых и рассуждательных бенчмарков и описывают линейное внимание RWKV как способ снизить стоимость вывода на длинных контекстах. Наследуемые знания и языковой охват зависят от Qwen; README оценивает поддержку примерно в 30 языков. Для модели требуется отдельный код инференса. Распространяется в формате safetensors по лицензии Apache-2.0.

ehristoforu/qwen2.5-7b-upscaled — языковая модель для генерации текста и диалогов, созданная слиянием весов через mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Она предназначена для общения, генерации текста и использования интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 и содержит 11,3 млрд параметров; максимальный контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README не сообщает оценок качества или конкретных улучшений относительно базовой модели. Лицензия в доступных данных не указана.

SassyDiffusion/Qwen3.6-35B-A3B-heretic-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-35B-A3B, подготовленный для локального запуска. Исходную модель разработала команда Qwen, а данная версия создана на базе llmfan46/Qwen3.6-35B-A3B-uncensored-heretic с использованием Heretic 1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA). Модель предназначена для генерации и обработки текста, включая сценарии, где требуется меньше отказов и ограничений по сравнению с оригинальной версией Qwen3.6-35B-A3B. Модель имеет конфигурацию 35B-A3B; точные сведения об архитектуре, размере активируемой части, длине контекста и поддерживаемых языках в README не указаны. Репозиторий содержит варианты EMB_BF16, в которых таблица token_embd.weight сохраняется без квантизации в формате BF16. Эти embeddings хранятся в системной RAM и не занимают VRAM, что может повысить точность при наличии достаточного объёма оперативной памяти, хотя увеличивает требования к RAM. По заявленным результатам версия демонстрирует 10 отказов из 100 против 83 из 100 у оригинальной модели при KL-дивергенции 0,0015, то есть сохраняет близкое поведение исходной модели при значительно меньшем числе отказов. Ограничением является отсутствие подробных данных о качестве на широком наборе задач, языках и контекстном окне, а также повышенные требования к оперативной памяти для EMB_BF16-квантизаций. В метаданных указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-oQ8e-mtp — это квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная пользователем pyros-vault для запуска на Apple Silicon и macOS. Артефакт создан в формате MLX с помощью oMLX 0.6.1 и предназначен для развёртывания через runtime oMLX с OpenAI-совместимым API. Модель относится к типу qwen3_5, имеет заявленный максимальный контекст 262 144 токена, поддерживает мультимодальные сценарии благодаря сохранённым ресурсам Vision и включает один слой MTP. Используется смешанная квантизация oQ8e: аффинная Q8/G64 применяется по всей модели без переопределений точности для отдельных тензоров. Размер тензорных данных составляет около 27,94 GiB, модель размещена в шести Safetensors-фрагментах. В README не указаны точные языки, результаты бенчмарков или проверенная производительность. Модель подходит для диалоговых и мультимодальных задач, однако фактические возможности Vision, качество генерации, потребление памяти, скорость и эффективность MTP зависят от версии oMLX, клиента, промпта и аппаратного обеспечения. Полный контекст заявлен только конфигурацией и не подтверждён тестированием; квантизация может влиять на качество. Репозиторий не предназначен для CUDA на Windows, а hosted inference Hugging Face его формат не обслуживает. Прямая исходная модель распространяется по лицензии Apache-2.0; для полного соблюдения условий необходимо учитывать также правила и атрибуцию upstream-модели. Квантизацию и упаковку выполнил pyros-vault.

Vontra/Qwen3.8-Flash-Next-MLX-3bit-MTP — это 3-битная MLX-конверсия мультимодальной модели Qwen/Qwen3.8-Flash-Next, созданная на основе официального BF16-чекпойнта. Модель предназначена для запуска на устройствах Apple Silicon через совместимые MLX-VLM и oMLX. Она поддерживает работу с текстом и изображениями, а также использует архитектуру qwen4_exp с vision-language стеком и разреженной mixture-of-experts моделью. Общий объём языковой части составляет 125B параметров, из которых активны около 6B; дополнительно указаны 51B параметров в hashed bigram/trigram embedding и 4B параметров в блоке native MTP. Контекст рассчитан на 262 144 токена. Ключевые компоненты включают Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, gated residual streams, vision encoder и один draft-блок native MTP для speculative decoding. Квантизация выполнена методом uniform affine quantisation с группой 32; мультимодальные модули и роутеры MoE сохранены в BF16. Размер весов — около 90,774 GB. Сильные стороны модели — существенное снижение размера по сравнению с полноформатным чекпойнтом, поддержка мультимодальных сценариев и возможность ускорения генерации с помощью native MTP. В приведённом тесте на Apple M3 Studio скорость выросла с 28,0408 до 30,5895 токена в секунду, то есть примерно на 9,09%, при принятии 65,4% предложенных токенов. Ограничения включают необходимость runtime с явной поддержкой qwen4_exp и native MTP; старые версии MLX-VLM или oMLX могут быть несовместимы, а поддержка изображений зависит от используемых версий компонентов. Модель распространяется по лицензии Qwen Community License 1.0.

Это GGUF-квантизированная версия языковой модели CohereForAI/c4ai-command-r-plus-08-2024, подготовленная пользователем legraphista с использованием llama.cpp и метода IMatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через совместимые инструменты llama.cpp. Доступны варианты с разными уровнями квантования — от 16-битного FP16 до 1–8-битных форматов, включая Q4_K, Q3_K и Q2_K; часть вариантов использует IMatrix для улучшения качества при уменьшенном размере. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. К сильным сторонам относятся широкий выбор квантованных вариантов, возможность локального использования и компромисс между качеством, размером файлов и требованиями к памяти. При этом README не содержит сведений о точной архитектуре, числе параметров, размере контекста и результатах оценки, а низкие уровни квантования могут снижать качество по сравнению с исходной FP16-моделью. Распространение осуществляется по лицензии CC-BY-NC-4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

huihui-ai выпустила uncensored-версию DeepSeek-R1-Distill-Qwen-14B, созданную методом abliteration для удаления отказов модели. Это экспериментальная версия с грубой реализацией концепции; архитектура — плотная Qwen2ForCausalLM на 14 млрд параметров, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования; поддерживает контекст до 131072 токенов. Модель основана на deepseek-ai/DeepSeek-R1-Distill-Qwen-14B. Автор указывает, что доступна более новая версия v2. Условия лицензии в предоставленных данных не указаны.

ZeroXClem/Gemma3-4B-Arceus-Servant — мультимодальная модель для диалогов, созданная ZeroXClem путём слияния нескольких моделей семейства Gemma 3 методом MODEL STOCK. В состав вошли Gemma3-Callous-Calla-4B, Meteor_4B_V.1, scout-4b, gemma-3-4b-it-claude, Gemma3-Code-Reasoning-4B и gemma-3-4b-it-abliterated. Модель основана на архитектуре Gemma 3 4B с 34 слоями и использует формат safetensors; README также указывает точность bfloat16. Модель предназначена для диалогов, ответов на вопросы по изображениям, генерации текста, программирования и творческого письма. В карточке заявлены рассуждения с учётом ограничений и высокая точность следования инструкциям. Эти качества описаны разработчиком, но независимые результаты оценки не приведены. Лицензия — Apache-2.0. Среди ограничений: заявленная в README ослабленная система отказов означает, что модель может охотнее отвечать на запросы, от которых другие модели отказываются; перед применением в чувствительных сценариях ответы следует проверять.