I.2Синтез, понимание и проверка знаний

Brunhilde-2x7b-MOE-DPO-v.01.5 — языковая модель на архитектуре Mixtral с механизмом смеси экспертов (MoE), опубликованная arlineka. В README она представлена как объединение NurtureAI/neural-chat-7b-v3-16k и mncai/mistral-7b-dpo-v6; метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста, в том числе диалоговых ответов и рассуждений. В карточке приведены результаты Open LLM Leaderboard: средний балл 71,81, AI2 Reasoning Challenge — 69,54, HellaSwag — 87,02. Весовые файлы представлены в формате Safetensors. README не описывает языки, специальные прикладные области или ограничения качества; оценки бенчмарков не гарантируют точность ответов в конкретных задачах. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

bruphin-theta — языковая чат-модель на архитектуре Mistral, созданная nbeerbower с помощью слияния SLERP моделей Weyaxi/Einstein-v4-7B и nbeerbower/bruphin-eta. Веса представлены в формате safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате: её можно использовать для ведения беседы, ответов на вопросы и выполнения инструкций. Базовая модель Einstein-v4-7B описана как чат-модель для инструкций, научных и математических вопросов; эти свойства могут быть полезны и в bruphin-theta, но README не приводит отдельных оценок её качества. Модель распространяется по лицензии Apache-2.0. Она принимает и генерирует текст; сведения о поддерживаемых естественных языках и специальных ограничениях в карточке отсутствуют.

CalmexperimentOgnoexperiment27multi_verse_model-7B — автоматически объединённая 7,1-миллиардная языковая модель, созданная Maxime Labonne на основе automerger/Ognoexperiment27Multi_verse_model-7B. В README указано слияние методом dare_ties с моделью allknowingroger/CalmExperiment-7B-slerp; метаданные классифицируют её как дообучение базовой модели automerger/Ognoexperiment27Multi_verse_model-7B. Архитектура — плотная MistralForCausalLM, файлы представлены в safetensors, контекст — до 32 768 токенов. Модель предназначена для генерации текста. Лицензия Apache-2.0. Карточка не сообщает о специализации на конкретном языке или предметной области, поэтому модель можно описать как универсальную текстовую генеративную модель; её качество и ограничения в отдельных сценариях по предоставленным данным оценить нельзя.

almanach/camembertav2-base-pawsx — франкоязычная модель классификации текста, разработанная Виссамом Антуном из Almanach, Inria-Paris. Это дообученная для распознавания перефразировок модель DeBERTa-v2 с 138,4 млн параметров и контекстом до 1024 токенов. Она определяет, выражают ли две фразы или предложения одинаковый смысл, и предназначена для классификации французского текста. Модель обучена на FLUE-PAWS-X и показала точность 0,93511 на этом наборе данных. Лицензия MIT. Результаты могут зависеть от обучающих данных, а качество на других наборах данных и задачах может быть ниже.

Canarim-7B-Instruct — языковая модель на архитектуре Llama, разработанная dominguesm и дообученная на основе Canarim-7B на общедоступных наборах инструкций. Она предназначена для генерации текста и ответов на инструкции, прежде всего на португальском языке. Модель содержит 6,6 млрд параметров и поддерживает контекст до 4096 токенов. В карточке приведены результаты на бенчмарках португалоязычного лидерборда, включая ENEM Challenge и BLUEX. Доступны веса PyTorch и Safetensors для Transformers. Модель распространяется по лицензии Llama 2. Карточка README обозначена как находящаяся в разработке, поэтому описание обучения и оценки ограничено приведёнными сведениями.

Chinese-Alpaca-2-7B — китайская инструкция-ориентированная языковая модель проекта Chinese LLaMA & Alpaca, основанная на Llama 2 от Meta и разработанная командой проекта. Это плотная авторегрессионная модель семейства Llama с 6,7 млрд параметров, предназначенная для генерации текста и диалоговых ответов по инструкциям. Модель использует расширенный китайский словарь и прошла дополнительное обучение на крупномасштабных китайских данных и инструкционную настройку. Модель рассчитана прежде всего на китайский и также поддерживает английский язык. Контекст составляет 4096 токенов; в проекте описано его расширение до более чем 18 тысяч токенов методом NTK. Полная версия подходит для инференса и обучения всех параметров; заявлена совместимость с Transformers и другими инструментами экосистемы Llama. Лицензия — Apache-2.0. Карточка не приводит количественных оценок качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Chuluun-Qwen2.5-72B-v0.01-GGUF — набор GGUF-квантизаций модели Chuluun-Qwen2.5-72B-v0.01, подготовленный bartowski на базе оригинальной модели DatToad. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указан английский язык и формат диалога с ролями system, user и assistant. Модель основана на архитектуре Qwen2.5 с заявленным размером 72B параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-серии, объёмом примерно от 27,94 до 77,26 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Квантизация выполнена с использованием imatrix и llama.cpp версии b4418. Основные преимущества — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью инференса, а также поддержка локального запуска. Низкобитные варианты требуют меньше оперативной памяти, но могут заметно уступать более крупным версиям по качеству; варианты Q2 и Q3 характеризуются как низкокачественные или пригодные при ограниченных ресурсах. Сведения о контекстном окне, точных возможностях исходной модели, мультимодальности и лицензии в представленном README отсутствуют.

Chuluun-Qwen2.5-72B-v0.08-GGUF — это набор квантизированных моделей в формате GGUF для генерации текста, подготовленный пользователем bartowski на основе модели DatToad/Chuluun-Qwen2.5-72B-v0.08. Квантизация выполнена с использованием llama.cpp версии b4497 и метода imatrix. Модель предназначена для локального запуска, в частности через LM Studio, а также совместимых инструментов на базе llama.cpp. В репозитории представлены варианты с разными типами квантизации и размером файлов — примерно от 27,94 до 77,26 ГБ. Доступны форматы Q2, Q3, Q4, Q5, Q6, Q8 и IQ, причём Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и IQ4_XS отмечены как рекомендуемые с точки зрения сочетания качества и требований к памяти. Более компактные варианты экономят оперативную память, но могут заметно уступать по качеству; Q8_0 обеспечивает максимально высокое качество, однако обычно не нужен. В README указано, что модель поддерживает английский язык. Рекомендуемый шаблон запросов использует формат сообщений Qwen с ролями system, user и assistant. Архитектура, длина контекста, точное число параметров исходной модели, дополнительные модальности и лицензия в предоставленных данных не указаны.

Это GGUF-квантизированная версия модели command-a-reasoning-08-2025, разработанной CohereLabs. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; опубликованный вариант предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к генерации текста и, судя по названию, ориентирована на задачи, требующие рассуждений. Доступны варианты с уровнями квантизации от Q8_0 до Q3_K и IQ3, размером примерно от 43 до 118 ГБ. Более крупные варианты обычно обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но заметно уступают по качеству. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в представленном README не указаны. Преимущество этой публикации — широкий выбор степеней квантизации и адаптация для эффективного локального инференса. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов, возможным снижением качества при низкой разрядности и отсутствием сведений о формате промптов. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели CohereLabs/command-a-reasoning-08-2025.

CollectiveLM-Falcon-3-7B-GGUF — это GGUF-квантизированная версия языковой модели CollectiveLM-Falcon-3-7B, опубликованная и квантизированная bartowski на основе модели Locutusque. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, поддерживающих llama.cpp, включая LM Studio. Она обучалась на датасете Locutusque/Collective-Evol-Instruct-v0.1 и рассчитана на англоязычные задачи. Модель относится к классу Falcon и содержит около 7 миллиардов параметров. В репозитории представлены варианты от полноточного F32 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы K-quants и IQ-quants. Квантизация выполнена с использованием imatrix в llama.cpp; это позволяет выбирать компромисс между качеством, размером файла и требованиями к памяти. Рекомендуемыми указаны варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS, при этом Q4_K_M описан как стандартный вариант для большинства сценариев. Сильными сторонами являются возможность локального запуска, широкий выбор размеров и сохранение высокого качества у старших вариантов квантизации. Ограничения включают ориентацию на английский язык, отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности, результатах оценки и практических ограничениях применения. Для работы рекомендуется использовать шаблон промпта с тегами system, user и assistant, приведённый в README. Лицензия указана как other; её конкретные условия в предоставленных данных не раскрыты.

DatedGPT-2024-Instruct — англоязычная инструктивная чат-модель из семейства point-in-time моделей DatedGPT. Разработчики обучили её на данных, доступных до 2024 года, чтобы использовать для прогнозирования без смещения из-за знания будущих данных и анализа информации на заданный момент времени. Модель имеет архитектуру LlamaForCausalLM, около 1,3 млрд параметров и контекст до 2048 токенов. Она принимает текстовые инструкции и диалоги и генерирует текстовые ответы; для общения предусмотрен шаблон чата в стиле Llama 2. Модель может пригодиться для сценариев, где важно ограничить знания временным срезом 2024 года. Знания ограничены данными до 2024 года, а отсутствие RLHF и настройки безопасности означает, что ответы могут быть уверенными, но неверными. Лицензия в предоставленных сведениях не указана.

sileod/deberta-v3-base-tasksource-nli — модель на базе DeBERTa-v3-base, дообученная разработчиком sileod методом многозадачного обучения на более чем 600 задачах коллекции Tasksource. Она предназначена прежде всего для классификации без примеров: модель сопоставляет текст с произвольными кандидатными метками через вывод о следовании. Также её можно применять для вывода на естественном языке (NLI), выполнять поддерживаемые задачи Tasksource с адаптерами и дообучать для классификации, разметки токенов и задач с выбором ответа. Модель имеет архитектуру DeBERTaV2ForSequenceClassification, содержит 211,6 млн параметров и принимает контекст длиной до 512 токенов. Обучение охватывает разнообразные датасеты для NLI и классификации; указанный в карточке основной язык — английский. В README сообщается о сильных результатах zero-shot-проверок на ряде задач и первом месте среди моделей той же архитектуры в оценке IBM model recycling. Модель устарела: автор рекомендует заменить её другой моделью с более длинным контекстом и лучшей точностью. Лицензия — Apache-2.0.

Inferencer Labs предоставляет MLX-версию экспериментальной модели DeepSeek-V4-Flash-Vision-Exp для запуска в приложении Inferencer. Это чат-модель на архитектуре DeepSeek V4 с 10,7 млрд параметров и контекстом до 1 048 576 токенов; метаданные указывают поддержку обработки изображений и текста с генерацией текстовых ответов. Репозиторий обозначен как дообучение deepseek-ai/DeepSeek-V4-Flash-Vision-Exp. README сообщает о проверке в Inferencer app 2.3.7 на M3 Ultra со скоростью около 31 токена в секунду при контексте в 1000 токенов и потреблении около 146,4 ГиБ. Для повышения скорости предлагается совместимый декодер спекулятивного вывода MTP. Карточка не сообщает лицензию, поэтому условия использования следует сверить с базовой моделью и владельцами прав. Модель может ошибаться, и её ответы требуют проверки.

DictaLM 2.0 Instruct — чат-модель с настройкой на выполнение инструкций, разработанная Dicta. Она дообучена на основе DictaLM 2.0 с использованием наборов разговорных данных и следует рецепту настройки Zephyr-7B-beta с расширенным набором инструкций на иврите. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации ответов по инструкциям, особенно на иврите и английском языке. Она принимает текст и выдаёт текст; длина контекста составляет 32 768 токенов. Для запросов используется шаблон чата с маркерами [INST] и [/INST], также доступный через apply_chat_template(). В карточке модель представлена как демонстрация возможностей дообучения базовой модели. У неё нет механизмов модерации, поэтому ответы могут требовать дополнительного контроля. Лицензия — Apache-2.0.

Einstein-v4-7B — чат-модель Weyaxi, полученная полным дообучением Mistral-7B-v0.1 на разнообразных наборах данных с помощью Axolotl. Она предназначена для генерации ответов в диалоге и выполнения инструкций, в том числе для вопросов по физике, химии, биологии и математике, а также задач на рассуждение и общие знания. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и поддерживает контекст до 32 768 токенов; для диалогов предусмотрен шаблон ChatML. В карточке указаны англоязычные данные и наборы для STEM, вопросов и ответов, кода и общения. README приводит результаты нескольких тестов, но не описывает гарантируемое качество для конкретных задач. Модель опубликована в формате safetensors; лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория и условиями базовой модели.

EsotericKnowledge-24B — разговорная языковая модель на 23,4 млрд параметров, созданная автором yamatazen как объединение предобученных моделей с помощью mergekit и метода TIES. В качестве базовой использована arcee-ai/Arcee-Blitz; в объединение также вошли PocketDoc/Dans-PersonalityEngine-V1.2.0-24b, ReadyArt/Forgotten-Safeword-24B-v4.0 и lars1234/Mistral-Small-24B-Instruct-2501-writer. Модель предназначена для диалогов и генерации текста. Она построена на архитектуре Mistral с плотной моделью причинного языкового моделирования, принимает текст и выдаёт текст, поддерживает контекст длиной до 32 768 токенов и использует формат safetensors для библиотеки Transformers. Карточка не указывает конкретные языки или специализированные области применения. Это первая 24B-модель слияния автора; качество и поведение могут отличаться от исходных моделей. Лицензия в предоставленных данных не указана.

ewre324 разработал Thinker-SmolLM2-135M-Instruct-Reasoning — компактную языковую модель для генерации текста и ответов с пошаговым рассуждением. Это дообученная версия HuggingFaceTB/SmolLM2-135M-Instruct на вопросах и ответах, созданных людьми и сгенерированных ИИ с рассуждениями. Модель основана на плотном декодерном Transformer семейства Llama с 134,5 млн параметров и контекстом до 8192 токенов; для запуска и обучения используется библиотека Transformers. Модель предназначена прежде всего для англоязычных инструкций и задач рассуждения, где полезны компактный размер и локальный запуск. Базовая модель также поддерживает обобщённую генерацию текста; карточка упоминает перефразирование и суммаризацию для семейства SmolLM2 Instruct. Ограничения включают возможные фактические ошибки, непоследовательную логику и смещения; качество этой версии отдельно не оценено в карточке. Лицензия — Apache-2.0.

MaziyarPanahi/Experiment28T3q_Ognoexperiment27Multi_verse_model — объединённая текстовая модель на архитектуре Mistral, созданная на основе automerger/Experiment28T3q-7B и automerger/Ognoexperiment27Multi_verse_model-7B. Она предназначена для генерации текста; размер модели составляет 7,1 млрд параметров, а контекст — до 32 768 токенов. Модель распространяется в формате safetensors под лицензией Apache-2.0. Данных о специализации на конкретных языках или областях применения в карточке нет.

ssmits/Falcon2-5.5B-Italian — языковая модель для генерации текста, созданная на основе Falcon-11B компании TII. По карточке, модель получена методом mergekit passthrough: из Falcon-11B оставлены слои 0–24 и 56–58; при отборе слоёв использовался итальянский поднабор Wikimedia Wikipedia. В репозитории указаны архитектура Falcon с плотной causal language model, 7,8 млрд параметров, контекст до 8192 токенов и формат safetensors. Для работы с Transformers требуется PyTorch 2.0 или новее. Модель предназначена для исследований и дальнейшей адаптации под генерацию текста, суммаризацию и диалоговые сценарии. Она обучена преимущественно на английском, также поддерживает итальянский и ряд европейских языков. Лицензия — Apache-2.0. Карточка предупреждает о возможных стереотипах и смещениях из веб-данных и рекомендует оценивать риски и применять защитные меры перед производственным использованием.

ssmits/Falcon2-5.5B-Spanish — языковая модель на архитектуре Falcon, созданная на основе tiiuae/falcon-11B методом mergekit passthrough. Для сокращения модели сохранены слои 0–23 и 55–58; анализ сходства слоёв проводился на испанской части корпуса Wikimedia Wikipedia. Модель содержит 7,8 млрд параметров, работает с текстом и поддерживает контекст до 8192 токенов. Модель предназначена для исследований и дальнейшей адаптации под генерацию текста, суммаризацию и чат-ботов. В основном обучении преобладал английский язык; также заявлена поддержка немецкого, испанского, французского, итальянского, португальского, польского, нидерландского, румынского, чешского и шведского. Лицензия Apache-2.0. Разработчики рекомендуют дообучение для конкретных задач и оценку рисков перед применением.

allenai/Flex-pes2o-2x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это вариант смеси экспертов (MoE), ориентированный на академические тексты; он входит в семейство моделей FlexOlmo, созданных для совместной работы с данными разных владельцев без передачи исходных данных. В метаданных указаны 6,9 млрд параметров, контекст до 4096 токенов и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, в том числе для работы с академическим содержимым. Карточка описывает семейство как систему независимых экспертов, обученных на разных корпусах, и сообщает, что академический эксперт основан на публичном экспертном чекпойнте. Для запуска требуется Transformers версии 4.57.0 или новее. Модель распространяется по лицензии Apache-2.0. README не приводит отдельной оценки качества именно этой MoE-версии: приведённый результат для академического эксперта относится к плотной модели, а не к версии 2x7B. Контекст ограничен 4096 токенами; заявленная возможность отключения вклада данных относится к парадигме FlexOlmo и не раскрывает деталей управления для этой конкретной публикации.

Franken-MistressMaid-7B — языковая модель на архитектуре Mistral, созданная объединением нескольких предварительно обученных моделей методом TIES с помощью mergekit. В качестве основы использована mistralai/Mistral-7B-v0.1; в объединение также вошли ibm/merlinite-7b, l3utterfly/mistral-7b-v0.1-layla-v4, SanjiWatsuki/Sonya-7B, NeverSleep/Noromaid-7b-v0.2 и migtissera/SynthIA-7B-v1.3. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста. Её контекстное окно составляет 32 768 токенов; репозиторий использует формат safetensors и библиотеку Transformers. Карточка не описывает конкретные сценарии применения, языки или ограничения качества. Лицензия в предоставленных данных не указана.

Gemma-3-27b-it-vl-SuperBrain7x-High-Reasoning-ULTRAMIND-Heretic-Uncensored — мультимодальная чат-модель на базе Gemma 3, созданная DavidAU тонкой настройкой coder3101/gemma-3-27b-it-heretic с использованием набора данных Superbrain 7x. Модель принимает текст и изображения, генерирует текст и поддерживает диалог; автор сообщает, что обработка изображений сохранена. Модель предназначена для диалогов, ответов на вопросы по изображениям и генерации текста с акцентом на развёрнутые рассуждения. В README заявлено контекстное окно 128 тысяч токенов и возможность активировать углублённое рассуждение фразой «think deeply:»; также приведены результаты бенчмарков и сравнение частоты отказов, но это заявления автора, а не независимая оценка. Модель описана как uncensored: она реже отказывает и может генерировать взрослый, грубый или откровенный текст при соответствующих запросах. Для стабильной работы автор приводит рекомендации по настройкам семплирования и шаблонам чата. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0.

NeoChen1024/gemma-4-26B-A4B-it-qat-W4A16 — квантизированная версия мультимодальной instruct-модели Gemma 4 26B-A4B-it, разработанной Google. Модель предназначена для диалоговых сценариев и задач image-text-to-text, то есть обработки текста и изображений с генерацией текстовых ответов. Она ориентирована на развёртывание через vLLM и использует chat completions API. Модель преобразована из Q4_0 GGUF в формат compressed-tensors pack-quantized W4A16 с 4-битным симметричным групповым квантованием и group_size=32. Квантованные веса и масштабы сохраняются без потерь на уровне нибблов; масштабы имеют тип bfloat16 либо float16. Vision tower и прочие неквантованные тензоры хранятся в bfloat16. Для ускорения работы с Marlin применена padding-обработка размерностей MLP и MoE-блоков. В README не указаны точные размерности контекста и перечень поддерживаемых языков. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с vLLM и сохранение исходных Q4_0-значений без потерь при конвертации. Ограничения связаны с особенностями развёртывания: для tensor parallelism с TP>1 плотные MLP-блоки рекомендуется оставлять неквантованными, что увеличивает потребление VRAM примерно на 725 MiB. Для работы необходим vLLM с поддержкой соответствующего формата и chat completions API; в README тестирование указано для vLLM 0.22.1 и GPU с CUDA compute capability 8.9, где модель загружается примерно в 16,4 GiB видеопамяти. Лицензия в предоставленных данных не указана.

gemma-4-26B-A4B-it-Uncensored-MAX — мультимодальная модель prithivMLmods на архитектуре Gemma 4 с механизмом Mixture of Experts. Она основана на huihui-ai/Huihui-gemma-4-26B-A4B-it-abliterated и связана с google/gemma-4-26B-A4B-it; карточка описывает обновлённую упаковку и совместимость с актуальными версиями Transformers. Репозиторий содержит веса safetensors в формате bf16, а лицензия указана как Apache-2.0. Модель принимает текст и изображения и генерирует текст; её можно применять для диалогов, рассуждений, анализа изображений, исследований мультимодальных моделей и red-teaming. В карточке заявлены 26 млрд параметров и MoE-конфигурация A4B. Метаданные указывают английский язык. Модифицированная версия обозначена как uncensored и refusal-ablated, поэтому её ответы могут включать содержание, отказываемое базовой моделью. Ответы могут быть ошибочными, неполными или непоследовательными и зависят от промпта и параметров генерации. Для запуска требуются значительные вычислительные ресурсы; производительность зависит от оборудования и среды инференса. Авторы рекомендуют учитывать риски и ответственность при использовании модели.

mlx-community/gemma-4-E4B-it-qat-mobile — это MLX-совместимая мобильная версия instruction-tuned модели Gemma 4 E4B-it, опубликованная сообществом MLX Community на основе модели Google DeepMind. Она предназначена для локального запуска на устройствах Apple с MLX, включая сценарии генерации текста и анализа изображений с текстовым ответом. Модель имеет около 3 млрд параметров, использует формат Safetensors и 8-битное представление; размер файлов на странице модели составляет около 3,46 ГБ. Вариант создан с применением Quantization-Aware Training и мобильной схемы оптимизации wNa8o8, включающей целевое 2-битное декодирование, оптимизированный KV-кэш и статические активации для снижения требований к памяти. Карточка указывает английский язык и поддержку image-text-to-text; для семейства Gemma 4 заявлены обработка текста и изображений, контекст до 256K токенов и поддержка более 140 языков. Сильная сторона модели — сочетание мультимодальности и уменьшенных требований к памяти, что делает её подходящей для локального инференса на мобильном и периферийном оборудовании. Ограничения связаны с квантованием, меньшим размером по сравнению с полноразмерными вариантами Gemma 4 и отсутствием подробного описания бенчмарков или ограничений в карточке данной производной версии. Лицензия на странице mlx-community явно не указана; условия базовой модели Gemma 4 следует проверять в официальной карточке Google.

pekkAi/Gemma-4-Queen-31B-it-uncensored-heretic-NVFP4 — квантизированная версия NVFP4 модели Gemma-4-Queen-31B-it-uncensored-heretic. Квантизацию выполнил pekkAi с использованием NVIDIA Model-Optimizer; базовая модель разработана llmfan46 и основана на Gemma-4-Queen-31B-it, а версия без существенной части ограничений создана с помощью Heretic и метода Arbitrary-Rank Ablation (ARA). Модель предназначена для диалоговых сценариев, ролевого общения, генерации текста и мультимодальных задач, связанных с обработкой изображений и текста. В карточке указаны интеграция с Transformers и pipeline image-text-to-text, а также поддержка reasoning и tool calling в vLLM. Размер модели — 31 млрд параметров. Автор сообщает о работоспособности на одной NVIDIA GeForce RTX 5090 с 32 ГБ видеопамяти и контекстом до 64K токенов, однако это практический пример конфигурации, а не гарантированное требование. К сильным сторонам относятся существенно меньшее число отказов по сравнению с исходной моделью, близость поведения к оригиналу по измерению KL divergence и почти сохранённые результаты на тесте PIQA: 94,45% против 94,50% у оригинала. На MMLU версия показывает 85,33% против 86,88% у оригинала, что указывает на некоторое снижение качества на этом тесте. Из-за особенностей decensored-версии модель имеет меньше встроенных ограничений безопасности и может быть неподходящей для сценариев, требующих строгой фильтрации контента. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash-Alis-MLX-8bit — 8-битная MLX-квантизированная версия модели GLM-5.3-Flash, разработанной zai-org. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через библиотеку mlx-vlm с поддержкой архитектуры glm5_next и Mixture-of-Experts. Она создана потоковой деквантизацией официального FP8-релиза; размер исходной модели составляет 320B-A18B, а объём файловой системы модели — около 334,1 ГБ. В сборке используются 8-битное affine-кодирование экспертов, attention, общих и плотных MLP-слоёв, embeddings и выходной головы. Маршрутизатор MoE, параметры коррекции, отдельные массивы mHC и параметры затухания KDA сохранены в FP32, vision tower — в BF16. MTP-слой 45 удалён и вынесен в отдельную модель-драфтер, поэтому основное назначение этой версии — высокоточный inference и роль эталонной модели для оценки менее точных 4-битных сборок. Модель поддерживает текстовую генерацию; мультимодальные возможности через vision tower указаны, но подробности о поддерживаемых форматах изображений и языках не приведены. Сильная сторона модели — максимальная среди семейства точность сохранения исходного поведения и отсутствие квантизации маршрутизатора, что делает её reference- или teacher-классом. На M3 Ultra с 512 ГБ памяти ожидается около 24–25 токенов в секунду при декодировании с p512; специальные параметры окружения могут повысить скорость примерно на 12%. Ограничения включают очень большой объём хранения, требования к совместимой версии mlx-vlm и необходимость Apple Silicon. Лицензия — MIT.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash от Z.ai, подготовленная пользователем aj9o9 с ручным распределением типов квантования по классам тензоров. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальное использование на системах с ограниченной памятью по сравнению с полноразмерной BF16-версией. Заявлены языки английский и китайский. Исходная модель имеет 320,6 млрд параметров, из которых 17,3 млрд активируются на токен; после удаления блока MTP/NextN в представленных файлах остаётся 313,33 млрд параметров. Это разреженная MoE-архитектура с 42 слоями маршрутизируемых экспертов, 288 экспертами в каждом слое, восемью активными экспертами и одним общим экспертом. Из 45 слоёв 34 используют Kimi Delta Attention, а 11 — Multi-head Latent Attention с индексатором DeepSeek. Благодаря этому модель экономно расходует память под контекст: заявлены 32K, 131K и 300K токенов при использовании примерно 0,44, 1,55 и 3,45 ГБ памяти для соответствующих KV-компонентов. Доступны две сборки: AJ-IQ3_XXS размером 112,40 ГБ с плотностью 2,80 бит на вес, рассчитанная на 128 ГБ unified memory или видеокарту на 96 ГБ с небольшим выгрузом, и AJ-IQ2_XXS размером 87,35 ГБ с плотностью 2,23 бит на вес, рассчитанная на видеокарту на 24 ГБ и 64 ГБ системной памяти. AJ-IQ3_XXS заметно лучше сохраняет качество исходной модели, тогда как AJ-IQ2_XXS требует меньше памяти, но имеет более высокое отклонение от BF16. Ограничение обеих сборок — отсутствие MTP-головы и поддержки спекулятивного декодирования через неё. Приведённые оценки качества получены на небольшом тесте Wikitext-2, поэтому не характеризуют все прикладные сценарии. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-MLX-4bit — это сборка модели GLM-5.3-Flash от zai-org, адаптированная PipeNetwork для MLX на устройствах с Apple Silicon. Модель имеет архитектуру Mixture-of-Experts общим размером 320B параметров, из которых активируется 18B (A18B), и поддерживает обработку текста и изображений. В ней сочетаются 34 слоя линейного внимания Kimi-Delta и 11 слоёв разреженного внимания DeepSeek с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Контекст, список поддерживаемых языков и точные сценарии мультимодального применения в README не указаны. Чекпойнт занимает 177,6 ГБ и квантизирован преимущественно в 4-bit с размером группы 64; vision tower сохранён в bfloat16, а отдельные компоненты — в 8-bit, float32 или исходном формате. По сравнению с 8-bit-версией равномерная 4-bit-квантизация показывает более высокую perplexity на wikitext-2, поэтому экономит место и память ценой некоторого снижения качества. Архитектура исходной модели сохранена, но слой multi-token prediction не включён. Для запуска требуется MLX-совместимое окружение и исправленный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит несовпадения вычислений. Размер модели ограничивает применение устройствами с большим объёмом памяти; README также не приводит конкретных требований к объёму RAM или VRAM. Модель распространяется по лицензии MIT.