II.6Документация и сопровождение разработки

FluentlyQwen3 1.7B — языковая модель Project Fluently на архитектуре Qwen3ForCausalLM, дообученная с помощью SFT и GRPO и собранная поэтапным слиянием. Она предназначена для генерации текста, диалогов и выполнения инструкций; разработчик сообщает об улучшениях в обычном общении, переводе и математике. Модель содержит 1,7 млрд параметров, имеет 28 слоёв и контекст до 40 960 токенов по метаданным. Поддерживает режим рассуждений, который можно отключить для более быстрой генерации. Заявлены английский и русский языки, а также работа с кодом. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, переводах, математике и коде; заявленные улучшения не сопровождаются в карточке количественными результатами оценки.

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

FuseMix-3.2-3B — объединённая языковая модель, опубликованная bunnycore и созданная с помощью mergekit методом passthrough на основе FuseAI/FuseChat-Llama-3.2-3B-Instruct и bunnycore/Llama-3.2-3B-General-lora_model. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, рассчитанная на диалоговое взаимодействие и генерацию текста; заявленная длина контекста — 131 072 токена. Модель доступна в формате safetensors и использует библиотеку Transformers. Она подходит для диалогов, ответов на инструкции и генерации текста; описание базовой FuseChat также указывает на задачи математики и программирования. Языковые возможности с достаточной определённостью не перечислены, поэтому конкретные языки не указаны. Данных о лицензии в предоставленной карточке нет.

FwF-Qwen-7B-0.2 — языковая модель на архитектуре Qwen2, созданная bunnycore линейным слиянием четырёх моделей, ориентированных на рассуждения, длительное пошаговое мышление, ролевой диалог и универсальные задачи. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; метаданные также отмечают интерфейс вызова инструментов. Нативная длина контекста — 32 768 токенов. Модель подходит для диалоговых приложений, следования инструкциям и многошаговых задач, где полезно сочетание компонентов с разными специализациями. В README приведены результаты оценивания на IFEval и BBH, однако они сами по себе не гарантируют качество на пользовательских сценариях. Лицензия в предоставленных данных не указана.

Gemini 3 Flash Preview — предварительная версия быстрой мультимодальной модели Google для диалога, агентных сценариев и помощи с программированием. Карточка описывает её как thinking-модель с рассуждениями, близкими к уровню Pro, и поддержкой работы с инструментами. Модель предназначена для многошагового чата, агентных рабочих процессов и задач по программированию. Метаданные каталога относят её к задаче image-text-to-text. Данных о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных материалах нет.

mlx-community/gemma-2-27b-it-4bit — 4-битная квантованная версия модели Gemma 2 27B, преобразованная сообществом mlx-community из google/gemma-2-27b-it в формат MLX с помощью mlx-lm 0.15.0. Исходную модель разработала Google. Модель предназначена для генерации текста и диалогового взаимодействия с инструкциями. Модель содержит 27,6 млрд параметров и поддерживает контекст длиной до 8192 токенов. Она рассчитана на работу в экосистеме MLX и может использоваться через библиотеку mlx-lm; в метаданных также указана совместимость с Transformers. Ключевое преимущество — 4-битное представление, уменьшающее требования к памяти по сравнению с полноразмерной моделью. Модель подходит для ответов на вопросы, диалогов, написания и преобразования текста, а также локального запуска генеративной модели на совместимом оборудовании Apple. Ограничения включают возможные ошибки, галлюцинации и зависимость качества от формулировки запроса; README не содержит подробных результатов оценки. Использование регулируется лицензией Gemma, для доступа на Hugging Face требуется принять условия лицензии Google.

bunnycore/Gemma-2-2B-TitanFusion-v2 — разговорная языковая модель, созданная слиянием предварительно обученных моделей Gemma 2 с помощью mergekit и метода Model Stock. В качестве базовой использована bunnycore/Gemma-2-2b-TitanFusion; в слияние также вошли варианты All-in-One, Gemma2-2B-mixed и Mixer-Lora. Модель предназначена для генерации текста в диалогах и ответов на инструкции. Каталог также указывает помощь с рассуждениями и кодом как возможности базовых моделей. Архитектура — плотная Gemma 2 для авторегрессионной генерации, размер — 2,7 млрд параметров, контекст — до 8192 токенов. Модель распространяется в формате Safetensors для Transformers. Сведения о лицензии в доступных данных отсутствуют.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

mhenrichsen/gemma-2b — текстовая авторегрессионная модель семейства Gemma, разработанного Google на основе исследований и технологий, использованных при создании Gemini. Это плотная decoder-only модель с 2,5 млрд параметров; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и предназначена прежде всего для английского языка. Модель подходит для генерации текста, диалоговых интерфейсов, суммаризации, ответов на вопросы и исследовательских NLP-сценариев. Компактный размер облегчает запуск на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. Карточка не уточняет, является ли именно эта копия предварительно обученной или настроенной для инструкций; лицензия в предоставленных данных также не указана. Качество ответов зависит от обучающих данных и формулировки запроса: модель может ошибаться в фактах, упускать языковые нюансы и демонстрировать смещения. Для использования в приложениях, генерирующих контент, следует учитывать возможность вредных или вводящих в заблуждение ответов.

unsloth/gemma-3-4b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 4B, подготовленная Unsloth на базе google/gemma-3-4b-it. Семейство Gemma разработано Google DeepMind и распространяется с открытыми весами. Вариант предназначен для диалогов, генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Модель поддерживает мультимодальный ввод: текст и изображения с последующей генерацией текста. Для модели 4B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, включая английский. Модель совместима с библиотекой Transformers, а 4-битное представление снижает требования к памяти и упрощает локальное развёртывание, однако может несколько ухудшать точность по сравнению с полноразмерными вариантами. Модель рассчитана на запуск в условиях ограниченных ресурсов, включая локальные компьютеры и собственную облачную инфраструктуру. README не содержит подробностей о конкретной архитектуре, результатах тестирования или известных ограничениях качества для отдельных языков и задач. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

RedHatAI/gemma-4-26B-A4B-it-FP8-dynamic — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная RedHatAI на основе google/gemma-4-26B-A4B-it. Она принимает текст и изображения и генерирует текст; поддерживает режим рассуждений и вызов инструментов. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, решения задач, мультимодального анализа и function calling. Архитектура модели — Gemma4ForConditionalGeneration. Вариант имеет конфигурацию 26B-A4B и оптимизирован для инференса в vLLM. Веса и активации линейных слоёв transformer-блоков квантизированы в FP8: веса используют статическое масштабирование per-channel, активации — динамическое масштабирование per-token. Vision tower, embedding-слои, output head и MoE router сохранены в исходной точности. Квантизация уменьшает объём хранения и требования к памяти GPU примерно на 50%; заявленная максимальная длина контекста при развёртывании составляет 32768 токенов. Поддерживаются изображения и аудио в конфигурации vLLM, однако сведения о языках обучения или поддержки в README не указаны. К сильным сторонам относятся мультимодальность, поддержка рассуждений и вызова инструментов, совместимость с vLLM и близкие к исходной модели результаты на указанных тестах после FP8-квантизации. Ограничениями являются зависимость от корректной настройки vLLM, специальных reasoning- и tool-call parser, а также возможные потери точности из-за квантизации. Модель распространяется по лицензии Apache 2.0; для использования Gemma также следует учитывать условия лицензии Google Gemma, указанной в README.

HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная версия Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения, диалогов и задач, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и оптимизирован для минимизации отказов при сохранении исходных возможностей базовой модели. Модель использует MoE-архитектуру размером 26B параметров: из 128 экспертов для каждого токена активны 8. Поддерживается контекст до 256K токенов, английский язык и обработка изображений через отдельный vision mmproj-компонент. Распространяется в формате GGUF с 4-битной квантизацией Q4_K_M; основной файл занимает около 16,8 ГБ, vision-компонент — 1,2 ГБ. В комплект входит MTP-драфтер для speculative decoding, который в тестах автора ускорял генерацию примерно на 35% без заявленного изменения качества. К сильным сторонам относятся большой контекст, поддержка изображений, высокая эффективность MoE и ориентация на программирование, рассуждения и творческие задачи. Работа MTP и заявленное ускорение проверялись автором в llama.cpp; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Ограничения включают зависимость vision-возможностей от отдельного mmproj-файла, возможные сбои Gemma 4 в LM Studio при multi-GPU tensor-split, а также то, что отсутствие отказов не гарантируется для всех пограничных запросов. Лицензия указана как Gemma. Для запуска рекомендуется использовать параметры temperature 0.6, top_k 64, top_p 0.9, min_p 0.05 и repeat_penalty 1.1.

LilaRest/gemma-4-31B-it-NVFP4-turbo — репакованная и оптимизированная версия Gemma 4 31B IT, основанная на моделях Google gemma-4-31B-it и NVIDIA Gemma-4-31B-IT-NVFP4. Модель предназначена для генерации текста, диалоговых приложений, ответов на вопросы и других задач, поддерживаемых text-generation. Это текстовая версия: веса и энкодеры для обработки видео и аудио удалены. Модель использует квантизацию NVFP4 и рассчитана на GPU NVIDIA с архитектурой Blackwell, включая RTX 5090, RTX PRO 6000 и B200, с объёмом видеопамяти не менее 20 ГБ. По заявленным данным, она занимает около 18,5 GiB памяти, примерно в 2,5 раза быстрее базовой модели и обеспечивает более высокую производительность при параллельной обработке запросов. Заявлен контекст до 16K токенов. В бенчмарках модель получила 72,73% на GPQA Diamond и 83,93% на MMLU Pro, сохранив близкое к исходной модели качество, но с потерей примерно 1–3%. Основные ограничения — зависимость от совместимого оборудования NVIDIA Blackwell, необходимость соответствующих версий Transformers, vLLM и CUDA, а также отсутствие мультимодальной поддержки аудио и видео. По README, модель распространяется по лицензии Apache 2.0.

frankenmerger/gemma-4b-instruct-v0.2 — языковая модель семейства Gemma, разработанная на основе gemma-2b-it. По README, веса расширены до 4 млрд параметров, после чего модель дообучена на 50 тысячах примеров из Locutusque/hyperion-v2.0. Модель предназначена для генерации текста и диалогового общения; она принимает текст и выдаёт текст. Контекст составляет 8192 токена, формат весов — Safetensors. Модель может использоваться для ответов в чате, написания и продолжения текста, а также для прототипирования текстовых приложений. В метаданных указан английский язык. Лицензия — Apache-2.0. Карточка не приводит оценок качества или подробностей обучения, поэтому пригодность для конкретных задач следует проверять отдельно.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

Crystalcareai/gemma-codefeedback — дообученная языковая модель семейства Gemma с архитектурой GemmaForCausalLM и плотной структурой, содержащая 8,2 млрд параметров. По карточке модель обучалась три эпохи на датасете Crystalcareai/CodeFeedback-Alpaca и предназначена для генерации текста с акцентом на обратную связь по коду и сценарии помощи при программировании. Модель принимает текст и генерирует текст; нативный контекст составляет 8192 токена. Репозиторий содержит веса в формате Safetensors и помечен для использования с Transformers. README не сообщает лицензию, поэтому условия использования по доступным данным определить нельзя.

Gixtral 100B — разговорная языковая модель для генерации текста и выполнения инструкций, созданная ehristoforu путём объединения нескольких моделей семейства Mixtral и WizardLM, включая Mixtral-8x22B-Instruct-v0.1, Mixtral-8x7B-Instruct-v0.1, Dolphin и WizardLM-2-8x22B. Архитектура — Mixtral с разреженной экспертной структурой (MoE); в метаданных указано 9,7 млрд параметров и контекстное окно 32 768 токенов. Модель подходит для диалогов, ответов на запросы, следования инструкциям и генерации текста на английском, французском, немецком, испанском и итальянском языках. Для объединения использованы наборы данных, включающие примеры для программирования и инструктивных диалогов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README описывает модель как объединение моделей, хотя в метаданных среди базовых моделей также указаны Dolphin и WizardLM. Практические результаты объединения и сравнительные оценки в карточке не приведены; фактическое качество может зависеть от запроса и используемой конфигурации.

GadflyII/GLM-4.7-Flash-NVFP4 — квантизированная версия GLM-4.7-Flash, разработанная на основе базовой модели Zhipu AI. Модель предназначена для генерации текста и задач общего назначения на английском и китайском языках, включая развёртывание через vLLM и Transformers. Это Mixture-of-Experts-модель архитектуры Glm4MoeLiteForCausalLM с 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Она содержит 64 маршрутизируемых эксперта, 4 активных эксперта и 1 общего эксперта, а также 47 слоёв. Максимальная длина контекста составляет 202 752 токена. Квантизация выполнена в формате compressed-tensors NVFP4 с размером блока 16 и масштабами FP8 E4M3. Для сохранения качества attention-компоненты MLA, нормализация, gates и embeddings оставлены в BF16, тогда как MLP-эксперты и первый dense MLP используют FP4. Размер модели составляет около 20,4 ГБ против 62,4 ГБ у BF16-версии; на тесте MMLU-Pro она показала точность 23,55% против 24,83% у базовой версии, что соответствует снижению на 1,28 процентного пункта. Основные ограничения — необходимость совместимой NVIDIA GPU с поддержкой FP4 tensor cores и актуальных версий vLLM и Transformers. Для запуска рекомендуется vLLM 0.14.0 или новее; на мног GPU-системах Blackwell могут потребоваться дополнительные исправления для P2P и tensor parallelism. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

cafepm/GLM-4.7-Flash-REAP-23B-A3B-Q3Q4-GGUF — квантованная GGUF-версия разреженной языковой модели GLM-4.7-Flash-REAP-23B-A3B, подготовленная TNT.Chat. Базовая модель с 23 млрд параметров, из которых активируются 3 млрд на токен, создана удалением 25% экспертов методом REAP из GLM-4.7-Flash; в этой версии веса распределены между точностями Q3_K и Q4_K: около 20% квантованы до 4 бит, остальные — до 3 бит. README заявляет, что такой вариант рассчитан на запуск примерно в 12 ГБ видеопамяти и контекст до 150 000 токенов; базовая карточка указывает контекст 202 752 токена. Модель предназначена для генерации текста и кода, агентного программирования, понимания репозиториев и вызова функций в локальных и ограниченных по ресурсам средах. Она использует архитектуру Sparse Mixture-of-Experts с 47 слоями, 48 экспертами и четырьмя активируемыми экспертами на токен. Указана совместимость с llama.cpp; метаданные отмечают чат-возможности. README заявляет близкое к Q4 качество при размере, близком к Q3, однако количественные результаты оценок в предоставленных данных отсутствуют. Модель распространяется по лицензии MIT.

GLM-4.7-REAP-218B-A32B-GGUF — GGUF-версия разреженной языковой модели GLM-4.7, подготовленная Unsloth. Модель с архитектурой Sparse Mixture-of-Experts (SMoE) создана методом REAP (Router-weighted Expert Activation Pruning), который удаляет избыточные эксперты, сохраняя независимое управление маршрутизатора оставшимися экспертами. Модель содержит 218 млрд параметров, из которых 32 млрд активируются для каждого токена, включает 92 слоя, 96 экспертов с активацией 8 экспертов на токен, использует GQA с 96 Q- и 8 KV-головами и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации текста и кода, агентских рабочих процессов, понимания репозиториев, многошаговых сценариев и function calling. Заявлена близкая к исходной GLM-4.7 производительность при сокращении размера примерно на 40% по сравнению с полной моделью на 355 млрд параметров. Это делает её привлекательной для локального развертывания, сред с ограниченными ресурсами и исследовательских задач. Поддерживаются текстовые сценарии; заявленный язык в карточке — английский. К сильным сторонам относятся сохранение возможностей генерации кода, агентного программирования и вызова функций, отсутствие необходимости в дополнительном дообучении после pruning, а также совместимость с llama.cpp при использовании параметра --jinja. Для запуска требуется значительный объём памяти из-за общего размера модели; конкретные характеристики квантования GGUF, результаты оценки именно этой версии и требования к оборудованию в карточке не указаны. Модель распространяется по лицензии MIT.

Карточка модели unsloth/GLM-4-9B-0414 на Hugging Face совпадает с карточкой zai-org/GLM-4-9B-0414, поэтому описание составлено по ней. GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

GLM-5.3-Flash-GGUF — это GGUF-версия модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; представленный репозиторий основан на модели zai-org/GLM-5.3-Flash и подготовлен с использованием методов Unsloth Dynamic 3.0. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки и относится к мультимодальным моделям, однако README не уточняет полный набор поддерживаемых модальностей и особенности их использования именно в данной GGUF-сборке. Архитектура сочетает разреженное и линейное внимание, а также использует Manifold-Constrained Hyper-Connections. Модель содержит 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлены повышенная эффективность, снижение стоимости обработки длинного контекста и сильные результаты в задачах программирования и использования инструментов; в README также указано контекстное окно до 300 000 токенов в отдельных оценках и до 1 млн токенов в NL2Repo. К ограничениям относятся высокие требования к ресурсам исходной модели, возможные потери качества из-за квантования и необходимость совместимого программного обеспечения: для запуска рекомендуется использовать llama.cpp с указанными изменениями или Unsloth Desktop. Конкретный формат квантования и требования к оперативной памяти в README не указаны. Модель распространяется по лицензии MIT.

Goku-8x22B-v0.1 — дообученная MaziyarPanahi версия v2ray/Mixtral-8x22B-v0.1 на наборе philschmid/guanaco-sharegpt-style. Это диалоговая языковая модель с архитектурой Mixtral типа Mixture of Experts; в карточке указаны 22 млрд параметров, а README приводит конфигурацию на 141 млрд параметров, из которых активны 35 млрд. Контекст составляет до 65 536 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, работы с длинным контекстом, написания кода и задач на рассуждение. В метаданных перечислены английский, французский, итальянский, немецкий и испанский языки. Модель распространяется по лицензии Apache-2.0. Карточка сообщает о тестировании на перечисленных сценариях, но не приводит результатов бенчмарков; качество для математики и программирования отдельно не подтверждено.

Gonzo-Code-7B — объединённая языковая модель на базе Mistral-7B, созданная с помощью mergekit и метода DARE TIES. В объединение вошли Nondzu/Mistral-7B-Instruct-v0.2-code-ft, xingyaoww/CodeActAgent-Mistral-7b-v0.1 и beowolx/MistralHermes-CodePro-7B-v1; базовой моделью при слиянии указана eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO. Модель предназначена для генерации текста, включая ответы в диалоге и помощь с кодом. Архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. В метаданных указан английский язык; базовые модели включают варианты для программирования и выполнения действий через инструменты. Модель распространяется в формате safetensors под лицензией Apache-2.0. Карточка не приводит сравнительных оценок качества или подробных ограничений, поэтому пригодность для конкретного сценария следует проверять отдельно.

Это GGUF-квантизации модели llmfan46/gpt-oss-120b-heretic-v2, созданные независимым автором на основе дообученной версии gpt-oss-120b. Модель предназначена для диалогов и генерации текста, включая задачи с вызовом инструментов и структурированными ответами в совместимых средах запуска. Вариант heretic создан методом abliteration: в README указаны параметры обработки и меньше отказов в приведённом сравнении с исходной gpt-oss-120b. Репозиторий распространяет веса в формате GGUF и рассчитан на запуск через llama.cpp, LM Studio, Ollama и другие совместимые программы. Указана лицензия Apache 2.0.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

Grafted-Hermetic-Platypus-D-2x7B — разговорная языковая модель, созданная слиянием Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она использует архитектуру Mixtral с разреженной экспертной моделью (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и выполнения инструкций. В качестве формата запросов подходят шаблоны Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты нескольких тестов языковых моделей, включая AI2 Reasoning Challenge и HellaSwag. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не сообщает о поддержке конкретных естественных языков, поэтому языки не перечислены. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах.

pszemraj/granite-4.0-h-7b-heretic — производная диалоговая модель на основе IBM Granite 4.0 H Tiny. В метаданных указаны архитектура GraniteMoeHybridForCausalLM (гибридная MoE), 500,2 млн параметров, контекст до 131 072 токенов и формат Safetensors; README описывает абляцию, направленную на снижение отказов отвечать. По приведённому сравнению доля отказов составляет 6 из 100 против 98 из 100 у базовой модели, а KL-дивергенция — 0,03. Модель предназначена для генерации диалоговых ответов и может использоваться для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного общения. Наследует возможности Granite по следованию инструкциям и вызову инструментов, однако результаты приведены для ограниченного набора проб и сами по себе не подтверждают качество на других задачах. В карточке указаны английский как язык модели; README базовой модели перечисляет также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский, но не устанавливает их поддержку именно этой производной модели. Лицензия — Apache 2.0. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; снижение числа отказов требует тщательной проверки применения.

granite-4.2-30b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-30b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием MLX и оптимизировано для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста, рассуждений, работы с инструментами и сценариев tool-calling. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. В README не указаны точная архитектура, размер контекстного окна, доступные модальности и дополнительные показатели качества. Квантование в 4 бита снижает требования к памяти и делает модель более подходящей для локального запуска на Apple Silicon, однако может сопровождаться потерей качества по сравнению с исходной версией. Условия использования определяются лицензией Apache 2.0.