II.1Анализ требований и архитектура ПО

BuRPInfinWestLakev2-IreneRP-Neural-7B-slerp — объединённая языковая модель, созданная Smuggling1710 с помощью LazyMergekit методом slerp из Smuggling1710/WestLakev2-IreneRP-Neural-7B-slerp и jeiku/BuRPInfinity_9B. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров; она предназначена для генерации текста и диалоговых ответов. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а в конфигурации слияния указан тип bfloat16. Язык модели, конкретные сценарии применения, лицензия и известные ограничения в доступных сведениях не описаны.

MaziyarPanahi/calme-2.1-qwen2-7b — дообученная авторами MaziyarPanahi модель Qwen2-7B для диалоговой генерации текста. Она предназначена для общения в формате ChatML и призвана улучшить результаты базовой модели на различных бенчмарках. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Модель можно применять для ведения диалога, ответов на вопросы и генерации текстовых ответов. Для обучения использовались HelpSteer2, OpenHermes-2.5, набор задач Orca Math и SlimOrca. В карточке приведены результаты оценки на бенчмарках, включая IFEval и BBH. Доступна под лицензией Apache-2.0.

CalmeRys-78B-Orpo-v0.1 — языковая модель dfurman, дообученная на 1,5 тыс. примеров датасета mlabonne/orpo-dpo-mix-40k на базе MaziyarPanahi/calme-2.4-rys-78b. Это плотная модель семейства Qwen2 с 76,7 млрд параметров, доступная в формате safetensors; метаданные указывают контекст до 32 768 токенов и лицензию MIT. Модель предназначена для генерации текста в диалогах и сценариях общего назначения: многоходового общения, ролевых диалогов, рассуждений, работы с длинным контекстом и задач с агентными возможностями. Карточка сообщает о высокой позиции на Open LLM Leaderboard по состоянию на октябрь 2024 года, однако не приводит полные результаты оценки. Модель принимает текст и генерирует текст. Заявлена поддержка английского языка; дополнительных языков карточка и метаданные не подтверждают. Для запуска в README приведён пример с Transformers и Accelerate. Ограничения: указанный размер требует значительных вычислительных ресурсов, а заявление о рейтинге относится к октябрю 2024 года и не гарантирует качество на конкретных задачах. Лицензия — MIT.

Captain_Eris_Noctis-12B-alt-v0.420 — разговорная модель генерации текста, созданная объединением двух моделей: Nitral-AI/Nera_Noctis-12B и Nitral-AI/Captain-Eris-Diogenes_Twilight-V0.420-12B. Она основана на архитектуре Mistral и содержит 12,1 млрд параметров. Модель предназначена для диалогов и генерации ответов в формате ChatML; для работы используется библиотека Transformers. В карточке указано контекстное окно до 1 024 000 токенов. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

IanLi233/Cautious_Qwen — дообученная модель Qwen2.5-7B, опубликованная в формате SafeTensors и подготовленная с помощью Unsloth. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель примерно на 7,1 млрд параметров; заявленная длина контекста составляет 131 072 токена. Карточка не раскрывает обучающие данные, конкретные сценарии дообучения, языки, разработчика и лицензию. Поэтому область, в которой модель особенно надёжна, определить нельзя; ответы следует проверять, особенно при использовании в важных решениях. Базовая модель указана в README как Qwen2.5-7B.

Celestial-Order-24B-V2.5 — языковая модель Sorihon, полученная слиянием предварительно обученных моделей методом DARE TIES с помощью mergekit. В качестве базовой использована Sorihon/Celestial-Order-24B-V2, также в слияние включена Delta-Vector/Rei-24B-KTO. Модель построена на плотной архитектуре Mistral с 23,4 млрд параметров и рассчитана на генерацию текста и чат. Её можно применять для диалогов и творческого письма; контекстное окно составляет до 131 072 токенов. Модель доступна в формате safetensors и используется через Transformers. Лицензия в предоставленных данных не указана. Сведения о поддерживаемых естественных языках и конкретных ограничениях качества отсутствуют.

ChatML-Nemo-Pro-V2 — объединённая языковая модель, опубликованная пользователем win10. Она создана методом TIES с помощью mergekit на базе shuttleai/shuttle-2.5-mini с включением cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель построена на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Метаданные указывают контекстное окно до 1 024 000 токенов; в карточке также отмечена поддержка чата. README не описывает отдельные специализированные сценарии или языки, поэтому модель можно характеризовать только как универсальную языковую модель для генерации текста и диалога. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Codepy-Deepthink-3B — дообученная модель PrithivMLmods на базе meta-llama/Llama-3.2-3B-Instruct для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Она предназначена для диалогов, пошаговых объяснений, помощи в программировании, учебных задач и творческого письма. Модель использует плотную архитектуру Llama с 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык; формат весов — safetensors. Лицензия — CreativeML OpenRAIL-M. В README приведён пример генерации пароля, но он помечен как неприменимый, поэтому качество выполнения конкретных задач программирования по карточке подтвердить нельзя.

CollectiveCognition-v1.1-Mistral-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и teknium/CollectiveCognition-v1.1-Mistral-7B методом SLERP. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и диалоговые запросы и генерирует текстовые ответы на английском языке. Нативная длина контекста — 32 768 токенов. Модель подходит для диалоговых ассистентов и выполнения инструкций. В репозитории представлены веса safetensors в формате bfloat16. Лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробных рекомендаций по применению, поэтому пригодность для конкретной задачи следует проверять отдельно.

Cygnis-Alpha 2 (8B) v0.3 — это языковая модель для генерации текста, представленная в формате GGUF с различными вариантами квантизации. Базовую модель разработал Simonc-44, а квантизацию выполнил mradermacher. Модель обучалась с использованием наборов данных Cygnis-Alpha2-Instruct-Mix и Cygnis-Identity-SFT и предназначена для локального запуска через совместимые инструменты работы с GGUF. Модель содержит около 8 миллиардов параметров и, судя по метаданным, относится к семейству архитектур Llama 3.1. Она ориентирована на текстовые задачи, включая генерацию ответов, следование инструкциям и рассуждения. Заявлены английский и французский языки. Поддержка мультимодальных входов и размер контекстного окна в README не указаны. Основное преимущество версии — широкий выбор квантизированных вариантов размером примерно от 2,1 до 6,7 ГБ, что позволяет адаптировать модель к доступным ресурсам и выбирать компромисс между скоростью, требованиями к памяти и качеством. При этом некоторые малобитные варианты характеризуются как низкокачественные, поэтому для практического использования рекомендуется выбирать более качественные варианты, например i1-Q4_K_M или i1-Q5_K_M. Модель распространяется под лицензией Apache-2.0.

Cypher-Laser-Mixtral-2x1.8B-v0.1 — языковая модель, созданная aloobun путём объединения двух моделей Cypher с применением техники LASER и инструмента LazyMergekit. Это архитектура Mixtral с разреженной смесью экспертов (MoE), предназначенная для генерации текста и диалогового использования. В репозитории указаны 1,7 млрд параметров, контекст до 16 384 токенов и формат safetensors. Модель можно использовать для диалоговых ответов и генерации текста, включая задачи с рассуждениями. В её основе лежат aloobun/Cypher-Mini-Laser-1.8B и aloobun/Cypher-CoT-Laser-1.8B; среди датасетов карточки указаны CoT-Collection и Hercules-v3.0. Модель распространяется по лицензии Apache-2.0. Языки обучения или приоритетные языки карточка не подтверждает.

DeepSeek-R1-Distill-Llama-8B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Llama-8B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана DeepSeek, а данный репозиторий предоставляет варианты весов для локального запуска и инференса, в том числе через LM Studio. Модель предназначена для генерации текста и поддерживает сценарии локального использования, включая диалоговое взаимодействие и задачи рассуждения, предусмотренные базовой моделью. Доступны варианты от F32 и F16 до низкоразрядных Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер модели составляет 8 миллиардов параметров; формат GGUF ориентирован на работу с llama.cpp. В README также указан шаблон промпта, содержащий системное сообщение, запрос пользователя и ответ ассистента. Сильной стороной набора является широкий выбор квантизаций: варианты Q6 и Q5 обеспечивают высокое качество при заметно меньшем размере, а Q4 и Q3 подходят для устройств с ограниченными ресурсами. Более компактные варианты экономят память, но могут снижать качество генерации. Данные о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности и лицензии в README не указаны.

sleepyeldrazi/DeepSeek-v4-Flash-REAP-K180-NVFP4 — это производная текстовая модель на основе DeepSeek V4 Flash, подготовленная sleepyeldrazi. Она использует структурное удаление экспертов методом REAP: в слоях MoE оставлено 180 из 256 маршрутизируемых экспертов, а слои 0–2 сохранены без такого сокращения. По README, дообучения не было: это подмножество исходных весов, упакованное в GGUF с гибридной точностью NVFP4, Q2_K и Q8_0; NVFP4-конверсия экспертных весов описана как преобразование формата масштабов без потери точности относительно исходного MXFP4. Модель предназначена для генерации текста и диалогового использования, включая программирование, агентные сценарии с вызовом инструментов, исследования и ответы на длинном контексте. README заявляет поддержку контекста до 1 млн токенов на NVIDIA DGX Spark с GB10 при использовании FP8 KV-кэша и специального движка ds4-nvfp4-spark с управляемой памятью. Обычные GGUF-движки, включая стандартный llama.cpp, модель не загружают. Лицензия — MIT. Запуск зависит от специализированного оборудования и программного обеспечения; для конфигурации K180 в README указана необходимость режима управляемой памяти, а сама карточка помечена как экспериментальная. В заявленных характеристиках есть оптимизации под DGX Spark, поэтому переносимость и производительность на других системах не подтверждены предоставленными данными.

ERNIE-4.5-0.3B-PT — компактная текстовая плотная авторегрессионная модель семейства ERNIE 4.5, разработанная Baidu. Это вариант с весами PyTorch для Transformers; модель прошла постобучение и предназначена для понимания и генерации текста, включая диалоговые сценарии. Она содержит 318,2 млн параметров и поддерживает контекст до 131 072 токенов. Для запуска через библиотеку Transformers требуется версия 4.54.0 или новее; также в README приведён пример обслуживания через vLLM. Модель принимает и генерирует текст. В карточке указаны английский и китайский языки. Лицензия Apache-2.0. Карточка описывает ERNIE 4.5 в целом как мультимодальное семейство, но именно вариант 0.3B-PT обозначен как текстовая модель, поэтому возможности обработки изображений ему не приписываются.

EVA-Qwen2.5-32B-v0.1-GGUF — это GGUF-квантизация текстовой генеративной модели EVA-Qwen2.5-32B-v0.1, разработанной EVA-UNIT-01. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая задачи следования инструкциям, написания текстов и ролевого взаимодействия; в обучении использовались наборы данных для instruction-following, creative writing, roleplay и синтетических диалогов. Модель основана на семействе Qwen2.5 и содержит 32 млрд параметров. Доступны варианты от F16 до различных 8-, 6-, 5-, 4- и 3-битных квантизаций, включая форматы, оптимизированные для ARM. Более качественные варианты требуют значительного объёма памяти, тогда как младшие квантизации подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. README не указывает поддерживаемые языки, размер контекста и мультимодальные возможности, поэтому их нельзя достоверно определить по предоставленным данным. Для работы рекомендуется использовать формат prompt с маркерами Qwen и совместимый inference-инструмент, например LM Studio или llama.cpp. Модель распространяется по лицензии Apache-2.0.

EVA-Qwen2.5-32B-v0.2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели EVA-Qwen2.5-32B-v0.2, разработанной EVA-UNIT-01 и подготовленной пользователем bartowski. Модель предназначена для генерации текста, включая диалоговые, инструкционные, писательские и roleplay-сценарии. Она обучалась на смесях датасетов с инструкциями, художественным письмом, ролевыми диалогами и синтетическими примерами. Доступны варианты от полноразмерного F16 до квантизаций Q8_0, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,81 до 65,54 ГБ. Квантизации выполнены с использованием llama.cpp и imatrix; для запуска рекомендуется LM Studio. Более высокие разрядности обеспечивают лучшее сохранение качества, а варианты Q3 подходят для систем с ограниченным объёмом оперативной памяти, но заметно уступают по качеству. Отдельные варианты оптимизированы для ARM и требуют соответствующих аппаратных возможностей; они не предназначены для Mac или Windows. В README не указаны точные архитектурные параметры, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия указана как Apache-2.0. Для использования необходимы ресурсы, соответствующие выбранному варианту квантизации.

Exodius-70B — объединённая языковая модель, созданная с помощью mergekit методом SLERP из freewheelin/free-evo-qwen72b-v0.8-re и abacusai/Smaug-72B-v0.1. Она предназначена для генерации текста и диалоговых сценариев. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM, содержит 71 млрд параметров и поддерживает контекст до 32 768 токенов. Весовой формат репозитория — safetensors; библиотека для работы — Transformers. Объединение сочетает две предварительно обученные языковые модели, включая Smaug-72B-v0.1, предназначенную для диалога, ответов на вопросы и рассуждений. В карточке не приведены отдельные результаты оценки качества или специализированные области применения. Модель распространяется по лицензии Apache-2.0.

Experiment24Ognoexperiment27-7B — автоматическое слияние моделей, созданное Maxime Labonne. В конфигурации DARE-TIES объединены yam-peleg/Experiment24-7B и automerger/OgnoExperiment27-7B; для второй модели указаны плотность 0,53 и вес 0,6, маска int8 и формат bfloat16. Метаданные описывают архитектуру как плотную MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; сведения о языковой специализации и прикладных областях в карточке не приведены. Модель распространяется по лицензии Apache-2.0. Качество и конкретные ограничения в README не оценены.

Experiment26Neuralsirkrishna_Experiment24Yam — объединённая модель Mistral, созданная из automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment24Yam-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors. Практические качества и языковой охват отдельно не описаны; пригодность модели для конкретных задач следует оценивать на собственных данных. Лицензия — Apache-2.0.

Experiment26T3q-7B — созданная Maxime Labonne автоматическим слиянием методом SLERP моделей rwitz/experiment26-truthy-iter-1 и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Это плотная Mistral-модель с 7,1 млрд параметров для генерации текста; базовая математическая модель прошла DPO-дообучение на математических данных. Модель принимает текстовые запросы и предназначена для диалоговых ответов и генерации текста, в том числе для решения математических задач. Длина контекста — 32 768 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0.

Experiment27Yam-7B — объединённая Maxime Labonne модель на архитектуре Mistral для генерации текста. В README указан автоматический merge с использованием yam-peleg/Experiment27-7B и mayacinka/yam-jom-7B-slerp методом dare_ties; метаданные связывают модель с mayacinka/yam-jom-7B-slerp. Модель содержит 7,1 млрд параметров, принимает текстовый ввод и поддерживает контекст до 32 768 токенов. Модель подходит для генерации продолжений текста и диалоговых ответов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или подробных сведений о специализации модели.

Experiment28M7_T3qT3qm7 — объединённая модель Mistral, созданная из automerger/Experiment28M7-7B и automerger/T3qT3qm7-7B. Она предназначена для генерации текста и может использоваться для диалога и ответов на математические запросы. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Опубликована в формате safetensors под лицензией Apache-2.0. Карточка не сообщает о конкретных языках обучения или ограничениях качества; применимость к отдельным задачам зависит от поведения объединённых моделей.

FalconMamba-7B-Instruct — англоязычная авторегрессионная языковая модель TII на архитектуре Mamba с причинным декодером. Она дообучена на инструкционных данных поверх Falcon-Mamba-7B; в метаданных указано 8,9 млрд параметров. Для обучения использовались веб-тексты RefinedWeb, технические материалы, код, математические данные и часть FineWeb-Edu. Модель предназначена для диалогов, выполнения текстовых инструкций и генерации продолжений; работает с текстом и поддерживает генерацию на английском языке. Обучение увеличивало длину контекста с 2 048 до 8 192 токенов. В карточке отмечено, что архитектура Mamba не имеет фиксированного предела дальних зависимостей при инференсе. Для ускорения рекомендуются оптимизированные ядра Mamba; модель также можно запускать в FP16 и 4-битном режиме. Карточка приводит результаты на общих языковых и рассуждательных бенчмарках, включая MMLU, GSM8K и IFEval. Модель выпущена под лицензией TII Falcon-Mamba License 2.0, обозначенной в метаданных как other; перед использованием следует проверить её условия. Карточка описывает преимущественно английское применение и не заявляет специальных возможностей для других языков.

Faro-Yi-9B-DPO — чат-модель на архитектуре Llama, разработанная wenbopan. Это версия Faro-Yi-9B, обученная с Direct Preference Optimization (DPO); в карточке также указано объединение моделей. Модель содержит 8,6 млрд параметров и рассчитана на генерацию текста в диалоге. Она обучалась на китайских и англоязычных предпочтениях и наборах данных для следования инструкциям и правдивых ответов. Модель предназначена для диалоговых ответов, рассуждений и решения задач на английском и китайском языках. В опубликованной таблице Faro-Yi-9B-DPO превосходит Faro-Yi-9B и Yi-9B-200K по приведённым метрикам MMLU, GSM8K, HellaSwag, TruthfulQA, AI2 ARC, WinoGrande и CMMLU; автор также сообщает о предпочтении её ответов судьёй GPT-4 в MT-Bench. Контекст модели — 32 768 токенов. Для длинных запросов необходимы подходящие настройки и достаточная видеопамять; автор приводит способы увеличить длину контекста с возможным снижением качества при 4-битной квантизации. Лицензия — MIT.

Это GGUF-представление модели fblgit/una-cybertron-7b-v2-bf16, подготовленное Featherless AI. Базовая модель Cybertron 7B v2 дообучена на основе Mistral и предназначена для диалогов, генерации текста и задач на рассуждение. Репозиторий содержит файлы в формате GGUF с вариантами квантования, включая IQ4_XS, Q2_K и Q3_K_L; README также указывает наличие других вариантов. Модель подходит для локального или размещённого запуска в совместимой среде GGUF. Сведения о лицензии, поддерживаемых языках и длине контекста в предоставленных данных отсутствуют.

Fikr-7B-Reasoning-GRPO — языковая модель для генерации текста, опубликованная пользователем Hatim2221 на Hugging Face. По метаданным она работает через библиотеку Transformers, относится к семейству Qwen2 и содержит около 7,1 млрд параметров. Название указывает на ориентацию на рассуждения и обучение методом GRPO, однако README не содержит подробностей о процедуре дообучения или результатах оценки. Модель предназначена для задач генерации и продолжения текста, диалоговых сценариев, составления ответов на вопросы и выполнения инструкций в приложениях на базе LLM. Заявленная длина контекста составляет 32 768 токенов, что позволяет обрабатывать достаточно объёмные запросы и документы. В метаданных отмечен conversational-сценарий использования, но поддерживаемые естественные языки явно не перечислены. README не содержит сведений о разработчике, лицензии, обучающих данных, тестах, показателях качества, рекомендуемых параметрах генерации или специальных ограничениях. Поэтому перед применением модель следует самостоятельно проверять на фактические ошибки, нестабильность рассуждений, токсичные или предвзятые ответы и пригодность для конкретной области.

FineLlama-3.1-8B-GGUF — это набор GGUF-квантизированных вариантов языковой модели FineLlama-3.1-8B, разработанной mlabonne и подготовленной квантизацией bartowski с использованием llama.cpp и калибровочного imatrix-датасета. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio и совместимые инструменты llama.cpp. В README указан английский язык и тип задачи text-generation; сведения о мультимодальности отсутствуют. Доступны варианты от F32 до низкобитных Q2 и IQ2, поэтому можно выбирать между качеством и требованиями к памяти: размер файлов составляет примерно от 2,95 до 32,13 ГБ. Варианты Q5–Q6 и Q4_K_M отмечены как обеспечивающие высокое или хорошее качество, а низкобитные варианты позволяют работать при ограниченном объёме RAM, но сильнее теряют в качестве. Точный размер контекста, архитектурные детали исходной модели и рекомендуемый формат промпта в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

bartowski/gemma-2-27b-chatml-GGUF — это набор GGUF-квантизаций 27-миллиардной текстовой модели IntervitensInc/gemma-2-27b-chatml. Квантизации подготовлены bartowski с использованием llama.cpp версии b3615 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а запускать её рекомендуется в совместимых приложениях, включая LM Studio. Доступны варианты от исходных весов F16 размером 54,46 ГБ до более компактных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 11,55 до 28,94 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, тогда как компактные варианты снижают требования к оперативной памяти; отдельные Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 оптимизированы для ARM и CPU-инференса. Точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильная сторона набора — широкий выбор квантизаций для разных ограничений по памяти и производительности, включая варианты высокого качества и версии для малоресурсного запуска. Ограничения включают неизвестный формат промптов, отсутствие в README подробностей о возможностях базовой модели и потенциальное снижение качества у низкоразрядных вариантов. Для доступа требуется принять лицензию Google на использование Gemma на Hugging Face; конкретные условия лицензии следует проверить перед применением.

testmoto/gemma-2-9b-lora-aozora — текстовая генеративная модель на основе Google Gemma 2 9B, представленная в формате MLX. README сообщает о конвертации из google/gemma-2-9b с помощью mlx-lm 0.20.2; метаданные классифицируют связь с базовой моделью как дообучение, поэтому происхождение по источникам противоречиво. Модель принимает текст и генерирует текст. Базовая Gemma 2 9B предназначена для генерации текста, диалогов, суммаризации и ответов на вопросы; контекст модели составляет 8192 токена. Для работы с MLX README указывает пакет mlx-lm. Лицензия — Gemma.

xdavxd выпустил Gemma 4 26B A4B IT QAT Heretic EGA — версию Gemma 4 с ослабленным механизмом отказа на базе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалогов, рассуждений и анализа изображений. Архитектура — Gemma4ForConditionalGeneration; веса представлены в BF16 в формате safetensors. В README приведены инструкции по развёртыванию через vLLM и оценка на нескольких тестах, включая задачи следования инструкциям, математику и работу с длинным контекстом. При модификации из весов проекций внимания и MLP, включая проекции экспертов MoE, удаляли направления, связанные с отказами. Автор сообщает, что на тесте из 100 вредоносных запросов модель отказала в 4 случаях, а на наборе из 686 запросов — в 11; сравнение возможностей проводилось с одним запуском и одной случайной инициализацией, поэтому результаты не являются статистически строгими. Снижение отказов означает, что модель может отвечать на запросы, от которых исходная версия отказывалась. Лицензия — Apache-2.0.