II.1Анализ требований и архитектура ПО

WithinUsAI/Gemma3-Prompt.Coder.it.Uncensored-270m — компактная текстовая модель на архитектуре Gemma 3, созданная слиянием нескольких дообученных моделей методом SLERP. В состав слияния вошли варианты для программирования и улучшения подсказок, а также модель Google Gemma 3 270M Instruct. В карточке указано, что отдельные компоненты обучались для расширения коротких запросов в подробные описания, генерации кода и снижения защитных ограничений. Модель предназначена для генерации текста, в том числе кода и развернутых вариантов коротких промптов. Она содержит около 257 млн параметров, принимает текст и имеет контекстное окно 32 768 токенов. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В метаданных не указаны поддерживаемые естественные языки. README предупреждает о сниженной фильтрации и возможности чувствительных или неподходящих ответов; рекомендуется проверять результаты и применять модель в контролируемой среде. Лицензия в предоставленных данных не указана.

Grug 67B A2B Datakit SFT 262K — экспериментальный чекпойнт Grug MoE после дообучения с учителем. Модель создана на основе неопубликованного базового чекпойнта Grug на шаге 157 000; обучение продолжено на подборке данных для агентных задач и рассуждений, включая код, математику, следы использования инструментов и форматирование ответов. В README описана отдельная серия SFT от релиза 11 сентября. Архитектура — GrugMoeForCausalLM с 67,1 млрд параметров, 256 маршрутизируемыми экспертами, выбором четырёх экспертов и общим экспертом; заявлено около 2 млрд активных неэмбеддинговых параметров на токен. Веса представлены в BF16, а для генерации предусмотрены режимы с рассуждениями и без них, а также интерфейс вызова инструментов. Конфигурация задаёт контекст 262 144 токена, но качество работы на длинном контексте не проверено. Модель предназначена для генерации текста в агентных сценариях и задачах рассуждения, включая работу с кодом, математикой и инструментами. Чекпойнт не прошёл надлежащую оценку: нет подтверждённых результатов бенчмарков или даже базовой проверки генерации. Для запуска требуется среда с поддержкой Grug MoE; совместимость с указанным форком vLLM и загрузка через стандартный Transformers не подтверждены. Лицензия — OpenMDW-1.1.

Hathor_Fractionate-L3-8B-v.05-GGUF — это квантизированная версия языковой модели Hathor_Fractionate-L3-8B-v.05, разработанной Nitral-AI. Публикацию и квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, включая LM Studio, с поддержкой формата GGUF и специального шаблона промпта на основе ролей system, user и assistant. Модель относится к классу 8B и ориентирована на англоязычные сценарии. Доступны варианты от исходных весов F32 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серии; размер файлов составляет примерно от 3,18 до 32,13 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, а низкие уменьшают требования к оперативной памяти ценой качества генерации. В README не указаны точная архитектура, длина контекста, результаты тестирования, мультимодальные возможности или дополнительные языки. Лицензия обозначена как other, без подробных условий в предоставленных данных. Поэтому перед использованием в коммерческих или иных распространённых сценариях необходимо проверить лицензию исходной модели и условия конкретной публикации. К ограничениям относятся отсутствие сведений о контекстном окне и качестве на конкретных задачах, а также ожидаемая деградация результатов у наиболее компактных квантизированных вариантов.

DevQuasar/huihui-ai.Qwen3-8B-abliterated-GGUF — это квантизированная версия модели huihui-ai/Qwen3-8B-abliterated, предназначенная для генерации текста. Модель разработана на основе Qwen3-8B и опубликована в формате GGUF проектом DevQuasar; в карточке указано, что квантизация выполнена для базовой модели huihui-ai. Модель подходит для локального запуска и сценариев, связанных с текстовой генерацией, однако README не содержит сведений о конкретном варианте квантизации, поддерживаемых языках, размере контекста, архитектурных деталях, модальностях, требованиях к ресурсам или результатах оценки качества. Информация о лицензии также отсутствует, поэтому условия использования по карточке модели определить нельзя.

Momix-44/Huihui-granite-4.1-30b-abliterated — доработанная методом abliteration версия языковой модели IBM Granite 4.1 30B. Автор описывает её как грубую proof-of-concept реализацию, снижающую склонность модели отказываться от ответов. Это плотная авторегрессионная модель GraniteForCausalLM примерно на 28,9 млрд параметров для генерации текста и диалогов; поддерживает контекст до 131 072 токенов. Репозиторий содержит веса в форматах safetensors и GGUF BF16, а для запуска README приводит варианты с Transformers и Ollama. Модель подходит для диалоговых приложений и генерации ответов, в том числе на запросы, которые базовая версия могла бы отклонить. Снижение защитных фильтров может привести к чувствительным, спорным или неподходящим ответам, поэтому результаты требуют проверки. Языки, специально поддерживаемые этой версией, в карточке не перечислены. Лицензия — Apache 2.0.

Inex12Experiment26-7B — автоматическое объединение моделей, созданное Maxime Labonne с помощью mergekit. В конфигурации указаны MSL7/INEX12-7b и yam-peleg/Experiment26-7B; применён метод dare_ties с параметрами плотности 0,53 и веса 0,6 для второй модели. Это плотная причинно-языковая модель семейства Mistral на 7,1 млрд параметров, предназначенная для генерации текста. Репозиторий содержит веса в формате safetensors; заявленная длина контекста — 32 768 токенов. Лицензия — Apache-2.0. Карточка не уточняет специализацию задач или поддерживаемые естественные языки.

legraphista/K2-ckpt_360-IMat-GGUF — это набор квантованных моделей в формате GGUF, созданный legraphista на основе LLM360/K2 из ветки ckpt_360. Исходная модель имела тип данных FP16, а квантование выполнено с помощью llama.cpp b3058 с применением IMatrix для ряда вариантов. Модель предназначена для генерации текста и указана как англоязычная. Доступны варианты с разными уровнями квантования — от FP16 и Q8_0 до Q2_K и IQ2, включая Q6_K, Q5_K, Q4_K и Q3_K. Размер файлов составляет примерно от 20,78 до 130,58 ГБ; некоторые высокоточные варианты разделены на несколько частей. IMatrix применяется в вариантах с более низкой разрядностью, включая Q4, Q3 и Q2, что рассчитано на улучшение сохранения качества при уменьшении размера модели. Архитектура, число параметров, поддерживаемая длина контекста и дополнительные модальности в README не указаны; по назначению это текстовая, а не мультимодальная модель. Основные преимущества — широкий выбор компромиссов между размером, требованиями к памяти и ожидаемым качеством, а также совместимость с экосистемой llama.cpp и форматом GGUF. Ограничения включают значительные требования к дисковому пространству и памяти, возможное снижение качества в низкоразрядных вариантах, а также отсутствие в предоставленных данных подробных оценок производительности и характеристик контекста. Указана лицензия Apache-2.0.

jaspionjader/Kosmos-EVAA-mix-v35-8B — объединённая языковая модель, созданная jaspionjader с помощью mergekit методом SLERP из jaspionjader/test-19 и jaspionjader/test-18. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для генерации текста. Данные не описывают специальные предметные области, дополнительные модальности или конкретные сценарии применения. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Laguna-XS-2.1-GGUF — квантованная версия текстовой генеративной модели Laguna-XS-2.1, разработанной poolside и автоматически преобразованной в формат GGUF проектом ggml-org. Модель предназначена для генерации текста и может использоваться в совместимых приложениях и средах запуска, включая llama.app. Из доступных данных известно, что модель относится к классу text-generation и поставляется в формате GGUF. Конкретная архитектура, количество параметров, поддерживаемые языки, размер контекста, модальности и характеристики квантования в карточке не указаны. Поэтому оценить сильные стороны, ограничения производительности и требования к аппаратному обеспечению можно только после изучения исходной модели или дополнительной документации. Лицензия модели указана как OpenMDW 1.1. Для запуска рекомендуется использовать совместимое окружение, например llama.app; README также содержит команду запуска через llama serve.

Lelanta-lake-7b — модель для генерации текста, созданная объединением методом SLERP моделей s3nh/SeverusWestLake-7B-DPO и ChaoticNeutrals/Prima-LelantaclesV7-experimental-7b. Она построена на архитектуре Mistral с плотной причинно-языковой моделью и содержит 7,1 млрд параметров. Модель принимает текст и предназначена для продолжения текста и генерации ответов. Поддерживает контекст длиной до 32 768 токенов. В README указаны компоненты слияния и параметры объединения; конкретные сценарии, языковая специализация и результаты оценки качества не описаны. Лицензия в метаданных обозначена как other.

Fischerboot/ll3-c3-merged — объединённая причинная языковая модель семейства Llama, созданная разработчиком Fischerboot с помощью mergekit. В README указано, что использован метод passthrough и объединены Fischerboot/llama3-carlodda-v1 и Fischerboot/ll3-c3-lora-new. Модель предназначена для генерации текста. Она имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста составляет 8192 токена. В репозитории представлены веса в формате safetensors. README и метаданные не описывают целевые сценарии, языки, сравнительные преимущества или результаты оценки качества. Лицензия в предоставленных сведениях не указана.

QuantFactory/Llama-3.1-8B-Instruct-Reasoner-1o1_v0.3-GGUF — квантизированная GGUF-версия модели Lyte/Llama-3.1-8B-Instruct-Reasoner-1o1_v0.3, созданная QuantFactory с использованием llama.cpp. Исходная модель дообучена на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit и предназначена для генерации текста в диалоговых сценариях, включая ответы на вопросы, рассуждения, самопроверку и исправление обнаруженных ошибок. В карточке также указано, что модель является экспериментом и proof of concept, ориентированным на генерацию более длинных рассуждений перед финальным ответом. Модель относится к семейству Llama 3.1 и имеет размер 8B параметров; доступный формат — GGUF. Указан английский язык. Архитектура, максимальная длина контекста и точный набор квантизаций в предоставленных данных не описаны. В качестве сильной стороны заявлена настройка на пошаговое рассуждение с проверкой и коррекцией, однако разработчик предупреждает, что небольшая обучающая выборка не направлена на получение прироста производительности и может даже ухудшать результаты. Модель распространяется по лицензии Apache-2.0.

Модель coderavi/Llama3.3-8B-Instruct-Thinking-Heretic-Uncensored-Claude-4.5-Opus-High-Reasoning-mlx-8Bit разработана coderavi и представляет собой версию модели DavidAU/Llama3.3-8B-Instruct-Thinking-Heretic-Uncensored-Claude-4.5-Opus-High-Reasoning, конвертированную в формат MLX с использованием mlx-lm 0.29.1. Модель основана на Llama 3.3 и предназначена для генерации текста, включая задачи с инструкциями, рассуждения, творческое и художественное письмо, создание сюжетов и сцен, сторителлинг и ролевые сценарии. Модель имеет 8 миллиардов параметров, поддерживает текстовую модальность и заявленный контекст до 128K токенов. В карточке указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. 8-битное представление MLX ориентировано на запуск через mlx-lm, в частности в экосистеме Apple Silicon. К сильным сторонам относятся специализация на рассуждениях, инструкционном взаимодействии и генерации художественных текстов; при этом заявленные свойства «uncensored» и «heretic» указывают на возможное отсутствие или ослабление стандартных ограничений безопасности, что требует осторожного применения. В README не приведены результаты тестирования и подробные сведения о качестве или ограничениях. Модель распространяется по лицензии Apache-2.0. Для работы требуется установить пакет mlx-lm и загрузить модель через его API.

huggyllama/llama-65b содержит веса языковой модели LLaMA-65B, преобразованные для использования с библиотекой Transformers. Репозиторий предназначен для пользователей, которым уже предоставили доступ к исходным весам и которым нужна их копия или помощь с преобразованием в формат Transformers. Модель с плотной архитектурой LLaMA и примерно 65 млрд параметров предназначена для генерации текста. Доступны веса в форматах PyTorch и Safetensors. Лицензия некоммерческая; для доступа к исходным весам требуется разрешение.

M7Yamshadowexperiment28_Experiment27Experiment28 — объединённая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment27Experiment28-7B. В метаданных архитектура указана как MistralForCausalLM: плотная трансформерная модель на 7,1 млрд параметров с контекстом до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. README не описывает специализацию, языки или результаты оценки качества модели.

MDBX-7B — языковая модель, созданная слиянием leveldevai/MarcDareBeagle-7B и leveldevai/MarcBeagle-7B с помощью LazyMergekit и метода SLERP. Это плотная причинная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста. Максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Модель можно использовать для генерации продолжений текста и других задач, основанных на текстовой генерации. README описывает конфигурацию слияния, но не приводит результаты оценок качества или сведения о специальных возможностях, поэтому конкретные преимущества и качество в отдельных сценариях определить нельзя.

MiniCPM5-1B-MegaMerge-Final — языковая модель MC7ever, созданная на основе openbmb/MiniCPM5-1B. По карточке это слияние весовых изменений 31 дообученной модели с направленной abliteration и последующим LoRA-дообучением на assertive data. Модель предназначена для генерации текста; в метаданных указан контекст до 524 288 токенов и 837,6 млн параметров. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Карточка не уточняет языки, лицензию, качество на конкретных задачах и практические ограничения длинного контекста. Поэтому применимость для конкретных сценариев стоит проверять на собственных данных; условия лицензирования следует сверить с репозиторием базовой модели и карточкой модели.

MiniMax-M2.7 — языковая модель для генерации текста, разработанная компанией MiniMax AI. В карточке она представлена как модель text-generation, совместимая с библиотекой Transformers. Модель предназначена для задач генерации и обработки текста, однако README не содержит подробностей о поддерживаемых языках, модальностях, размере, архитектуре, длине контекста, обучении, производительности или рекомендованных сценариях применения. Поэтому её возможности и ограничения нельзя оценить точнее на основании предоставленных данных. Лицензия обозначена как other; условия использования приведены в отдельном файле LICENSE в репозитории MiniMax-AI/MiniMax-M2.7. Перед применением необходимо ознакомиться с этим документом, поскольку конкретные права, ограничения и требования лицензии в README не раскрыты.

Mistral Syndicate — экспериментальная instruction-tuned языковая модель, созданная spmurrayzzz на базе mistralai/Mistral-7B-v0.1. Она дообучена на синтетических примерах: несколько открытых языковых моделей предлагали ответы на инструкции, после чего выбирался лучший ответ. Для обучения использовалась отобранная часть VMWare/open-instruct и самостоятельно составленные инструкции. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Она принимает текстовые инструкции с дополнительным контекстом или без него и генерирует текстовые ответы; метаданные указывают контекст до 32 768 токенов и поддержку английского языка. В README приведены результаты нескольких бенчмарков, но автор подчёркивает, что это эксперимент по изучению динамики обучения, а не передовая модель. Модель распространяется по лицензии Apache-2.0. Результаты бенчмарков и экспериментальный характер обучения не гарантируют качества ответов в прикладных сценариях; для критичных задач ответы следует проверять.

Sao10K/MN-12B-Lyra-v2a1 — экспериментальная текстовая модель Stage 1 семейства Lyra v2, разработанная Sao10K на базе Mistral Nemo 12B. Модель прошла supervised fine-tuning (SFT) и двухэтапное слияние моделей; она предназначена для генерации текста в формате ChatML. В карточке указаны 12,1 млрд параметров, архитектура MistralForCausalLM и контекст до 1 024 000 токенов. Автор описывает модель как многословную и предупреждает о возможных проблемах. В частности, в генерации может появляться служебный токен [/INST]; для его остановки рекомендуется добавить этот токен в пользовательские стоп-строки. Stage 2 и RL на момент публикации ещё не завершены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Norobara-ZLoss-8x7B — экспериментальная инструктивная модель для диалога и выполнения общих текстовых инструкций, созданная на основе mistralai/Mixtral-8x7B-v0.1. Она построена на архитектуре Mixtral MoE и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель обучали с использованием ZLoss и форка Transformers на базе Megablocks, преимущественно на наборах Capybara и No Robots. Модель предназначена для общего следования инструкциям и тестирования вариантов функции потерь при обучении Mixtral. Для общения используется модифицированный многоходовый формат Alpaca. README описывает её как uncensored, однако предупреждает о предубеждениях базовой модели и о том, что выравнивание для предотвращения токсичных или вредоносных ответов не применялось. Распространяется под лицензией базовой модели Apache-2.0.

a111311/old_l1 — генеративная языковая модель, опубликованная на Hugging Face и предназначенная для генерации текста. Модель использует библиотеку Transformers, имеет размер 2,5 млрд параметров и относится к семейству Gemma по метаданным репозитория. Модель поддерживает задачу text-generation и может применяться для продолжения текста, создания черновиков, диалоговых сценариев и других задач, где требуется авторегрессионная генерация. Максимальная длина контекста составляет 8192 токена, что позволяет учитывать достаточно объёмный входной текст. README не содержит сведений о разработчике, языках, лицензии, обучающих данных, результатах оценки и рекомендуемых сценариях использования. Поэтому качество генерации, безопасность, фактическая точность и пригодность для конкретных предметных областей требуют самостоятельной проверки.

athirdpath/Orca-2-13b-Alpaca-Uncensored — дообученная модель athirdpath на базе microsoft/Orca-2-13b. Это плотная авторегрессионная языковая модель семейства Llama с 12,9 млрд параметров и контекстом до 4096 токенов. Для адаптации использованы LoRA низкого ранга 8 для модулей q_proj и k_proj; обучение проводилось на подмножестве Vezora/Mini_Orca_Uncencored_Alpaca с примерами в формате Alpaca. Модель предназначена для генерации текста и ответов на инструкции и запросы в формате Alpaca. Настройка направлена на снижение отказов для провокационных запросов, однако автор отмечает, что отказы всё ещё возможны. По оценке автора, качество рассуждений сохраняется на приемлемом для модели такого размера уровне, но в режиме Ooba chat оно немного уступает исходной Orca-2; результаты зависят от режима чата и форматирования запроса. Репозиторий содержит веса PyTorch. Указана лицензия «other», поэтому конкретные условия использования следует сверить с лицензией репозитория и базовой модели.

ibivibiv/orthorus-125b-moe — экспериментальная языковая модель семейства Mixtral с архитектурой смеси экспертов (MoE), опубликованная автором как тестовый запуск будущей модели примерно на 70 млрд параметров. По описанию автора, она объединяет WizardLM/WizardLM-70B-V1.0 и migtissera/Synthia-70B: технические, логические и математические вопросы маршрутизируются к первой модели, творческие запросы и беседа — ко второй. Модель предназначена для генерации текста и диалогов, а также ответов на технические и математические вопросы. В метаданных указаны 68,7 млрд параметров, контекст 2048 токенов, формат safetensors и лицензия Llama 2. Автор сообщает, что для инференса в полном разрешении требуется около 240 ГБ видеопамяти. README приводит результаты Open LLM Leaderboard, включая среднее значение 69,58, но не уточняет полный набор результатов. Модель рассчитана на английский язык согласно языковым тегам. Автор не описывает её как готовый продукт и называет тестовым запуском.

Модель famepram/qwen2.5-1b — дообученная языковая модель семейства Qwen2, разработанная famepram на основе unsloth/qwen2.5-1.5b-bnb-4bit. Она предназначена для генерации текста; карточка не уточняет специализацию дообучения или конкретные сценарии применения. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors. Нативная длина контекста — 131 072 токена. Для обучения применялись Unsloth и библиотека TRL. В метаданных указан английский язык. Модель распространяется по лицензии Apache 2.0. Карточка не приводит результатов оценки качества или сведений о специальных ограничениях, поэтому её пригодность для конкретных задач следует проверять на собственных данных.

RedPajama-INCITE-Chat-Instruct-3B-V1 — экспериментальная объединённая языковая модель на архитектуре GPT-NeoX, созданная на основе RedPajama-INCITE-Chat-3B-V1 и RedPajama-INCITE-Instruct-3B-V1. Она предназначена для генерации текста и диалоговых ответов по инструкциям; рекомендуемый шаблон запроса использует роли HUMAN и ASSISTANT, хотя формат можно менять. Модель содержит 3,5 млрд параметров, принимает текст и имеет контекст длиной 2048 токенов. В метаданных указан английский язык. Доступны веса PyTorch и Safetensors, модель можно использовать с библиотекой Transformers. В README приведены результаты оценки на Open LLM Leaderboard, включая ARC и HellaSwag. Модель распространяется по лицензии Apache 2.0. README характеризует её как экспериментальное слияние; показатели бенчмарков не гарантируют качество ответов в конкретных сценариях.

RWKV 14B WizardLM LoRA — дообученная с помощью LoRA модель семейства RWKV, созданная iwalton3 на основе WizardLM. Она предназначена для генерации текста и ответов на инструкции. В README указаны ранг LoRA 32, alpha 64, три эпохи обучения и контекст 1024 токена; обучение проводилось на наборе WizardLM Alpaca Evol Instruct 70k Unfiltered. В метаданных репозитория указано 1,5 млрд параметров и формат PyTorch. Модель рассчитана на текстовые запросы и выдаёт текст. Лицензия весов — Apache-2.0, однако README предупреждает, что лицензия обучающих данных может быть более ограничительной, а ответы могут быть вредными, в том числе без соответствующего запроса. Следует учитывать эти риски при использовании и проверять условия применения данных.

sfmbaselinefiltered-8k9k10k11k12kweightedavgmerge — объединённая предобученная языковая модель, созданная с помощью mergekit. В README указан метод Linear: чекпойнт global_step11921 использован как базовый, а также объединены чекпойнты global_step8000, global_step9000, global_step10000 и global_step11000. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров. Она предназначена для генерации текста; максимальный контекст составляет 16 384 токена. В репозитории доступны веса в формате safetensors. Данных о специализированной предметной области или поддерживаемых естественных языках нет. В карточке не указаны сведения о качестве, безопасном поведении или рекомендуемых сценариях применения, поэтому их следует оценивать отдельно. Лицензия в предоставленных данных не указана.

UIGEN-T1.1-Qwen-14B-GGUF — это GGUF-квантизированная версия модели UIGEN-T1.1-Qwen-14B, разработанной smirki и подготовленной для распространения пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты с разным балансом между размером файла и качеством, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Основные сценарии применения — генерация текста, кода и пользовательских интерфейсов, а также задачи, связанные с UI generation и UI reasoning. В метаданных указаны английский язык и датасет UI_REASONING_v1.01. Модель имеет размер 14B параметров; сведения о точной архитектуре, длине контекста и поддержке дополнительных модальностей в README отсутствуют. Для работы используется формат промптов ChatML с ролями system, user и assistant. Сильной стороной является выбор из большого числа вариантов квантизации: Q6_K_L и Q6_K заявлены как варианты очень высокого качества, а Q4_K_M — как рекомендуемый компромисс по размеру и качеству. Более компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству; версии Q3 и Q2 характеризуются как низкокачественные или очень низкокачественные. Модель распространяется по лицензии Apache-2.0.

Skyfall-36B-v2-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Skyfall-36B-v2, разработанной TheDrummer и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. Исходная модель имеет 36 миллиардов параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекста. Доступны варианты квантизации от Q2 до Q8, включая Q4_K_M как вариант общего назначения и более качественные Q5/Q6/Q8. Размер файлов составляет примерно от 14,39 до 39,23 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp версии b4688. Для работы рекомендуется формат промпта с секциями SYSTEM_PROMPT и INST. Сильная сторона репозитория — широкий выбор вариантов, позволяющий выбирать баланс качества и требований к памяти; старшие квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM. Ограничения включают снижение качества при использовании низких уровней квантизации и необходимость совместимого локального ПО и достаточного объёма памяти. Лицензия указана как other, без дополнительных условий в README.