II.1Анализ требований и архитектура ПО

taurusduan/Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — это модифицированная версия Qwen3.8-27B семейства Qwen, подготовленная в формате GGUF для запуска через llama.cpp. Она основана на варианте trohrbaugh/Qwen3.8-27B-heretic-ara, созданном Tim Rohrbaugh с применением метода ARA, и дополнительно прошла два полноразмерных прохода ARA для уменьшения остаточных отказов модели. Точная команда разработчиков RVN в README не указана. Модель предназначена для генерации текста, исследовательских задач, творческого письма, ролевых сценариев и генерации с уменьшенным числом отказов на вредоносные запросы. Архитектура — гибрид Gated DeltaNet и стандартного внимания: 27 млрд параметров, 64 слоя, из которых 16 используют обычное внимание, а 48 — линейное внимание Gated DeltaNet; предусмотрены GQA с 24 attention heads и 4 KV heads. Размер скрытого слоя — 5120, словарь содержит 248 320 токенов, контекст — до 262 144 токенов. Модель текстовая; языки в README явно не перечислены. К сильным сторонам относятся низкое поведенческое отклонение от исходной модели после модификации и существенно сниженная вероятность отказов: заявлены KL примерно 0,0085 и 0–1 отказов на 100 вредоносных запросов в независимой проверке. При этом защитные ограничения намеренно ослаблены, поэтому модель не подходит для сценариев, требующих строгих гарантий безопасности, и предназначена только для совершеннолетних пользователей. Использование должно соответствовать законам и ответственным практикам. Лицензия — Apache-2.0; доступны GGUF-файлы, а отдельные варианты содержат встроенную поддержку MTP для speculative decoding.

Qwen3.8-27B-TURBO-Fable-MXFP4-awq — мультимодальная квантованная модель, опубликованная just1moremodel. Она основана на Qwen3.8-27B и производной модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, созданной с применением многоэтапного обучения Cold Fusion и GAIN, а также модификации с неограниченным поведением. Модель предназначена для следования инструкциям, генерации творческого текста и диалоговых сценариев без встроенного защитного выравнивания; заявлен английский язык. Модель имеет плотную архитектуру на 27 млрд параметров и 64 слоя, представлена архитектурой Qwen3_5ForConditionalGeneration с сохранённой vision tower, поэтому поддерживает текстовые и визуальные входы. Контекст при рекомендованном запуске через vLLM составляет до 32 768 токенов. Веса сжаты методом AMD Quark MXFP4 W4A8 с AWQ: веса используют fp4 с размером группы 32, активации — динамический fp8. Размер файла модели составляет около 18,04 GiB вместо примерно 55 GB для исходной BF16-версии; предусмотрена поддержка speculative decoding через MTP. К сильным сторонам относятся существенное снижение требований к памяти, поддержка мультимодальности, режимов рассуждения и совместимого с OpenAI API сервинга через vLLM. Модель проверена на AMD RDNA4 в конфигурации TP2 и обеспечивает связные ответы, однако требуется совместимый стек vLLM с ядрами Quark/MXFP4; на одной видеокарте с 32 GB памяти запуск может быть слишком тесным. Квантование может немного ухудшать качество по сравнению с BF16, а формальные сравнительные бенчмарки не представлены. Модель не имеет встроенных ограничений безопасности и предназначена для взрослых, исследовательских и ответственных сценариев использования. Лицензия — Apache-2.0.

Qwen3.8-9B-SFT-Fable5-Glint — модель генерации текста, разработанная ermiaazarkhalili на основе empero-ai/Qwen3.8-9B. Это дообученная версия архитектуры Qwen3_5ForConditionalGeneration с 9,7 млрд параметров: модель прошла supervised fine-tuning на наборе инструкций Fable-5-Glint-Clean. Она предназначена для диалоговой генерации и выполнения инструкций; метаданные также отмечают интерфейс вызова инструментов. Адаптер LoRA был объединён с базовыми весами, поэтому отдельно отключить дообучение нельзя. Модель распространяется под лицензией Apache-2.0. Качество на прикладных бенчмарках не оценивалось: опубликованы только наблюдения за обучающей функцией потерь. Поведение за пределами данных дообучения не проверено; сохраняются смещения и ограничения базовой модели.

Qwen3.8-Flash-Next-Uncensored-REAP288-MTP-MLX-4bit — неофициальная экспериментальная производная модели Qwen3.8-Flash-Next, подготовленная сообществом butterf1ying для локального запуска на компьютерах Apple Silicon с 64 ГБ unified memory. Модель предназначена для генерации текста, программирования, экспериментов с coding-agent, исследований длинного контекста и оценки нативного speculative decoding через MTP. Поддерживаются английский и китайский языки. Модель использует архитектуру qwen4_exp с разреженным MoE-трансформером: 48 языковых слоёв, hidden size 2560, гибридное linear/full attention, 288 маршрутизируемых экспертов на слой и активацию top-10 экспертов совместно с shared expert. Применены MLX affine 4-bit quantization с group size 64 и 4-битное квантование N-gram-таблицы с group size 32. Таблица размером около 29,8 ГиБ отображается с SSD через memory mapping. В составе сохранена нативная однос layer MTP head, заявлена поддержка контекста до 262 144 токенов, а общий размер пакета составляет около 71,67 ГиБ. Мультимодальные vision-веса включены, но работа vision-пути для этой сборки не подтверждена. Сильными сторонами являются возможность запуска крупной MoE-модели на совместимой системе Apple Silicon, уменьшенный за счёт REAP-288 объём экспертов, поддержка локального OpenAI-compatible API и нативного MTP. К ограничениям относятся экспериментальный статус, отсутствие формальной оценки качества и степени снижения отказов, зависимость от mlx-serve и SSD, а также непроверенная мультимодальная функциональность. Сборка тестировалась на Apple M1 Max с 64 ГБ памяти и mlx-serve 26.8.11; приведённые результаты подтверждают загрузку и работу MTP, но не являются общим бенчмарком производительности. Указана лицензия qwen-community-license-1.0.

Qwen-3B-ASVD-Healed — сжатая и восстановленная дообучением версия Qwen/Qwen2.5-3B от автора Kodjaoglanian. Это плотная авторегрессионная Transformer-модель семейства Qwen2 для генерации текста и диалогов. Структурное сжатие методом Activation-Aware SVD сократило число параметров в целевых слоях, а LoRA Healing использовался для восстановления связности генерации; адаптеры объединены с весами. В репозитории доступны веса Safetensors и GGUF, включая варианты F16 и Q4_K_M. Модель содержит около 3,1 млрд параметров, поддерживает контекст до 32 768 токенов и ориентирована на английский язык. Модель рассчитана на запуск в средах Hugging Face Transformers и на сценарии, где важны сниженные требования к памяти и вычислениям, включая развёртывание на устройствах с ограниченными ресурсами. Автор сообщает о сохранении FP16 и структурном удалении избыточных весов без необходимости динамической деквантизации. Лицензия — Apache-2.0. Сжатие с удержанием 85% дисперсии может ухудшить извлечение редких и специализированных фактов по сравнению с исходной Qwen2.5-3B. README рекомендует дополнительное дообучение для применений, где важна высокая фактическая точность в узкой предметной области.

bartowski/QwQ-32B-Preview-GGUF — набор GGUF-квантизаций языковой модели QwQ-32B-Preview, разработанной Qwen и опубликованной в формате для запуска через llama.cpp. Репозиторий подготовлен bartowski с использованием imatrix-квантизации и совместим, в частности, с LM Studio. Модель предназначена для генерации текста и чат-сценариев; указан поддерживаемый язык English. Формат взаимодействия использует шаблон сообщений Qwen с ролями system, user и assistant. Доступны варианты от полноразмерных BF16 весов размером 65,54 ГБ до квантизаций Q2–Q8 объёмом примерно от 13 до 35 ГБ. Среди наиболее качественных вариантов README рекомендует Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K-варианты; Q4_K_M обозначен как типичный выбор для большинства сценариев. Некоторые файлы оптимизированы для ARM и имеют ограничения по аппаратной совместимости. Архитектура, модальности и размер контекста в README не указаны, поэтому сделать выводы о них нельзя. Модель распространяется по лицензии Apache-2.0. Основные ограничения связаны с большим объёмом файлов и зависимостью производительности от выбранного уровня квантизации и оборудования; низкобитные варианты экономят память, но снижают качество. Для запуска требуется совместимое ПО, например llama.cpp или LM Studio.

KingNish/Reasoning-Llama-3b-v0.2 — плотная текстовая модель семейства Llama на 3,2 млрд параметров, разработанная KingNish и дообученная на базе KingNish/Reasoning-Llama-3b-v0.1. Это разговорная модель для генерации ответов с предварительным рассуждением; карточка указывает обучение с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Распространяется по лицензии Apache-2.0.

RedSage-Qwen3-8B-DPO-i1-GGUF — это квантизированная версия языковой модели RedSage-Qwen3-8B-DPO, разработанной RISys-Lab и преобразованной в формат GGUF пользователем mradermacher. Модель основана на Qwen3 с размером около 8 млрд параметров и обучалась с применением DPO на смеси предпочтений allenai/llama-3.1-tulu-3-8b-preference-mixture. В карточке указана поддержка английского языка. Модель предназначена для генерации текста и диалогового использования, включая сценарии, связанные с кибербезопасностью, что отражено в её тегах. Формат GGUF позволяет запускать её в совместимых локальных инструментах, а набор вариантов квантизации даёт возможность выбирать компромисс между размером, скоростью и качеством. Рекомендуемым вариантом назван i1-Q4_K_M размером около 5,1 ГБ; также доступны варианты от 2,2 до 6,8 ГБ. Более агрессивная квантизация может заметно снижать качество, а ограничения и размер контекста в README не указаны. Лицензия модели в предоставленных данных не указана. Информация о мультимодальности отсутствует, поэтому модель следует считать текстовой.

kcoopermiller/reyna-qwen-l2 — языковая модель для генерации текста, созданная объединением весов Qwen/Qwen1.5-0.5B и aloobun/Reyna-Mini-1.8B-v0.2 методом passthrough с помощью mergekit. Она использует плотную архитектуру Qwen2ForCausalLM, содержит 463,9 млн параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и экспериментов с чат-моделями; работает через библиотеку Transformers и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

RoLlama3-8b-Instruct-IMat-GGUF — это GGUF-версия модели OpenLLM-Ro/RoLlama3-8b-Instruct, подготовленная пользователем legraphista с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев в формате instruct, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет размер 8 миллиардов параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серии. Для ряда низкобитных вариантов применена IMatrix-квантизация, рассчитанная на сохранение качества при уменьшении размера модели. Размер файлов варьируется примерно от 3,18 до 16,07 ГБ. README не указывает поддерживаемые языки, длину контекста, точную архитектуру исходной модели, результаты оценки или мультимодальные возможности. Основные преимущества — широкий выбор квантизаций и возможность локального использования при ограниченных ресурсах; низкобитные варианты могут иметь более низкое качество по сравнению с BF16 или FP16. Лицензия в предоставленных данных не указана.

Rose-2x7B — языковая модель архитектуры Mixtral Mixture of Experts, созданная uproai путём объединения моделей maywell/PiVoT-0.1-Starling-LM-RP и WizardLM/WizardMath-7B-V1.1 с помощью Mergekit. Она предназначена для генерации текста и диалоговых сценариев; сочетает базу для ролевого общения с моделью, ориентированной на математические задачи. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии Apache-2.0. Языки и отдельные ограничения качества в карточке не описаны.

Saba1-1.8B — объединённая Sakalti языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit. В объединение вошли Sakalti/model-4 и micaebe/Qwen2.5-1.5B-Instruct-QwQ; размер модели по метаданным — 1,5 млрд параметров, формат весов — safetensors, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Базовая QwQ-модель ориентирована на математические задачи и рассуждения, но README не описывает отдельные результаты или сценарии оценки именно Saba1-1.8B. Модель доступна по лицензии Apache-2.0.

Saba1.5-Pro — языковая модель Sakalti для генерации текста и диалогов. Она создана дообучением Sakalti/Saba1.5-1.5B, модели семейства Qwen2, с использованием Unsloth и TRL; в метаданных указан датасет HuggingFaceH4/ultrachat_200k. Модель содержит 1,5 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors. Модель предназначена для генерации ответов в чате и других текстовых сценариев. Лицензия Apache 2.0. Карточка не приводит конкретных оценок качества или сведений о языковом покрытии; диалоговый датасет сам по себе не подтверждает поддержку определённых языков.

Scarlett-Llama-3-8B — разговорная языковая модель, дообученная ajibawa-2023 на базе Llama 3 8B от Meta. Она обучена на более чем 10 000 наборах диалогов по философии, советам, шуткам и программированию, а также предназначена для продолжительных бесед в формате ChatML. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Карточка указывает английский язык и возможность генерировать код. Модель подходит для диалогового помощника, обсуждения философских вопросов, выдачи советов, шуток и помощи с кодом. Разработчик отмечает, что модель не предназначена для ролевых сценариев со взрослым или сексуальным содержанием. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

Модель yuhengtu-bytedance/sfm_filtered_e2e_alignment-5k_6k_7k_8k_9k_simpleavg_merge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. Разработчик карточки — yuhengtu-bytedance; в слияние вошли контрольные точки обучения с шагов 5 000, 6 000, 7 000, 8 000 и 9 000, а в качестве базовой использована контрольная точка шага 9 000. Применён линейный метод слияния с усреднением. Это плотная авторегрессионная модель семейства GPT-NeoX на 8,8 млрд параметров с контекстом до 16 384 токенов. Она предназначена для генерации текста и диалогового использования; модель принимает текст и выдаёт текст. В репозитории указаны формат safetensors и библиотека Transformers. README не сообщает результаты оценки качества или конкретные предметные специализации. Условия лицензии в предоставленных материалах не приведены.

Модель — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом Linear. В качестве базовой при слиянии использовалась версия filtered_e2e_insert_hyperstition_v1 на шаге global_step2000; также в объединение вошли версии на шагах global_step0 и global_step1000. Это плотная авторегрессионная модель семейства GPT-NeoX с 8,8 млрд параметров и контекстом до 16 384 токенов. Она предназначена для генерации текста и диалогового применения; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Карточка не сообщает о специальных областях применения, поддерживаемых языках или лицензии, поэтому эти характеристики не уточняются.

Это объединённая модель языковой модели, созданная с помощью mergekit методом Linear. В основу объединения вошёл чекпойнт на шаге 7000, также использованы чекпойнты на шагах 3000, 4000, 5000 и 6000 из серии filtered_e2e_insert_hyperstition_v1. Архитектура GPT-NeoX, размер — 8,8 млрд параметров; веса опубликованы в формате safetensors. Модель предназначена для генерации текста и поддерживает диалоговый сценарий. Контекст — до 16 384 токенов. Данные не описывают целевые языки и области применения, поэтому их нельзя определить точнее. Условия лицензии в доступных сведениях не приведены.

Это объединённая языковая модель, опубликованная пользователем yuhengtu-bytedance. Она создана с помощью mergekit методом Linear: усреднены предобученные контрольные точки filtered_midtrain_alignment с шагами 0, 1000, 2000, 3000 и 4000; базой слияния указана контрольная точка global_step4000. Модель построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для создания ответов в чате и продолжения текстовых запросов. Контекст составляет до 16 384 токенов. Языки модели по карточке не определены, поэтому нельзя надёжно указать конкретный язык или профиль её возможностей. Лицензия в предоставленных данных не указана.

sfm_filtered_midtrain_alignment-0k_1k_2k_weightedavg_merge — объединённая модель предварительно обученных языковых моделей, созданная с помощью mergekit. В README указано, что применён линейный метод слияния, базой служила модель с контрольной точки global_step2000, а в объединение также вошли контрольные точки global_step0 и global_step1000. Метаданные описывают модель как плотную GPT-NeoX с архитектурой GPTNeoXForCausalLM и 8,8 млрд параметров. Модель предназначена для генерации текста и чат-сценариев. Заявленная длина контекста — 16 384 токена; файлы представлены в формате safetensors, библиотека — Transformers. Данных о языках и специализированных областях применения карточка не содержит. Условия лицензии в доступных сведениях не указаны.

sfm_filtered_midtrain_alignment-3k_4k_5k_6k_7k_simpleavg_merge — объединённая языковая модель на архитектуре GPT-NeoX, созданная с помощью mergekit методом Linear merge. В качестве основы использован чекпойнт global_step7000; в объединение также вошли чекпойнты global_step3000, global_step4000, global_step5000 и global_step6000 из эксперимента filtered_midtrain_alignment. Модель содержит 8,8 млрд параметров, работает через Transformers и сохранена в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; контекст составляет до 16 384 токенов. README не раскрывает конкретные языки, области применения, оценку качества или условия лицензирования, поэтому модель можно охарактеризовать только как объединённый чекпойнт общего назначения для текстовых запросов.

Модель sfm_filtered_midtrain_alignment-8k_9k_10k_simpleavg_merge — объединение трёх предварительно обученных языковых моделей, созданное с помощью mergekit и линейного метода слияния. В качестве базовой использована модель с шагом обучения 10000, также объединены чекпойнты с шагами 8000 и 9000. Это плотная авторегрессионная модель GPT-NeoX с 8,8 млрд параметров и контекстом до 16 384 токенов. Она предназначена для генерации текста и диалогового использования; заявленная задача в метаданных — text-generation. Модель распространяется в формате safetensors. Сведения о лицензии и конкретных языках в предоставленных данных отсутствуют.

sfmunfilterede2ealignment-2k3k4kweightedavgmerge — объединённая модель генерации текста, созданная с помощью mergekit из контрольных точек обучения на шагах 2000, 3000 и 4000. В качестве базовой при слиянии использовалась контрольная точка global_step4000; применён метод Linear. По метаданным это плотная авторегрессионная модель архитектуры GPT-NeoX с 8,8 млрд параметров и контекстом до 16 384 токенов. Модель предназначена для генерации текста и диалогового использования. Карточка не уточняет специализацию, языки, качество ответов или особые сценарии применения. В репозитории указаны веса safetensors и библиотека Transformers. Лицензия в предоставленных данных не указана.

sfmunfilterede2e misalignment 7k/8k/9k weighted average merge — объединённая модель семейства GPT-NeoX, созданная с помощью mergekit методом Linear. В качестве базовой использована версия с global_step9000; в объединение также вошли версии global_step7000 и global_step8000. Архитектура — плотная авторегрессионная GPTNeoXForCausalLM, размер — 8,8 млрд параметров, формат весов — safetensors, длина контекста — 16 384 токена. Модель предназначена для генерации текста и диалогового использования. README и метаданные не описывают специализацию, набор языков или сравнительное качество модели, поэтому эти свойства нельзя уточнить. Лицензия в предоставленных источниках не указана.

Модель yuhengtu-bytedance/sfm_unfiltered_midtrain_misalignment-3k_4k_5k_6k_7k_weightedavg_merge — объединение предобученных языковых моделей, созданное с помощью mergekit. В линейное слияние вошли контрольные точки обучения на шагах 3000, 4000, 5000, 6000 и 7000; шаг 7000 использован как базовый при слиянии. Это плотная авторегрессионная модель семейства GPT-NeoX с 8,8 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст, поддерживает контекст до 16 384 токенов. Языки и специализированные области применения в доступных данных не обозначены. Модель выпущена в формате safetensors. Лицензия в предоставленных данных не указана.

Sheared-LLaMA-2.7B-ShareGPT — инструктивно дообученная языковая модель от Princeton NLP на архитектуре LLaMA. Она основана на princeton-nlp/Sheared-LLaMA-2.7B и обучена на 10 000 пар запросов и ответов из ShareGPT, взятых из первых ходов диалогов. Модель содержит 2,6 млрд параметров, принимает текст и генерирует текст; нативный контекст составляет 4096 токенов. Модель предназначена для ответов на инструкции и запросы в формате текстового диалога, например для создания текстового помощника или генерации ответов на пользовательские вопросы. Карточка не сообщает о специализированных областях применения или поддержке конкретных языков. Доступ к весам предоставляется под лицензией Apache-2.0.

bartowski/shuttleai_shuttle-3.5-GGUF — набор GGUF-квантизованных версий текстовой генеративной модели shuttle-3.5, разработанной shuttleai. Модель предназначена для диалогового общения и других сценариев генерации текста на английском языке. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-квантизаций. Модель можно запускать локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В README указан шаблон промпта с ролями system, user и assistant. Основное преимущество набора — выбор между качеством, размером файла и требованиями к оперативной памяти: рекомендуются, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты с более высоким качеством. При этом низкобитные версии заметно уступают старшим по качеству, а полная BF16-версия занимает около 65,53 ГБ; параметры модели, архитектура, размер контекста и поддержка других модальностей не указаны. Распространение заявлено по лицензии Apache-2.0. Это именно квантизованные представления исходной модели, поэтому для использования необходимо учитывать совместимость выбранного файла с оборудованием и программным обеспечением.

Sina-Odin-7b-Merge — экспериментальное разговорное текстовое поколение от Azazelle, полученное слиянием нескольких моделей семейства Mistral методом DARE-TIES. В конфигурации mergekit указаны Mihaiii/Metis-0.3 как базовая модель, а также rishiraj/smol-7b, SanjiWatsuki/openchat-3.5-1210-starling-slerp и Azazelle/Dumb-Maidlet. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста. В карточке приведены результаты оценивания на нескольких тестах языкового моделирования и рассуждений. Доступны веса в формате safetensors. Лицензия — CC-BY-4.0.

SJTpass-1 — языковая модель Sakalti для генерации текста и диалогов. Это производная модель, созданная с помощью mergekit методом passthrough из Sakalti/SJT-0.5B; архитектура — плотная Qwen2 с классом Qwen2ForCausalLM, веса представлены в safetensors. Модель содержит 851,8 млн параметров и поддерживает контекст до 32 768 токенов. Модель подходит для генерации продолжений текста, чат-ботов и диалоговых сценариев. В метаданных также указана возможность интерфейса вызова инструментов. Языки, на которых модель рассчитана, в доступных сведениях не определены. Распространяется по лицензии Apache-2.0.

Это квантованная версия модели solar-pro-preview-instruct, разработанной компанией Upstage и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и запуска через совместимые локальные инструменты и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio и другие приложения экосистемы GGUF. В README не указаны размер модели, архитектура исходной модели, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и качеством генерации. Формат GGUF ориентирован на локальный запуск с возможным использованием GPU, однако конкретные требования к оборудованию не приведены. Лицензия в предоставленных данных не указана. README также не содержит результатов тестирования, поэтому нельзя сделать подтвержденные выводы о сильных сторонах, качестве на отдельных задачах или ограничениях модели, кроме зависимости характеристик от выбранного уровня квантования.

Steelskull_L3.3-Cu-Mai-R1-70b-GGUF — набор GGUF-квантизованных версий текстовой генеративной модели L3.3-Cu-Mai-R1-70b, разработанной Steelskull. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разным уровнем квантизации — от Q8_0 до Q2_K и IQ-семейств. Размер файлов составляет примерно от 27,4 до 75 ГБ; версии Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые с точки зрения соотношения качества и занимаемой памяти. Более компактные варианты позволяют снизить требования к оперативной памяти, но могут заметно уступать по качеству. Версии Q4_1 и Q4_0 используют устаревшие форматы, однако README указывает для них отдельные преимущества на некоторых CPU и устройствах Apple. Модель поддерживает текстовую генерацию; сведения о мультимодальности, языках и размере контекстного окна в README не указаны. Основное преимущество набора — выбор между качеством, размером и требованиями к оборудованию, а также совместимость с распространённой экосистемой llama.cpp. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов и неизбежными потерями качества при сильной квантизации. Для работы следует использовать указанный формат prompt с системными и пользовательскими сообщениями. Лицензия указана как llama3.3.