II.1Анализ требований и архитектура ПО

gpt-oss-20b-GGUF — набор GGUF-квантизаций модели openai/gpt-oss-20b, подготовленный пользователем ggfox00000 для локального и периферийного развёртывания. Модель предназначена для генерации текста и диалоговых сценариев, включая суммаризацию и работу через llama.cpp или llama-cpp-python. README не указывает точные языковые возможности исходной модели, однако демонстрирует пример суммаризации на французском языке. Доступны варианты Q4_K_M размером около 8 ГБ, Q5_K_M около 10 ГБ и Q8_0 около 15 ГБ. При контексте 8192 токена им требуется примерно 9, 11 и 16 ГБ RAM или VRAM соответственно; заявленное качество возрастает от Q4_K_M к Q8_0. Эти варианты позволяют выбирать компромисс между требованиями к памяти и качеством, включая развёртывание на GPU с CUDA. Архитектура и мультимодальные возможности в README не описаны; по назначению это текстовая модель. Модель удобна для on-premise и edge-сценариев, где важны локальное выполнение и совместимость с llama.cpp. Ограничения включают необходимость подбора квантизации под доступную память, а также отсутствие в карточке подробных данных о производительности, поддерживаемых языках, исходной архитектуре и специальных возможностях. Квантизации распространяются на условиях Apache 2.0, унаследованных от исходной модели.

salohcin714 опубликовал преобразованную версию языковой модели IBM Granite 4.2 8B для запуска на Apple Silicon через MLX. Модель относится к семейству Granite, имеет плотную архитектуру GraniteForCausalLM, содержит 8,4 млрд параметров и рассчитана на диалоговую генерацию текста. Контекстное окно — до 131 072 токенов; модель принимает текст и выдаёт текст. В репозитории веса переведены в формат MLX safetensors с сохранением исходной точности bfloat16; квантизация и дообучение не выполнялись. Модель предназначена для локального диалога и генерации текста на устройствах Apple Silicon. В карточке перечислена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Репозиторий распространяется по лицензии Apache-2.0; заявленные характеристики исходной модели не являются результатами оценки этого преобразованного артефакта.

Это GGUF-квантизированная версия текстовой генеративной модели grimjim/Llama-3-Instruct-8B-SPPO-Iter3-SimPO-merge. Квантизации подготовлены командой featherless-ai-quants. Модель основана на Llama 3 Instruct с размером 8B и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. Репозиторий содержит варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. GGUF-формат ориентирован на запуск совместимыми локальными инструментами и позволяет выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. Данные о поддерживаемых языках, длине контекста, точных архитектурных параметрах, результатах тестирования и ограничениях отсутствуют. Лицензия в README не указана.

DevQuasar/huihui-ai.GLM-4-32B-0414-abliterated-GGUF — это квантованная версия модели huihui-ai/GLM-4-32B-0414-abliterated, опубликованная проектом DevQuasar. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется локальный запуск квантованной языковой модели. Из README известно, что исходная модель относится к семейству GLM-4 и имеет размер 32B параметров. Формат GGUF указывает на подготовку к использованию в совместимых средах локального инференса, однако конкретный тип квантования, требования к памяти, размер контекста, поддерживаемые языки и модальности в предоставленных данных не указаны. Также отсутствуют сведения о результатах тестирования, сильных сторонах и ограничениях модели. Лицензия и точные условия использования в README не указаны; перед применением необходимо проверить их для исходной и квантованной моделей.

Это набор GGUF-квантизованных файлов модели huihui-ai/Qwen2.5-14B-Instruct-abliterated, подготовленный featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, совместимые с базовой instruct-моделью Qwen2.5. Формат GGUF ориентирован на локальный запуск и использование в совместимых средах инференса. Модель имеет размер 14B параметров и поддерживает только текстовую модальность. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размеры составляют примерно от 5,5 до 15 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества, однако README не содержит сведений о языках, размере контекста, архитектурных деталях, результатах тестирования или сравнительных преимуществах. Лицензия в README не указана, поэтому условия использования необходимо уточнять по лицензии базовой модели и репозитория. Также не приведены отдельные сведения об ограничениях, безопасности и качестве варианта abliterated; перед применением в критичных сценариях модель следует самостоятельно протестировать.

Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-Q8_0-GGUF — это GGUF-квантизированная версия модели Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated, разработанной Huihui-AI. Репозиторий therummage содержит конвертацию в формат GGUF, выполненную с помощью llama.cpp и сервиса GGUF-my-repo. По названию модель относится к семейству Mistral Small с размером 24B параметров и предназначена для инструкционного взаимодействия и генерации текста; в карточке также указан pipeline image-text-to-text, однако подробности поддержки изображений не приведены. Модель ориентирована на локальный запуск через llama.cpp в командной строке или в серверном режиме. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Квантование Q8_0 обеспечивает представление в GGUF с уменьшенными требованиями к памяти по сравнению с полноразмерными весами, сохраняя близкую к исходной точность, но конкретные показатели производительности и качества в README не указаны. К преимуществам относятся возможность локального развертывания, совместимость с llama.cpp и широкий заявленный набор языков. Ограничения связаны с отсутствием в карточке подробных данных об архитектуре, максимальном контексте, требованиях к оборудованию, результатах тестирования и фактических возможностях мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.

TelperionAI Huihui-Qwen3.8-27B-abliterated-INT4-AWQ-GPTQ — квантованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель построена с использованием llm-compressor и предназначена для запуска и генерации текста с меньшими требованиями к памяти, в том числе через vLLM. Калибровка выполнена на данных, сгенерированных самой abliterated-моделью, с примерами кода, математики, STEM, диалогов и многоязычных запросов. Основой является смешанная квантализация INT4 W4A16: большинство MLP-слоёв используют асимметричную INT4-квантализацию с размером группы 32, а отдельные компоненты сохраняются в INT8 или BF16. Attention-компоненты, GDN-слои, эмбеддинги, нормализации, выходная голова и vision tower используют более высокую точность. Размер весов на диске составляет около 25,1 ГБ. Поддерживаются AWQ-масштабирование и GPTQ-компенсация ошибок; заявлена совместимость с GPU архитектуры Turing и новее без необходимости FP8 или FP4. По результатам внутреннего сравнения с исходной BF16-версией модель показывает 96,45% совпадения top-1 токенов и медианное расхождение генерации на 41-м токене. При этом оценка проведена только на одном корпусе и без downstream-бенчмарков, поэтому качество на прикладных задачах не установлено. Vision tower не квантован, но модель оценивалась как текстовая; эффективность speculative decoding с MTP-головой не измерялась. Модель унаследовала от базовой версии удалённые направления отказа, поэтому её поведение в части отказов отличается от стандартной модели Qwen. Лицензия — Apache-2.0.

InternLM JanusCoder-8B-GGUF — это набор квантованных моделей в формате GGUF, созданный пользователем bartowski на основе JanusCoder-8B от разработчика internlm. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет размер 8B параметров; доступны версии от BF16 до различных вариантов квантования Q8, Q6, Q5, Q4, Q3 и Q2. Размер файлов составляет примерно от 3,77 до 16,39 ГБ в зависимости от формата, что позволяет выбирать между качеством вывода и требованиями к памяти. Для квантования использовался llama.cpp с методом imatrix. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и точные специализации JanusCoder-8B, поэтому область применения можно описать только в общем виде как генерацию текста. Сильной стороной набора является широкий выбор квантований для локального запуска: высококачественные варианты Q6_K_L и Q6_K отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные версии подходят для систем с ограниченным объёмом оперативной памяти, но обеспечивают более низкое качество. Шаблон чата в README не задан и может требовать проверки по исходной карточке модели. Лицензия в предоставленных данных не указана.

Josiefied-Qwen3-14B-abliterated-v3-bf16 — 14-миллиардная плотная языковая модель семейства Qwen3, подготовленная mlx-community в формате MLX из Goekdeniz-Guelmez/Josiefied-Qwen3-14B-abliterated-v3. Она предназначена для диалогов, следования инструкциям и генерации текста; карточка указывает поддержку чата и контекст до 40 960 токенов. Вариант описан как abliterated — с ослабленной фильтрацией ответов. Модель принимает текст и генерирует текст. Для запуска в экосистеме Apple MLX в README указана библиотека mlx-lm версии 0.25.0. Языки модели в предоставленных данных не установлены. Лицензия не приведена, поэтому условия использования по карточке определить нельзя.

Juanako-7B-v1 — диалоговая языковая модель, разработанная fblgit на архитектуре Mistral и содержащая 7,1 млрд параметров. Это дообученная версия fblgit/zephyr-lora-dpo-b1: автор провёл дополнительный этап DPO с методом Uniform Neural Alignment (UNA) на наборе HuggingFaceH4/ultrafeedback_binarized. Модель предназначена для генерации ответов в диалоге и следования инструкциям; контекст — до 32 768 токенов. В карточке приведены результаты ряда тестов на рассуждение, общие знания и понимание текста. Автор предупреждает, что более поздние версии Juanako показывают лучшие результаты. Модель распространяется под лицензией Artistic-2.0. Автор помечает применение как исследовательское; представленные оценки не гарантируют качество в конкретных задачах.

K2-Horizon-7B-Uno MLX 4-bit — 8-миллиардная плотная авторегрессионная языковая модель для генерации текста и диалогов, опубликованная hermitdave. Она основана на IFM/K2-Horizon-7B-Uno, модели Institute of Foundation Models, и описана как языковая модель с дополнением на основе диффузии. В этой версии адаптер LoRA объединён с базовыми весами, после чего модель равномерно квантована до 4 бит и преобразована в формат MLX для запуска на Apple Silicon. Модель предназначена для генерации ответов и пошаговых рассуждений в диалоговом режиме. Заявленная длина контекста — 524 288 токенов. Для работы с MLX используется библиотека mlx-lm; README также указывает, что для K2-Horizon в oMLX требуется версия 0.6.4 или новее с соответствующим патчем. Модель распространяется по лицензии Apache 2.0. Квантование до 4 бит может влиять на точность по сравнению с исходными весами; независимые оценки качества в предоставленных материалах отсутствуют.

Модель yoon112/kanana-1.5-8b-instruct-2505-Persona-Merged разработана yoon112 на основе диалоговой модели Kakao kanana-1.5-8b-instruct-2505. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, дообученная с использованием Unsloth и библиотеки TRL. Она предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. Модель принимает текстовые запросы и генерирует текстовые ответы; размер контекстного окна составляет 32 768 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0. README не приводит отдельной оценки качества или подробностей о назначении Persona в названии.

MLX-версия модели Kimi-K2.5, разработанной Moonshot AI и опубликованной в исходном виде как moonshotai/Kimi-K2.5. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.30.5 с небольшими изменениями. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе с применением chat template для диалоговых сценариев. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях или размере контекста, поэтому эти характеристики нельзя достоверно указать. Также не описаны конкретные сильные стороны, ограничения производительности или требования к оборудованию; из данных следует лишь, что модель адаптирована для экосистемы MLX. Указана лицензия modified-MIT, обозначенная как other в метаданных. Условия использования следует уточнять по тексту лицензии исходной модели и конвертированной версии.

Komodo 7B Chat — чат-модель на архитектуре Llama, опубликованная Jan. Она предназначена для диалоговой генерации текста и запускается в Jan Desktop на macOS, Windows и Linux. Для общения в README приведён шаблон ChatML с ролями system, user и assistant. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; длина контекста составляет 4096 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache 2.0. README не описывает специализированные области применения или результаты оценки качества.

KR-X-AI выпустила дообученную языковую модель Qwen2.5-7B-Instruct для генерации текста и диалогов. Модель основана на unsloth/qwen2.5-7b-instruct-bnb-4bit и обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Она предназначена для генерации ответов в чате; в метаданных также указана поддержка интерфейса вызова инструментов. Указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка не сообщает специализированную область применения или результаты оценки качества.

KAT-Dev-72B-Exp-GGUF — это квантизированная версия языковой модели KAT-Dev-72B-Exp, разработанной Kwaipilot. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio и llama.cpp. Модель имеет размер 72B параметров и поддерживает множество вариантов квантизации — от Q8_0 до низкоразрядных Q2 и IQ-квантов. Доступны файлы размером примерно от 29,81 до 77,26 ГБ; варианты Q5 и Q6 рекомендованы как обеспечивающие высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. Для работы следует использовать указанный формат чата с маркерами system, user и assistant. Сильной стороной модели является возможность локального запуска и выбора квантизации под доступный объём памяти, однако даже наиболее компактные варианты требуют значительных аппаратных ресурсов, а снижение разрядности приводит к ухудшению качества. В README не указаны поддерживаемые языки, длина контекста, дополнительные модальности и лицензия исходной модели или квантизированных файлов.

L3-Pneuma-8B — дообученная Third-Space модель на архитектуре Llama 3.1 с 7,5 млрд параметров, созданная на базе meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для диалоговой генерации текста; в метаданных также указана поддержка интерфейса вызова инструментов. Для обучения использован набор данных Sandevistan_cleaned.jsonl, а в карточке приведено значение loss 0,7796 на оценочной выборке. Модель работает с текстом и заявляет контекст до 131 072 токенов. Она использует Transformers, веса представлены в форматах PyTorch и Safetensors. Лицензия — Llama 3.1; применение должно соответствовать её условиям. Карточка не описывает специализацию набора данных, качества на конкретных задачах или ограничения поведения, поэтому такие свойства нельзя определить по имеющимся сведениям.

LeoLM/leo-hessianai-13b — языковая модель с открытыми весами, разработанная Björn Plüster и Christoph Schuhmann совместно с LAION и HessianAI. Это плотный авторегрессионный трансформер-декодер семейства Llama, полученный продолжением предобучения meta-llama/Llama-2-13b-hf на большом корпусе немецкоязычных, преимущественно локальных текстов. Модель содержит 12,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста на немецком и английском языках, а также для исследований и прикладных разработок с немецкоязычными LLM. Она доступна для использования через Transformers в формате PyTorch. Лицензия — Llama 2 Community License Agreement; перед использованием следует учитывать её условия, в том числе применимые ограничения на коммерческое использование.

Creekside/lfm-230-CoT — компактная языковая модель семейства LFM2, разработанная Creekside и дообученная на Creekside/lfm-230-cpt-logic-v1. Модель предназначена для генерации текста и диалогового использования; в метаданных также отмечен интерфейс вызова инструментов. Обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель имеет плотную архитектуру Lfm2ForCausalLM и 221,2 млн параметров, поддерживает контекст до 128 000 токенов и опубликована в формате safetensors. В карточке указан английский язык. Модель распространяется по лицензии Apache-2.0.

mlx-community/LFM2.5-1.2B-Instruct-bf16 — версия модели LiquidAI LFM2.5-1.2B-Instruct, преобразованная сообществом mlx-community в формат MLX для запуска на устройствах Apple Silicon. Это плотная авторегрессионная языковая модель семейства LFM2, предназначенная для диалогов и генерации текста по инструкциям. Модель содержит около 1,5 млрд параметров и поддерживает контекст до 128 000 токенов. Модель подходит для локальных диалоговых помощников и генерации текста на нескольких языках, включая английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Репозиторий содержит веса в safetensors, а исходный чекпойнт преобразован с помощью mlx-lm 0.29.1. Лицензия указана как other, поэтому условия использования следует сверять с лицензией исходной модели LiquidAI/LFM2.5-1.2B-Instruct. Это компактная модель; качество и скорость могут уступать более крупным моделям, а практический запуск в формате MLX ориентирован на экосистему Apple.

LiquidAI/LFM2.5-1.2B-Instruct-MLX-8bit — это 8-битная версия языковой модели LFM2.5-1.2B-Instruct, экспортированная в формат MLX компанией Liquid AI для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих библиотеку mlx-lm, включая диалоговые и общие текстовые сценарии. Модель содержит 1,2 млрд параметров, использует 8-битную точность и group size 64, занимает около 1,2 ГБ и поддерживает контекст длиной до 128K токенов. Заявлена поддержка английского, японского, корейского, французского, испанского, немецкого, итальянского, португальского, арабского и китайского языков. К сильным сторонам относятся компактный размер, возможность локального инференса на Apple Silicon и большой контекст, однако README не содержит подробных результатов оценки качества и сравнений с другими моделями. Модель распространяется по лицензии LFM 1.0.

TheTravellingEngineer выпустил диалоговую модель на архитектуре Llama 2 с 6,6 млрд параметров. Она получена дообучением методом SFT базовой модели meta-llama/Llama-2-7b-chat-hf на датасете OpenAssistant Guanaco; репозиторий содержит объединённые веса fp16. Модель предназначена для генерации ответов в диалоге и выполнения текстовых инструкций в сценариях чат-ботов и помощников. Карточка указывает английский язык и контекстное окно 4096 токенов. Использование регулируется ограничениями исходной лицензии Llama 2; гарантий качества нет.

Это вариант диалоговой модели Llama 2 7B Chat от Meta, подготовленный arnavgrg: веса после загрузки с 4-битной квантизацией NF4 в bitsandbytes были преобразованы обратно в FP16. Модель использует плотную архитектуру Llama и предназначена для генерации текста в формате чата; её можно загружать через Transformers. Контекст модели составляет 4096 токенов, размер — около 6,6 млрд параметров. Преобразование NF4 с потерями снижает качество относительно официальной базовой модели. Лицензия репозитория — Apache-2.0.

Это преобразованная версия базовой языковой модели Llama 2 7B, разработанной Meta. Веса модели сначала были загружены с 4-битной квантизацией NF4 через bitsandbytes, после чего 4-битные линейные слои были расширены до FP16. Репозиторий содержит модель на 6,6 млрд параметров с архитектурой LlamaForCausalLM и контекстом до 4096 токенов; она принимает текст и генерирует текст.

upstage/llama-30b-instruct — англоязычная инструктивная модель Upstage на архитектуре LLaMA с 32,3 млрд параметров. Это версия для генерации текста и следования инструкциям; карточка описывает варианты модели с контекстом 1024 и 2048 токенов, а метаданные этой версии указывают окно в 2048 токенов. Для диалога используется шаблон с ролями System, User и Assistant. Модель дообучена на OpenBookQA, SciQ, Open-Orca, ScienceQA и LIMA; в карточке приведены результаты оценки на ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Модель предназначена для ответов на вопросы, диалогов и других задач генерации текста по инструкциям на английском языке. Карточка отмечает, что благодаря rope_scaling модель может принимать более длинный ввод, однако метаданные указывают нативный контекст 2048 токенов, поэтому расширенный контекст требует соответствующей настройки. Репозиторий содержит веса в формате PyTorch и предназначен для пользователей, которым уже предоставлен доступ к исходным весам и которым нужна версия для Transformers. Действует специальная лицензия без коммерческого использования, регулируемая лицензией Meta; перед применением необходимо иметь разрешённый доступ к модели.

Apollo Raines выпустил поведенчески модифицированный вариант Meta Llama 3.1 8B Instruct. Модель предназначена для диалогов и генерации текста с более короткими и прямыми ответами: разработчик сообщает, что убрал многословные вступления и заполнители, сохранив точность и полезность. Изменения внесены инструментом jBlaze непосредственно в веса; README уточняет, что дополнительного обучения не проводилось. Архитектура — LlamaForCausalLM, плотная трансформерная языковая модель; в метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов. Репозиторий содержит веса Safetensors, а README указывает точность bf16. Модель ориентирована на английский язык и поддерживает чатовый интерфейс вызова инструментов. Разработчик характеризует опубликованный вариант как демонстрационный и намеренно ослабленный относительно полной версии. Модель распространяется по лицензии Llama 3.1; применяйте её с учётом условий этой лицензии.

Llama-3.1-SuperNova-Lite-GGUF — набор GGUF-квантизированных версий текстовой генеративной модели Llama-3.1-SuperNova-Lite, разработанной arcee-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка и формат prompt’ов, совместимый с Llama 3.1. Доступны варианты от полноразмерных F16 весов размером 16,07 ГБ до компактных версий с квантованием Q2–Q8 и размером примерно от 3,7 до 8,5 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующей поддержки инструкций. Более высокие уровни квантования обеспечивают лучшее качество, тогда как компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее терять в качестве. Архитектура, число параметров, модальности и размер контекстного окна в README не указаны. Модель распространяется по лицензии llama3. Условия использования следует дополнительно сверять с лицензией базовой модели Llama-3.1-SuperNova-Lite.

Это языковая модель для генерации текста, представленная сообществом mlx-community. Она конвертирована в формат MLX из модели DavidAU/L3.2-8X4B-MOE-V2-Dark-Champion-Inst-21B-uncen-ablit с использованием mlx-lm версии 0.25.2 и предназначена для запуска через экосистему MLX. Модель относится к семейству Llama 3.2 и использует архитектуру mixture of experts с 8 экспертами, каждый из которых имеет размер 4B; общий заявленный размер составляет 21B параметров. В карточке также указаны контекст до 128k токенов, режим instruct, формат квантования Q_6 и поддержка текстовой генерации. Языки и мультимодальные возможности явно не указаны. Основные сценарии применения — диалоговая генерация и выполнение инструкций, включая запуск локально на совместимом оборудовании Apple через MLX. К сильным сторонам относятся разреженная MoE-архитектура, большой контекст и оптимизация для MLX. Ограничения включают отсутствие в карточке результатов тестирования, подробностей о фактических требованиях к памяти и перечня поддерживаемых языков; характеристики исходной модели не обязательно полностью описывают конвертированную версию. Лицензия в README не указана.

Llama-3-Instruct-8B-SimPO-GGUF — набор GGUF-квантизаций модели Llama-3-Instruct-8B-SimPO, разработанной Princeton NLP и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и совместимые инструменты локального запуска. Модель содержит около 8 млрд параметров и доступна в вариантах квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL, IQ4_XS и других, с размером файлов примерно от 2,16 до 8,54 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие позволяют снизить требования к оперативной памяти ценой заметной потери качества. Для общения в README приведён шаблон с ролями system, user и assistant, однако автор предупреждает, что он может не соответствовать исходной модели. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и требованиями к памяти; варианты Q6_K и Q5_K_M рекомендованы как близкие к исходному качеству, а IQ-квантизации могут обеспечивать сопоставимое качество при меньшем размере. Ограничения включают возможное ухудшение результатов на низких уровнях квантизации и отсутствие в README сведений о поддерживаемых языках, размере контекста и лицензии.

LLaMa-3-Instruct-Zeroed-13B — разговорная языковая модель на архитектуре Llama, собранная с помощью mergekit из слоёв Undi95/Meta-Llama-3-8B-Instruct-hf. В конфигурации passthrough merge для части слоёв обнулены параметры проекций o_proj и down_proj; репозиторий содержит веса Safetensors. Модель рассчитана на генерацию текста и диалоговое взаимодействие; карточка указывает 12,5 млрд параметров и контекст до 8192 токенов. Базовая модель — англоязычная инструкционная Llama 3 на 8 млрд параметров. Из-за изменённых проекций поведение и качество могут отличаться от исходной модели; опубликованные сведения не описывают оценку качества или дополнительные ограничения. Лицензия в доступных данных не указана.