II.2Создание и понимание программного кода

Это GGUF-квантизированная версия текстовой языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft. Репозиторий подготовлен пользователем legraphista с использованием llama.cpp b3003 и метода IMatrix для отдельных вариантов квантования. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые инструменты. Заявлена поддержка multilingual-сценариев, однако конкретный перечень языков в README не указан. Модель имеет контекстное окно до 128k токенов и поставляется в форматах GGUF с разными уровнями точности: от FP16 и BF16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_0 и вариантов IQ. Размер файлов составляет примерно от 4,77 до 27,92 ГБ. Варианты Q2–Q4 и некоторые IQ используют IMatrix, что должно помогать сохранять качество при сильном сжатии, но README не приводит количественных результатов сравнения. Сильная сторона репозитория — широкий выбор форматов для компромисса между качеством, размером и требованиями к памяти, а также поддержка длинного контекста исходной модели. Ограничения включают высокие аппаратные требования для крупных вариантов и возможное снижение качества у низкобитных квантований; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии MIT, унаследованной от исходной модели Microsoft.

Qwen2.5-32B-Instruct-abliterated — модифицированная методом abliteration версия диалоговой модели Qwen2.5-32B-Instruct от huihui-ai. Это плотная авторегрессионная модель класса Qwen2ForCausalLM с 32 млрд параметров, рассчитанная на генерацию текста и диалог. Она принимает текст и выдаёт текст; поддерживает контекст до 32 768 токенов и многоязычную работу, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель предназначена для чат-ботов, свободных текстовых ответов и интеграции в приложения через Transformers; карточка также описывает запуск через Ollama. Abliteration изменяет поведение отказов и делает модель менее ограниченной при ответах. Базовая модель Qwen2.5-32B-Instruct поддерживает диалог, программирование, математику и структурированные ответы, однако README не приводит отдельных оценок качества этой модификации. Модель распространяется под лицензией Apache-2.0.

Theros/Qwen2.5-ColdBrew-R1-test — объединённая диалоговая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом Model Stock. В объединении использованы SvalTek/Qwen2.5-ColdBrew, bunnycore/Qwen-2.5-7B-R1-Stock и fblgit/cybertron-v4-qw7B-UNAMGS; базовой моделью и источником токенизатора указана SvalTek/Qwen2.5-ColdBrew. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый сценарий и имеет контекст до 131072 токенов. Она предназначена для генерации ответов и ведения текстовых диалогов. В карточке не приведены результаты сравнительных оценок качества, поэтому пригодность для конкретных задач следует проверять отдельно. Файлы представлены в формате safetensors, библиотека — Transformers; лицензия в доступных данных не указана.

QwQ-32B-GGUF — это квантизированная в формате GGUF версия языковой reasoning-модели QwQ-32B, разработанной командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, в частности для задач, требующих рассуждений. Указанный вариант подготовлен quantized_by: bartowski на основе llama.cpp release b4792 и распространяется как community-модель для LM Studio. Модель имеет размер 32B параметров, поддерживает контекст до 128 тысяч токенов и ориентирована на работу с текстом на английском языке. README не указывает поддержку изображений, аудио или других модальностей, поэтому модель следует рассматривать как текстовую. Квантизация в GGUF делает её пригодной для локального запуска в совместимом программном обеспечении, однако конкретные требования к памяти, скорость и качество зависят от выбранного варианта квантизации и оборудования. Сильными сторонами модели являются специализация на рассуждениях, большой контекст и возможность локального использования через инструменты экосистемы llama.cpp и LM Studio. Ограничениями остаются английская языковая ориентация, необходимость значительных вычислительных ресурсов для модели такого размера и возможное снижение качества по сравнению с исходной моделью из-за квантизации. README предупреждает, что модель может генерировать неточный, вредный или неуместный контент, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

salamandra-2b-instruct — квантизированная версия инструкционной языковой модели BSC-LT/salamandra-2b-instruct, опубликованная пользователем robbiemu. Модель предназначена для генерации текста и выполнения инструкций в приложениях на базе Transformers и llama.cpp, включая локальный запуск при ограниченных ресурсах. В качестве исходных данных для квантизации использовался многоязычный корпус OSCAR, а важностная матрица была рассчитана на текстах примерно 34 языков. Модель относится к семейству Salamandra и имеет размер 2 млрд параметров. Она работает с текстом и поддерживает болгарский, каталанский, валлийский, чешский, датский, немецкий, греческий, английский, испанский, эстонский, баскский, финский, французский, ирландский, галисийский, хорватский, венгерский, итальянский, литовский, латышский, мальтийский, нидерландский, нюнорск, норвежский, окситанский, польский, португальский, румынский, русский, сербохорватский, словацкий, словенский, сербский, шведский и украинский языки, а также код. Размер файлов квантизированных вариантов составляет примерно 1,7–2,4 ГБ; доступны варианты IQ3_M, Q3_K_L, IQ4_XS, Q4_K_S, Q5_K_M и Q6_K. Контекст, точная архитектура и мультимодальные возможности в README не указаны. К сильным сторонам относятся многоязычность, компактный размер и возможность выбрать баланс между качеством и потреблением памяти: Q5_K_M рекомендован как сбалансированный вариант, а Q6_K близок по характеристикам к bf16 при меньшем размере. Ограничения связаны с потерями качества при квантизации и небольшим размером модели, который может снижать качество сложного рассуждения и генерации по сравнению с более крупными моделями. Модель распространяется по лицензии Apache-2.0.

shisa-7b-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP модель генерации текста на базе Mistral-7B-Instruct-v0.2 и shisa-7b-v1. Она предназначена для диалогов и ответов на инструкции; архитектура — плотная авторегрессионная Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель рассчитана на текстовый ввод и выдачу текста. Объединение выполнено в формате bfloat16 с помощью MergeKit. README не уточняет языки и специализированные области применения, поэтому их нельзя определить по доступным данным. Модель распространяется по лицензии Apache-2.0.

Speechless Llama2 Hermes Orca Platypus WizardLM 13B — текстовая генеративная модель, созданная объединением NousResearch/Nous-Hermes-Llama2-13b, Open-Orca/OpenOrca-Platypus2-13B и WizardLM/WizardLM-13B-V1.2. Модель основана на архитектуре Llama 2 и содержит 12,9 млрд параметров; автор README рекомендует подавать инструкции в формате Alpaca. Контекст составляет 4096 токенов. Модель предназначена для генерации текста по инструкциям: диалоговых ответов, объяснений и помощи в решении задач. README приводит результаты lm-evaluation-harness на ARC, HellaSwag и MMLU. Доступны упоминания вариантов AWQ, GPTQ и GGUF для GPU- и CPU+GPU-инференса, тогда как файлы этого репозитория представлены в формате safetensors. Карточка указывает английский как целевой язык. Для базовой модели Llama 2 указана лицензия Meta; перед использованием весов необходимо принять условия лицензии. Как и другие LLM, модель может выдавать неточные, предвзятые или нежелательные ответы; перед внедрением требуется проверка в целевом сценарии.

Synatra-7B-Instruct-v0.2-Mistral-7B-Instruct-v0.1 — чат-модель генерации текста, созданная объединением Mistral-7B-Instruct-v0.1 и maywell/Synatra-7B-Instruct-v0.2 методом SLERP. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; в метаданных указан контекст до 32 768 токенов. Она принимает текстовые инструкции и сообщения диалога и генерирует текстовые ответы. Модель подходит для диалоговых ассистентов, ответов на инструкции и генерации текста. Карточка не приводит сравнительных оценок качества или подробных результатов тестирования. Модель распространяется по лицензии Apache-2.0.

djuna-test-lab/TEST-OcerusBeam-7B — объединённая модель генерации текста на архитектуре Mistral, созданная методом SLERP с помощью mergekit. В объединение вошли aws-prototyping/MegaBeam-Mistral-7B-512k и djuna-test-lab/TEST-Ocerus-7B. Модель содержит 7,1 млрд параметров, работает с библиотекой Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов; в метаданных также отмечена возможность чата. Длина контекста составляет до 524 288 токенов. Сведения о поддерживаемых естественных языках и условиях лицензии в предоставленных источниках отсутствуют.

Ultra-Instruct-12B-GGUF — набор GGUF-квантизаций базовой модели Dampfinchen/Ultra-Instruct-12B, подготовленный пользователем bartowski с помощью llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих формат GGUF, включая LM Studio. В README не указаны точные сведения об архитектуре, языках, контекстном окне и мультимодальности; по имеющимся данным, это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты от F16 размером 24,50 ГБ до сильно сжатых IQ2_M размером 4,44 ГБ. Рекомендуемые варианты Q4–Q6 обеспечивают высокое или хорошее качество при меньшем потреблении памяти; Q3 и Q2 экономят ресурсы, но заметно уступают по качеству. Некоторые варианты используют Q8_0 для embedding- и output-весов, что потенциально повышает качество, однако автор указывает, что практический эффект зависит от использования. Для работы требуется совместимое ПО, например llama.cpp или LM Studio, и рекомендуется применять указанный в README шаблон чата с маркерами system, user и assistant. Ограничения включают отсутствие опубликованных бенчмарков и подробных характеристик исходной модели, а также неизбежную потерю качества в низкобитных квантизациях. Распространение осуществляется по лицензии CC BY-NC-4.0, запрещающей коммерческое использование.

MaziyarPanahi/YamshadowInex12_YamshadowExperiment28 — слитая модель для генерации текста, созданная на основе automerger/YamshadowInex12-7B и automerger/YamshadowExperiment28-7B. В карточке указаны архитектура Mistral с причинно-языковой моделью MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Модель предназначена для генерации текста и диалогов. Репозиторий распространяется по лицензии Apache-2.0. Данные карточки не описывают специализацию по языкам или предметным областям, поэтому их нельзя надёжно указать.

Aurora-10.7B — слитая плотная авторегрессионная модель семейства Mistral, опубликованная SteelStorage. По README она собрана из слоёв mistralai/Mistral-7B-Instruct-v0.2 методом passthrough и предназначена как базовая модель для дальнейшего обучения; автор указывает, что после слияния она не дообучалась. В репозитории доступны веса Safetensors, лицензия — Apache-2.0. Модель принимает текст и генерирует текст; метаданные также отмечают поддержку чата. Контекст составляет 32 768 токенов, размер — около 10,6 млрд параметров. README приводит результаты оценок на ARC, HellaSwag, MMLU, T-QA, Winogrande и GSM8K, но они не гарантируют качество на конкретных пользовательских задачах. Языки и специальные предметные области в предоставленных данных не обозначены.

MiniMax-M2-REAP-139B-A10B — это языковая модель для генерации текста, разработанная Cerebras. Она создана на основе MiniMax-M2: методом REAP из исходной модели равномерно удалено 40% экспертов. По доступным данным, модель использует разреженную MoE-архитектуру, имеет заявленный размер 139B параметров и активную часть A10B. Указан английский язык; сведения о поддерживаемых модальностях и размере контекста отсутствуют. Эта версия представляет собой GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и калибровочных данных imatrix. Она предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от Q8_0 до 2-битных и IQ-квантизаций с размером файлов примерно от 55 до 148 ГБ; более высокие разрядности обычно обеспечивают лучшее качество, а низкоразрядные варианты уменьшают требования к памяти, но могут заметно снижать качество. Сильными сторонами являются широкий выбор квантизаций, возможность локального использования и сохранение работоспособности после структурного сокращения MoE-модели. Ограничения включают очень большой объём памяти, зависимость качества от выбранного варианта квантизации и отсутствие в карточке подробных результатов оценки. Лицензия указана как other; конкретные условия необходимо уточнять в лицензии исходной модели Cerebras.

NVIDIA DeepSeek-R1-NVFP4 — версия DeepSeek R1, квантованная NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная трансформерная языковая модель семейства DeepSeek V3 с 37,6 млрд параметров, предназначенная для генерации текста и диалогов. По метаданным, базовая модель — deepseek-ai/DeepSeek-R1; в README указаны FP4-квантизация весов и активаций линейных операторов в блоках трансформера, формат safetensors и контекст до 128 тыс. токенов в README и 163 840 токенов в метаданных. Модель принимает текст и выдаёт текст. Для запуска предназначена связка TensorRT-LLM на Linux и оборудовании NVIDIA Blackwell; в README для приведённого сценария развёртывания указаны восемь GPU B200 и сборка TensorRT-LLM из исходников. По заявлению README, квантизация уменьшает размер весов и требования к памяти GPU примерно в 1,6 раза. Репозиторий указывает лицензию MIT и возможность коммерческого и некоммерческого использования; README уточняет, что модель разработана не NVIDIA, а построена для требований стороннего проекта.

deepseek-r1-qwen-2.5-32B-ablated-GGUF — это квантизированная версия текстовой генеративной модели NaniDAO/deepseek-r1-qwen-2.5-32B-ablated, подготовленная bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель относится к семейству Qwen 2.5, имеет размер 32B параметров и предназначена для запуска локально через llama.cpp и совместимые приложения, включая LM Studio. Модель подходит для генерации текста и диалоговых сценариев, включая задачи, связанные с рассуждениями. В репозитории представлены варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Рекомендуемыми обозначены варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним форматы; наиболее компактные варианты экономят память, но дают более низкое качество. Архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. По тегам модель описывается как ablated и uncensored, однако подробности применённых изменений и их влияние на поведение также не раскрыты. Для использования требуется совместимое ПО и память, соответствующая выбранному варианту весов; размеры файлов составляют примерно от 14,81 до 65,54 ГБ. Лицензия — MIT.

DeepSeek-V4-Flash-0731-RAZOR-230B-A13B-E192of256 — производная версия DeepSeek-V4-Flash-0731, созданная методом RAZOR без дообучения. Разработчик удалил четверть маршрутизируемых экспертов: в каждом из 43 MoE-слоёв оставлено 192 из 256 экспертов, включая слои multi-token prediction. Модель содержит около 230 млрд параметров, из них примерно 13 млрд активны на токен; внимание, общие эксперты, эмбеддинги и LM-head не изменялись. Эксперты хранятся в MXFP4, общие эксперты — в FP8. Модель предназначена для генерации текста и сценариев, где требуется использовать возможности DeepSeek-V4-Flash при сокращённом наборе экспертов. Заявлены контекст до 1 048 576 токенов и лицензия MIT. Для кодирования сообщений в README предлагается официальная реализация encoding_dsv4.py, поскольку Jinja chat template не поставляется. Удаление экспертов является потерей информации: хотя точность задач может в значительной степени сохраняться, разнообразие, форматирование и поведение при завершении ответа могут меняться. Калибровка проводилась на конечном многодоменном наборе данных, поэтому поведение на удалённых от него областях не охарактеризовано; перед применением модель следует оценить на целевых запросах.

DeepSeek-V4-Flash-IQ2XXS-TM64-Q4KAttention-v1 — локальная GGUF-сборка базовой модели DeepSeek-V4-Flash-0731 от deepseek-ai. Пакет подготовлен erayyapagci на основе квантизаций из репозиториев antirez и Ralii и предназначен для запуска через специализированную ветку llama.cpp с Vulkan. Модель ориентирована на генерацию текста и диалоговые сценарии на английском и китайском языках. Основная модель использует разреженную экспертную архитектуру с 86 тензорами routed experts в формате IQ2_XXS/Q2_K, а также Q4_K-квантизацию attention-слоя. Ключевая особенность — альтернативная раскладка TM64 для экспертных тензоров и соответствующие Vulkan-ядра. В комплект входит отдельная draft-модель DSpark размером около 10 ГБ для speculative decoding; основной файл занимает около 79 ГБ. Заявлена поддержка контекста до 409 600 токенов на слот, а в многослотовых конфигурациях — до 1 228 800 токенов. Сильные стороны сборки — уменьшенный размер по сравнению с полноточной моделью, возможность локального запуска, ускорение prompt processing примерно на 14,86% и decode примерно на 2,50% в приведённых тестах, а также проверенная эквивалентность результатов стандартному пути. TM64 оптимизирована прежде всего для AMD/RADV/RDNA3, включая Strix Halo с устройством gfx1151; на других устройствах могут применяться стандартные ядра IQ2_XXS или потребуется конвертация. Для работы необходимы оба файла и совместимый специализированный runtime llama.cpp. В метаданных репозитория указана лицензия MIT, однако README уточняет, что для исходной модели действует её оригинальная лицензия.

Experiment26Yamshadow_Experiment24Alloyingotneoy — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Alloyingotneoy-7B. Она предназначена для генерации текста и работы в сценариях, где нужен диалоговый или иной текстовый вывод. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

Experiment28M7_Experiment24Shadow — слитая языковая модель семейства Mistral, объединяющая модели automerger/Experiment28M7-7B и automerger/Experiment24Shadow-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста по текстовым запросам; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалогов, черновиков и продолжения текста, а также для других задач генерации на основе текстового контекста. Веса опубликованы в формате safetensors, лицензия — Apache 2.0. В карточке нет подробных оценок качества или сведений о специализированной настройке модели.

Experiment28M7_Strangemerges_32M7 — объединённая методом SLERP языковая модель на архитектуре Mistral, созданная из automerger/Experiment28M7-7B и automerger/Strangemerges_32M7-7B. Модель предназначена для генерации текста и диалога; она содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README не описывает специальные области применения, языки или ограничения качества; доступные сведения указывают на модель общего назначения.

Experiment28Meliodas-7B — автоматически объединённая модель, созданная Maxime Labonne из yam-peleg/Experiment28-7B и AurelPx/Meliodas-7b-dare с помощью mergekit. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста; заявленная длина контекста составляет 32 768 токенов. Слияние выполнено методом SLERP с разными коэффициентами для слоёв self-attention и MLP. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка содержит пример загрузки через Transformers, но не описывает специальные предметные области или гарантии качества; результаты зависят от запроса и сценария использования.

unsloth/gemma-2-9b — 9-миллиардная плотная языковая модель семейства Gemma 2 от Google, опубликованная Unsloth в формате safetensors с 4-битной квантизацией bitsandbytes. Модель предназначена для генерации текста; карточка демонстрирует сценарии разговорного общения с шаблонами ShareGPT ChatML и Vicuna, а также продолжения необработанного текста. Контекст модели составляет 8192 токена. В README Unsloth также предлагает использовать Gemma 2 (9B) для дообучения и приводит ноутбуки для Colab, включая сценарии DPO; это описывает рабочий процесс дообучения, а не подтверждает, что данный репозиторий уже дообучен. Метаданные указывают английский язык. Лицензия — Gemma. Карточка описывает 4-битную квантизованную сборку и приводит заявленные Unsloth ускорение и экономию памяти при дообучении, но не содержит независимой оценки качества модели.

Guanaco 13B — языковая модель семейства LLaMA, представленная в формате Hugging Face с весами fp16. Репозиторий TheBloke содержит результат слияния LoRA с последующим сохранением модели; в README указано авторство Тимa Деттмерса для исходной Guanaco 13B. Модель предназначена для генерации текста и диалоговых ответов. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст длиной 2048 токенов. README описывает вариант для запуска через Hugging Face Transformers; для репозитория указана лицензия other, поэтому конкретные условия использования следует проверять по исходной лицензии Guanaco.

HARC-Llama-3.1-8B-Instruct — языковая модель Microsoft для генерации текста и диалогов с акцентом на safety alignment. Она создана слиянием LoRA-настройки HARC с Meta-Llama-3.1-8B-Instruct и распространяется как самостоятельная модель. Архитектура — плотная LlamaForCausalLM; размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель загружается через Transformers из файлов safetensors. Модель предназначена для диалоговых сценариев и генерации ответов с настройкой на безопасность. В метаданных указана поддержка многоязычности базовой модели; README не уточняет языки, специально охваченные настройкой HARC. Лицензия — Llama 3.1 Community License (llama3.1); при использовании необходимо соблюдать её условия и условия лицензии базовой модели.

Hathor_Gamma-L3-8B-0.6-GGUF — квантизированная версия языковой модели Hathor_Gamma-L3-8B-0.6, разработанной Nitral-AI. Файлы в формате GGUF подготовлены пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; в README указан английский язык и шаблон запросов в формате, совместимом с Llama 3. Модель содержит около 8 миллиардов параметров и доступна в нескольких вариантах квантования от Q8 до Q2 и IQ2/IQ3/IQ4. Размер файлов составляет примерно от 2,75 до 9,52 ГБ. Старшие варианты квантования обеспечивают очень высокое качество при повышенных требованиях к памяти, тогда как младшие позволяют запускать модель на устройствах с ограниченным объёмом RAM, но заметно снижают качество. Некоторые варианты используют f16 для весов эмбеддингов и выходного слоя и отмечены как экспериментальные. Эта сборка удобна для локального запуска через llama.cpp и совместимые инструменты. README не содержит сведений о длине контекста, мультимодальности, данных обучения, результатах тестирования или точных архитектурных особенностях. Лицензия указана как other, без дополнительных условий в представленном описании, поэтому перед использованием следует проверить лицензию исходной модели Nitral-AI.

Hollow Ridge Q4 — каузальная языковая модель для генерации текста, опубликованная пользователем codex176743 на Hugging Face. По метаданным она связана с семейством Qwen2, содержит около 7,1 млрд параметров и рассчитана на запуск через библиотеку Transformers. В карточке также указаны форматы safetensors и conversational. Модель предназначена для диалоговой генерации текста, продолжения запросов и построения приложений на базе text-generation. Нативное контекстное окно составляет 32 768 токенов, что позволяет обрабатывать достаточно длинные инструкции и фрагменты диалога. Лицензия Apache-2.0 допускает использование в соответствии с её условиями. В README нет сведений о результатах оценки, поддерживаемых естественных языках, данных обучения, методе квантования Q4 или специализированных прикладных областях. Поэтому качество модели и её пригодность для конкретных языков и сценариев следует проверять отдельно.

bartowski/inclusionAI_Ring-mini-2.0-GGUF — это набор квантизованных версий языковой модели Ring-mini-2.0, разработанной inclusionAI. Модель предназначена для генерации текста и запускается в формате GGUF через llama.cpp, LM Studio и другие совместимые приложения. В README указано, что квантизация выполнена с использованием llama.cpp и метода imatrix. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 6,82 до 32,54 ГБ. Более крупные варианты обеспечивают более высокое качество, а Q4_K_M указан как вариант по умолчанию для большинства сценариев; Q6_K и Q6_K_L отмечены как версии очень высокого качества. Модель поддерживает формат промпта с ролями SYSTEM, HUMAN и ASSISTANT, а также специальным маркером рассуждений. Набор подходит для локального вывода текста на устройствах с ограниченными ресурсами, если выбрать подходящий уровень квантизации. Ограничения, архитектура, количество параметров, поддерживаемые языки, размер контекстного окна и мультимодальные возможности в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в описании исходной модели inclusionAI/Ring-mini-2.0.

mlx-community/Kimi-K2-Instruct-0905-mlx-DQ3_K_M — это MLX-версия модели Kimi-K2-Instruct-0905, разработанной Moonshot AI и конвертированной сообществом mlx-community с помощью mlx-lm 0.26.3. Модель предназначена для генерации текста и инструкционных сценариев: диалогов, ответов на запросы и других задач, поддерживаемых базовой моделью. README не содержит подтверждённых сведений о размере, архитектуре, языках и длине контекста. Основная особенность — смешанное динамическое квантование DQ3_K_M с преимущественно 3-битным представлением и отдельными компонентами с более высокой разрядностью. По описанию метода, такой подход призван приблизить качество к 4-битному квантованию при меньшем потреблении памяти. Модель ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти, сохраняя ресурсы для полезного контекстного окна; конкретные требования к памяти и фактические результаты тестов не указаны. Ограничения связаны с потерями качества, возможными для квантованной версии, а также с узкой оптимизацией под экосистему MLX и совместимое оборудование Apple. Для использования требуется mlx-lm; README указывает лицензию modified-mit и ссылку на лицензию исходной модели Moonshot AI.

bartowski/L3.1-MS-Astoria-70b-v2-GGUF — это набор GGUF-квантизированных версий текстовой генеративной модели Steelskull/L3.1-MS-Astoria-70b-v2. Квантизация выполнена bartowski с помощью llama.cpp b3930 и метода imatrix. Модель предназначена для локального запуска задач генерации текста, диалогов и других сценариев текстового вывода; рекомендуется использовать её через LM Studio или совместимые инструменты на базе llama.cpp. Доступны варианты квантизации от IQ1_M до Q8_0 размером примерно от 16,75 до 74,98 ГБ. Более высокие уровни квантизации обычно лучше сохраняют качество, но требуют больше оперативной памяти; Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые, тогда как самые низкие уровни имеют заметно более низкое качество. Для некоторых вариантов применена квантизация весов эмбеддингов и выходного слоя в Q8_0. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекста, мультимодальности, результатах оценки или лицензии исходной модели. Формат приглашений использует специальные токены Llama 3.1 и задаёт даты отсечения знаний и текущую дату, однако это не заменяет официальное описание возможностей модели.

Это сжатая методом SNIPER версия Meta-Llama-3.1-8B-Instruct от автора репозитория parmanu-lcs2. После обрезки в модели осталось 5,287,235,584 параметра; затем веса восстановительно дообучили на 2000 примерах SlimOrca с помощью LoRA и объединили адаптер с основными весами. Модель использует плотную архитектуру Llama и предназначена для генерации текста в диалоговом формате; она может применяться для ответов на вопросы, инструкций и других текстовых запросов. В метаданных указан контекст до 131072 токенов. Модель загружается через Transformers и распространяется в формате safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить на странице репозитория. Обрезка и восстановительное дообучение могут повлиять на качество по сравнению с исходной Meta-Llama-3.1-8B-Instruct; README сообщает о настройке обучения на контексте 1024 токена.