II.4Отладка, тестирование и качество ПО

Locutusque/Hercules-5.0-Qwen2-7B — языковая модель на архитектуре Qwen2, дообученная Locutusque на наборе hercules-v5.0. Модель содержит 7,1 млрд параметров, работает с текстом и рассчитана на диалог, следование сложным инструкциям и вызов функций. Заявленная длина контекста — 131 072 токена. Модель предназначена для научных и технических бесед, пошаговых учебных подсказок, специализированных чат-ботов, а также генерации кода и взаимодействия с инструментами через вызовы функций. В карточке перечислены биология, химия, физика, математика, медицина и информатика; конкретные языки естественного языка не заявлены. Модель выпущена в формате Safetensors и распространяется по лицензии Apache-2.0. README предупреждает о токсичных примерах в данных обучения, возможных фактических ошибках и риске неправильного применения возможностей вызова функций.

INF-34B-Base — базовая плотная языковая модель с 34 млрд параметров, разработанная командой INF и построенная на архитектуре LLaMA. Для стабилизации обучения вместо RMSNorm используется LayerNorm с gamma, центрированной относительно нуля. Модель предварительно обучена примерно на 3,5 трлн очищенных токенов из англо-китайского корпуса. README сообщает о контексте до 32K токенов, тогда как метаданные Hugging Face указывают native context в 4096 токенов. Модель предназначена для генерации текста и служит основой для последующей адаптации под диалоговые и прикладные сценарии. В обучении уделялось внимание общим знаниям, математике и программированию, а разработчики также отмечают потенциал в финансах и здравоохранении. В README приведены результаты базовой модели на академических тестах, включая MMLU, CMMLU и GSM8K. Модель опубликована в формате safetensors. В метаданных указана лицензия other; README допускает коммерческое применение на условиях раздела лицензии, но сам текст условий здесь не приведён. Заявление о работе квантованной версии на видеокартах с 24 ГБ видеопамяти относится к отдельной квантованной версии, а не непосредственно к этому базовому репозиторию.

Infinity-Instruct-3M-0613-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0613. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров с контекстом 32 768 токенов, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; карточка указывает английский язык. Модель обучена методом supervised instruction tuning без обучения с подкреплением по человеческим оценкам (RLHF). Авторы сообщают о результатах 25,5 на AlpacaEval 2.0 и 8,1 на MT-Bench, сопоставляя её с рядом более крупных и близких по размеру моделей. Эти результаты приведены авторами и не гарантируют качество на пользовательских задачах. Модель подходит для многошаговых диалогов, ответов на вопросы, написания текстов, а также задач по коду и математике. В README нет подробных сведений об ограничениях по конкретным сценариям; авторы предупреждают, что точность ответов не гарантируется. Лицензия метаданных — Apache-2.0, однако README ограничивает использование связанных ресурсов, включая веса, академическими исследованиями и запрещает коммерческое применение; это ограничение следует учитывать при использовании модели.

Infinity-Instruct-3M-0625-Qwen2-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Qwen2-7B на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625 с supervised instruction tuning, без RLHF. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров; она принимает текст и ведёт диалог по шаблону Qwen2-7B-Instruct. Заявленная длина контекста — 131 072 токена. Модель предназначена для выполнения инструкций, ответов на вопросы и многоходового диалога; авторы сообщают о результатах на AlpacaEval 2.0 и MT-Bench, включая вопросы по коду, математике и повседневные диалоги. Поддерживаемый язык в метаданных — английский. Модель распространяется по лицензии Apache-2.0, однако карточка проекта ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

Kimi-K2-Base — базовая языковая модель, разработанная Moonshot AI. Это фундаментальная версия семейства Kimi K2, предназначенная для исследователей и разработчиков, которым нужен контроль над дообучением и созданием специализированных решений. Модель ориентирована на задачи работы с текстом, рассуждения, программирования, использования инструментов и построения автономных агентных систем. Модель использует архитектуру Mixture-of-Experts (MoE) с 1 трлн общих параметров и 32 млрд активируемых параметров. Она содержит 61 слой, включая один плотный слой, 384 эксперта, из которых для каждого токена выбираются 8, один общий эксперт, 64 attention-головы, скрытую размерность внимания 7168, размерность MoE-эксперта 2048 и словарь из 160 тысяч токенов. Используются механизм внимания MLA и функция активации SwiGLU; длина контекста составляет 128K токенов. Модель предварительно обучена на 15,5 трлн токенов с использованием оптимизатора MuonClip. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую без подтверждённой мультимодальности. В отличие от готовой инструкционной версии, Base требует дополнительной настройки под конкретные сценарии и не предназначена прежде всего для непосредственного использования в чат-интерфейсе. Лицензия указана как modified MIT.

Enigma — модель для генерации кода и диалогов, созданная Valiant Labs на основе Meta Llama 3.1 8B Instruct. Это плотная причинная языковая модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для работы в формате инструкций и чата Llama 3.1. Модель дообучена на синтетических данных для инструкций по программированию, сгенерированных Llama 3.1 405B, а также на общих диалоговых данных. Enigma подходит для генерации и объяснения кода, помощи с Python и ответов на общие вопросы в чате. Карточка заявляет усиленные возможности code-instruct и сохранение общих диалоговых навыков; метаданные также указывают поддержку следования инструкциям и интерфейс вызова инструментов. Модель работает с текстом и ориентирована на английский язык. Для использования применяется лицензия Llama 3.1; условия лицензии следует учитывать при распространении и коммерческом применении.

QuantFactory/Llama-3-Hercules-5.0-8B-GGUF — квантованная версия языковой модели Llama-3-Hercules-5.0-8B, созданная с использованием llama.cpp. Базовая модель основана на Llama-3-8B и дообучена Locutusque на датасете Locutusque/hercules-v5.0. Модель предназначена для генерации текста и использует формат запросов OpenAI ChatML с поддержкой вызовов функций. Модель ориентирована на выполнение сложных многошаговых инструкций, диалоговое взаимодействие, работу с научной и технической тематикой, включая биологию, химию, физику, математику, медицину и компьютерные науки. Она может применяться для специализированных чат-ботов, образовательных ассистентов, генерации кода и сценариев, где требуется выполнение функций через вызовы инструментов. В README не указаны поддерживаемые языки и максимальная длина контекста. Ключевые ограничения включают риск галлюцинаций и фактических ошибок, особенно в специализированных областях, наличие токсичных или вредных примеров в обучающих данных, возможное воспроизведение предубеждений и риск злоупотребления функциональностью вызова функций. Условия распространения обозначены лицензией llama3.

Llama 3 Tulu V2+DPO 70B — языковая модель-инструкция от Allen Institute for AI (AI2), созданная дообучением Llama 3 Tulu 2 70B на предпочтениях UltraFeedback методом DPO. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций; принимает текст и генерирует текст. Основной язык — английский, а длина контекста составляет 2048 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и генерации текста. В опубликованных оценках показаны результаты на тестах знаний, математики, программирования, следования инструкциям и предпочтений. Модель не проходила этап RLHF для безопасных ответов и не имеет встроенной фильтрации, поэтому может генерировать проблемный контент, особенно по прямому запросу. Выпущена под лицензией Apache 2.0; в карточке также отмечено наличие лицензии сообщества Meta Llama 3.

llm-jp-4.1-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Репозиторий содержит версию на 32,2 млрд параметров с 64 слоями, размером скрытого представления 5120 и контекстом до 65 536 токенов; модель распространяется в формате safetensors и предназначена для диалогового использования через Transformers. Модель прошла предварительное и промежуточное обучение на суммарно 11,7 трлн токенов, затем контролируемую донастройку и выравнивание методом DPO. Она ориентирована на генерацию ответов и рассуждений, включая задачи математики, науки, вопросов и ответов, программирования, следования инструкциям и перевода между японским и английским. Основные заявленные языки — японский и английский. Разработчик оценивает её на наборах задач общего знания, математики, кода, безопасности и вызова инструментов. Это исследовательская модель разработки, не предназначенная для непосредственного применения в производственных сервисах; ответы могут быть неточными, неподходящими или нежелательными и требуют проверки. Лицензия — Apache 2.0.

MiniCPM5-2B GGUF — языковая модель, разработанная командой OpenBMB и представленная как вторая модель серии MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, преобразованная в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска на устройствах с ограниченными ресурсами, включая on-device и edge-сценарии. Модель ориентирована на англоязычные и китайскоязычные задачи, включая программирование, математику, понимание длинного контекста, использование инструментов и агентские сценарии. В карточке также заявлена поддержка long-context и tool-calling, однако точный размер контекстного окна и дополнительные технические параметры не указаны. Это текстовая модель без заявленной поддержки изображений или других модальностей. К сильным сторонам относятся компактный размер, пригодность для локального развертывания и конкурентная производительность среди открытых моделей 2B-класса; по заявлению разработчиков, модель также сопоставима с некоторыми моделями класса 4B. Ограничениями являются меньшая ёмкость по сравнению с крупными моделями и отсутствие в карточке подробных количественных результатов, требований к ресурсам и гарантированных характеристик. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

Это 8-битная версия модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio Community с помощью mlx_lm для Apple Silicon. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 от NVIDIA; MLX-квантизация уменьшает точность весов для запуска на компьютерах Apple с кремниевыми чипами. По метаданным, модель предназначена для генерации текста и диалогов и поддерживает интерфейс вызова инструментов. Модель подходит для ответов на вопросы, помощи с программированием и математическими задачами, а также для агентных приложений, использующих инструменты. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Лицензия репозитория обозначена как other, поэтому перед использованием следует проверить её условия. Как и другие генеративные модели, она может выдавать неточные или неподходящие ответы; README также предупреждает об отсутствии гарантий качества.

FuseAI/OpenChat-3.5-7B-Mixtral — диалоговая языковая модель, выпущенная проектом FuseChat при Университете Сунь Ятсена. Это целевая модель, полученная на этапе попарного слияния знаний OpenChat-3.5-7B с другой чат-моделью. В репозитории указаны 7,1 млрд параметров, архитектура Mistral с плотной структурой и контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения текстовых инструкций общего назначения. README описывает подход FuseChat: модели обучаются для переноса знаний, а затем объединяются в пространстве параметров; для оценки использовались многоходовые диалоги MT-Bench по письму, ролевым сценариям, рассуждениям, математике, программированию, STEM и гуманитарным темам. Карточка позиционирует модель как компонент для дальнейшего слияния с другими целевыми моделями FuseChat. Модель принимает текст и генерирует текст. В метаданных указан английский язык, библиотека Transformers и формат Safetensors. Лицензия — Apache 2.0. README не сообщает отдельные результаты оценки именно этого чекпойнта, поэтому показатели итоговой FuseChat-7B-VaRM не следует переносить на него.

OpenHermes 2 Mistral 7B — разговорная языковая модель, созданная Teknium на основе Mistral-7B-v0.1. Она дообучена на наборе примерно из 900 тысяч примеров, преимущественно сгенерированных GPT-4 и собранных из открытых датасетов; данные преобразованы в формат ShareGPT, а затем в ChatML. Модель предназначена для многоходового диалога и следования инструкциям, включая ответы на вопросы, помощь с программированием и создание рецептов. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык; ChatML-шаблон подходит для диалогов с системными инструкциями. Модель распространяется по лицензии Apache-2.0. Заявления карточки о сравнительных результатах приводятся без числовых данных, поэтому их нельзя считать независимой оценкой качества; ответы могут быть неточными, как у других генеративных языковых моделей.

Ornith-1.0-35B-FP8-BLOCK — это квантизированная версия языковой модели Ornith-1.0-35B, разработанной командой DeepReinforce. Артефакт опубликован shisa-ai и изменяет только представление чекпойнта, не добавляя дополнительного дообучения. Модель относится к семейству Qwen3.5 MoE и предназначена для рассуждений, агентных сценариев и генерации кода, включая работу через совместимый с OpenAI API сервер. Квантизация выполнена методом model-free PTQ без калибровочных данных с помощью llm-compressor. Веса Linear-модулей представлены в статическом симметричном FP8 с блоками 128×128, а активации квантизуются динамически в FP8 с группами размера 128; формат хранения — compressed-tensors FP8_BLOCK. Размер исходной модели — 35B параметров, но другие характеристики, включая точный контекст и языковой охват, в карточке не указаны. Эмбеддинги, lm_head, маршрутизация MoE, линейное внимание и визуальные модули оставлены без квантизации. Модель не содержит MTP-head и не заявляет поддержку speculative decoding. Основные преимущества — уменьшенное представление весов и возможность запуска в современных средах, поддерживающих Qwen3_5MoeForConditionalGeneration и FP8_BLOCK, например vLLM. Ограничения — необходимость значительных ресурсов KV-кэша при длинном контексте и отсутствие опубликованных отдельных бенчмарков для квантизированной версии; качество и задержку рекомендуется проверять относительно исходной BF16-модели на целевой нагрузке. Артефакт распространяется по лицензии MIT.

Qwen3-4B-MDOPSA — плотная языковая модель на 3,7 млрд параметров, созданная Tuwhy на основе Qwen/Qwen3-4B. Это многодоменный чекпойнт, дообученный методом On-Policy Self-Adaptation (OPSA) с акцентом на математику и программирование. Модель предназначена для диалогов, генерации текста и кода, а также решения математических задач; заявленный контекст составляет 40 960 токенов. Модель поставляется в формате BF16 Safetensors для Transformers и использует лицензию Apache 2.0, как и базовая модель. Карточка указывает чекпойнт на шаге 319 (320 обновлений оптимизатора). Данных о сравнительных результатах или конкретных ограничениях качества в карточке нет.

Qwen3.5-21B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель на 21 млрд параметров, созданная DavidAU на основе Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель уменьшена с 27B, дообучена на наборах Deckard/PDK и данных рассуждений Claude 4.6 Opus; заявлен режим пошагового рассуждения переменной длины. Архитектура Qwen3.5 поддерживает текстовый диалог и обработку изображений; заявленное родное контекстное окно — 256K токенов. Модель предназначена для диалога, ответов на вопросы, генерации кода и творческого письма, включая художественные жанры и ролевые сценарии. Автор отмечает отсутствие ограничений на контент и предупреждает о возможности откровенных или графичных ответов. В карточке также указаны возможные повторы при низких квантизациях или недостаточно содержательных запросах; качество и скорость могут зависеть от квантизации и настроек генерации. Доступна под лицензией Apache-2.0. Для использования изображений и инструментальных вызовов автор рекомендует качественные квантизации; практические характеристики следует оценивать на выбранной сборке и конфигурации.

Qwen3.6-27B-YMQ-MTP-GGUF — это набор смешанно-точностных квантованных сборок модели Qwen3.6-27B от ZeroDigest, подготовленных из исходных BF16-весов с помощью YMQ-Compiler v2.0. Репозиторий распространяет веса в формате GGUF и поддерживает параллельное предсказание нескольких токенов (MTP) для спекулятивного декодирования. Модель предназначена для генерации текста и диалогов, в частности для задач программирования и работы через инструменты разработки кода. В README описаны варианты квантования разного размера, от XXS примерно 9,8 ГБ до S примерно 12,2 ГБ, с компромиссом между потреблением памяти и качеством. Автор рекомендует низкие контекстные нагрузки для самых сжатых сборок и отмечает возможное ухудшение вызова API при длинном контексте у варианта XS. В инструкции приведён пример запуска через llama.cpp с MTP и контекстом до 245760 токенов; это параметр запуска, а не подтверждённая нативная длина контекста модели. Базовая Qwen3.6-27B описана в метаданных как мультимодальная, но в README этой сборки конкретная поддержка изображений не раскрыта. Лицензия — Apache-2.0.

Qwen3.6-28B — производная модель 0xSero на основе Qwen/Qwen3.6-35B-A3B, сокращённая методом REAP с последующим дообучением LoRA на открытых рассуждениях Claude Opus. Это причинная языковая модель семейства Qwen3.5 MoE для генерации текста и диалогов. После удаления 20% экспертов в каждом слое осталось около 28 млрд параметров, из которых активны примерно 3 млрд. Веса представлены в BF16; исходная архитектура имеет 40 слоёв и MoE-маршрутизацию. Модель предназначена для диалогов, задач на рассуждение и программирование, а также создания структурированных ответов, например JSON и Mermaid. В README заявлена калибровка с избытком примеров структурированного вывода, поэтому такие сценарии могли повлиять на сохранённые экспертовые способности. Указаны лицензия Apache-2.0 и библиотека Transformers. Оценки качества в карточке представлены шаблонными значениями, поэтому по ним нельзя судить о сравнительной производительности. Для задач в стиле GSM8K точность зависит от наличия достаточного бюджета токенов для цепочки рассуждений; калибровка структурированного вывода переориентирована на JSON и Mermaid. Поведение отказов унаследовано от базовой модели и дообучения.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантованная модель, разработанная DavidAU. Она расширена из Qwen3.6 27B до 40 млрд параметров и представляет собой плотную архитектуру без MoE с 96 слоями и 1275 тензорами. Обучение и дообучение выполнялись с использованием Unsloth, наборов данных TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также методов Heretic и NEO-CODE-Di-IMatrix. Модель предназначена для универсального применения: рассуждений, программирования, математики, творческого и художественного письма, генерации сюжетов и сцен, ролевых сценариев и работы с длинными диалогами. Заявлена поддержка контекста до 256K токенов, переменной длины рассуждений и текстовых сценариев на английском и китайском языках. Также заявлена работа с изображениями, но для этого требуется отдельный файл mmproj, размещённый рядом с GGUF-моделью. К сильным сторонам относятся большой контекст, развитые рассуждения, ориентация на код и универсальные задачи, а также оптимизированные NEO-CODE-Di-IMatrix-MAX-квантизации, для которых приведены показатели близости к полной точности BF16. Модель намеренно uncensored и unfiltered, поэтому может генерировать небезопасный или откровенный контент и требует самостоятельного контроля применения. Указанные характеристики производительности основаны на данных автора и приведённых в README тестах; независимая проверка не представлена. В метаданных указана лицензия Apache-2.0. Для запуска необходим совместимый GGUF-движок, а выбор квантизации влияет на требования к памяти и качество работы.

Это текстовая сборка Qwen3.8-27B от Prism ML, созданная на основе Qwen/Qwen3.8-27B и упакованная для локального coding-агента chad на компьютерах Apple Silicon. Плотная гибридная архитектура включает 64 слоя: 48 GatedDeltaNet и 16 слоёв полного внимания. Веса проекций представлены в базисе Hadamard и квантованы до 2 бит; общий объём весов составляет 7,15 ГБ, а вместе с черновой моделью для ускорения декодирования — около 8 ГБ. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для диалогов и программирования в локальном агенте. В комплект входит квантованный DFlash2-драфтер на 1,9 млрд параметров, который предлагает блоки токенов для спекулятивного декодирования; по README, на M4 Pro это повышает скорость генерации с 21 до 64 токенов в секунду. Визуальная башня удалена, поэтому эта сборка принимает только текст. Для корректной загрузки требуется реализация, учитывающая Hadamard-преобразования; обычный загрузчик MLX может выдать некорректный результат. Модель распространяется по лицензии Apache-2.0; для вложенного драфтера README отдельно просит соблюдать лицензию и условия цитирования исходного релиза.

unsloth/QwQ-32B-GGUF — это GGUF-версия языковой модели QwQ-32B, разработанная Unsloth на базе Qwen/QwQ-32B. Модель предназначена для генерации текста в диалоговых сценариях и задач, требующих рассуждений, включая программирование и решение сложных инструкций. Она работает с текстом и ориентирована на английский язык. Модель содержит 32 млрд параметров и использует выборочную динамическую квантизацию Unsloth Dynamic v2.0, призванную сохранить более высокую точность по сравнению со стандартными вариантами 4-битной квантизации. Доступны форматы GGUF, включая Q4_K_M, совместимые, в частности, с llama.cpp и Ollama. README не указывает точную архитектуру, максимальный размер контекста и перечень поддерживаемых языков помимо английского. Сильными сторонами являются локальный запуск в распространённых inference-инструментах, уменьшенный объём хранения и вычислительных ресурсов благодаря квантизации, а также улучшения Unsloth и исправления, связанные с бесконечной генерацией. Для стабильной работы могут потребоваться специальные параметры семплирования; квантизированная версия потенциально уступает полной модели по точности. Модель распространяется по лицензии Apache-2.0.

Smaug-Llama-3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Smaug-Llama-3-70B-Instruct, разработанной Abacus AI. Квантизацию выполнил bartowski с использованием imatrix и поддержки Smaug в llama.cpp. Модель предназначена для генерации текста по инструкциям, решения математических задач и работы с кодом; в качестве исходных данных указаны aqua_rat, microsoft/orca-math-word-problems-200k и m-a-p/CodeFeedback-Filtered-Instruction. Формат GGUF позволяет запускать её через llama.cpp, начиная с версии b3001. Модель содержит 70 миллиардов параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 75 ГБ до менее 20 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-квантизации отмечены как рекомендуемые: они предлагают компромисс между качеством и требованиями к памяти. Более сильная квантизация сохраняет качество, но требует значительных ресурсов, тогда как варианты Q2 и Q1 экономят память за счёт заметного снижения качества. Для корректной работы следует использовать указанный формат приглашений Llama 3 с системным сообщением, запросом пользователя и ответом assistant. README указывает лицензию llama2; дополнительные ограничения и условия коммерческого использования не описаны.

Supertron1-4B — инструктивно дообученная языковая модель от Surpem на базе Qwen/Qwen3-4B. Это плотный причинный Transformer примерно на 3,7 млрд параметров, предназначенный для диалогов, следования инструкциям, математических рассуждений, программирования и повседневной генерации текста. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. В метаданных указана поддержка английского языка. По заявлению автора, настройка на математические и программные задачи обеспечивает хорошие результаты на GSM8K и HumanEval, а модель остаётся достаточно компактной для запуска на потребительском оборудовании. Эти сравнения приведены в README без подробностей методики оценки. Модель распространяется в формате Safetensors под лицензией Apache 2.0.

Youssofal/Ternary-Bonsai-2-27B-MTPLX-Optimized-Speed — сборка модели Prism ML Ternary Bonsai 2 27B для ускоренного запуска через MTPLX на компьютерах Mac с Apple Silicon. В её основе лежит Qwen/Qwen3.8-27B, объединённая с prism-ml/Ternary-Bonsai-2-27B-mlx-2bit. Это плотная мультимодальная модель с поддержкой диалога, анализа изображений и интерфейса вызова инструментов. Весовые коэффициенты языковой части представлены значениями −1, 0 и +1 с масштабированием по группам; пакет для MTPLX занимает 8,85 ГБ и включает зрительную башню Qwen 3.8 27B. MTPLX использует специализированные GPU-ядра и многотокенное спекулятивное декодирование. В README приведены замеры на M5 Max: 64,4 токена/с при запросе на 4 061 токен и 57,1 токена/с при 16 350 токенах; заявлена работа на Mac с объединённой памятью от 16 ГБ. Модель рассчитана на локальные диалоги, анализ изображений, программирование и работу через агентские клиенты, поддерживающие инструменты. README указывает лицензию Apache-2.0. Для запуска требуется MTPLX версии 2.12.0 или новее; для агентских клиентов рекомендуется Mac с памятью от 18 ГБ. Приведённые скорости относятся к конкретной конфигурации M5 Max и не гарантируют такую же производительность на других устройствах.

Masterjp123/XOrcaSlimWin-13B — объединённая SLERP-модель на основе Xwin-Lm-13B, Xwin-math-13B, XwinCoder-13B и SlimOrca-13B. Она предназначена для генерации текста и сочетает возможности диалоговой модели, решения математических задач и работы с кодом. Модель построена на архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README предупреждает о возможных проблемах при использовании формата Alpaca. Метаданные указывают лицензию Llama 2. README также упоминает GGUF-квантизацию, хотя в доступных метаданных формат файлов указан как safetensors.

Ballistic-CodeLlama-34B-v1 — языковая модель для генерации кода и ответов на инструкции, созданная BallisticAI. Она основана на CodeLlama 34B, объединяет варианты CodeLlama 34B v2 и speechless-codellama-34b-v2 и дополнительно обучена на jondurbin/airoboros-2.2. В репозитории указаны архитектура Llama, 33,5 млрд параметров и контекст до 16 384 токенов; модель принимает инструкции в формате Alpaca/Vicuna и выдаёт текст. Модель подходит для помощи в программировании, генерации и продолжения кода, а также выполнения текстовых инструкций. Для запуска существуют варианты AWQ для GPU и GGUF для CPU. Карточка сообщает об ограниченном тестировании и рекомендует дополнительную проверку безопасности перед реальным развёртыванием. Лицензия — Llama 2.

BigFalcon3-from10B — языковая модель для генерации текста и диалогов, созданная ehristoforu с помощью объединения весов через mergekit. В README указана модель tiiuae/Falcon3-10B-Instruct как единственная включённая в объединение; метаданные каталога классифицируют результат как дообучение этой базовой модели. Архитектура плотная, семейства Llama; модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, а также может использовать интерфейс вызова инструментов. Метаданные базовой модели указывают на сценарии рассуждений, программирования и математики. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

NaniDAO разработала naniseek — языковую модель для генерации текста и диалогов с рассуждениями, полученную абляцией на основе DeepSeek-R1-Distill-Qwen-32B. Модель содержит 32 млрд параметров, использует архитектуру Qwen2 и принимает текст; заявленная длина контекста — до 131 072 токенов. Модель предназначена для диалоговых ответов и задач рассуждения, включая математику и программирование. По заявлению авторов, абляция снижает число отказов на допустимые запросы. Модель доступна в формате Safetensors под лицензией MIT. Карточка не приводит сравнительных оценок качества или подробностей метода абляции.

G9v3-3B-Heretic-Abliterated-GGUF — плотная каузальная языковая модель с 3 млрд параметров, разработанная командой AI9Stars. Это GGUF-сборка базовой модели Vortecks/G9v3-3B-Heretic-Abliterated, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Модель относится к задачам генерации текста и рассчитана на повседневное использование в роли ассистента, программирование, сценарии с вызовом инструментов и задачи, требующие рассуждений. Заявлена поддержка английского и китайского языков, а также сценариев с длинным контекстом, однако точный размер контекстного окна в README не указан. Сборка представляет собой вариант heretic abliterated: из активационного пространства удалены направления, связанные с отказами, поэтому модель позиционируется как uncensored и обычно отвечает на более широкий круг запросов, чем исходная instruction-tuned версия. Это одновременно является ограничением: у варианта отсутствуют обычные защитные механизмы safety-alignment, поэтому его ответы требуют дополнительной фильтрации и контроля. Доступны варианты GGUF с точностью от F32, F16 и BF16 до различных квантов Q8, Q6, Q5, Q4, Q3 и IQ; размер файлов составляет примерно от 1,4 до 12 ГБ. Квантизации созданы с помощью llama.cpp, а низкобитные варианты IQ1_*–IQ3_XXS — с использованием importance matrix. Модель распространяется по лицензии Apache-2.0. Для запуска и выбора компромисса между качеством, скоростью и потреблением памяти рекомендуется использовать совместимые с llama.cpp GGUF-квантизации; в README отдельно отмечены Q6_K, Q5_K_M, Q5_K_S и Q4_K_M.