II.2Создание и понимание программного кода

MaziyarPanahi/DeepSeek-V3-0324-GGUF — это набор файлов модели DeepSeek-V3-0324 в формате GGUF. Исходную модель разработала команда deepseek-ai, а данную GGUF-версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями, включая варианты с ускорением на GPU и совместимыми API. Это делает модель пригодной для локальных чат-интерфейсов, серверов генерации текста и интеграции в приложения. В README указана 2-битная квантизация, которая может снизить требования к памяти, но потенциально сопровождается ухудшением качества по сравнению с полноразмерной моделью. В предоставленных данных не указаны архитектура, общее число параметров, поддерживаемые языки и размер контекста. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731 GGUF — квантизированная версия текстовой генеративной модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek и преобразованной в формат GGUF пользователем qtum с использованием llama.cpp. Модель предназначена для генерации и продолжения текста, включая работу с английскими и китайскими запросами, а также для локального запуска через llama.cpp на одной или нескольких видеокартах. Модель использует разреженную MoE-архитектуру с маршрутизацией к 6 экспертам из 256 на каждом токене. В репозитории представлены несколько уровней квантизации размером от 58,8 до 129,9 GiB, распределённых по четырём сегментам; также доступна исходная эталонная сборка размером 145,6 GiB. Все варианты калиброваны с использованием смешанных фрагментов кода, английского и китайского текста. Заявленный размер контекста в примерах запуска составляет 8192 токена, а для speculative decoding — 2048 токенов. Сильными сторонами сборки являются широкий выбор уровней сжатия, защита наиболее важных компонентов модели от чрезмерной квантизации и поддержка DSpark speculative decoding. При этом уменьшение размера сопровождается ростом perplexity, а варианты IQ1 и IQ2 заметно уступают более крупным сборкам по точности. Speculative decoding в текущей реализации требует размещения модели и черновой модели на одном GPU и не работает при распределении целевой модели более чем на одну видеокарту; для запуска нужны все сегменты выбранного варианта. Лицензия — MIT, унаследованная от базовой модели.

DeepSeek-V4-Flash-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Flash, разработанной deepseek-ai и опубликованной пользователем teamblobfish. Модель предназначена для генерации текста, агентских сценариев и задач с вызовом инструментов, включая рабочие процессы наподобие Claude Code. Варианты представлены с разной степенью квантизации: от Q8_0 размером около 282 ГиБ до IQ1_S-XL размером около 57 ГиБ. Рекомендуемый вариант Q4_K_M-XL занимает около 163 ГиБ и сочетает 4-битное тело модели с хранением ряда важных тензоров в Q8_0; заявлена поддержка tool calling. GGUF-файлы используют архитектуру DeepSeek V4 с MoE-компонентами и специализированными операциями, включая compressor decode, hyperconnection, lightning indexer, FP8 KV simulation и NextN heads. Для запуска требуется форк llama.cpp с поддержкой V4; стандартный upstream llama.cpp не подходит. Поддерживаются Apple Silicon через Metal, NVIDIA CUDA на совместимых GPU и CPU. ROCm, Vulkan и Metal на AMD не поддерживают необходимые V4-ядра. В репозитории также присутствуют встроенный DSML chat template и калибровочные данные для некоторых вариантов. Проект находится в статусе WIP. Квантизации позволяют уменьшить требования к диску и памяти, однако качество и производительность зависят от выбранного варианта и оборудования; для некоторых старых GPU CUDA-путь FP8 не был проверен в работе. Модель и материалы репозитория распространяются по лицензии MIT.

DiscoLM 70b — языковая модель команды DiscoResearch, обученная Бьёрном Плюстером на базе LeoLM 70B. Это плотная авторегрессионная модель семейства Llama 2 с 68,7 млрд параметров и контекстом до 8192 токенов. После дополнительного предобучения на 65 млрд токенов немецкого текста модель дообучили на наборах инструкций и диалогов, включая SlimOrca, OpenHermes, MetaMathQA и UltraChat DE. Модель предназначена для генерации текста и ответов на инструкции и подходит для диалогов, письма, рассуждений, решения математических задач и написания кода. Усилена поддержка немецкого языка при сохранении возможностей английского; карточка также приводит результаты тестов по нескольким задачам. Разработчики называют модель ранней альфа-версией и предупреждают о возможном загрязнении тестовых данных. Для использования заявлена лицензия Llama 2 с её ограничениями и ограничениями обучающих наборов; авторы указывают исследовательское назначение.

Dolphin3.0-Qwen2.5-1.5B-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Dolphin3.0-Qwen2.5-1.5B, опубликованная и квантизированная bartowski на основе модели cognitivecomputations. Модель основана на Qwen2.5-1.5B и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на генерацию текста, выполнение инструкций, программирование, математические задачи, работу с function calling и агентскими сценариями. В README указаны английский язык и размер базовой модели 1,5 млрд параметров; сведения о длине контекста, точной архитектуре и других модальностях не приведены. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3 с размерами примерно от 0,78 до 6,18 ГБ. Для большинства сценариев рекомендуются варианты Q4–Q6, обеспечивающие баланс качества и требований к памяти. Сильными сторонами являются компактный размер, возможность автономного запуска на локальном оборудовании и широкий выбор уровней квантизации. Более низкие варианты экономят память, но снижают качество; некоторые форматы являются устаревшими. Для корректного взаимодействия следует использовать шаблон prompt в формате ChatML, указанный в README. Модель распространяется по лицензии Apache-2.0.

DoubleTrouble — мультимодальная плотная модель семейства Qwen3.5, созданная OliviaRossi слиянием двух дообученных моделей Qwen: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored и Jackrong/Qwopus3.8-27B-Flash. Карточка указывает размер 27,5 млрд параметров, 64 слоя и архитектуру Qwen3_5ForConditionalGeneration; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста, рассуждений, творческих и технических задач, быстрого применения инструментов и агентных сценариев. В README заявлены мультимодальность и поддержка длительных контекстов, однако конкретная длина контекста и подробности обработки изображений не приведены. Автор сообщает, что удалил вспомогательный слой MTP и настроил слияние для сохранения характеристик исходных моделей; это заявления карточки, а не независимая оценка качества или совместимости. Модель рассчитана прежде всего на английский и китайский языки. Её отличительные заявленные свойства — сочетание творческой генерации и агентного исполнения, а также ослабление отказов. Это может приводить к выдаче нежелательного или небезопасного контента. Лицензия — Apache-2.0.

EXAONE-Deep-32B GGUF — квантизированная GGUF-версия языковой reasoning-модели EXAONE-Deep 32B, разработанной LG AI Research. Репозиторий Mungert содержит вариант базовой модели LGAI-EXAONE/EXAONE-3.5-32B-Instruct, преобразованный с помощью llama.cpp. Модель предназначена для генерации текста, решения математических задач, рассуждений, программирования и диалогового использования. Модель содержит около 30,95 млрд параметров без эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 Q-головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, контекст — до 32 768 токенов. Заявлена поддержка английского и корейского языков. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp; конкретные характеристики зависят от выбранного уровня квантизации. Ключевая особенность сборки — экспериментальный подход к квантизации: отдельные важные слои переводятся в более высокую точность с помощью tensor-type bumping. Это может повысить точность при заданном размере файла, особенно на низких уровнях квантизации, но увеличивает объём модели. Модель ориентирована на задачи, требующие рассуждений, однако README не содержит полной информации о требованиях к оборудованию, ограничениях применения и сравнительных результатах именно этой GGUF-сборки. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

Falcon3-MoE-2x7B-Instruct — инструктивная языковая модель с архитектурой Mixture of Experts, созданная объединением двух моделей Falcon3-7B-Instruct. В README заявлено 13,4 млрд параметров и формат BF16; метаданные указывают 7,1 млрд параметров. Модель основана на Falcon3-7B-Instruct от TII, а репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и генерации ответов по инструкциям. Базовая Falcon3-7B-Instruct рассчитана на задачи понимания языка, следования инструкциям, рассуждений, программирования и математики; контекст составляет до 32 768 токенов. В карточке для базовой модели перечислены английский, французский, испанский и португальский языки. Метаданные также отмечают интерфейс для вызова инструментов. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в репозитории. Описание не содержит отдельных оценок качества или ограничений для MoE-версии; заявленные возможности базовой модели не следует считать подтверждёнными сравнительными результатами этой сборки.

Darwin-35B-A3B-Opus — мультимодальная модель типа mixture-of-experts, разработанная командой FINAL-Bench и опубликованная в GGUF-квантизациях пользователем bartowski. Модель предназначена для генерации текста, сложных рассуждений, работы с мультиязычными запросами, задачами программирования, агентскими сценариями и вызовами инструментов. Заявлена поддержка обработки изображений и текста, а также длинного контекста до 262 тысяч токенов. Модель содержит 35 миллиардов параметров, из которых около 3 миллиардов активируются на один запрос, однако конкретные архитектурные детали в README не указаны. Заявлена поддержка 201 языка; среди явно перечисленных — английский, китайский, корейский, японский, немецкий, французский, испанский, русский и арабский. В качестве ориентиров приведены непроверенные результаты: 90% на GPQA Diamond и 85% на MMMLU. Доступны варианты от BF16 и Q8_0 до более компактных IQ4 и Q4, причём README рекомендует ряд Q4–Q6-квантизаций как компромисс между качеством и размером. Сильными сторонами модели являются заявленные продвинутые способности к рассуждению, мультимодальность, многоязычность, поддержка длинного контекста и широкий выбор квантизаций для локального запуска через llama.cpp и совместимые приложения. Ограничения включают крупные требования к дисковому пространству и вычислительным ресурсам, зависимость возможностей от используемого варианта квантизации и отсутствие подтверждённых в README результатов тестирования. Модель и её квантизации распространяются по лицензии Apache-2.0.

Functionary Medium v3.0 — языковая модель семейства Llama, разработанная meetkai для диалога и вызова функций или плагинов. Она принимает определения инструментов в формате JSON Schema и может решать, когда вызвать их, запускать вызовы последовательно или параллельно, интерпретировать результаты и формировать ответы с опорой на полученные данные. Если инструмент не нужен, модель отвечает обычным сообщением; также заявлена поддержка code interpreter. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и работает с контекстом до 8192 токенов. Для запуска авторы рекомендуют OpenAI-совместимый сервер vLLM; карточка также описывает шаблон диалога и код для разбора ответов с вызовами инструментов. Репозиторий содержит веса PyTorch, лицензия — MIT. Модель предназначена для построения разговорных приложений с вызовом внешних инструментов. Для работы с инструментами требуется передавать их определения в ожидаемом формате и корректно обрабатывать структуру вызовов. README не приводит количественных оценок качества; заявленная в карточке сравнительная характеристика с GPT-4 не подкреплена результатами тестирования.

Gemma2-9b-it-train3 — плотная авторегрессионная языковая модель семейства Gemma 2, опубликованная ehristoforu. Это дообученная версия ehristoforu/Gemma2-9b-it-train2, обученная с использованием Unsloth и библиотеки TRL; в карточке также указан датасет HuggingFaceH4/CodeAlpaca_20K. Модель содержит 9 млрд параметров, работает с текстом и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; связь с CodeAlpaca указывает на примеры задач по генерации кода, но карточка не приводит отдельной оценки качества. Опубликована в формате PyTorch под лицензией Apache-2.0.

google/gemma-2b-AWQ — AWQ-квантизированная версия базовой модели Gemma-2B, разработанной Google. Это компактная decoder-only большая языковая модель с открытыми весами, обученная на основе технологий, использованных при создании Gemini. Модель работает с текстом и ориентирована преимущественно на английский язык. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений, работы с программным кодом и математическими запросами. Она принимает текстовые строки, включая вопросы, инструкции и документы, а возвращает сгенерированный английский текст. Небольшой размер делает её подходящей для запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами; также предусмотрено последующее дообучение. При обучении использовалось около 6 триллионов токенов из веб-документов, кода и математических материалов с применением фильтрации вредоносного и чувствительного контента. README не указывает размер контекстного окна и конкретные характеристики архитектуры помимо класса decoder-only. Это базовая, а не instruction-tuned версия, поэтому для диалоговых сценариев и точного следования инструкциям могут потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация AWQ снижает требования к ресурсам, но её влияние на качество зависит от задачи и среды запуска. Использование регулируется лицензией Google Gemma Terms of Use; для доступа на Hugging Face требуется принять условия лицензии. Лицензия указана как gemma-terms-of-use.

ZeroXClem/Gemma3-4B-Arceus-Servant — мультимодальная модель для диалогов, созданная ZeroXClem путём слияния нескольких моделей семейства Gemma 3 методом MODEL STOCK. В состав вошли Gemma3-Callous-Calla-4B, Meteor_4B_V.1, scout-4b, gemma-3-4b-it-claude, Gemma3-Code-Reasoning-4B и gemma-3-4b-it-abliterated. Модель основана на архитектуре Gemma 3 4B с 34 слоями и использует формат safetensors; README также указывает точность bfloat16. Модель предназначена для диалогов, ответов на вопросы по изображениям, генерации текста, программирования и творческого письма. В карточке заявлены рассуждения с учётом ограничений и высокая точность следования инструкциям. Эти качества описаны разработчиком, но независимые результаты оценки не приведены. Лицензия — Apache-2.0. Среди ограничений: заявленная в README ослабленная система отказов означает, что модель может охотнее отвечать на запросы, от которых другие модели отказываются; перед применением в чувствительных сценариях ответы следует проверять.

fraQtl/Gemma-4-E2B-it-Hi-Fi-GGUF — это GGUF-квантизация модели google/gemma-4-E2B-it, подготовленная fraQtl с использованием calibration-aware per-tensor quantization. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Заявлены английский язык, работа без подключения к сети и сценарии edge/on-device. В репозитории представлены варианты Q4_K_M: изоразмерный файл объёмом около 3,46 ГБ с эффективными 5,93 битами на вес и телефонный вариант около 2,86 ГБ с 4,89 битами на вес. По приведённым измерениям, они точнее воспроизводят распределения исходной модели в сравнении с указанным community Q4_K_M baseline. На iPhone 16-класса для демонстрационного сценария заявлены около 516 МБ resident memory, примерно 12 токенов в секунду в интерактивном режиме и 21,6 токена в секунду в тесте генерации на 256 токенов. Модель подходит для офлайн-ассистентов, общих вопросов, генерации кода, чтения документов и работы в приложениях, где действия выполняются отдельным детерминированным программным слоем. В демонстрации поддерживаются голосовой ввод, озвучивание ответов, календарные операции и работа с контактами, однако распознавание речи, синтез речи и фактическая запись событий выполняются компонентами приложения, а не самой языковой моделью. По замыслу отсутствуют сетевые вызовы, доступ к электронной почте и сообщениям; квантизация может снижать точность по сравнению с исходной bf16-моделью. Лицензия — Apache 2.0.

noctrex/GLM-4.7-Flash-MXFP4_MOE-GGUF — квантизированная версия диалоговой MoE-модели GLM-4.7-Flash от Z.ai, представленная в формате GGUF. Репозиторий содержит вариант квантования MXFP4_MOE. Модель предназначена для диалоговой генерации текста. Базовая GLM-4.7-Flash также описана как модель для рассуждений и программирования; для общего чата README приводит рекомендуемые параметры генерации. Указан интерфейс чата и рекомендации для вызова инструментов. Квантование может снизить требования к памяти при запуске, но карточка не сообщает о замерах качества или скорости именно этой версии. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

GLM-5.2-JANGTQ — версия GLM-5.2, подготовленная bearzi для запуска через MLX на компьютерах Apple с Apple silicon. Она предназначена для генерации текста и диалогов; базовая модель GLM-5.2 также рассчитана на программирование и длительные задачи. Архитектура указана как glm_moe_dsa, класс — GlmMoeDsaForCausalLM; всего 30,4 млрд параметров, контекст — до 1 048 576 токенов. В профиле JANGTQ_2L внимание и общие эксперты хранятся в FP16, а маршрутизируемые эксперты — в 2-битном представлении. Для загрузки требуются пакет jang-tools или vMLX; обычные MLX, LM Studio и Ollama не поддерживаются. Токенизатор базовой модели требует tiktoken, blobfile и разрешения на пользовательский код. Репозиторий распространяется по лицензии MIT.

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

Mungert/gpt-oss-20b-heretic-GGUF — это GGUF-версия декензурированной модели OpenAI gpt-oss-20b, созданная пользователем Mungert с применением Heretic v1.0.0 и преобразованная с помощью llama.cpp. Модель предназначена для генерации текста, локального запуска и специализированных сценариев, включая задачи рассуждения, разработку и агентские приложения, поддерживаемые исходной моделью. Для корректной работы требуется формат ответов Harmony. Исходная gpt-oss-20b имеет архитектуру Mixture of Experts: около 21 млрд параметров, из которых примерно 3,6 млрд активны при обработке запроса. Модель выпускается в формате GGUF; автор также применяет специальное повышение точности отдельных слоёв при квантовании, что может улучшать качество при увеличении размера файла. Доступны настраиваемые уровни усилий рассуждения, а исходная модель поддерживает вызов функций, веб-навигацию, выполнение Python-кода и структурированные ответы. Языки и размер контекста в предоставленных данных не указаны. Главная особенность этой версии — снижение склонности к отказам: в приведённом сравнении модель отказалась в 58 из 100 случаев против 100 из 100 у исходной модели, однако это сопровождается отличием от оригинала, измеренным KL-дивергенцией 0,96. Лицензия Apache 2.0 допускает свободное использование, модификацию и коммерческое развёртывание. Показатели качества, безопасность декензурированной версии и совместимость конкретных квантов зависят от выбранного GGUF-файла и требуют самостоятельной проверки.

Granite-34B-Code-Base-8K — базовая авторегрессионная модель для генерации кода, разработанная IBM Research. Она предназначена для создания и объяснения кода, исправления ошибок, написания модульных тестов и документации, поиска уязвимостей, перевода кода и других задач программной инженерии. Модель построена на архитектуре GPTBigCode и содержит 34 млрд параметров. Её обучали с помощью увеличения глубины модели Granite-20B-Code-Base в два этапа на данных из 116 языков программирования, а также на текстовых и математических данных. Контекст составляет 8192 токена; репозиторий использует формат safetensors и библиотеку Transformers. Модель не проходила выравнивание безопасности. Сгенерированный код может содержать ошибки или проблемные фрагменты, поэтому его следует проверять; также существует риск дословного воспроизведения обучающих данных. README не рекомендует выбирать её для новых проектов и описывает выпуск как предназначенный для исторических и научных целей. Лицензия — Apache 2.0.

Это квантованная версия Qwen3.5-35B-A3B, доработанная huihui-ai в стиле Claude 4.6 Opus и опубликованная cesarsal1nas в формате GGUF. Модель предназначена для диалогов, следования инструкциям, программирования, рассуждений, генерации структурированных ответов и работы с инструментами. Она также поддерживает обработку изображений при использовании отдельного vision-проектора. Архитектура — qwen35moe: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов, из которых активируются 8. Используется квантование Q4_K_M с размером основного файла около 20 ГБ; vision-проектор F16 занимает около 858 МБ. Заявленная длина контекста — 262 144 токена, однако в примерах запуска рекомендуется 131 072. Языки в README не указаны. К сильным сторонам относятся сочетание MoE-архитектуры с относительно небольшим числом активных параметров, поддержка текста и изображений, а также заявленная пригодность для reasoning, coding и tool use. Модель подвергнута abliteration: механизмы отказа и ограничения выравнивания удалены, поэтому её ответы могут быть менее безопасными и требуют особенно внимательного контроля. Указанные возможности основаны преимущественно на тестировании автора в Hermes Agent; независимые оценки качества не приведены. Лицензия — Apache 2.0.

TelperionAI/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 27-миллиардная смешанно-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная с помощью llm-compressor. Основные MLP-слои используют NVFP4, часть модулей — FP8, а эмбеддинги, нормализации, vision tower и MTP-голова сохранены в BF16. Размер модели составляет около 24,7 ГБ. Для нативного NVFP4 требуется GPU архитектуры Blackwell; запуск ориентирован на vLLM и поддерживает tensor parallelism. Максимальный размер контекста в README не указан. Модель предназначена для высокопроизводительной генерации текста, включая программирование, математику, STEM, диалоги и мультиязычные сценарии. В комплекте присутствует MTP-голова для speculative decoding, однако её acceptance rate не измерен. На Blackwell заявлена существенно более высокая скорость декодирования по сравнению с INT4-сборкой, но с большей потерей точности относительно BF16-версии. Оценка проводилась только на одном корпусе и без downstream-бенчмарков; vision tower не квантизован, а модель тестировалась преимущественно как текстовая. Базовая модель была подвергнута abliteration: upstream из неё удалены направления, связанные с отказами, и это поведение наследуется данной версией. Модель распространяется по лицензии Apache-2.0.

ice-AI-i1-GGUF — это набор квантованных вариантов модели ice-AI, разработанной darkps и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования; заявлена поддержка нескольких языков. Представлены файлы с различными уровнями квантования, поэтому модель можно запускать на системах с разным объёмом доступной памяти и выбирать компромисс между размером, скоростью и качеством. В репозитории доступны варианты от i1-IQ1_S размером около 2,2 ГБ до i1-Q6_K размером около 6,8 ГБ. Для некоторых вариантов указаны преимущества и ограничения: Q4_K_M обозначен как быстрый и рекомендуемый, Q4_K_S — как оптимальный по соотношению размера, скорости и качества, а отдельные низкобитные варианты характеризуются более низким качеством. Точная архитектура, число параметров, размер контекста, перечень языков и мультимодальные возможности в README не указаны; по описанию модель является текстовой и не поддерживает заявленные мультимодальные сценарии. Лицензия — Apache-2.0.

Infinity-Instruct-3M-0625-Qwen2-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Qwen2-7B на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625 с supervised instruction tuning, без RLHF. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров; она принимает текст и ведёт диалог по шаблону Qwen2-7B-Instruct. Заявленная длина контекста — 131 072 токена. Модель предназначена для выполнения инструкций, ответов на вопросы и многоходового диалога; авторы сообщают о результатах на AlpacaEval 2.0 и MT-Bench, включая вопросы по коду, математике и повседневные диалоги. Поддерживаемый язык в метаданных — английский. Модель распространяется по лицензии Apache-2.0, однако карточка проекта ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

INTELLECT-1-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели INTELLECT-1-Instruct от PrimeIntellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста по инструкциям и может запускаться локально, в том числе через LM Studio. Доступны варианты от полноразмерных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4. Размер файлов составляет примерно от 5,6 до 40,85 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Указан английский язык; поддерживаются текстовые сценарии, включая общение по инструкциям, программирование, математику и работу с данными обучения, перечисленными в карточке. Архитектура, число параметров, максимальный контекст и мультимодальные возможности в README не указаны. Сильная сторона набора — широкий выбор квантизаций для локального запуска и наличие вариантов, оптимизированных для отдельных ARM-конфигураций. Ограничения зависят от выбранного варианта: более компактные квантизации могут снижать качество, а некоторые ARM-версии требуют конкретных аппаратных возможностей и не рекомендуются для Mac или GPU. Модель распространяется по лицензии Apache-2.0.

Josiefied-Qwen3-8B-abliterated-v1 — диалоговая языковая модель, разработанная Gökdeniz Gülmez на основе Qwen/Qwen3-8B и дообученная для более свободных ответов с сохранением следования инструкциям и поддержки вызова инструментов. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и распространяется в формате safetensors для Transformers; заявленная длина контекста — 40 960 токенов. Модель предназначена для генерации текста в диалоге, ответов на инструкции и сценариев, где требуется менее ограниченная фильтрация ответов. Метаданные базовой модели указывают на многоязычные возможности, работу с рассуждениями и кодом. Автор перечисляет сторонние варианты в форматах GGUF и MLX, но карточка этого репозитория указывает safetensors. Модель разработал и распространяет Gökdeniz Gülmez. Лицензия в предоставленных данных не указана. Автор предупреждает о сниженной фильтрации безопасности: модель может выдавать чувствительный или спорный контент, а качество и безопасность ответов не гарантируются.

JoyFox-OmniFlow-9B — мультимодальная модель общего назначения от JoyFox на основе OpenBMB MiniCPM-o 4.5. Она поддерживает диалог на английском, китайском и других языках, выполнение инструкций, ответы на сложные вопросы, математические рассуждения, генерацию кода, ролевые сценарии и вызов инструментов. Модель принимает текст, изображения, видеокадры и аудио, а также поддерживает потоковое взаимодействие в режиме full-duplex с одновременным аудио- и визуальным вводом и текстовым или речевым выводом. Архитектура MiniCPMO включает языковую модель, визуальный и аудиоэнкодеры, мультимодальные проекционные слои и модуль синтеза речи. В README указан размер 9B, а метаданные сообщают 7,6 млрд параметров; контекст — до 40 960 токенов. Релиз распространяется в BF16 Safetensors и включает ресурсы для TTS и клонирования голоса по образцу аудио. Для полной потоковой генерации речи требуются дополнительные зависимости minicpmo-utils[all]. Модель загружается через Transformers; в README описана проверка полной загрузки на GPU NVIDIA RTX PRO 6000 Blackwell. Независимые внешние результаты бенчмарков не приведены; качество потокового взаимодействия зависит от конфигурации аудио и видео и среды выполнения. Возможны неточные, предвзятые или неподходящие ответы, а схемы и аргументы вызова инструментов требуют проверки. Лицензия — Apache-2.0.

Jupyter Agent Qwen3-4B Instruct — дообученная командой Jupyter Agent языковая модель на архитектуре Qwen3 для агентного анализа данных в среде Jupyter. Модель имеет 3,7 млрд параметров, принимает текстовые инструкции и генерирует текст и код Python; заявленный контекст — до 262 144 токенов. В README указано ограничение в 32K токенов, поэтому фактический рабочий контекст может быть меньше значения из метаданных. Модель предназначена для выполнения кода Python через инструменты, анализа таблиц и наборов данных, статистических расчётов, визуализации и подготовки объяснений с промежуточными вычислениями. В карточке сообщается, что на лёгких задачах DABStep модель набрала 70,8% против 44,0% у базовой модели; результаты не гарантируют точность на других данных и задачах. Модель оптимизирована для английского языка, Python и сценариев анализа данных в стиле Kaggle. Для вызова инструментов ей нужна подходящая обвязка, а выполнение сгенерированного кода следует проводить в изолированной среде и проверять результаты. Лицензия — Apache 2.0.

Это 16-битная конверсия языковой модели IFM/K2-Horizon-7B в формат MLX, подготовленная SirSahOl для запуска на GPU компьютеров Apple Silicon. Модель плотная, с архитектурой K2HorizonForCausalLM; в метаданных указано 8B параметров, а в README — 7B. Контекст модели — до 524 288 токенов, формат весов — safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и генерации текста при локальном инференсе, включая работу с длинными документами, рассуждения и программирование. Она использует 16-битные веса без квантизации и требует около 15,2 ГБ объединённой памяти; README рекомендует не менее 24 ГБ. Конверсия ориентирована на Apple Silicon и MLX, поэтому для других платформ этот формат может не подойти. В карточке заявлена поддержка английского языка.

K2-Horizon-7B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-7B, разработанной IFM. Данный репозиторий подготовлен сообществом и предназначен для запуска модели локально через llama.cpp. Релиз является только квантизированной конверсией: обучение, дообучение, объединение моделей и иные изменения весов не выполнялись. Исходная модель представляет собой плотную reasoning-модель с 7B параметров и заявленным контекстом до 524 288 токенов. Она ориентирована на генерацию текста, рассуждения, программирование, работу на английском и китайском языках, обработку длинного контекста и agentic-сценарии. В набор входят варианты квантизации от Q8_0 до Q1_0, позволяющие выбирать компромисс между требованиями к памяти и близостью поведения к BF16-версии. По проведённому пилотному тесту Q4_K_M является практичной отправной точкой для локального использования, а Q5_K_M и Q6_K лучше сохраняют поведение исходной модели; более компактные варианты требуют проверки на целевой задаче. Модель поддерживает запуск и проверку генерации в llama.cpp, однако авторы этого релиза отдельно отмечают, что tool calling и полный upstream-набор бенчмарков повторно не оценивались, а включённый шаблон чата не является сертифицированным полным tool-aware шаблоном. Результаты проверки измеряют близость следующего токена к BF16 и не являются прямой оценкой сохранённых прикладных возможностей. Распространение выполняется по Apache License 2.0 с сохранением атрибуции и лицензии; релиз не является официальной публикацией или одобрением IFM.

KoAlpaca-RealQA-Solar-Ko-Recovery-11B-Merged — разговорная языковая модель, разработанная beomi. Это слитая LoRA-модель на базе beomi/Solar-Ko-Recovery-11B, дообученная для ответов на вопросы и диалоговых сценариев. Модель использует плотную авторегрессионную архитектуру LlamaForCausalLM и содержит 10,7 млрд параметров; максимальный контекст — 4096 токенов. Репозиторий распространяет веса в формате safetensors. Модель предназначена для генерации текста в диалоге, понимания запросов, письма, рассуждений, решения математических задач и помощи с кодом. В README приведены результаты оценки LogicKor для одно- и многоходовых сценариев, включая режимы с одним примером и пошаговым рассуждением. Базовая модель ориентирована на корейский и английский языки; README не уточняет отдельные языковые показатели этой версии. Лицензия — Apache-2.0.