II.4Отладка, тестирование и качество ПО

GPT-OSS-20B-Pruned-28x — сжатая версия модели OpenAI GPT-OSS-20B, подготовленная автором репозитория TOk-Atsuru удалением экспертов из разреженной MoE-архитектуры Transformer. В каждом слое оставлено 28 из 32 экспертов; модель содержит 20,9 млрд параметров, из которых 3,6 млрд активны на токен. Она распространяется в формате GGUF и предназначена для генерации текста и диалогов, включая ответы на вопросы, рассуждения, решение математических задач и генерацию кода. По README, размер файла составляет 10,40 ГБ, что позволяет запускать модель при наличии 16 ГБ оперативной памяти; для инференса рекомендован llama.cpp, поддерживаются Apple Silicon, CUDA и CPU. Автор сообщает о результатах 78% на MMLU, 92% на GSM8K и 80% на тесте генерации кода, однако объём проверок невелик, а сравнение GSM8K с исходной моделью некорректно из-за разных размеров выборок. Модель предназначена прежде всего для английского языка; проверка специализированных областей и многоязычных сценариев не описана. Лицензия — Apache 2.0. README указывает, что дальнейшее удаление экспертов резко ухудшает качество, а поведение на отдельных примерах может отличаться от исходной модели. Для надёжного вывода автор рекомендует задавать max_tokens не менее 500 из-за расхода токенов на внутренний канал рассуждений.

Granite 3.0 1B A400M Instruct — это компактная инструкционная языковая модель семейства Granite, разработанная IBM и опубликованная как ibm-granite/granite-3.0-1b-a400m-instruct. Данный репозиторий содержит её квантованные варианты в формате GGUF, подготовленные bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, рассуждения, базовые математические задачи, работу с кодом и мультиязычные сценарии. В названии указаны 1B параметров и архитектурная конфигурация A400M; точные сведения об архитектуре, размере контекста и поддерживаемых языках в README не приведены. Доступны варианты от F16 до Q4 и ниже, с размером файлов примерно от 0,77 до 2,67 ГБ. Квантование позволяет запускать модель локально при меньших требованиях к памяти; варианты Q5 и Q6 заявлены как высококачественные, а Q4 — как компромисс между качеством и размером. Для работы рекомендуется использовать совместимое ПО, например LM Studio, с указанным форматом prompt. Модель подходит для локальных приложений, чат-ассистентов и задач, где важны небольшие требования к ресурсам. Ограничения включают меньший размер по сравнению с крупными языковыми моделями и потенциальные потери качества при агрессивном квантовании; приведённые benchmark-результаты относятся к базовой модели и представлены неполно. Лицензия — Apache 2.0.

grug-3b — диалоговая языковая модель ProCreations на архитектуре NanbeigeForCausalLM с плотной архитектурой и 3,2 млрд параметров. Она дообучена на Nanbeige/Nanbeige4.2-3B и предназначена для генерации текста, рассуждений и решения задач в чате. Модель адаптивно распределяет усилия: отвечает кратко на простые вопросы и тратит больше шагов рассуждения на сложные; в числовых рассуждениях применяет повторную проверку вычислений. Карточка сообщает о контекстном окне до 262 144 токенов и поддержке английского языка. В приведённых авторами тестах grug-3b улучшила результат базовой модели на MATH-500 и ARC, но уступила ей на GSM8K, HumanEval и MBPP. Поэтому компромисс между расходом токенов и точностью зависит от типа задачи; для максимального результата в программировании README рекомендует базовую модель. Репозиторий содержит веса safetensors и исправление совместимости с Transformers 4.54 и новее. Лицензия — Apache-2.0.

INTELLECT-1-step-69200 — промежуточный чекпойнт языковой модели INTELLECT-1 от Prime Intellect и сообщества участников, включая Arcee AI и Hugging Face. Это плотная авторегрессионная модель семейства Llama примерно на 9,7 млрд параметров, обученная с нуля на триллионе токенов английских текстов и кода; данный вариант соответствует шагу обучения 69 200. В архитектуре указаны 42 слоя и 32 головы внимания, максимальный контекст — 8192 токена. Модель предназначена для генерации продолжений текста и кода на английском языке. Она создавалась с распределённым обучением на нескольких континентах; для обмена градиентами применялись пользовательские int8 all-reduce-ядра. В README этот файл обозначен как промежуточный чекпойнт, поэтому его качество и стабильность могут уступать финальной версии INTELLECT-1. Модель распространяется по лицензии Apache 2.0.

INTELLECT-1-step-88000 — промежуточный чекпойнт языковой модели INTELLECT-1 от Prime Intellect и сообщества участников. Модель обучалась с нуля как плотная авторегрессионная модель семейства Llama примерно на 10 млрд параметров; в метаданных указаны 9,7 млрд параметров и контекст до 8192 токенов. Обучение проводилось на триллионе токенов английского текста и кода, включая веб-тексты, математические материалы и код. Модель предназначена для генерации продолжений текста и кода на английском языке. Этот чекпойнт соответствует шагу обучения 88000 и является промежуточным состоянием, а не финальной или инструкционной версией INTELLECT-1. Модель выпущена под лицензией Apache 2.0.

Это 16-битная конверсия языковой модели IFM/K2-Horizon-7B в формат MLX, подготовленная SirSahOl для запуска на GPU компьютеров Apple Silicon. Модель плотная, с архитектурой K2HorizonForCausalLM; в метаданных указано 8B параметров, а в README — 7B. Контекст модели — до 524 288 токенов, формат весов — safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и генерации текста при локальном инференсе, включая работу с длинными документами, рассуждения и программирование. Она использует 16-битные веса без квантизации и требует около 15,2 ГБ объединённой памяти; README рекомендует не менее 24 ГБ. Конверсия ориентирована на Apple Silicon и MLX, поэтому для других платформ этот формат может не подойти. В карточке заявлена поддержка английского языка.

Kunoichi-DPO-7B — плотная авторегрессионная языковая модель семейства Mistral на 7,1 млрд параметров, созданная SanjiWatsuki. Это DPO-дообучение Kunoichi-7B на парах предпочтений Intel Orca с шаблоном Alpaca; модель предназначена для общего использования и принимает инструкции, выдавая текстовые ответы. В карточке отмечены улучшения следования инструкциям и рассуждений по сравнению с Kunoichi-7B, а также возможное снижение качества ролевых диалогов из-за выравнивания на данных Orca. Заявленное окно контекста — до 8192 токенов. Экспериментально его можно расширить до 16 тысяч токенов с NTK RoPE alpha 2.6. README приводит результаты нескольких бенчмарков и сообщает, что тестирование ещё продолжается, поэтому оценки следует считать предварительными. Репозиторий содержит веса в формате safetensors; лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения правообладателя.

LFM2.5-1.2B-JP-202606 — компактная текстовая чат-модель Liquid AI, дообученная на базе LiquidAI/LFM2.5-1.2B-Base. Она предназначена прежде всего для японских приложений, также поддерживает английский. В метаданных указано 1,5 млрд параметров и контекст 128 000 токенов; README приводит 1,17 млрд параметров и контекст 32 768 токенов. Архитектура — плотная LFM2 с 16 слоями: 10 блоками LIV-свёртки с двойным гейтингом и 6 блоками GQA. Модель подходит для диалоговых помощников, следования инструкциям, математики и кода, вызова инструментов, структурированных ответов и локальных персональных ассистентов. Разработчик отмечает улучшения в японском языке и рекомендует давать чёткие инструкции с ожидаемым форматом ответа. Модель не рекомендуется для задач, требующих обширных знаний. Лицензия в метаданных указана как other; конкретные условия следует сверять с карточкой репозитория.

lmstudio-community/Llama-3-Groq-8B-Tool-Use-GGUF — это GGUF-квантизация дообученной модели Llama 3 8B, разработанной Groq для использования инструментов и вызова функций. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, взаимодействия с API, работы со структурированными данными и выполнения сложных сценариев, в которых требуется выбирать и вызывать внешние инструменты. Модель поддерживает английский язык и использует текстовую модальность. В README указано 8 млрд параметров; размер контекста не указан. Для работы в LM Studio рекомендуется выбрать шаблон Llama 3. Ответы на вызовы функций оформляются в JSON внутри тегов tool_call, а доступные инструменты и их параметры передаются в системном запросе. Заявленная точность на Berkeley Function Calling Leaderboard составляет 89,06%. Сильная сторона модели — специализация на function calling, API-интеграциях и структурированном взаимодействии с инструментами. Ограничения включают отсутствие сведений о размере контекста и конкретных вариантах квантизации, а также ориентацию на английский язык; корректность вызовов зависит от качества описаний инструментов и используемого шаблона запроса. В метаданных указана лицензия llama3.

Это объединённая методом TIES модель семейства Llama 3.2, созданная с помощью mergekit на базе meta-llama/Llama-3.2-1B. В объединение вошли инструкция-настроенные и специализированные варианты Llama 3.2 1B, в том числе модели для медицинских вопросов, математики, программирования, SQL, commonsense QA и китайского языка. Модель содержит 1,2 млрд параметров и предназначена для генерации текста; заявленная длина контекста — 131 072 токена. Модель может быть полезна для диалогов и ответов на вопросы, включая медицинские, математические и общеобразовательные запросы, а также для генерации SQL и кода. Состав объединения предполагает широкий набор навыков, но карточка не приводит оценок качества или сравнительных тестов. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

NyxKrage/Microsoft_Phi-4 — это повторная публикация модели Microsoft Phi-4, разработанная Microsoft; README утверждает, что её веса идентичны Microsoft/Phi-4. Это плотная авторегрессионная языковая модель семейства Phi-3 с 14,1 млрд параметров и контекстом до 16 384 токенов. Репозиторий содержит веса в формате safetensors и поддерживает диалоговое применение. Модель предназначена для генерации текста общего назначения, включая рассуждения и логические задачи, а также для использования в сценариях с ограничениями по памяти, вычислениям и задержке. Она рассчитана прежде всего на английский язык и не предназначена для многоязычного применения. Модель может генерировать недостоверные или оскорбительные ответы, воспроизводить стереотипы и требует проверки результатов, особенно в чувствительных и высокорисковых сценариях; возможности генерации кода ограничены преимущественно Python и распространёнными библиотеками. В README указана лицензия other, поэтому конкретные условия следует сверять с лицензионными сведениями репозитория. Карточка описывает оценку безопасности и рекомендует проверять точность и безопасность для конкретного применения.

Ministral-3-14B-Reasoning-2512-Uncensored-i1-GGUF — квантизированная версия модели Ministral-3-14B-Reasoning-2512-Uncensored. Базовую модель разработал ccharnkij, а квантизацию выполнил mradermacher. Модель распространяется в формате GGUF и предназначена для локального запуска с использованием совместимых инструментов. Модель рассчитана на генерацию текста и задачи рассуждения, а также поддерживает обработку изображений вместе с текстом. Заявлены размер 14B параметров, мультимодальность и поддержка английского языка. В репозитории представлены варианты квантизации i1-IQ и i1-Q с размером файлов примерно от 3,4 до 8,3 ГБ; варианты различаются компромиссом между требованиями к памяти, скоростью и качеством. Для vision-функций могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и сочетание текстовых, визуальных и reasoning-сценариев. Ограничения включают возможное снижение качества при агрессивной квантизации, неизвестные в README размер контекста и архитектурные детали, а также отсутствие заявленных языков помимо английского. Модель распространяется по лицензии Apache-2.0.

Ministral-3-3B-Reasoning-2512-GGUF — это набор квантованных файлов модели в формате GGUF для исходной модели Ministral-3-3B-Reasoning-2512, разработанной компанией Mistral AI. Квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Формат GGUF удобен для запуска на локальных компьютерах и поддерживает варианты квантования с разной точностью — от 2 до 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Из доступных данных известно, что это модель класса 3B с текстовой модальностью и специализацией на reasoning-задачах. Архитектура исходной модели, поддерживаемые языки, размер контекста, точные параметры вариантов квантования и показатели качества в README не указаны. Возможности и качество зависят от выбранного файла квантования и используемого программного обеспечения. Лицензия в README не указана.

Qwen1.5-0.5B-Chat-GPTQ-Int4 — чат-модель семейства Qwen1.5, разработанная командой Qwen (Tongyi Qianwen). Это decoder-only языковая модель на архитектуре Transformer, предназначенная для диалогового взаимодействия и генерации текста. Модель подходит для создания ассистентов, ответов на вопросы, кратких объяснений и других сценариев text generation. Модель содержит около 0,5 млрд параметров и распространяется в квантизированном формате GPTQ с точностью Int4, что снижает требования к памяти по сравнению с полноточными вариантами. Она поддерживает текстовую модальность, английский язык и, согласно описанию семейства, мультиязычную работу и обработку кода. Заявлена поддержка контекста до 32K токенов. Архитектура включает SwiGLU и attention с QKV bias; для beta-версии Qwen1.5 group query attention и сочетание sliding window attention с full attention временно не использовались, за исключением отдельных вариантов семейства. Модель предварительно обучалась на большом объёме данных, а чат-версия дополнительно настраивалась с помощью supervised fine-tuning и direct preference optimization. Её сильные стороны — небольшой размер, пониженные требования к памяти благодаря Int4-квантизации и готовность к диалоговым сценариям. Ограничениями являются малый размер по сравнению с более крупными моделями семейства, возможное ухудшение качества при сложных задачах и ошибки при переключении языков; разработчики рекомендуют использовать параметры генерации из generation_config.json. Лицензия указана как tongyi-qianwen-research; применимые условия приведены в файле LICENSE репозитория.

Это компактная языковая модель Qwen3-1.7B на 1,7 млрд параметров, подготовленная для запуска на RK1820 и работы через LlamaPi. В основе — плотная архитектура Qwen3ForCausalLM; репозиторий содержит веса в формате GGUF. Модель разработала команда Qwen, а данная версия основана на Qwen/Qwen3-1.7B. Модель генерирует текст и подходит для диалогов, следования инструкциям, рассуждений и написания кода. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно — до 40 960 токенов. Метаданные указывают интерфейс для вызова инструментов. Модель распространяется по лицензии Apache-2.0. Это компактная модель для локального и периферийного запуска; качество ответов и скорость могут зависеть от устройства и конфигурации. README не приводит отдельной оценки качества этой сборки.

Это экспериментальная квантизация ASHQ1 модели Spark-X2.5-1.7B, подготовленная wepiqx на основе XHToken/Spark-X2.5-1.7B. Модель представляет собой плотный декодер архитектуры spark2_5 примерно на 1,7 млрд параметров; в репозитории представлены файлы GGUF, включая вариант BF16. Для запуска указана поддержка штатной llama.cpp. Модель предназначена для генерации текста и диалогов, а базовая Spark-X2.5 поддерживает задачи с кодом, переводом, рассуждениями и агентными сценариями. У неё гибридное внимание: один слой с полным вниманием на три слоя с оконным; заявлен контекст до 1 млн токенов. Карточка приводит сравнение перплексии вариантов квантизации, но отмечает, что такие результаты не являются достаточной оценкой качества, а ранжирование пока предварительное. Репозиторий распространяется по лицензии Apache-2.0. Это производный квантованный выпуск; качество и поведение могут зависеть от выбранного файла GGUF и степени снижения точности.

tau-1.8B — языковая модель компании M4-ai, основанная на архитектуре Qwen2 и дообученная продолжением предобучения Qwen1.5-1.8B на учебном наборе UltraTextbooks-2.0. В репозитории указано 1,8 млрд параметров, а метаданные Hugging Face сообщают 1,5 млрд; веса опубликованы в формате Safetensors. Модель поддерживает контекст до 32 768 токенов и предназначена для генерации текста и диалогового взаимодействия. Модель общего назначения, с особым акцентом на машинное обучение, математику и программирование. Её можно применять для ответов на учебные вопросы, краткого изложения материалов, создания образовательного контента, понимания и генерации кода, а также решения математических задач. В карточке названы английский и китайский языки; в качестве обучающего набора указан UltraTextbooks-2.0. Модель может воспроизводить ошибки и предвзятость данных обучения, поэтому ответы следует проверять, особенно в задачах с высокими последствиями. В метаданных указана лицензия «other» без уточнения её условий.

Urdandi-Qwen2.5-7B — объединённая языковая модель автора win10 на архитектуре Qwen2, созданная с помощью mergekit методом breadcrumbs_ties. При объединении использованы win10/Verdandi-Qwen2.5-7B как базовая модель и win10/Urd-Qwen2.5-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Карточка не приводит сведений о специализации по языкам, датасетах или прикладным областям. Лицензия в доступных данных не указана.

Agnuxo публикует локальную чат-модель Agente-GPT на базе семейства Qwen 2.5 с 3 млрд параметров. Репозиторий содержит веса в формате GGUF F32; модель предназначена для запуска, в частности, через Ollama и для генерации текста в диалоговом режиме. Автор позиционирует её как автономного агента для декомпозиции задач, координации агентов и помощи с генерацией кода, включая научные вычисления и машинное обучение. В карточке заявлена работа на испанском и английском языках, а лицензия указана как Apache 2.0. Данных о длине контекста и независимых оценках качества в предоставленных источниках нет. Заявленные агентные навыки не подтверждают сами по себе совместимость с конкретными инструментами или протоколами вызова функций.

Agents-A1-4B-Fable-Preview-heretic — текстовая чат-модель на архитектуре Qwen3.5, подготовленная авторами hotdogs путём абляции модели hotdogs/Agents-A1-4B-Fable-Preview с помощью heretic. Веса представлены в формате BF16 для Transformers; метаданные указывают 3,4 млрд параметров и контекст до 262 144 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения, планирования и вызова инструментов в формате Hermes/Qwen. Также заявлены помощь с кодом и ведение многоходового диалога. README сообщает о поддержке английского и тайского языков и снижении частоты отказов, однако это заявление автора, а не независимая оценка. Модель принимает текст и генерирует текст. README предупреждает, что из-за снятия защитных механизмов ответы могут быть оскорбительными, вредными или неуместными. Лицензия — AGPL-3.0.

Cogito-0.9.1-15B — разговорная аналитическая модель на 14 млрд параметров, разработанная ozaa77 и основанная на архитектуре Qwen3. Она предназначена для генерации ответов с проверкой предпосылок вопроса, поиском противоречий и оценкой уверенности; поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, включая структурированные рассуждения и ответы. В README приведены результаты на задачах знаний и рассуждений: MMLU-Pro, GPQA Diamond и MATH-500. Доступны веса safetensors для запуска через Transformers и совместимые среды. Контекстное окно составляет 40 960 токенов. Карточка описывает англоязычное применение; метаданные указывают английский язык. Модель может помогать анализировать аргументы, решать математические и научные задачи и отвечать на вопросы с оговоркой об уверенности. Результаты бенчмарков из README не гарантируют качество в конкретном применении. Лицензия — Apache-2.0.

Decision-2.0-Eos-0.8B — компактная плотная модель семейства Decision 2.0 от vLLM Semantic Router, дообученная на базе vllm-sr/Decision-1.0-Eos-0.8B. Принимает текст или JSON с контекстом и вопросами о кандидатах и за один проход оценивает варианты выбора, ответы «да/нет» и баллы, возвращая вероятности для ответов без генерации текста. Размер модели — 0,75 млрд параметров, длина контекста — 16 384 токена. Модель предназначена для классификации и ранжирования вариантов в сценариях принятия решений, когда по одному контексту нужно получить ответы на несколько вопросов. В README приведены результаты сравнительной оценки и медианное время 6 мс на один вопрос на одном GPU; эти показатели относятся к описанным условиям оценки. Репозиторий содержит веса safetensors и использует Transformers. Лицензия — Apache-2.0.

fraQtl/Gemma-4-E2B-it-Hi-Fi-GGUF — это GGUF-квантизация модели google/gemma-4-E2B-it, подготовленная fraQtl с использованием calibration-aware per-tensor quantization. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Заявлены английский язык, работа без подключения к сети и сценарии edge/on-device. В репозитории представлены варианты Q4_K_M: изоразмерный файл объёмом около 3,46 ГБ с эффективными 5,93 битами на вес и телефонный вариант около 2,86 ГБ с 4,89 битами на вес. По приведённым измерениям, они точнее воспроизводят распределения исходной модели в сравнении с указанным community Q4_K_M baseline. На iPhone 16-класса для демонстрационного сценария заявлены около 516 МБ resident memory, примерно 12 токенов в секунду в интерактивном режиме и 21,6 токена в секунду в тесте генерации на 256 токенов. Модель подходит для офлайн-ассистентов, общих вопросов, генерации кода, чтения документов и работы в приложениях, где действия выполняются отдельным детерминированным программным слоем. В демонстрации поддерживаются голосовой ввод, озвучивание ответов, календарные операции и работа с контактами, однако распознавание речи, синтез речи и фактическая запись событий выполняются компонентами приложения, а не самой языковой моделью. По замыслу отсутствуют сетевые вызовы, доступ к электронной почте и сообщениям; квантизация может снижать точность по сравнению с исходной bf16-моделью. Лицензия — Apache 2.0.

GLM-5.2-MXFP4-Mixed-CT-AutoRound — смешанная по точности версия модели GLM-5.2 от Z.ai, подготовленная Intel AutoRound в режиме RTN и упакованная в формат Compressed Tensor. Репозиторий основан на zai-org/GLM-5.2; в метаданных указана связь finetune, однако README описывает квантование весов до MXFP4 и MXFP8. Модель предназначена для генерации текста и диалогового применения; базовая GLM-5.2 также ориентирована на программирование и длительные задачи. Репозиторий использует safetensors и библиотеку Transformers, формат совместим с vLLM и поддерживает настройку вызова инструментов. README показывает пример запуска с ограничением контекста 4096 токенов; это параметр примера запуска, а не заявленный родной предел модели. Квантование в смешанной точности уменьшает требования к хранению и вычислениям по сравнению с полной точностью, но README не приводит оценок качества или скорости. Модель может выдавать фактически неверные ответы, предвзятый, оскорбительный или непристойный контент, поэтому перед применением необходима проверка безопасности. В метаданных указана лицензия other; условия коммерческого использования следует уточнить отдельно.

GoGPT2-13B — 13-миллиардная плотная языковая модель семейства Llama, основанная на Llama 2 и представленная разработчиком Golaxy. Она предназначена для генерации текста на китайском и английском языках: ответов на вопросы, написания и редактирования текстов, объяснения понятий и создания кода. Архитектура — LlamaForCausalLM; модель рассчитана на контекст до 4096 токенов и доступна в формате PyTorch. В примерах карточки показаны ответы на общие вопросы, создание рецензий и реализация алгоритма. Модель дообучена на китайском наборе Alpaca-GPT4; лицензия — Apache-2.0. Карточка также говорит о версиях GoGPT на 7B и 13B параметров, но не приводит подробностей их сравнительной производительности.

GPT-4o версии от 6 августа 2024 года — мультимодальная модель OpenAI. Карточка указывает на улучшенную поддержку структурированных ответов: можно передать JSON Schema через параметр response_format, чтобы задавать формат вывода. Модель предназначена для генерации ответов в заданной структуре, включая JSON. В метаданных задача классифицирована как image-text-to-text, однако приведённый фрагмент карточки не описывает конкретные сценарии обработки изображений, архитектуру, размер, поддерживаемые языки или длину контекста. Условия лицензии в предоставленных данных не указаны.

SirSahOl подготовил конверсию диалоговой языковой модели IBM Granite 4.1 3B в формат MLX для локального запуска на Apple Silicon. Это плотная авторегрессионная модель GraniteForCausalLM с 3,4 млрд параметров, весами в 16-битном формате и контекстом до 131 072 токенов. Репозиторий содержит веса safetensors и предназначен для инференса через MLX. Модель подходит для многоходового чата, генерации текста и локальных ассистентов, включая сценарии с кодом и вызовом инструментов, поддерживаемые базовой моделью. Главные преимущества этой версии — запуск на GPU Apple Silicon и сохранение 16-битной точности; для весов требуется около 7 ГБ объединённой памяти, а для комфортной работы рекомендуется не менее 16 ГБ. Скорость зависит от устройства и длины запроса, а длинный контекст требует дополнительной памяти. Это конверсия базовой модели ibm-granite/granite-4.1-3b с помощью MLX, а не самостоятельное дообучение. Лицензия — Apache-2.0. Версия рассчитана на Apple Silicon и не является универсальным форматом для GPU других производителей.

1024m/HPhi-4-00-fp16 — дообученная 1024m модель для генерации текста и диалогов. Она основана на unsloth/phi-4 и обучалась с использованием Unsloth и библиотеки TRL; архитектура в метаданных указана как LlamaForCausalLM, плотная, размер — 14,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 16 384 токенов и ориентирована на английский язык. Модель подходит для ведения диалога и генерации англоязычных ответов, рассуждений и кода. В репозитории представлены веса в формате safetensors. Лицензия — Apache-2.0.

Llama-3.1-8B-Reason-Blend-888k — экспериментальная плотная языковая модель от khulaifi95, дообученная на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для усиления способностей к рассуждению и диалогового использования; работает с шаблоном ChatML и поддерживает интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и принимает контекст до 131 072 токенов. В карточке указаны английский язык и лицензия other. Модель можно применять для диалоговых ответов, многошаговых рассуждений и задач, где нужно следовать инструкциям. Автор характеризует её как экспериментальную: качество может быть нестабильным и зависеть от гиперпараметров. Результаты таблицы оценок в README не заполнены; при использовании в продуктивной среде автор рекомендует safeguards и контроль человека.

Llama-3.2-1B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.2 1B Instruct, подготовленная bartowski. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или ресурсно-ограниченного вывода, включая диалоговые приложения и другие задачи обработки естественного языка. Из доступных данных известно, что это текстовая модель с архитектурой семейства Llama 3.2 и размером 1 млрд параметров в базовой версии; формат GGUF ориентирован на эффективный запуск средствами, поддерживающими этот формат. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Мультимодальность и размер контекстного окна в README не указаны. Небольшой размер является преимуществом для локального использования, однако по сравнению с более крупными моделями может ограничивать качество сложного рассуждения, точность и устойчивость ответов. Модель распространяется по Llama 3.2 Community License компании Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на указанных условиях, включая соблюдение Acceptable Use Policy. При распространении материалов необходимо предоставить копию лицензии, сохранить требуемое уведомление об авторстве и разместить обозначение «Built with Llama» в связанном интерфейсе или документации; для продуктов с более чем 700 млн активных пользователей в месяц предусмотрены дополнительные лицензионные требования.