II.4Отладка, тестирование и качество ПО

Это объединённая языковая модель на архитектуре Llama 3.2, созданная с помощью mergekit методом TIES. В качестве базовой модели указана meta-llama/Llama-3.2-1B; размер модели — 1,2 млрд параметров, длина контекста — до 131 072 токенов. Репозиторий создан в ноябре 2024 года, веса представлены в формате safetensors. Модель объединяет инструкционные и специализированные варианты Llama для ответов на вопросы, математических рассуждений, медицинских вопросов, работы с SQL и генерации кода. Она предназначена для текстового ввода и генерации текста; карточка не описывает результаты оценки качества или гарантии выполнения всех перечисленных навыков. Для использования действует лицензия базовой модели Meta-Llama; конкретные условия лицензирования объединённых весов следует сверить с карточками исходных моделей.

Phi-4-reasoning-plus-GGUF — это набор квантизированных версий языковой модели Phi-4-reasoning-plus, разработанной Microsoft и преобразованной в формат GGUF автором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и задач, требующих рассуждений. В README указана поддержка английского языка и рекомендована температура генерации 0. Доступны варианты от исходных весов BF16 размером 29,32 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K и других объёмом примерно от 8,4 до 15,6 ГБ. Разные варианты позволяют выбирать баланс между качеством, размером и требованиями к ресурсам; наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K и Q4_K_M. Модель рассчитана на локальный запуск через LM Studio, llama.cpp и совместимые проекты. Архитектура, число параметров, размер контекста и мультимодальные возможности в README не указаны; заявлена только текстовая генерация. Лицензия — MIT. Ограничения связаны с использованием квантизированных весов: качество и требования к памяти зависят от выбранного варианта, а некоторые форматы обозначены как устаревшие. Для корректной работы требуется соблюдать рекомендованный шаблон промпта Phi и использовать совместимое программное обеспечение.

MiniCPM5-2B-heretic — производная версия MiniCPM5-2B, представленная в репозитории Dingdust и ориентированная на генерацию текста в диалогах. Это плотная причинная языковая модель на архитектуре LlamaForCausalLM с 2,2 млрд параметров по метаданным и контекстом до 131 072 токенов. Карточка описывает исходную MiniCPM5-2B как компактную модель для локальных ассистентов, программирования, математических рассуждений, работы с длинным контекстом, вызова инструментов и агентных сценариев на устройствах с ограниченными ресурсами. В метаданных отмечены английский и китайский языки, а также теги uncensored и abliterated; конкретный способ получения версии heretic и её отличия от исходных весов в карточке не раскрыты. Указан формат safetensors и библиотека Transformers. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; для чувствительных тем они не заменяют консультацию специалиста.

JANGQ-AI/Mistral-Small-4-119B-A6B-JANG_2L — версия Mistral Small 4, подготовленная Jinho Jang с использованием открытого метода адаптивного квантования JANG и предназначенная для запуска на Apple Silicon через MLX. В README указаны архитектура Mistral Small 4 с MLA attention, 128 MoE-экспертами и визуальным энкодером Pixtral; размер модели — 119 млрд параметров, из которых активны около 6 млрд на токен. Репозиторий содержит веса safetensors, а вариант JANG_2L использует смешанную разрядность около 2,14 бита. Модель предназначена для диалогов и генерации текста, включая рассуждения, ответы на вопросы, математические задачи и написание кода. Она также принимает изображения для визуального анализа; README указывает максимальное разрешение 1540 пикселей и режим рассуждений с тегами [THINK]. Заявлены размер файлов около 30 ГБ и пиковое потребление памяти около 40 ГБ, поэтому автор рекомендует Mac с 48 ГБ объединённой памяти и MLX Studio для поддержки JANG. В метаданных указана лицензия Apache-2.0 и связь с базовой моделью mistralai/Mistral-Small-4-119B-2603. Заявления README о скорости и результатах MMLU являются результатами автора; они не описывают независимую оценку качества. Сильное квантование может влиять на точность, а для запуска нужны совместимая среда MLX и достаточно памяти.

TokenRhythm/NeoHorse-1-4B-MLX — версия модели NeoHorse-1-4B для локального запуска на компьютерах Apple Silicon. Это плотная языковая модель на архитектуре Qwen3.5 с 3,4 млрд параметров, представленная в формате BF16 и адаптированная для среды MLX-LM. Модель создана TokenRhythm; исходные веса преобразованы из BF16 с изменением имён и расположения тензоров и представления нормализации, без квантизации. Модель предназначена для диалога, следования инструкциям, программирования, рассуждений и агентных сценариев с вызовом инструментов. Для запуска требуется MLX-LM; карточка описывает OpenAI-совместимый API и обработку вызовов инструментов через шаблон чата. Указанное в README среднее по десяти бенчмаркам относится к исходной NeoHorse-1-4B, а не к отдельной оценке MLX-версии. Лицензия — Apache-2.0.

NinjaDolphin-7B — объединённая модель на основе Mistral, созданная FelixChao с помощью метода dare_ties. Она сочетает FelixChao/WizardDolphin-7B и две модели, ориентированные на программирование: beowolx/CodeNinja-1.0-OpenChat-7B и beowolx/MistralHermes-CodePro-7B-v1. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и кода, включая дополнение кода и решение задач по программированию. В README приведён результат 52,44 на HumanEval для генерации Python-кода без инструкций и постобработки. Файлы опубликованы в формате safetensors. Лицензия — Apache-2.0.

AtomicChat/Ornith-9B-GGUF — это квантизированная в формат GGUF версия языковой модели Ornith 1.0 9B, разработанной DeepReinforce и самостоятельно квантизированной командой Atomic Chat на основе оригинальных весов. Модель предназначена для локальной и полностью офлайн-работы, включая генерацию текста, диалоговые сценарии и задачи программирования. Она распространяется в нескольких вариантах квантизации, подходящих для запуска через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Модель имеет плотную decoder-архитектуру с 32 слоями, 16 attention heads и 4 KV heads; в README также указана реализация Qwen3_5ForConditionalGeneration. Заявленная длина контекста — до 262 144 токенов, размер словаря — 248 320 токенов. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые GGUF-версии без vision projector. Доступны варианты IQ4_XS, Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; применение importance matrix должно снижать потери качества при низкой разрядности. Сильными сторонами являются большой контекст, офлайн-запуск, широкий выбор размеров файлов и ориентация исходной модели на coding agents и самоулучшающееся обучение с использованием reinforcement learning. Заявленные benchmark-результаты относятся к базовой модели DeepReinforce, а не к независимым измерениям этого репозитория; качество квантизированных версий может отличаться. Для корректного диалога требуется применять chat template Ornith 1.0 через параметр --jinja. Модель распространяется по лицензии MIT.

Phi-3-medium-4k-instruct-GGUF — это квантизированная GGUF-версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Указана поддержка нескольких языков, но их точный перечень в карточке не приведён. Модель использует архитектуру Phi, имеет контекст до 4000 токенов и поддерживает формат GGUF с вариантами квантизации от 2 до 8 бит, а также f16. Размер файлов составляет примерно от 5,14 до 27,9 ГБ. Вариант Q4_K_M обозначен как рекомендуемый баланс размера и качества, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Модель совместима с LlamaEdge версии 0.11.2 и выше и использует шаблон запросов phi-3-chat. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между потреблением памяти, размером файла и качеством ответов. Низкобитные варианты экономичнее, но могут заметно терять в качестве; для большинства практических сценариев рекомендуется избегать Q2_K и ряда более агрессивных квантизаций. Карточка не содержит данных о точном числе параметров, обучающих данных, результатах оценки, аппаратных требованиях или ограничениях безопасности. Модель распространяется по лицензии MIT.

Phi-3-mini-4k-instruct-GGUF — квантованная версия легковесной языковой модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной в формате GGUF для локального запуска. В README указано, что модель обучалась на наборах данных Phi-3, включающих синтетические данные и отфильтрованные общедоступные веб-материалы с акцентом на качество и задачи, требующие рассуждений. Модель предназначена для генерации текста, диалоговых сценариев и других задач обработки естественного языка, включая работу с кодом. Она поддерживает английский язык, имеет контекстное окно 4096 токенов и относится к текстовым моделям. Формат GGUF совместим с приложениями на базе llama.cpp, включая Backyard AI, и позволяет распределять вычисления между CPU и GPU. Ключевое преимущество модели — компактность и возможность локального запуска на более широком спектре оборудования благодаря квантованию, которое снижает требования к ресурсам. Ограничением является компромисс между эффективностью и качеством: при более низкой точности квантования могут снижаться связность и качество ответов. Конкретный уровень квантования в README не указан. Базовая модель распространяется по лицензии MIT; для этой версии также указана лицензия MIT.

SanctumAI/Phi-3-mini-4k-instruct-GGUF — это квантизированная в формате GGUF версия Phi-3-Mini-4K-Instruct, разработанной Microsoft и подготовленной SanctumAI. Модель предназначена для генерации текста и выполнения инструкций, включая задачи понимания языка, рассуждений, математики, программирования, здравого смысла и логики. Она ориентирована на локальный запуск на устройствах с ограниченными ресурсами. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Это текстовая модель с поддержкой английского языка; README также отмечает наличие вариантов квантизации от Q2_K до Q8_0 и версии FP16, занимающих примерно от 1,45 до 7,64 ГБ, при потребности в памяти от 5,05 до 10,82 ГБ. Обучение включало синтетические и отфильтрованные общедоступные данные, а дообучение — supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Ограничения включают небольшое контекстное окно, текстовую специализацию и возможные неточные, вредные или неподходящие ответы. Для использования следует применять шаблон приглашений Phi-3 с системными, пользовательскими и ассистентскими сообщениями. Указана лицензия MIT.

geoffmunn/Qwen3-4B-f16 — конверсия языковой модели Qwen3-4B от Alibaba в формат GGUF для локального запуска через llama.cpp и совместимые приложения. Модель содержит около 4 млрд параметров и предназначена для диалогов, рассуждений, агентных сценариев, генерации кода и многоязычных задач; карточка также приводит варианты квантования и сравнение их скорости, размера и качества. Модель принимает текст и генерирует текст. В карточке заявлена поддержка английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Для некоторых вариантов требуется специальная сборка llama.cpp; доступная длина контекста в этой версии снижена ради скорости. Репозиторий распространяется по лицензии Apache-2.0. Автор конверсии — Geoff Munn; проект не связан с Alibaba или командой Qwen.

Mojo24x7/Qwen3.6-35B-A3B-npuaware-rk3588-GGUF — это GGUF-квантизация модели Qwen3.6-35B-A3B, разработанная для ускорения на NPU Rockchip RK3588. Сборка использует backend RKNPU2 в rk-llama.cpp и предназначена для генерации текста, включая работу с документами, кодом, логами и другим длинным контекстом. Модель имеет гибридную архитектуру: 30 блоков Gated-DeltaNet/SSM, 10 полноценных attention-блоков и один MTP-блок. Указана поддержка английского языка. Размер файла Q35-npuaware.gguf составляет 14,89 GiB, средняя точность хранения — 3,60 бит на вес; заявленный контекст — до 32768 токенов. Ключевая особенность сборки — NPU-aware размещение весов: экспертные тензоры переведены в Q3_K и выполняются на CPU, тогда как основные attention- и SSM-проекции сохраняют NPU-совместимые типы Q4_0, Q8_0 и Q6_K. На Radxa ROCK 5B+ с RK3588 и 16 ГБ памяти заявлены показатели 20,4 токена/с для prefilling и 4,8 токена/с для decode, что превосходит сравниваемую квантизацию UD-IQ4_XS при меньшем размере файла. Для работы требуется специальная сборка rk-llama.cpp с backend RKNPU2 и корректными параметрами запуска. Модель особенно подходит для длинных одиночных запросов, но менее эффективна для продолжительных диалогов: из-за рекуррентной архитектуры последующие сообщения требуют повторной обработки большей части контекста. Поддержка 256 экспертов с выбором 8 экспертов на токен обеспечивает MoE-структуру; уменьшение числа активных экспертов до 4 ускоряет decode, но снижает качество. Лицензия — Apache-2.0.

Карточка модели bzannah/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой lactroiii/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — это квантованная версия Qwen3.8-27B, разработанная SergiioB для запуска и обслуживания через vLLM XPU на видеокартах Intel Arc с архитектурой Xe2. Модель предназначена для генерации текста, включая кодинг и другие сценарии локального инференса, а также поддерживает обработку изображений благодаря встроенной vision tower. В карточке заявлены английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с гибридным механизмом внимания GDN: линейное внимание чередуется с полным вниманием каждые четыре слоя. Указаны 5120 скрытых признаков, 64 слоя, 24 Q-head и 4 KV-head с GQA. Основная часть модели квантована в GPTQ INT4 с симметричными группами размера 128 и форматом W4A16; MTP-компоненты сохранены в BF16 для поддержки нативного speculative decoding. Vision tower также не квантована. Максимальная позиционная длина в конфигурации составляет 262144 токена, однако на протестированной конфигурации Intel Arc Pro B70 32 ГБ измерялась работа с контекстом до 131072 токенов. Сильная сторона модели — ускоренная генерация благодаря MTP4: в приведённых измерениях на Intel Arc Pro B70 скорость декодирования достигала 83,7 токена в секунду без дополнительного overlay и 112,65 токена в секунду с опциональным INT4-квантованием draft-компонентов. Производительность зависит от длины контекста, числа параллельных запросов, настроек vLLM XPU и конкретного оборудования. Ограничениями являются привязка к совместимому XPU-стеку, особенности GPTQ-квантизации и то, что заявленные результаты получены на одной видеокарте и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Aggressive-i1-IQ4_XS-Smaller-GGUF — это предназначенная для llama.cpp смешанно-квантованная версия модели philbert440/Qwen3.8-27B-Uncensored-Aggressive, опубликованная пользователем aldenw. Модель ориентирована на генерацию текста, включая диалоги, объяснение технических концепций и написание кода. Исходное семейство является мультимодальным, однако в этом репозитории доступен только текстовый вариант без совместимого vision mmproj. Модель содержит 27 млрд параметров, 64 трансформерных блока и поддерживает нативный контекст до 262 144 токенов. Основной GGUF-файл размером 13,34 ГБ использует гибридную схему квантования: FFN-проекции сжаты до IQ3_S, основной набор весов представлен в IQ4_XS, отдельные тензоры внимания — в Q5_K, а output.weight — в Q6_K. Для ускорения методом speculative decoding доступна отдельная MTP-модель Q4_0 размером 1,68 ГБ. К сильным сторонам относятся экономия памяти по сравнению с полноразмерной моделью, сохранение повышенной точности для отдельных важных тензоров и возможность самостоятельного использования основной модели без MTP-компонента. Ограничения связаны с требованиями к памяти: оба файла занимают около 15,02 ГБ без учёта runtime-буферов и KV-кэша, поэтому на видеокартах класса 16 ГБ может потребоваться частичный offload, уменьшение контекста или отказ от MTP. Прирост скорости speculative decoding не гарантирован и зависит от оборудования, контекста и acceptance rate. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-3.6-27B-blend-GGUF — неофициальная производная модель JetBrains на основе моделей Qwen, разработанных Alibaba Cloud. Это GGUF-квантизированная версия базовой модели JetBrains/Qwen3.8-3.6-27B-blend, предназначенная для локального запуска через llama.cpp, включая сценарии программирования, рассуждений и работы с изображениями. Базовая модель представляет собой равное смешение параметров Qwen3.6-27B и Qwen3.8-27B; конфигурация, токенизатор, процессор и шаблон диалога унаследованы от Qwen3.8-27B. Модель имеет размер 27B параметров, поддерживает текстовый и визуальный ввод, встроенную MTP-голову для speculative decoding и отдельный vision encoder с проектором. Доступны квантизации IQ3_S, Q4_K_M и Q5_K_M размером примерно от 12,60 до 19,54 ГБ; для изображений требуется дополнительный файл vision GGUF объёмом 0,93 ГБ. В README языки и размер контекстного окна самой модели не указаны; в проверенной конфигурации использовался контекст 8192 токенов. Сильные стороны модели — локальный запуск, поддержка изображений, режима рассуждений и ускорения через native MTP, а также успешные функциональные проверки текста, изображений, потоковой выдачи и конкурентных запросов. Приведённые показатели принятия черновых токенов являются отдельными результатами smoke-тестов и не подтверждают качество или реальное ускорение. Модель тестировалась на llama.cpp с поддержкой Qwen3.5 native MTP; для работы рекомендуется сохранять указанные в README параметры семплирования. Распространение заявлено по Apache License 2.0 с сохранением исходной лицензии Qwen и атрибуции JetBrains.

sarvam-m — текстовая многоязычная модель Sarvam AI на архитектуре Mistral-Small, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Модель содержит 23,4 млрд параметров, принимает и генерирует текст и поддерживает контекст до 32 768 токенов; для работы с Transformers используются веса в формате Safetensors. Модель предназначена для диалогов на английском и индийских языках, а также для решения математических задач, программирования и логических рассуждений. В режиме think она ориентирована на сложные задачи, а режим non-think подходит для обычного общения. Поддерживаются индийские языки как в родной письменности, так и в латинской транслитерации. Разработчик сообщает об улучшениях относительно базовой модели на тестах индийских языков, математики и программирования. Модель выпущена под лицензией Apache-2.0. В карточке заявлены текстовый ввод и вывод; работа с изображениями и другими модальностями не заявлена.

Карточка модели t-kawata/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.

Aether-492B — заявленная в README универсальная языковая модель CortexAether для диалогов, рассуждений, программирования, математики, анализа и творческой генерации. Метаданные Hugging Face описывают её как decoder-only MoE-модель семейства AetherMind с архитектурой AetherMindForCausalLM, библиотекой Transformers и форматом safetensors. При этом метаданные указывают 5,8 млн параметров, контекст 1024 токена и теги языков fa и en; заявленные в названии 492 млрд параметров этому не соответствуют. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, перевода, помощи с кодом и многошаговых задач. Возможны диалоговые и агентные сценарии, в том числе использование в качестве языкового компонента RAG-систем. README заявляет поддержку многоязычного общения, но не приводит результатов оценки; перечисленные там длинный контекст и широкий набор способностей следует считать заявленными, а не подтверждёнными характеристиками. Лицензия — Apache-2.0.

Карточка модели thoddnn/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-8B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и локального использования в инструментах, совместимых с форматом GGUF. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на рассуждения и генерацию цепочек рассуждений. Заявлена поддержка контекста до 128k токенов. В основе используется архитектура Llama с размером 8B параметров; модель относится к текстовой модальности. Другие характеристики, включая перечень поддерживаемых языков и конкретный тип квантизации, в README не указаны. Лицензия и точные условия использования в README не указаны. Модель может быть полезна для локального запуска и задач, где важны рассуждения, однако, как и другие генеративные модели, способна выдавать неточные, вредные или неподходящие ответы; надёжность результатов требует проверки.

unsloth/DeepSeek-R1-GGUF — GGUF-версия модели DeepSeek-R1, разработанной DeepSeek и подготовленной компанией Unsloth. Модель предназначена для локального запуска через llama.cpp и сценариев, требующих рассуждений, генерации и анализа текста, а также написания программного кода. В README указан английский язык; другие языки не заявлены. Модель использует архитектуру MoE и представлена в нескольких вариантах динамической квантизации: 1,58 бит, 1,73 бит, 2,22 бит и 2,51 бит. Размер файлов составляет примерно от 131 до 212 ГБ. Более точные варианты требуют больше дискового пространства, но характеризуются лучшей заявленной точностью: от Fair для 1,58-битной версии до Best для 2,51-битной. Для запуска рекомендуется llama.cpp; возможна частичная выгрузка слоёв на GPU. В примерах используется контекст 8192 токена, однако максимальный размер контекста в README не указан. К сильным сторонам относятся существенное уменьшение размера весов за счёт агрессивной квантизации, возможность локального запуска и наличие вариантов с разным компромиссом между качеством и требованиями к ресурсам. Ограничениями являются очень большой объём файлов даже у наиболее сжатых вариантов, необходимость совместимого оборудования и ПО, а также потенциальное снижение точности из-за низкой разрядности. Модель распространяется по лицензии MIT.

unsloth/DeepSeek-R1-GGUF-UD — это GGUF-квантизированная версия модели DeepSeek-R1, разработанной командой DeepSeek и подготовленной в формате динамической квантизации Unsloth Dynamic v2.0. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи рассуждений, генерации текста, программирования и диалогового использования. В README указан английский язык, библиотека Transformers и поддержка формата GGUF. Доступны варианты с эффективной разрядностью от 1,58 до 2,51 бит: UD-IQ1_S, UD-IQ1_M, UD-IQ2_XXS и UD-Q2_K_XL. Размер файлов составляет примерно от 131 до 212 ГБ. Квантизация выборочно применяет разные разрядности к компонентам MoE, чтобы сохранить больше точности по сравнению со стандартными 1-битными и 2-битными вариантами. В README приведены оценки качества от Fair до Best, однако архитектурные параметры, общее число параметров и размер контекста исходной модели не указаны; для примеров запуска используется контекст 8192 токена. Сильные стороны модели — возможность локального запуска, уменьшенный объём хранения относительно полной точности и повышенная точность благодаря динамической квантизации. Ограничениями являются очень большой размер даже у наиболее компактной версии, необходимость совместимого оборудования и llama.cpp, а также возможная потеря качества на низких уровнях квантизации. Для запуска рекомендуется использовать специальный chat template и параметр --min-p 0.05; доступна выгрузка части слоёв на GPU. Репозиторий распространяется по лицензии MIT.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.

HauhauCS/Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced — модифицированная версия Google Gemma 4 26B A4B IT, разработанная HauhauCS. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, задач эмоционального интеллекта, программирования и агентных рабочих процессов с использованием инструментов. Она позиционируется как uncensored-вариант с минимальным количеством отказов; при этом в отдельных пограничных случаях может сначала добавить краткое предупреждение или отклонить запрос, но обычно отвечает после повторного запроса. Модель имеет MoE-архитектуру: около 25,2 млрд общих параметров и 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, top-8 и один общий эксперт. Используются 30 слоёв с гибридным вниманием, включающим пять оконных слоёв на 1024 токена и один слой полного внимания, а также Proportional RoPE. Нативный контекст составляет 256 тысяч токенов. Модель мультимодальная, поддерживает текст и изображения, поставляется с визуальным проектором mmproj и переменным бюджетом визуальных токенов. В README явно указан английский язык. Сильными сторонами заявлены стабильная работа при повторной генерации, сохранение связности в длинных контекстах, высокая пропускная способность благодаря малому числу активных параметров и пригодность для локального запуска через GGUF-совместимые среды, включая llama.cpp и LM Studio. Для сложных агентных задач автор README отмечает превосходство Qwen3.6. Доступны различные варианты квантования размером примерно от 10 до 27 ГБ; рекомендуемый вариант для программирования — Q4_K_P. Модель распространяется по лицензии Apache-2.0.

Hercules-3.0-Mistral-7B — языковая модель на архитектуре Mistral, дообученная Locutusque на базе Mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с весами используется Transformers, файлы представлены в формате safetensors. Модель предназначена для диалогов и следования сложным инструкциям в научных и технических областях, включая биологию, химию, физику, математику, медицину и информатику. Она также рассчитана на вызов функций и помощь с кодом, в том числе в сценариях, где функции используются для исполнения кода. Обучение проводилось на Hercules-v3.0 и наборе разнообразных диалоговых, инструкционных, медицинских, математических и кодовых данных. Модель может выдавать токсичные ответы, ошибаться и галлюцинировать, особенно в специализированных темах; вызов функций также может быть использован небезопасно. В README рекомендуется предпочесть Hercules-2.5 до выхода Hercules-3.1 из-за ухудшения качества, связанного с одним из наборов обучения. Лицензия — Apache-2.0.

Модель gradientai/Llama-3-8B-Instruct-Gradient-4194k — англоязычная диалоговая версия Llama 3, разработанной Meta и опубликованной Gradient AI. Это плотная авторегрессионная трансформерная языковая модель класса LlamaForCausalLM с Grouped-Query Attention; в репозитории заявлено около 7,5 млрд параметров. Она принимает текст и генерирует текст или код, подходит для чат-ассистентов и задач генерации естественного языка. Метаданные указывают поддержку чата и тег английского языка; README описывает исходную Llama 3 как предназначенную для английского. Модель распространяется в формате safetensors по лицензии llama3, то есть по условиям лицензии и политики допустимого использования Meta Llama 3. README описывает семейство Llama 3, а не изменения Gradient-варианта, поэтому дополнительные свойства, подразумеваемые суффиксом названия, здесь не подтверждены. Как и другие базовые генеративные модели, она может выдавать неточные или небезопасные ответы; для прикладного развертывания нужны проверки и защитные меры.

RLHFlow/LLaMA3-iterative-DPO-final — неофициальная диалоговая модель семейства LLaMA 3, разработанная авторами исследования «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Это плотная авторегрессионная модель на 7,5 млрд параметров с контекстом 8192 токена, представленная в формате safetensors и предназначенная для генерации текста в режиме чата. Модель обучена для следования инструкциям с помощью итеративного онлайн RLHF на основе DPO. Она подходит для диалоговых ответов, общих вопросов, рассуждений и задач по программированию; авторы приводят результаты на Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard и академических тестах. В README указано, что чекпойнт предназначен для демонстрации метода и исследовательского использования. README предупреждает, что модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Указанная лицензия — llama3; README также отмечает нерешённые лицензионные вопросы при выпуске модели, поэтому условия распространения и использования следует сверять с применимыми условиями LLaMA 3.

llm-jp-4.1-32b-a3b-thinking — языковая модель семейства LLM-jp-4.1, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная MoE-модель для генерации текста и диалогов; в ней 32 млрд общих параметров, из которых активируются около 3,8 млрд. Контекст составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а версия thinking прошла дообучение с контролируемой настройкой и выравниванием предпочтений DPO. Модель предназначена для диалоговых ассистентов и задач общего назначения: ответов на вопросы, рассуждений, математики, научных вопросов, программирования и перевода между японским и английским языками. Карточка указывает поддержку английского и японского; модель принимает текст и генерирует текст. Чат-шаблон совместим с форматом OpenAI Harmony, но для токенизации следует использовать комплектный токенизатор: токенизатор отличается от ожидаемого библиотекой openai-harmony. Разработчик характеризует релиз как модель для исследований и разработок и не рекомендует напрямую использовать её в производственных сервисах. Ответы могут быть неточными, неподходящими или нежелательными, поэтому модель следует оценивать для конкретного применения. Лицензия — Apache-2.0.