II.7DevOps, облако и эксплуатация IT-систем

TokenRhythm/NeoHorse-1-4B-MLX — версия модели NeoHorse-1-4B для локального запуска на компьютерах Apple Silicon. Это плотная языковая модель на архитектуре Qwen3.5 с 3,4 млрд параметров, представленная в формате BF16 и адаптированная для среды MLX-LM. Модель создана TokenRhythm; исходные веса преобразованы из BF16 с изменением имён и расположения тензоров и представления нормализации, без квантизации. Модель предназначена для диалога, следования инструкциям, программирования, рассуждений и агентных сценариев с вызовом инструментов. Для запуска требуется MLX-LM; карточка описывает OpenAI-совместимый API и обработку вызовов инструментов через шаблон чата. Указанное в README среднее по десяти бенчмаркам относится к исходной NeoHorse-1-4B, а не к отдельной оценке MLX-версии. Лицензия — Apache-2.0.

Nex-N2.5-mini-GGUF — набор общественных GGUF-квантизаций модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в GGUF пользователем ngquocvinh для запуска через llama.cpp. Модель предназначена для локального текстового поколения и агентных сценариев с длительными цепочками действий, включая работу с компьютером, веб-сёрфинг, визуальное заземление, программирование, рассуждения и вызов инструментов. Исходная модель поддерживает изображения и видео через официальный мультимодальный процессор и шаблон чата; для этого релиз включает отдельный vision projector mmproj-Nex-N2.5-mini-F16.gguf. Архитектура исходной модели — Qwen3.5 Mixture-of-Experts с 256 экспертами, из которых активны 8 на токен, и 40 текстовыми слоями. Размер исходной BF16-версии — 35 млрд параметров, заявленный текстовый контекст — 262 144 токена, однако локальная проверка данного пакета проводилась только с контекстом 4096 токенов. Доступны варианты от Q1_0 до Q8_0; Q4_K_M рекомендуется как практичный баланс памяти и качества, а Q5_K_M, Q6_K и Q8_0 обычно сохраняют больше точности. Низкобитные варианты требуют проверки на конкретной задаче: измерения показывают заметное снижение сходства с BF16, особенно у Q1_0. Релиз не обучает и не дообучает модель, а выполняет только конвертацию и квантизацию, поэтому качество зависит от выбранного профиля и рабочей нагрузки. Приведённые тесты оценивают лишь сходство поведения при предсказании следующего токена и не гарантируют сохранение исходных возможностей в рассуждениях, мультиязычности, работе с изображениями или инструментами. Распространение указано по лицензии Apache-2.0.

OpenHermes-13B — англоязычная модель генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-13b-hf. Она обучалась следовать инструкциям на наборе из примерно 242 тысяч примеров, преимущественно созданных GPT-4 и собранных из открытых датасетов; примеры охватывают общие запросы, ролевые диалоги и программирование. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст до 4096 токенов. Модель предназначена для ответов на инструкции, диалоговой генерации и помощи с задачами на естественном языке и кодом. В опубликованном сравнении OpenHermes немного улучшила результаты Nous-Hermes на GPT4All и BigBench, но показала снижение на AGIEval, поэтому качество зависит от типа задачи. Репозиторий распространяется по лицензии MIT.

Weyaxi/OpenHermes-2.5-neural-chat-v3-3-openchat-3.5-1210-Slerp — объединённая языковая модель, созданная разработчиком Weyaxi с помощью mergekit и метода slerp на основе OpenHermes-2.5-neural-chat-v3-3-Slerp и OpenChat 3.5-1210. Веса построены на архитектуре MistralForCausalLM; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Базовая модель OpenChat 3.5-1210 ориентирована на программирование, математические рассуждения и общие текстовые задачи; README не приводит отдельной оценки качества или подробных сценариев для данного слияния. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Как и другие языковые генеративные модели, она может выдавать неточные или непроверенные ответы; особые ограничения именно этой версии в карточке не описаны.

Модель predibase/Phi-3-mini-4k-instruct-dequantized — дообученная версия компактной языковой модели Phi-3 Mini от Microsoft, загруженная jeffkinnison. Она предназначена для генерации текста в диалогах и написания кода; поддерживает контекст до 4096 токенов и содержит 3,7 млрд параметров. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Карточка не сообщает о специальных ограничениях применения; возможности и качество унаследованы от базовой модели Phi-3 Mini.

Qwen3-0.6B-GGUF — компактная языковая модель семейства Qwen3, разработанная Alibaba Cloud и представителями команды Qwen. Это causal language model с предварительным обучением и последующей настройкой, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, а также интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для Q и 8 для KV. Длина контекста заявлена до 32 768 токенов. Представлена в формате GGUF с квантизацией q8_0, что делает её подходящей для локального запуска через llama.cpp и Ollama при ограниченных вычислительных ресурсах. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач и рассуждений и non-thinking для более быстрых ответов и обычного диалога. Сильными сторонами являются компактность, поддержка многоязычных сценариев, диалоговые возможности, следование инструкциям и пригодность для локального использования. Ограничения включают небольшой по современным меркам размер, возможное снижение качества на сложных задачах по сравнению с более крупными моделями, а также необходимость подбора параметров генерации; README отдельно предупреждает о повторениях при жадном декодировании в thinking mode. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-27B-UD-MLX-4bit — 4-битная MLX-квантизированная версия открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной для распространения Unsloth. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для работы с текстом и изображениями, включая агентное программирование, фронтенд-разработку, анализ репозиториев и итеративные задачи кодинга. Модель содержит 27 млрд параметров, 64 слоя и использует гибридную архитектуру с блоками Gated DeltaNet, Gated Attention и FFN. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. README не указывает полный перечень поддерживаемых языков, однако модель позиционируется для многошаговой работы с кодом и сохранения контекста рассуждений между сообщениями. 4-битное представление снижает требования к памяти и подходит для запуска через MLX на совместимом оборудовании, но может уступать полноразмерным весам по точности. Сильными сторонами являются большой контекст, поддержка визуально-текстовых сценариев, задачи уровня репозитория и улучшенная работа в агентных coding-сценариях. Ограничения связаны с необходимостью MLX-совместимой среды и возможными потерями качества из-за квантизации; подробные сведения о языках, системных требованиях и результатах большинства тестов в предоставленном фрагменте README отсутствуют. Лицензия — Apache-2.0.

Qwen3.8-27B-Kearuga — пользовательская гибридно-квантизированная версия Qwen3.8-27B, разработанная 0xWhiteMage. Модель предназначена для генерации текста и высокопроизводительного интерактивного сервинга со speculative decoding на одной NVIDIA DGX Spark с GB10, Grace-Blackwell и 128 ГБ унифицированной памяти. Она ориентирована на сценарии, где важны снижение потребления памяти, высокая пропускная способность и сохранение качества базовой модели. Модель содержит около 27 млрд параметров и использует комбинацию GPTQ с групповыми масштабами Four-Over-Six, NVFP4 AWQ, FP8 E4M3 и защищённых участков BF16. Размер весов сокращён с 51,8 ГиБ до 24,85 ГБ. Для ускоренного сервинга поддерживается связка с SGLang и отдельной Kearuga DFlash 2 drafter-моделью с K=12 и draft head на 64K. Заявлены языки английский, китайский, немецкий, французский, японский, корейский, испанский и русский; модель относится к классу text-generation. По данным README, средняя KL-дивергенция относительно базовой BF16-модели составляет 0,0165, совпадение наиболее вероятного токена на тесте из 40 примеров — 100%, а на отложенном наборе — 95%. Точное совпадение продолжения длиной 32 токена достигнуто в 50% случаев, поэтому квантизация может приводить к отличиям в генерации при близких значениях логитов. Для Quality-200 указано 157 из 180 баллов, включая результаты на GSM8K, HumanEval, IFEval и агентских задачах. Производительность зависит от конфигурации сервинга и оборудования; приведённые показатели измерены на DGX Spark при отключённом thinking и температуре 0. Модель распространяется по лицензии Apache 2.0.

AleaiactaEst1/Qwen3.8-27B-Unleashed-GGUF — это квантизированная GGUF-версия uncensored-модели Qwen3.8-27B, основанная на JonathanColetti/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, диалогов, написания кода и других задач, поддерживаемых text-generation-моделями. Указанные языки — английский и китайский. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов. Используется динамическая покомпонентная квантизация Unsloth Dynamic 3.0: чувствительные тензоры сохраняют больше точности, а менее чувствительные сжимаются сильнее. Доступны девять уровней квантизации, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Для UD-Q3_K_XL заявлены размер 13,2 ГБ, скорость 112,8 токена в секунду в специализированном тесте на RTX 4090 и успешное извлечение данных из контекста длиной 250 806 токенов. К сильным сторонам относятся uncensored-поведение, длинный контекст, хорошее соотношение качества и размера, а также преимущество динамической квантизации над протестированными равномерными вариантами. Ограничения включают зависимость скорости от длины генерации и оборудования: для коротких ответов на RTX 4090 измерялось около 24,9 токена в секунду, а приведённые показатели получены на одной конфигурации и не универсальны. Самые низкие уровни квантизации могут заметно снижать качество; в README уровень Q2 назван практическим нижним пределом. Модель распространяется по лицензии Apache 2.0. Карта квантизации заимствована из unsloth/Qwen3.8-27B-GGUF, а веса и матрица важности — из JonathanColetti/Qwen3.8-27B-Uncensored; автор README отдельно указывает, что рецепт разработан Unsloth.

Qwen3.8 4B Distilled — созданная сообществом модель генерации текста от Ma7ee7, полученная дообучением Qwen/Qwen3-4B-Thinking-2507 на примерах ответов и рассуждений, сгенерированных моделью qwen3.8-max-preview. Это плотная decoder-only языковая модель архитектуры Qwen3 примерно с 3,7 млрд параметров; она принимает текст и выдаёт текст, поддерживает чатовый формат и интерфейс вызова инструментов. Заявленная длина контекста — 262 144 токена. Модель предназначена для математических и логических задач, программирования, научных вопросов, следования инструкциям, длинных ответов и локальных разговорных ассистентов. Обучающая смесь преимущественно англоязычная; дистилляция переносит некоторые поведенческие шаблоны учителя, но модель не наследует его архитектуру или полный набор возможностей. Доступна по лицензии Apache-2.0. Это компактная модель для экспериментов и практических задач рассуждения, но её ответы могут содержать фактические, математические и программные ошибки, а видимые цепочки рассуждений не гарантируют правильность. Примеры использования инструментов составляют небольшую часть обучения, поэтому результаты в важных сценариях следует проверять.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-4x-TIES-MGS-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей TheBeagle, EVA-Qwen2.5 и Rombos. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, рассуждений и помощи с программированием. Модель содержит 32 млрд параметров, принимает текст и выдаёт текст; нативное окно контекста — 32 768 токенов. Репозиторий содержит веса Safetensors для библиотеки Transformers. Карточка не сообщает лицензию и не описывает отдельные результаты оценки качества; характеристики базовой QwQ указывают на ориентацию на рассуждения и код, но не гарантируют их качество после слияния.

MaziyarPanahi/Trinity-Mini-GGUF — набор файлов модели Trinity-Mini в формате GGUF, подготовленный MaziyarPanahi на основе оригинальной модели arcee-ai. Модель разработана Arcee AI и предназначена для генерации текста, рассуждений, а также прикладных сценариев, включая работу с математикой и кодом. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки. Trinity-Mini — разреженная Mixture-of-Experts модель архитектуры AfmoeForCausalLM с 26 млрд общих параметров и 3 млрд активных параметров. Она содержит 128 экспертов, из которых одновременно используются 8, а также одного общего эксперта. Контекстное окно составляет 128 тысяч токенов. Модель обучалась на 10 трлн токенов, включая дополнительные данные по математике и программированию. В репозитории доступны варианты квантования с разной разрядностью — от 2 до 8 бит. К сильным сторонам относятся большое контекстное окно, эффективная MoE-архитектура и возможность локального запуска с выбором уровня квантования. README не содержит сведений о поддерживаемых языках, результатах конкретных бенчмарков и ограничениях качества, поэтому эти характеристики нельзя оценить точнее. Для работы требуются совместимые версии llama.cpp или других клиентов, поддерживающих GGUF. Модель распространяется по лицензии Apache 2.0.

airoboros-3b-3p11 — экспериментальная языковая модель jondurbin для генерации текста и диалогов по инструкциям. Она основана на архитектуре StableLM Epoch и содержит 2,7 млрд параметров; модель обучена на наборе airoboros-3.1 с преимущественно синтетическими данными. Контекст составляет до 4096 токенов, для диалогов используется формат Llama 2 Chat. Модель рассчитана на следование инструкциям, ответы на вопросы по предоставленному контексту, суммаризацию и помощь с кодом. Среди специализированных примеров обучения — структурированное представление математических решений в MathJSON, извлечение полей из журналов, обезличивание текста и генерация аргументов функций в JSON или YAML. Для этих сценариев в README рекомендуются явно заданный формат запроса и низкая температура генерации. Это общая экспериментальная модель, ориентированная на выполнение инструкций, а не на непринуждённое общение или ролевые диалоги. Карточка указывает на ограничения качества отдельных инструментов обработки MathJSON. Лицензия — CC BY-SA 4.0.

DeepSeek-R1 — большая языковая модель первого поколения моделей рассуждения, разработанная DeepSeek. Модель обучалась с использованием комбинации supervised fine-tuning и крупномасштабного reinforcement learning: перед этапами RL применялись данные cold start, а общий конвейер включал два этапа RL и два этапа SFT. Исследовательская версия DeepSeek-R1-Zero также представлена авторами и обучалась с помощью RL без предварительного SFT. Модель предназначена для сложных задач рассуждения, включая математику, программирование и другие интеллектуальные задачи, требующие многошагового анализа. По заявлению разработчиков, её результаты сопоставимы с OpenAI-o1 в задачах математики, кода и рассуждения. К сильным сторонам относятся способности к самопроверке, рефлексии и построению длинных цепочек рассуждений. При этом README не содержит точных сведений о размере модели, архитектуре, длине контекста, поддерживаемых языках и мультимодальных возможностях. У модели есть ограничения, связанные с особенностями reasoning-моделей: у предварительной версии DeepSeek-R1-Zero отмечались бесконечные повторения, низкая читаемость и смешение языков; для DeepSeek-R1 эти проблемы должны уменьшаться благодаря дополнительным данным и этапам обучения. Модель распространяется по лицензии MIT. README также сообщает о выпуске производных дистиллированных моделей, но они не являются самой моделью DeepSeek-R1.

DeepSeek-R1-Llama-8B-F32-GGUF — текстовая генеративная модель семейства Llama, основанная на DeepSeek-R1-Distill-Llama-8B. Она предназначена для решения задач, требующих пошаговых рассуждений, в том числе математических задач, программирования и ответов на сложные вопросы. В карточке описаны варианты весов GGUF в форматах BF16, F16 и F32; размер файла F32 составляет 32,1 ГБ. Модель генерирует текст и поддерживает рассуждения с самопроверкой и рефлексией. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. README называет её квантизированной версией, однако перечисленные файлы представлены в BF16, F16 и F32; конкретная степень квантизации не уточняется.

TechxGenus/gemma-1.1-2b-it-GPTQ — GPTQ-квантизированная версия Gemma 1.1 2B IT, разработанной Google. Это компактная decoder-only языковая модель с открытыми весами, предназначенная для генерации и обработки текста на английском языке. Модель ориентирована на ответы на вопросы, суммаризацию, рассуждения, написание текста, программирование, следование инструкциям и многошаговые диалоги. Версия Gemma 1.1 обучалась с применением RLHF и, по сравнению с исходным выпуском, получила улучшения в качестве ответов, кодировании, фактичности, следовании инструкциям и многоходовом взаимодействии. Квантизация GPTQ снижает требования к ресурсам и может упростить локальный запуск, однако потенциально сопровождается потерей качества по сравнению с исходными весами. Модель работает только с текстом; поддержка изображений, аудио и других модальностей не указана. Размер — 2B параметров, максимальная длина контекста в карточке не приведена. Модель компактнее крупных языковых моделей и подходит для запуска на ноутбуке, настольном компьютере или собственной облачной инфраструктуре, но её меньший размер может ограничивать качество сложных рассуждений и объём знаний. Использование регулируется лицензией Gemma и условиями Google; для доступа на Hugging Face требуется принять соответствующую лицензию.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

Jett-w26-abliterated — объединённая модель для генерации текста, опубликованная giannisan. Она построена на архитектуре Mistral и создана методом DARE TIES с помощью mergekit; в качестве основы использована yam-peleg/Experiment26-7B, а также объединены модели для диалогов, математики, программирования и следования инструкциям. Модель содержит 7,1 млрд параметров, работает с текстом и имеет контекстное окно до 32 768 токенов. Автор описывает её как uncensored-версию Jett-w26. Она предназначена для генерации ответов и свободного диалога; состав объединённых моделей также ориентирует её на математические задачи и помощь с кодом. Доступны веса в формате safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

K2-Horizon-MoVA-36B-A4B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной IFM и опубликованной пользователем ngquocvinh. Модель предназначена для запуска через llama.cpp и задач генерации текста, рассуждений, программирования, агентских сценариев и работы с длинным контекстом. Исходная модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values attention (MoVA): всего заявлено 36 млрд параметров, из которых на каждый токен активируется около 4 млрд. Указано нативное контекстное окно до 524 288 токенов и поддержка английского языка. В набор входят варианты квантизации от Q8_0 до крайне компактных профилей Q1_0; они различаются размером файлов, требованиями к памяти и близостью поведения к эталонной BF16-модели. Практическими вариантами названы Q5_K_M с повышенной точностью, Q4_K_M как сбалансированный профиль и IQ3_M как компактный вариант с квантизацией с учётом важности. Измерения на ограниченном наборе WikiText показывают высокое совпадение старших вариантов с BF16, однако не являются прямой оценкой сохранённых способностей. Профили с экстремальным сжатием, особенно Q1_0, существенно отклоняются от эталона и должны рассматриваться как экспериментальные. Для работы требуется совместимая сборка llama.cpp; длинный контекст может потребовать значительно больше памяти, а полная выгрузка модели на ускоритель может быть недоступна. В метаданных указана лицензия Apache-2.0. README описывает именно квантизированные GGUF-файлы и не содержит полного набора результатов или подробностей исходной модели; за ними рекомендуется обращаться к официальной карточке IFM/K2-Horizon-MoVA-36B-A4B.

Kai-30B-Instruct — инструктивно дообученная языковая модель NoesisLab на 30B параметров, крупнейшая в семействе Kai. Она основана на архитектуре Qwen2ForCausalLM и предназначена для диалогов, рассуждений, математических задач и генерации кода. Для дообучения применён метод ADS (Adaptive Dual-Search Distillation), который меняет функцию потерь, не модифицируя архитектуру модели. Модель принимает текст и генерирует текст; заявлены контекст до 32 768 токенов и поддержка английского языка. В карточке приведены результаты нескольких тестов рассуждений и здравого смысла, но они не подтверждают качество во всех сценариях. Для запуска требуются значительные вычислительные ресурсы из-за размера модели. Лицензия — Apache-2.0.

Llama-3.1-Nemotron-92B-Instruct-HF-early — текстовая диалоговая модель на архитектуре Llama, созданная слиянием весов через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Репозиторий содержит модель примерно с 90,9 млрд параметров в формате safetensors; для работы используется библиотека Transformers. Модель предназначена для генерации ответов на инструкции и диалоговых запросов, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Длина контекста составляет 131 072 токена. В карточке не приведены сведения о поддерживаемых естественных языках и лицензии, поэтому их нельзя уточнить; условия использования следует сверить с лицензией базовой модели и репозитория.

RLHFlow/LLaMA3-SFT-v2 — диалоговый чекпойнт с контролируемой тонкой настройкой (SFT) от команды RLHFlow, подготовленный для проекта Online-RLHF и описанный в работе «RLHF Workflow: From Reward Modeling to Online RLHF». Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; веса представлены в safetensors и предназначены для использования через Transformers. Модель дообучена от meta-llama/Meta-Llama-3-8B на RLHFlow-SFT-Dataset-ver2 в течение двух эпох. Она предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, общих рассуждений и задач вроде математических задач и генерации кода. В README приведены результаты академических бенчмарков, включая GSM8K, MATH, HumanEval и MMLU; это результаты оценки, а не гарантия качества для конкретного применения. Карточка не описывает поддержку конкретных естественных языков и не приводит лицензию чекпойнта, поэтому такие сведения здесь не утверждаются. Как и другие языковые модели, она может выдавать фактически неверные ответы; показатели бенчмарков не заменяют проверку на целевых данных.

Meta-Llama-3-8B-Instruct-GGUF — квантизированная версия 8-миллиардной инструкционно дообученной языковой модели Meta Llama 3, разработанной Meta. Квантизацию выполнила SanctumAI. Модель предназначена прежде всего для диалоговых сценариев, генерации текста и выполнения инструкций; поддерживает работу через формат GGUF и различные варианты квантизации, рассчитанные на запуск с уменьшенными требованиями к памяти. Модель является текстовой и, согласно карточке, поддерживает английский язык. Исходная модель относится к семейству Llama 3 с размерами 8B и 70B, однако для данной версии указан размер 8B. Доступны варианты от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, оценочное потребление памяти — от 7,20 до 19,21 ГБ в зависимости от варианта. Карточка не указывает размер контекстного окна и конкретную архитектуру. Сильные стороны модели — оптимизация для диалогов, заявленная высокая эффективность на распространённых отраслевых бенчмарках среди открытых чат-моделей, а также возможность выбрать баланс качества и требований к памяти с помощью квантизации. Ограничения включают возможные неточные, вредные, оскорбительные или вводящие в заблуждение ответы; результаты требуют проверки. Модель распространяется по лицензии Llama 3; точные условия следует уточнять в файле LICENSE.

Карточка модели liskasYR/MiniCPM5-2B-Base на Hugging Face совпадает с карточкой openbmb/MiniCPM5-2B-Base, поэтому описание составлено по ней. MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

unsloth/Phi-4-reasoning-plus-GGUF — GGUF-версия модели Phi-4-reasoning-plus, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая по весам текстовая модель генерации для диалогов и задач, требующих рассуждений, прежде всего математики, естественных наук и программирования. Модель дообучалась методом supervised fine-tuning на синтетических и отфильтрованных общедоступных данных, а также с применением reinforcement learning. В основе лежит плотная decoder-only Transformer-архитектура с 14 млрд параметров и контекстом до 32 тыс. токенов. Модель принимает текстовые запросы, предпочтительно в формате чата, и генерирует текстовые ответы на английском языке. Ответы состоят из блока цепочки рассуждений и последующего блока суммаризации. Версия GGUF предназначена для запуска в совместимых инструментах, включая llama.cpp; для включения режима рассуждений в llama.cpp требуется параметр --jinja. Сильной стороной модели является повышенная точность благодаря дополнительному reinforcement learning и специализации на сложных задачах рассуждения, математике, науке и коде. Ограничением служит более высокая задержка: модель в среднем генерирует примерно на 50% больше токенов. README не содержит отдельной информации о специфических ограничениях качества или требованиях к аппаратным ресурсам именно этой GGUF-квантизации. Указанная лицензия — MIT.

Qwen2.5-72B — базовая языковая модель семейства Qwen2.5, разработанного командой Qwen. Это предварительно обученная плотная авторегрессионная модель на 71,5 млрд параметров с архитектурой Qwen2 и классом Qwen2ForCausalLM. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания; модель содержит 80 слоёв и поддерживает контекст до 131 072 токенов. Модель предназначена для продолжения текста и как основа для последующего дообучения, например SFT или RLHF. Семейство Qwen2.5 поддерживает более 29 языков, включая русский, и улучшено для задач программирования, математики, следования инструкциям, работы с таблицами и создания структурированных ответов. Однако эта версия — базовая, а не настроенная для диалога, поэтому её не рекомендуют напрямую использовать для разговорных сценариев. Репозиторий распространяется под лицензией с обозначением `other`; конкретные условия следует сверить с лицензией модели на Hugging Face.

6block/Qwen3-30B-A3B-GGUF — это квантизированная GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen и подготовленной пользователем 6block. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K с размером файлов примерно от 11,26 до 32,48 ГБ, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Квантизация выполнена с использованием imatrix и двуязычного англо-китайского набора данных с большим количеством программного кода, поэтому младшие варианты квантования должны лучше сохранять способности к работе с китайским языком и кодом по сравнению с калибровкой только на английских данных. Заявлены английский и китайский языки; другие модальности, размер контекста и точная архитектура в README не указаны. Модель ориентирована на локальные сценарии текстовой генерации и программирования, но низкобитные варианты могут заметно уступать по качеству более крупным квантам. Распространяется по лицензии Apache-2.0.

Archsloth/Qwen3-4B-GGUF — это квантизированная GGUF-версия языковой модели Qwen3-4B, разработанная Archsloth на базе Qwen/Qwen3-4B. Модель предназначена для генерации текста, диалоговых сценариев, программирования и локального запуска через llama.cpp, в том числе на CPU и устройствах с ограниченными ресурсами. Доступны варианты квантизации Q4_K_M, Q6_K и Q8_0 с размером файлов примерно от 2,50 до 4,28 ГБ. Архитектура и структура тензоров соответствуют базовой модели Qwen3-4B, однако README не указывает точное число параметров, максимальный контекст и полный набор архитектурных характеристик. Заявлена поддержка корейского, английского, испанского, японского, китайского, русского, арабского, хинди и тайского языков, а также исходного кода. Для варианта Q4_K_M приведены измерения KL-дивергенции, показывающие более близкое соответствие исходной модели bf16 по сравнению с рядом альтернативных квантизаций аналогичного размера. Основные преимущества — компактный размер, возможность локального CPU-запуска и улучшенные заявленные показатели сохранения качества после квантизации, особенно для корейского языка и программного кода. Ограничения связаны с потерями качества квантизации, потребностью в значительном объёме памяти при длинном контексте и отсутствием в README подробных данных о производительности, мультимодальности и максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ — квантованная версия PRISM-PRO на базе Qwen3.6-27B, подготовленная проектом PRISM в формате GGUF для llama.cpp с применением динамического квантования. Она сохраняет встроенную MTP-голову для черновой генерации и полную башню обработки изображений; размер файла составляет около 13,7 ГБ вместо 55 ГБ у BF16-версии. Модель предназначена для диалоговой генерации текста и может использоваться в сценариях, где нужны возможности базовой Qwen3.6-27B, включая программирование, агентные задачи и работу с изображениями. Для ускорения вывода README описывает спекулятивное декодирование с MTP или отдельной EAGLE-3-моделью; заявлено совпадение результата с обычным жадным декодированием с оговоркой о вычислительных различиях при пакетной проверке. Базовая архитектура сочетает 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания; в карточке не приведены общее число параметров и длина контекста. Модель распространяется по лицензии Apache-2.0. Квантование уменьшает размер по сравнению с BF16, однако README не сообщает точные потери качества или требования к видеопамяти.