II.3Рефакторинг, миграция и модернизация

orca_mini_v8_1_70b-GGUF — это квантизированная версия языковой модели orca_mini_v8_1_70b, разработанной pankajmathur и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и может запускаться локально, в частности через LM Studio и другие совместимые инструменты llama.cpp. Модель содержит 70 миллиардов параметров и работает с текстом на английском языке. Доступны варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода; наиболее качественными считаются Q8_0, Q6_K и Q5, а варианты Q3 и Q2 ориентированы на устройства с ограниченными ресурсами, но снижают качество. Для работы рекомендуется использовать указанный в README шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска крупной 70B-модели с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают значительные требования к оперативной или видеопамяти даже для сжатых вариантов, а также снижение качества у агрессивных квантизаций. Архитектура, размер контекстного окна и мультимодальные возможности в README не указаны. Указанная лицензия — llama3.3.

Orion T2 Mini SFT — экспериментальный диалоговый ассистент Project Prism на архитектуре Orion T2, опубликованный Refract Labs. Это плотная причинно-языковая модель примерно на 219 млн параметров, дообученная методом SFT на 700 тысячах примеров: 60% общих и диалоговых, 20% математических и 20% связанных с программированием. Модель предназначена для генерации ответов, следования инструкциям, общения, решения математических задач и помощи с кодом. Для диалога используется встроенный шаблон чата Transformers с текстовыми маркерами ролей. В текущем слое совместимости Transformers кэширование отключено, поэтому при генерации каждого токена префикс вычисляется заново. Модель экспериментальная; заявленные архитектурные особенности следует оценивать на сопоставимых тестах. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

dealignai выпустила Ornith-1.5-35B-A3B-UNCENSORED-MXFP8 — версию Ornith-1.5-35B-A3B с удалённым на уровне весов поведением отказа и квантованием MXFP8 в формате MLX для Apple Silicon. Основа — мультимодальная MoE-модель семейства Qwen 3.5 с 35,9 млрд параметров; README указывает 40 слоёв, 256 маршрутизируемых экспертов, гибридный блок gated-delta и full attention, а также 27-слойную визуальную башню. Метаданные Hugging Face относят модель к задаче image-text-to-text и указывают поддержку чата, зрения и интерфейса вызова инструментов. Модель принимает текст и изображения; README также заявляет обработку видео. Она рассчитана на диалог, рассуждения, программирование с инструментами и анализ визуального содержимого. Карточка приводит результаты MMLU 78,9%, HarmBench 100% и KL-дивергенцию 0,0289 относительно некрякнутой MXFP8-версии; это результаты авторского тестирования на данном бандле. Для запуска предназначены vMLX или совместимая с архитектурой qwen3_5_moe среда MLX-VLM на Apple Silicon. Удаление отказов означает, что модель может выполнять запросы без защитного отказа; авторы ориентируют публикацию на исследования безопасности ИИ и разрешённое тестирование. Лицензия — Apache-2.0.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

Это конверсия Phi-3 Medium-128K-Instruct от Microsoft в формат ONNX, оптимизированная для инференса на CPU через ONNX Runtime. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров, настроенную следовать инструкциям и вести диалог. Лицензия — MIT. Модель предназначена для генерации ответов и текста, включая задачи рассуждения, понимания языка, математики и кода. README описывает вариант семейства с контекстом до 128 тысяч токенов, однако метаданные указывают native context в 4096 токенов, поэтому доступную длину контекста следует сверять с конкретной конфигурацией ONNX. Репозиторий содержит CPU-вариант с квантизацией INT4 методом RTN; для запуска рекомендуется компьютер с 16 ГБ оперативной памяти. README сообщает скорость около 20 токенов в секунду на Intel Core i9-10920X, но производительность зависит от оборудования и настроек.

Theros/Q2.5-ColdBrew-R1-Obsidian — объединённая текстовая модель, созданная с помощью mergekit методом Passthrough на основе Theros/Qwen2.5-ColdBrew-R1. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 8,7 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия, а заявленная длина контекста составляет 131072 токена. Модель распространяется в формате safetensors; условия лицензии в предоставленных данных не описаны.

TheRains/Qwen2.5-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с использованием llama.cpp и предназначена для локального запуска через llama.cpp в задачах генерации текста и диалогового взаимодействия. Модель имеет 32 миллиарда параметров в варианте квантизации Q4_K_M. В карточке указана поддержка английского языка и текстовая модальность; сведения о размере контекстного окна и других языках отсутствуют. Модель можно использовать через llama-cli или llama-server, в том числе на совместимом CPU и GPU-оборудовании при соответствующей сборке llama.cpp. Основные преимущества — локальное выполнение, совместимость с экосистемой llama.cpp и уменьшенные требования к памяти по сравнению с полноразмерной версией. Ограничения связаны с квантизацией, а также с отсутствием в карточке подробных данных о качестве, производительности и поддерживаемых сценариях. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — модель, опубликованная phrodigy и основанная на Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP от DavidAU. Это результат многоэтапного дообучения и слияния моделей, выполненных совместно DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием наборов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. В README также упоминаются Fable-трейсы, материалы для reasoning и данные Polaris. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, общего диалога, программирования, творческого письма, художественных текстов, ролевых сценариев и других применений. Заявлены мультимодальные возможности с поддержкой изображений; в метаданных указана задача image-text-to-text. Поддерживаются английский и китайский языки. Размер базовой модели — 27B параметров, а репозиторий содержит квантизованные GGUF-варианты, включая обычные и MTP-варианты с multi-token prediction. К ключевым особенностям относятся акцент на instruction following, общее решение задач и reasoning, режим uncensored/heretic, NEO IMATRIX-квантизация и частично сохранённая точность выходного тензора. Автор заявляет превосходство базовой Qwen3.6-27B по большинству приведённых тестов, однако эти результаты представлены создателями модели и требуют независимой проверки. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction; качество также зависит от выбранного уровня квантизации и доступного оборудования. В метаданных указана лицензия Apache-2.0. README не содержит точных сведений о размере контекстного окна. Фактическая пригодность модели для чувствительных или специализированных задач, а также заявленные характеристики производительности должны проверяться отдельно.

Kre80r/Qwopus3.8-27B-Flash-V2-W4A16 — квантованный чекпойнт мультимодальной модели Qwopus3.8-27B-Flash-V2, подготовленный с помощью AutoRound 0.15.1. Веса квантованы до 4 бит с группами по 128, активации BF16; визуальный энкодер и отдельные чувствительные тензоры сохранены в BF16. Модель основана на Qwen3.8-27B через промежуточную Qwopus3.8-27B-Flash и прошла дополнительное постобучение с изменёнными функциями вознаграждения и методами обучения с подкреплением. Модель предназначена для диалоговых и мультимодальных задач, рассуждений и длительных агентных сценариев с повторными вызовами инструментов. В карточке также указаны генерация кода, вызов функций и ускорение вывода с MTP speculative decoding; заявленные сценарии включают локальный запуск и ресурсоёмкие рабочие процессы, где важны скорость и стоимость генерации. Поддерживаются английский, китайский, испанский, русский и японский языки. Метаданные указывают архитектуру Qwen3.5 и класс Qwen3_5ForConditionalGeneration; точный размер параметров и длина контекста в предоставленных данных не приведены. Разработчик позиционирует выпуск как экспериментальный. Карточка описывает компромисс между эффективностью вывода и сохранением качества, а также отмечает возможный дрейф рассуждений и зависимость агентных результатов от промпта, инструментов и среды. Широкая оценка безопасности и надёжности не проводилась. Лицензия — Apache-2.0.

Triangulum-10B-GGUF — это квантизированная версия языковой модели Triangulum-10B, разработанной prithivMLmods и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения и сценариев, где требуется пошаговое объяснение решения. В метаданных также указаны поддержка оценки кода, точности, математических задач и символьных операций. Модель содержит около 10 млрд параметров и относится к семейству causal language models на базе Llama. Доступны варианты от F16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Размер файлов составляет примерно от 3,6 до 20,6 ГБ. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель работает с текстом; сведения о мультимодальности и размере контекстного окна не указаны. Сильной стороной являются разнообразие вариантов квантования и возможность локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README рекомендуются варианты Q6_K_L, Q6_K, Q5 и Q4 для сочетания качества и размера, тогда как низкобитные варианты экономят память, но снижают качество. Формат инструкций для запросов не указан, поэтому его необходимо уточнять по странице исходной модели. Лицензия обозначена как llama3.1.

airoboros-13b-gpt4-1.2 — это чат-модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Jon Durbin методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Она предназначена для генерации ответов на запросы пользователя и охватывает программирование, математику и рассуждения, викторины, ролевые диалоги, задания с выбором ответа и заполнением пропусков, а также вопросы по заданному контексту. Модель использует шаблон диалога в стиле Vicuna. Для запросов на код поддерживает инструкцию PLAINFORMAT, которая просит выдавать код без оформления Markdown, хотя автор отмечает, что это срабатывает не всегда. Контекст составляет 2048 токенов; веса доступны в формате PyTorch. Модель выпущена в июне 2023 года и распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и запрещающей коммерческое применение. Качество ответов и следование инструкциям могут быть непостоянными; сведения о поддерживаемых естественных языках в карточке не приведены.

airoboros-mpt-30b-gpt4-1p4-five-epochs — языковая модель на архитектуре MPT-30B, дообученная автором карточки методом QLoRA на наборе airoboros-gpt4-1.4 в течение пяти эпох. Она предназначена для генерации ответов в диалогах и инструктивных сценариях, включая вопросы по предоставленному контексту, помощь с программированием, письмо, викторины и ролевые диалоги. В обучающие данные также вошли примеры кода на десяти языках программирования. Модель использует формат запросов Airoboros, близкий к Vicuna, и поддерживает генерацию текста. Автор отмечает, что в собственных разовых проверках качество оказалось ниже, чем у вариантов на Llama-33B; также README предупреждает о возможной ошибке в накоплении градиентов при обучении. Репозиторий содержит веса PyTorch. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Beyonder-4x7b — языковая модель для генерации текста и диалогов, созданная Mlabonne как смесь экспертов (MoE) с помощью mergekit на ветке Mixtral. В неё объединены openchat/openchat-3.5-1210, beowolx/CodeNinja-1.0-OpenChat-7B, maywell/PiVoT-0.1-Starling-LM-RP и WizardLM/WizardMath-7B-V1.1. Архитектура Mixtral использует несколько экспертных сетей; размер модели по метаданным — 7,1 млрд параметров, контекст — до 8192 токенов. Модель предназначена для генерации текста в чате и может применяться для диалоговых ответов, объяснений, помощи с кодом и математическими задачами. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии Apache-2.0. README содержит лишь краткий пример ответа и не приводит сравнительных оценок качества.

BigQwen2.5-52B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-52B-Instruct, разработанной mlabonne и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. В README указан английский язык; сведения о других языках отсутствуют. Модель имеет размер 52 млрд параметров и поставляется в вариантах от F16 до низкобитных Q- и IQ-квантизаций. Доступны файлы размером примерно от 12,39 до 104,55 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix; варианты Q6_K, Q5_K_L, Q5_K_M, Q4_K_L, Q4_K_M и IQ4_XS отмечены как рекомендуемые благодаря сочетанию качества и размера, тогда как более низкие уровни квантизации снижают качество, но уменьшают требования к памяти. Размер контекста и точная архитектура в README не указаны. Для работы требуется совместимое ПО, например llama.cpp или LM Studio, а также значительный объём оперативной или видеопамяти в зависимости от выбранного файла. Модель использует лицензию tongyi-qianwen; в карточке она обозначена как other и приведена ссылка на лицензию Qwen2-72B-Instruct. Условия коммерческого и иного использования следует уточнять в тексте этой лицензии.

DeepSeek-R1-0528-Qwen3-8B-MLX-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и формата MLX, ориентированного на работу на устройствах с Apple Silicon. Модель предназначена для генерации текста и связанных с ней языковых сценариев. README не содержит сведений о точном числе параметров, поддерживаемых языках, размере контекста, модальностях или специализированных ограничениях исходной модели. Ключевое преимущество версии — уменьшенный размер благодаря 4-битному представлению и оптимизация для Apple Silicon; при этом квантование может снижать точность по сравнению с исходной моделью, а применение вне экосистемы MLX и Apple Silicon может быть ограничено. Модель распространяется по лицензии MIT.

QuantTrio/DeepSeek-V3.2-Exp-AWQ — AWQ-квантизированная версия экспериментальной языковой модели DeepSeek-V3.2-Exp, разработанной DeepSeek AI и опубликованной QuantTrio. Модель предназначена для генерации текста, диалоговых приложений и серверного инференса через Transformers и vLLM, включая сценарии с автоматическим выбором инструментов и вызовом функций. В основе лежит архитектура DeepSeek-V3.2-Exp с механизмом DeepSeek Sparse Attention (DSA), рассчитанным на повышение эффективности обучения и инференса при работе с длинными последовательностями. В README заявлена поддержка контекста до 32 768 токенов. Модель является текстовой; сведения о размере, количестве параметров и поддерживаемых языках не указаны. Размер файлов модели составляет около 373 ГБ. К сильным сторонам относятся снижение вычислительных затрат при обработке длинного контекста благодаря разреженному вниманию и совместимость с оптимизациями vLLM, включая expert parallelism и speculative decoding. Ограничения включают экспериментальный статус, необходимость специализированной конфигурации и минимум шести GPU для указанного односерверного запуска. На момент публикации заявлена поддержка только датацентровых GPU Hopper и Blackwell; производительность и совместимость с другим оборудованием могут отличаться. Модель распространяется по лицензии MIT.

Dolphin3.0-R1-Mistral-24B-Patched — текстовая генеративная модель от AIOpsInSpace, созданная на базе cognitivecomputations/Dolphin3.0-Mistral-24B. Модель объединяет дообучение Dolphin 3.0 с паттернами рассуждений DeepSeek-R1 и предназначена для локального запуска, генерации текста и решения задач, требующих пошагового рассуждения. Заявлена поддержка формата reasoning trace с тегами <think> и исправления, повышающие стабильность работы локальных бэкендов и предотвращающие зависания токенизатора. Модель представляет собой плотную архитектуру Mistral с 24 млрд параметров. В карточке указана английская локализация; другие языки и размер контекстного окна не описаны. Среди заявленных особенностей — отсутствие ограничений на тематику ответов и совместимость с GGUF, однако конкретные варианты квантования, требования к оборудованию и результаты бенчмарков не приведены. Сильными сторонами модели являются сочетание относительно компактного для такого уровня reasoning-движка размера, открытой основы Mistral, ориентированности на локальное выполнение и поддержка явного формата рассуждений. Ограничениями остаются отсутствие подтверждённых количественных оценок качества, неполные сведения о контексте и аппаратных требованиях, а также потенциальные риски использования модели без встроенных ограничений безопасности. Указанная лицензия — Apache-2.0.

LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen — дообученная плотная языковая модель семейства Qwen3 на базе Qwen/Qwen3-4B, опубликованная LCM-Lab. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса Safetensors, модель содержит около 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. README озаглавлен «Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers», что указывает на связь модели с исследованием адаптивной разреженности внимания при работе трансформеров. Лицензия — Apache-2.0. Карточка не раскрывает конкретные результаты тестирования или подробные ограничения качества.

ApatheticWithoutTheA/gemma-2-2b-it-R1-Reasoning — дообученная диалоговая модель на базе Google Gemma 2 2B IT, созданная ApatheticWithoutTheA. Модель обучена методом LoRA с использованием MLX на 62,9 тыс. примеров датасета sequelbox/Raiden-DeepSeek-R1; README указывает 600 итераций обучения. Она предназначена для следования инструкциям и генерации текста с рассуждениями: на простые вопросы отвечает кратко, а для более сложных может выдавать длинные цепочки рассуждений. Модель подходит для ответов на вопросы, задач на рассуждение и программирование, в том числе при запуске на пользовательском оборудовании. Это плотная авторегрессионная архитектура Gemma2ForCausalLM с 2,7 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит форматы GGUF и safetensors; библиотека модели — MLX. Метаданные указывают английский язык и лицензию MIT. Качество рассуждений не гарантировано: модель иногда не начинает рассуждение без прямой просьбы, а на особенно сложных задачах может зацикливаться на длинном анализе и не приходить к выводу. Используйте ответы и сгенерированный код с проверкой.

Карточка модели Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_6 на Hugging Face совпадает с карточкой Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_5, поэтому описание составлено по ней. Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_5 — дообученная чат-модель Elio2151 на архитектуре Gemma 2. В качестве основы использована unsloth/gemma-2-9b-it-bnb-4bit; модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, составления текстов и помощи в технических задачах. Она содержит около 9 млрд параметров, принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 8192 токена. В репозитории указаны веса safetensors. Модель распространяется по лицензии Apache 2.0. README не описывает конкретный набор обучающих данных, результаты оценки качества или специальные ограничения применения.

Llama-3.1-Tulu-3-405B-GGUF — это набор GGUF-квантизаций большой языковой модели Llama-3.1-Tulu-3-405B, опубликованный bartowski. Исходная модель разработана Allen Institute for AI (AI2), а квантизация выполнена с помощью llama.cpp release b4585 и метода imatrix. Модель предназначена для генерации текста и запуска локальных LLM-приложений через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 405 млрд параметров, работает в текстовой модальности и, согласно карточке, ориентирована на английский язык. Указан датасет RLVR-MATH, однако конкретные характеристики обучения и размер контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 431 до 119 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, но требуют больше оперативной или видеопамяти; низкие уровни экономят память ценой снижения качества. Для диалогового использования указан формат промпта с ролями system, user и assistant. Сильной стороной являются очень большой масштаб модели и широкий выбор вариантов для подбора компромисса между качеством и требованиями к памяти. Ограничениями остаются исключительно высокие аппаратные требования даже для наиболее сжатых вариантов, а также потенциальная потеря качества при низкой квантизации. Модель распространяется по лицензии llama3.1; перед использованием необходимо учитывать условия этой лицензии.

Llama-3-8B-Instruct-Gradient-1048k-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Gradient-1048k, разработанной Gradient AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона сообщений Llama 3; заявленный контекст — до 1 048 000 токенов. Указан английский язык, поддерживается текстовая модальность. Модель основана на архитектуре Llama 3 с примерно 8 млрд параметров. Набор включает варианты квантизации от Q8_0 до Q2_K и IQ2–IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными в README названы Q8_0 и Q6_K, а Q5_K_M, Q5_K_S, Q4_K_M и другие варианты рекомендованы как компромисс между качеством и потреблением ресурсов. Файлы предназначены для запуска через llama.cpp; квантизация выполнена с использованием imatrix. Сильными сторонами являются большой заявленный контекст, широкий выбор уровней квантизации и возможность локального запуска на оборудовании с разным объёмом памяти. Более сильное сжатие уменьшает размер модели, но снижает качество генерации; варианты Q2 и часть Q3 описаны как низкокачественные или пригодные главным образом при жёстких ограничениях памяти. В README указана лицензия llama3; отдельные требования исходной модели и ограничения применения следует уточнять в условиях этой лицензии.

Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия инструкционной языковой модели Llama-3-Instruct-8B-SPPO-Iter3, разработанной UCLA-AGI. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом формате с системными и пользовательскими инструкциями. Модель имеет около 8 миллиардов параметров, поддерживает текстовую модальность и ориентирована на английский язык. В репозитории доступны варианты квантизации от Q8 до Q2, различающиеся размером файла, требованиями к памяти и качеством генерации. Версии Q5–Q8 характеризуются высоким качеством, тогда как варианты Q3 и Q2 экономят память, но заметно уступают по качеству; некоторые варианты с суффиксом L используют F16 для весов эмбеддингов и выходного слоя и обозначены как экспериментальные. Модель подходит для локального запуска и ресурсоограниченных сценариев, где важен баланс между качеством и потреблением памяти. Ограничения включают зависимость результатов от выбранного уровня квантизации, отсутствие заявленной поддержки других модальностей и отсутствие в README сведений о размере контекстного окна и результатах бенчмарков. Для корректного использования следует применять указанный формат промпта Llama 3. Модель распространяется по лицензии Apache-2.0.

Meta-Llama-3-8B-Instruct-BPE-fix-GGUF — это GGUF-версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях диалоговых ассистентов, ответов на вопросы, написания и преобразования текста. В карточке указаны английский язык и задача text-generation; поддержка других языков не заявлена. Известно, что модель относится к семейству Llama 3 и содержит 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами инференса, а суффикс BPE-fix указывает на вариант с исправлением, связанным с токенизацией BPE, однако подробности этого исправления в README не приведены. Сведения о размере контекста, точной архитектуре, модальностях, производительности и ограничениях качества отсутствуют. Модель распространяется по лицензии Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение, создание производных работ и модификацию на установленных условиях. При распространении материалов или продуктов необходимо включать текст лицензии, указывать «Built with Meta Llama 3», сохранять требуемое уведомление об авторских правах и соблюдать Acceptable Use Policy. Для организаций и продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

DevQuasar-12/meta-llama.Llama-4-Scout-17B-16E-Instruct-GGUF — это квантованная версия языковой модели meta-llama/Llama-4-Scout-17B-16E-Instruct, опубликованная DevQuasar. Модель предназначена для генерации текста и работы в сценариях инструкционного взаимодействия, включая ответы на запросы пользователя и выполнение текстовых задач. Модель относится к семейству Llama 4 Scout; в её обозначении указаны конфигурация 17B и 16E. Формат GGUF предназначен для использования в совместимых инструментах локального запуска квантованных моделей. Согласно README, модель работает только с текстом; сведения о поддерживаемых языках, размере контекста и конкретном варианте квантования не приведены. К сильным сторонам относятся инструкцийная настройка исходной модели и возможность локального использования квантованной версии, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием мультимодальных возможностей и недостатком данных о качестве, точности, требованиях к оборудованию и параметрах квантования. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной публикации отдельно.

Phi-4-mini-reasoning-GGUF — это GGUF-квантизированная версия языковой модели Phi-4-mini-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач и работы с кодом; поддерживает сценарии локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты от BF16 размером 7,68 ГБ до низкобитных квантов размером около 1,90 ГБ. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, IQ и другие; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше оперативной памяти. Указан английский язык. Архитектура исходной модели, число параметров, поддерживаемые модальности и размер контекста в README не описаны. Сильными сторонами являются локальный запуск, широкий выбор компромиссов между качеством и требованиями к памяти, а также специализация исходной модели на математическом рассуждении. Ограничения включают возможное снижение качества при использовании низкоразрядных квантов и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии MIT.

Это квантизированная версия текстовой генеративной модели Mixtral-8x22B-v0.1, разработанной Mistral AI и подготовленной для распространения пользователем ChristianAzinn. Модель поставляется в формате GGUF и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio, Ollama и другие сервисы на его основе. Модель использует архитектуру Mixture of Experts (MoE) и доступна в вариантах квантизации от 2 до 6 бит, включая IQ2_XXS, IQ2_XS, Q2_K, IQ3, Q3, Q4, Q5 и Q6. Также заявлена поддержка 16-битного формата в метаданных, однако репозиторий ориентирован на GGUF-квантизации с importance matrix; для Q8_0, FP16 и FP32 рекомендуется использовать другой репозиторий. Поддерживается текстовая генерация на английском языке и контекстное окно до 65 536 токенов. Сильные стороны модели — большой контекст, широкий выбор уровней квантизации и повышенное качество некоторых вариантов благодаря importance matrix при небольших дополнительных затратах. Ограничение — очень большой размер исходной модели: она не предназначена для большинства пользовательских компьютеров, а длинный контекст требует значительных ресурсов. Файлы могут быть разделены на части; llama.cpp и LM Studio поддерживают работу с такими шардами. Модель распространяется по лицензии Apache-2.0.

Это экспериментальный внутренний чекпойнт r19 модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленный разработчиком minjaechoi на основе nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. В README указано, что средняя точность маршрутизируемых экспертов составляет 2,0217 бита, тогда как остальные веса имеют формат BF16; веса хранятся в BF16-тензорах после деквантизации и загружаются через стандартные Transformers и vLLM. Метаданные указывают архитектуру Nemotron H, задачу генерации текста, контекст до 262 144 токенов и интерфейс для вызова инструментов. Модель подходит для диалогов и генерации текста, включая сценарии с вызовом инструментов; описание базовой модели также относит семейство к рассуждениям, программированию и агентным приложениям. Метаданные базовой модели указывают поддержку шести языков, но сами языки в предоставленных данных не перечислены. Чекпойнт обозначен как внутренний исследовательский и не содержит отдельных сведений о качестве или ограничениях его низкой точности экспертов. Лицензия наследуется от базовой модели.

NeuralReyna-Mini-1.8B-v0.2 — диалоговая языковая модель на архитектуре Qwen2 с примерно 1,5 млрд параметров. Автор взял aloobun/Reyna-Mini-1.8B-v0.2 и дополнительно дообучил её методом DPO на данных Intel/orca_dpo_pairs. Модель использует формат запросов ChatML, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации ответов в диалоге и заявлена для задач программирования, математики, естественных наук, ролевого общения и вызова функций. README предупреждает о возможном переобучении на данных DPO и нестабильном качестве; приведённые результаты оценки относятся к отдельным тестам и не гарантируют качества в практических сценариях.

Это версия NVIDIA Nemotron 3 Nano 4B в формате GGUF BF16, опубликованная DevQuasar на основе nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16. Модель предназначена для генерации текста и диалогового общения; компактная базовая модель NVIDIA рассчитана также на рассуждения, программирование и агентные сценарии на локальных устройствах. В репозитории указано преобразование в GGUF BF16. Карточка не описывает отдельные настройки, результаты оценки или дополнительные ограничения этой версии. Лицензия в предоставленных данных не указана.