II.8Инженерия данных и аналитика

Qwen3-Next-80B-A3B-Instruct-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Квантование в формате MLX подготовлено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и работы в инструкционных сценариях, включая диалоговое взаимодействие и выполнение текстовых запросов. В README указаны размер исходной модели 80B и обозначение A3B, однако подробности архитектуры, контекстного окна, поддерживаемых языков и модальностей не приведены. Формат MLX и 4-битное квантование ориентированы на более эффективное локальное выполнение при ограниченных ресурсах по сравнению с полноразмерной версией. К сильным сторонам относятся локальный запуск на Apple Silicon и сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества по сравнению с исходной моделью и отсутствие в предоставленных данных подробных сведений о производительности, языковой поддержке и безопасных сценариях применения. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

QuantFactory/Sparse-Llama-3.1-8B-2of4-GGUF — квантизированная версия разреженной текстовой модели Sparse-Llama-3.1-8B-2of4, созданная QuantFactory с использованием llama.cpp. Базовая архитектура — Llama-3.1-8B; исходную разреженную модель разработала Neural Magic на основе Meta Llama 3.1 8B. Модель принимает текст и генерирует текст. Модель предназначена для задач генерации текста и общего языкового моделирования, включая понимание языка, ответы на вопросы, рассуждения и работу с текстовыми запросами. Ключевая оптимизация — разреженность 2:4: в каждой группе из четырёх весов сохраняются два, а два удаляются. Для восстановления качества после pruning использовались обучение с дистилляцией знаний на 13 млрд токенов, SparseGPT и подход SquareHead. Формат GGUF ориентирован на запуск через llama.cpp; в исходной карточке также указана возможность эффективного развертывания через vLLM. По данным OpenLLM, средняя оценка составляет 62,16 против 63,19 у плотной Llama-3.1-8B, что соответствует 98,37% восстановления точности. На Mosaic Eval Gauntlet средняя оценка равна 53,85 против 55,34, или 97,3% восстановления. Основное преимущество — снижение избыточности модели при сохранении большей части качества исходной версии; ограничениями являются возможное ухудшение результатов на отдельных задачах и отсутствие в предоставленных данных сведений о поддерживаемых языках, длине контекста, точных параметрах квантизации и требованиях к оборудованию. Лицензия указана как llama3.1.

SuperGemma4-26b-abliterated-multimodal — производная мультимодальная модель на базе Google Gemma 4 26B IT, опубликованная Jiunsong. Это плотная модель с условной генерацией, предназначенная для диалогов, следования инструкциям и вызова инструментов. Она принимает текст и изображения и генерирует текст; в карточке заявлена поддержка английского и корейского языков. Модель поставляется в формате BF16 в формате Transformers, с шаблонами чата и вызова инструментов для настройки локального и серверного запуска. Автор README описывает обновление стабильности от 18 апреля: улучшения обработки ложных предпосылок, форматирования JSON и вызовов инструментов, извлечения из длинного контекста и устойчивости к зацикливанию. Приведены результаты внутренних проверок; в проверке сервера отмечены несоответствия в безопасных отказах и обработке текстовых запросов к мультимодальному серверу. Лицензия указана как Gemma; условия применения следует сверять с лицензией Gemma.

DeepSeek-R1-0528-Qwen3-8B-MLX-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и формата MLX, ориентированного на работу на устройствах с Apple Silicon. Модель предназначена для генерации текста и связанных с ней языковых сценариев. README не содержит сведений о точном числе параметров, поддерживаемых языках, размере контекста, модальностях или специализированных ограничениях исходной модели. Ключевое преимущество версии — уменьшенный размер благодаря 4-битному представлению и оптимизация для Apple Silicon; при этом квантование может снижать точность по сравнению с исходной моделью, а применение вне экосистемы MLX и Apple Silicon может быть ограничено. Модель распространяется по лицензии MIT.

mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit — это 4-битная квантованная версия модели DeepSeek-R1-Distill-Llama-70B, разработанной deepseek-ai и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.21.1. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в средах, совместимых с MLX. Для работы используется библиотека mlx-lm; README показывает загрузку модели, применение chat template и генерацию ответа по текстовому запросу. Ключевые характеристики: 70 миллиардов параметров в базовой модели, 4-битное представление весов, текстовая модальность и архитектурная основа Llama, унаследованная от DeepSeek-R1-Distill-Llama-70B. Сведения о поддерживаемых языках, размере контекстного окна, точных возможностях рассуждения, ограничениях, лицензии и требованиях к оборудованию в README не указаны.

NVIDIA DeepSeek-V3.2-NVFP4 — текстовая авторегрессионная модель на архитектуре Transformer с классом DeepseekV32ForCausalLM, основанная на DeepSeek-V3.2 от DeepSeek AI. NVIDIA выпустила эту квантованную версию с помощью TensorRT Model Optimizer; она предназначена для генерации текста и развёртывания в чат-ботах, агентных системах, RAG и других приложениях на базе ИИ. Модель принимает текст и генерирует текст, поддерживает контекст до 163 840 токенов и насчитывает 37,6 млрд параметров по метаданным Hugging Face. Квантование NVFP4 снижает требования к диску и памяти GPU примерно в 1,66 раза; для запуска README указывает TensorRT-LLM версии 1.2.0rc8 или новее и восемь GPU B200. Оптимизация рассчитана на оборудование NVIDIA Blackwell и Linux. Модель заявлена для коммерческого и некоммерческого использования по лицензии MIT. Она может воспроизводить токсичные формулировки и социальные предубеждения из обучающих данных, а также давать неточные, неполные, нерелевантные или избыточные ответы; перед внедрением её следует проверять на данных конкретного сценария.

DeepSeek-V4-Flash-2bit-DQ — это версия модели DeepSeek-V4-Flash, подготовленная сообществом mlx-community при поддержке Lambda.ai для запуска с использованием библиотеки MLX. Модель предназначена для генерации текста и локального инференса через mlx-lm; в README приведён пример диалогового применения с использованием chat template. Ключевая особенность модели — динамическая смешанная квантизация. Большинство весов экспертов маршрутизируемой MoE-архитектуры упаковано в 2 бита, а чувствительные слои и проекции сохранены в форматах 4, 6 или 8 бит. Такой подход снижает потребление памяти по сравнению с базовым checkpoint с 4-битной квантизацией, сохраняя более высокое качество в критичных компонентах. Точный размер модели, объём контекста, список поддерживаемых языков и модальности в README не указаны. Для использования требуется установить пакет mlx-lm; модель рассчитана на экосистему MLX. Лицензия в предоставленных данных не указана, поэтому условия распространения и коммерческого использования требуют дополнительной проверки.

nbeerbower представил слитую модель EVA-Rombos1-Qwen2.5-32B-lorablated на архитектуре Qwen2.5, предназначенную для генерации текста и диалогов. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. Модель создана методом task arithmetic с помощью mergekit из nbeerbower/EVA-Rombos1-Qwen2.5-32B и nbeerbower/Qwen2.5-32B-abliterated-LORA. Она рассчитана на текстовые запросы и выдаёт текст; метаданные также отмечают интерфейс для вызова инструментов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Язык карточкой не уточнён.

MaziyarPanahi/Falkor-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это квантованная версия языковой модели Falkor-7b-Mistral-7B-Instruct-v0.2-slerp, разработанная и подготовленная MaziyarPanahi. Модель основана на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и выполнения инструкций в локальных и серверных сценариях. Модель поставляется в формате GGUF, совместимом с llama.cpp и рядом приложений и библиотек для локального запуска, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Это позволяет выбирать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Точное число параметров указано как 7B; поддерживаются текстовые задачи, однако сведения о языках и размере контекстного окна в README отсутствуют. Сильными сторонами являются уменьшенный размер квантованных файлов и возможность запуска на широком спектре локальных конфигураций с поддержкой CPU и GPU через совместимые инструменты. Ограничения включают потенциальное снижение качества при использовании более агрессивного квантования, а также отсутствие в README подробных результатов оценки, описания архитектуры с дополнительными деталями и характеристик мультимодальности. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Gemma 2 9B IT, первоначально разработанной Google. Квантизации созданы с помощью llama.cpp и метода imatrix на основе калибровочного файла Bartowski; исходная модель — google/gemma-2-9b-it. Модель представляет собой decoder-only большую языковую модель для генерации и преобразования текста. Она предназначена для диалогов, ответов на вопросы, суммаризации, рассуждений и других задач текстовой генерации на английском языке. Доступны варианты с разными уровнями квантизации и размером примерно от 2,3 до 17,6 ГБ: от IQ1_S и IQ1_M до Q8_0 и F16. Более компактные варианты требуют меньше ресурсов, но могут сильнее терять качество; по приведённой таблице варианты Q4–Q8 близки к F16 по измеренным показателям perplexity и accuracy. Сильная сторона набора — возможность запускать Gemma 2 9B IT локально или на инфраструктуре с ограниченными ресурсами через llama.cpp, выбирая компромисс между размером и качеством. README не содержит сведений о длине контекста, точной архитектуре, поддерживаемых модальностях кроме текста или полном наборе языков; указано только, что модель доступна на английском языке. Использование регулируется лицензией Gemma от Google; для доступа к модели на Hugging Face требуется принять условия этой лицензии.

onnx-community/gemma-3n-E2B-it-ONNX — ONNX-версия инструкционной мультимодальной модели Gemma 3n E2B IT, разработанной Google DeepMind и подготовленной для использования с Transformers.js. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и принимает текстовые, графические, видео- и аудиовходы, генерируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, анализа изображений и видео, распознавания речи и автоматического перевода речи. Модель использует архитектуру MatFormer и технологию выборочной активации параметров. При общем размере около 6 млрд параметров её эффективный размер соответствует примерно 2 млрд параметров, поскольку матрицы с низкой частотой использования могут выгружаться с ускорителя. Изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768 и кодируются в 256 токенов каждое; аудио представляется со скоростью 6,25 токена в секунду для одного канала. Максимальный входной контекст составляет 32 тысячи токенов, а суммарная длина генерации — до 32 тысяч токенов за вычетом входа. Обучение проводилось на данных более чем 140 разговорных языков. К сильным сторонам относятся сочетание мультимодальности, компактного эффективного размера и возможности локального выполнения через Transformers.js, включая сценарии с WebGPU. Ограничения включают зависимость от поддерживаемого окружения ONNX и Transformers.js, а также отсутствие в предоставленной карточке подробных результатов бенчмарков, точного перечня языков и количественной оценки качества по отдельным задачам. Модель распространяется на условиях лицензии Gemma; применяются соответствующие Terms of Use Google.

furiosa-ai/gemma-4-31B-it-FP8-block — оптимизированная сборка мультимодальной модели Gemma 4 31B, разработанной Google, с упаковкой Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Модель предназначена для диалоговых и генеративных задач, а исходная версия также поддерживает обработку изображений вместе с текстом. В текущей FXB-реализации доступен только режим текст-текст, поэтому она подходит для текстового инференса и развёртывания через OpenAI-совместимый API. Архитектура модели — плотная Gemma 4 с vision encoder и transformer decoder, сочетающим слои sliding-window и full attention. Текстовый трансформер подвергнут статическому FP8 block quantization линейных слоёв с блоками 128×128; активации динамически квантизуются в FP8 группами по 128 значений. Vision tower, embeddings, output head и KV cache сохраняются в 16-битной точности. Для работы на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. К сильным сторонам относятся мультимодальная архитектура исходной модели, поддержка опционального reasoning и native tool calling на уровне upstream-модели, а также снижение требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения текущей FXB — отсутствие поддержки изображений, reasoning parser и tool-call parser в Furiosa-LLM; автоматический выбор инструментов и соответствующие расширенные режимы поэтому недоступны. Модель распространяется по лицензии Apache 2.0.

Gemma 4 E2B IT QAT NVFP4 GGUF — мультимодальная разговорная модель на основе контрольной точки Gemma 4 E2B IT с QAT-оптимизацией и преобразованием весов в формат GGUF с квантованием NVFP4. Модель разработана Google DeepMind; этот вариант подготовлен WhiskyAKM для запуска через llama.cpp и другие совместимые с GGUF движки. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом встраиваний; архитектура — Gemma4ForConditionalGeneration, 35 слоёв. Модель принимает текст, изображения и аудио и формирует текстовые ответы. Она предназначена для диалогов, анализа изображений и аудио, локального запуска и сценариев с вызовом инструментов; заявлены контекст до 128 тыс. токенов и поддержка более 140 языков. QAT и NVFP4 снижают требования к памяти, а файлы GGUF позволяют использовать модель в llama.cpp. Для обработки изображений и аудио нужен движок с мультимодальной поддержкой. Лицензия — Apache-2.0.

Granite-4.2-30B (NVFP4) — вариант модели Granite-4.2-30B, разработанный IBM и опубликованный в формате для библиотеки Transformers. Репозиторий содержит NVFP4-версию базовой модели ibm-granite/granite-4.2-30b, однако README не раскрывает её архитектуру, размер контекста, языки, модальности и конкретные сценарии применения. Модель предназначена для задач обработки естественного языка и использования в совместимых приложениях на базе Transformers. Ключевая характеристика данного варианта — представление NVFP4, которое может быть ориентировано на более эффективное хранение и выполнение модели, но README не содержит измерений производительности, требований к оборудованию или описания ограничений этого формата. Модель распространяется по лицензии Apache-2.0.

ibm-granite_granite-4.1-8b-GGUF — это квантизированная версия языковой модели granite-4.1-8b, разработанной IBM (ibm-granite) и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет около 8 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q2–Q8 и IQ. Размер файлов составляет примерно от 4,07 до 17,59 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. Для взаимодействия используется специальный шаблон промпта с ролями system, user и assistant. Сведения о поддерживаемых языках, архитектуре исходной модели, модальностях помимо текста и размере контекстного окна в представленном README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального инференса и совместимость с распространёнными инструментами. Более точные варианты, включая Q6_K и Q6_K_L, обеспечивают качество, близкое к исходному, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом памяти, но сопровождаются заметным снижением качества. Модель распространяется по лицензии Apache-2.0.

InternLM2.5-20B-Chat — разговорная текстовая модель семейства InternLM, разработанная командой InternLM. Данный репозиторий содержит её квантизованные версии в формате GGUF, подготовленные Second State Inc. на основе модели internlm/internlm2_5-20b-chat и предназначенные для локального запуска средствами, совместимыми с GGUF, включая LlamaEdge. Модель предназначена для генерации текста и диалоговых сценариев; README также указывает поддержку использования инструментов через специальный шаблон prompt. Это текстовая модель без заявленной поддержки других модальностей. Она содержит 20 миллиардов параметров, использует шаблон ChatML и поддерживает контекст размером до 32 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16; их размер составляет примерно от 7,55 до 39,7 ГБ. Основное преимущество репозитория — выбор компромисса между размером файлов и качеством: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшить качество ответов. Для запуска с LlamaEdge требуется версия 0.13.0 или выше. Лицензия указана как other, без дополнительных условий в README.

InternLM3-8B-Instruct-GGUF — это 8-миллиардная instruction-модель семейства InternLM, опубликованная командой InternLM и представленная в формате GGUF. Данный набор квантованных версий подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp или LM Studio. Формат prompt не указан, поэтому для корректного применения следует обратиться к странице исходной модели. Доступны варианты от полноточных F32 и F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 3,82 до 35,22 ГБ. Квантованные версии снижают требования к памяти, сохраняя различный уровень качества; README рекомендует несколько вариантов Q6, Q5 и Q4 как оптимальные по соотношению качества и размера. Сведения о поддерживаемых языках, длине контекста, модальностях и конкретной архитектуре в README не приведены. Модель распространяется под лицензией Apache-2.0.

L3-NotCrazy-8B — языковая модель bunnycore, полученная слиянием трёх моделей семейства Llama 3 с помощью mergekit. Она предназначена для генерации текста в диалогах и сочетает способности к рассуждению и решению задач, творческой ролевой игре и точному следованию инструкциям. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. В репозитории представлены веса safetensors; лицензия — Llama 3 Community License.

alpharomercoma/LFM2.5-2.6B-heretic — текстовая модель, созданная на основе LiquidAI/LFM2.5-2.6B с помощью направленной абляции отказного направления в остаточном потоке и подбора весов абляции по слоям. Веса объединены, поэтому модель загружается как обычная Lfm2ForCausalLM; размер составляет 2,6 млрд параметров, а контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В ней сохранены шаблон чата и токены вызова инструментов базовой модели; многоязычные возможности и сценарии локального запуска, включая RAG и длинноконтекстные агентные задачи, унаследованы от неё. В репозитории находятся веса Safetensors для Transformers, а не готовая скомпилированная сборка ExecuTorch. Абляция снижает склонность модели отказывать, стараясь сохранить близость к исходному поведению по KL-дивергенции. При этом намеренно удалена защитная настройка базовой модели, поэтому ответы могут включать небезопасный контент. Лицензия обозначена как «other»; README не уточняет её условия.

Ling-3.0-flash-GGUF — это набор GGUF-конвертаций модели Ling-3.0-flash, разработанной inclusionAI и опубликованной пользователем bloomer010 для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых и агентских сценариев, включая вызов инструментов, рассуждения и speculative decoding. В основе лежит гибридная архитектура KDA и gated MLA с Mixture-of-Experts на 512 экспертов: общий размер составляет около 124 млрд параметров, из которых активно примерно 5,1 млрд. Конвертации напрямую созданы из BF16 safetensors и включают блок MTP/NextN, поэтому отдельная drafter-модель для этого режима не требуется. Поддерживается контекст до 256K токенов; README не указывает набор языков и наличие мультимодальных возможностей. Доступны варианты квантования от BF16 и Q8_0 до сильно сжатых IQ1 и MXFP4_MOE, что позволяет адаптировать модель к разному объёму памяти. Качество обычно выше у крупных файлов, а малые варианты требуют меньших ресурсов, но могут сильнее терять точность и стабильность. Для эффективного speculative decoding также предлагаются отдельные DSpark draft-модели. Агентское использование в llama.cpp зависит от поддержки актуальных изменений, связанных с Ling parser и обработкой некорректных UTF-8-последовательностей; без них возможны сбои при вызове инструментов в незавершённых блоках рассуждений. Модель распространяется по лицензии MIT.

TheBloke/Llama-2-7B-Chat-GPTQ — это квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta, подготовленная TheBloke в формате GPTQ. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, помощи пользователю и других сценариев, где требуется текстовый ассистент. Для работы рекомендуется использовать шаблон промпта Llama-2-Chat с системными инструкциями и пользовательским запросом. Модель основана на архитектуре Llama и содержит 7 миллиардов параметров. Она работает с текстом, поддерживает английский язык и рассчитана прежде всего на GPU-инференс. В репозитории доступны варианты с разными параметрами квантизации GPTQ, включая разрядность, размер групп, порядок активаций и другие настройки; конкретные варианты позволяют выбирать компромисс между требованиями к VRAM и точностью. Некоторые файлы совместимы с ExLlama, который поддерживает Llama-модели в 4-битном формате. К сильным сторонам относятся сниженные требования к памяти по сравнению с полноразмерной версией и наличие нескольких вариантов квантизации для различного оборудования. Ограничения связаны с потерями точности, возможными при квантизации, отсутствием мультимодальности и тем, что модель не предназначена для генерации фактически гарантированно достоверных ответов. Модель распространяется по лицензии Llama 2; её использование регулируется условиями лицензии Meta Llama 2.

nreHieW/Llama-3.1-8B-Instruct — копия Meta Llama 3.1 8B Instruct от Meta, опубликованная пользователем nreHieW. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста составляет 131 072 токена. Модель принимает текст и генерирует текст. README отсылает к репозиторию Meta для условий лицензии и рекомендует получить одобрение перед использованием; дополнительные сведения о языках и специализированных областях применения в предоставленных данных отсутствуют.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

Llama3-ChatQA-1.5-70B-GGUF — это квантизированная версия языковой модели Llama3-ChatQA-1.5-70B, первоначально разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска средствами, совместимыми с llama.cpp. Модель относится к классу text-generation и ориентирована на диалоговые сценарии, ответы на вопросы и работу с предоставленным контекстом. В README указан английский язык. Рекомендуемый формат запроса включает системную инструкцию, контекст, вопросы пользователя и ответы ассистента, что делает модель подходящей для контекстного вопросно-ответного взаимодействия. Размер исходной модели составляет 70 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_S, объёмом примерно от 15,34 до 74,97 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые и обеспечивают компромисс между качеством и требованиями к памяти; более компактные варианты снижают качество, но подходят для систем с ограниченными ресурсами. Длина контекста и другие архитектурные характеристики в README не указаны. Модель лицензирована по лицензии llama3. Для запуска требуется достаточно оперативной или видеопамяти в зависимости от выбранного варианта квантизации; наиболее качественные версии требуют значительных ресурсов. README не содержит сведений о мультимодальности, поддерживаемых языках помимо английского, результатах бенчмарков или дополнительных ограничениях использования.

Карточка модели WariHima/llm-jp-4-33b-thinking на Hugging Face совпадает с карточкой llm-jp/llm-jp-4-33b-thinking, поэтому описание составлено по ней. LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

Meta Llama 3.1 8B Instruct GGUF — это квантизированная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 миллиардами параметров. Исходную модель разработала Meta, а данный вариант подготовлен для библиотеки GGUF и распространяется quantizer’ом brooketh; он предназначен для локального использования в приложениях на базе llama.cpp, включая Backyard AI. Модель ориентирована на генерацию текста и диалоговые сценарии, в которых требуется следовать инструкциям. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный контекст составляет до 131 072 токенов. Формат GGUF позволяет распределять вычисления между CPU и GPU и запускать модель на более широком спектре оборудования, однако квантизация снижает требования к ресурсам ценой возможного ухудшения связности и качества при более низкой точности. Модель не дообучена специально для roleplay. Лицензия указана как llama3.1; перед использованием следует ознакомиться с её условиями. README не содержит сведений о конкретном уровне квантизации, размере файла, требованиях к памяти или результатах тестирования, поэтому производительность и качество на конкретном оборудовании заранее определить нельзя.

RedHatAI/Meta-Llama-3-8B-Instruct-FP8-KV — это квантованный вариант Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев с использованием vLLM; чекпойнт подготовлен с помощью AutoFP8 и калибровочных примеров из ultrachat. Модель содержит 8B параметров и использует FP8-квантизацию весов и активаций с покомпонентным масштабированием на уровне тензоров. Дополнительно в чекпойнт включены масштабы для FP8-квантизации KV-кэша, что позволяет включать этот режим через параметр kv_cache_dtype="fp8" в vLLM. Для работы требуется vLLM версии 0.5.0 или новее. Данные о поддерживаемых языках, размере контекста и мультимодальности не указаны. К преимуществам относятся снижение требований к памяти и возможность эффективного инференса с FP8 KV-кэшем. По результатам Open LLM Leaderboard показатель gsm8k в режиме 5-shot составляет 74,98 против 75,44 у исходной модели и 74,37 у варианта FP8 без квантованного KV-кэша, что указывает на близкое качество в этом тесте. Ограничения включают возможную потерю точности из-за квантизации и зависимость от совместимой версии vLLM. Лицензия в README не указана.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-интерфейсах и системах, поддерживающих GGUF, включая llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp и llama-cpp-python. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Точные размер модели, архитектура исходной модели, максимальная длина контекста и поддерживаемые языки в README не указаны. Формат ориентирован на эффективный запуск, в том числе с GPU-ускорением, однако квантование может влиять на качество по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.