II.8Инженерия данных и аналитика

Qwen3.5-4B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная principled-intelligence. Это плотная авторегрессионная модель с 3,4 млрд параметров для генерации текста и диалогов. В чекпойнте удалены веса визуального энкодера; модель принимает текст и предназначена для сценариев, где обработка изображений не нужна. Контекстное окно составляет 262 144 токена. По описанию авторов, текстовое поведение, токенизатор и шаблон чата соответствуют исходной Qwen3.5-4B, а сокращённый чекпойнт требует меньше места и видеопамяти. Для загрузки авторы указывают Transformers версии 5.2.0 или новее. Другие движки инференса, включая vLLM, SGLang, llama.cpp и Ollama, не поддерживаются в карточке. Модель распространяется по лицензии Apache-2.0.

Avesed/Qwen3.6-27B-INT8-W8A8 — квантованная версия базовой модели Qwen/Qwen3.6-27B, разработанной командой Qwen и подготовленной Avesed. Это плотная гибридная модель с архитектурой, объединяющей линейное внимание GatedDeltaNet и периодическое полноформатное внимание. Модель имеет vision tower и MTP head, однако в карточке указаны языки English и Chinese, а назначение обозначено как text-generation. Модель предназначена для генерации текста и задач, поддерживаемых базовой Qwen3.6-27B, включая сценарии, где важны рассуждения и работа с длинными последовательностями; точный размер контекста в README не указан. Ключевая особенность — INT8-квантизация по схеме W8A8: веса квантуются в симметричный INT8 по каналам, а активации — динамически по токенам. Большинство MLP-слоёв, полное внимание и выходная проекция GatedDeltaNet квантуются, тогда как чувствительные к качеству компоненты сохраняются в формате bf16. По заявлению автора, INT8 W8A8 обеспечивает почти отсутствие потерь качества и уменьшает требования к памяти по сравнению с полноразмерной моделью. Для запуска рекомендуется vLLM с INT8 W8A8 CUTLASS path и tensor parallelism; указана совместимость с GPU Ampere sm_80 и sm_86. Ограничения включают зависимость от подходящего программного стека и оборудования, а также отсутствие в README точных данных о контексте, производительности и качестве на конкретных наборах задач. Модель распространяется по лицензии Apache-2.0.

trymirai/Qwen3.6-27B-L — квантизированная версия языковой модели Qwen3.6-27B, подготовленная Mirai Labs для эффективного локального вывода на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования большой языковой модели, включая задачи, поддерживаемые исходной Qwen3.6-27B. Точные сведения о назначении, языках и контекстном окне в этой карточке не приведены. Модель содержит 27 млрд параметров и использует посттренировочную 8-битную симметричную целочисленную квантизацию с масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms с размером блока 32. По размеру и уровню квантизации checkpoint сопоставим с Unsloth UD-Q8_K_XL в формате GGUF. Ключевые преимущества — сохранение качества при уменьшенном размере и ориентация на эффективный локальный запуск. Основное ограничение — на данный момент поддерживается только inference на Apple silicon; характеристики, оценки и ограничения исходной модели Qwen3.6-27B следует уточнять в её оригинальной карточке. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-NInfer — мультимодальный вариант модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в нативный формат .ninfer для движка NInfer. Артефакт предназначен для генерации текста в режимах с рассуждением и без него, а также для обработки изображений, нескольких изображений, видео и смешанных мультимодальных сообщений. Модель содержит 27 млрд параметров базовой модели и использует groupwise-квантизацию с распределением Q4/Q5/Q6 для текстовой части, а также W8G32_F16S для эмбеддингов и выходной головы. Поддерживаются MTP-спекулятивное декодирование, BF16 и INT8 group-64 KV-кэш, CUDA Graph decode, повторное использование совместимых префиксов и небольшое параллельное пакетное обслуживание. В README указаны текстовый контекст до 262 144 токенов и мультимодальный лимит до 81 920 токенов в проведённых тестах. Сильные стороны модели — поддержка мультимодальных сценариев, высокая точность на AIME 2025 и AIME 2026 — по 96,67%, а также результаты 87,37% на GPQA-Diamond и 82,22% на RealWorldQA. Ограничения связаны с узкой средой запуска: требуется NInfer версии с ревизии 5232055, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее. Артефакт не является чекпойнтом Transformers, Safetensors или GGUF. Лицензия — Apache-2.0.

Qwen3.8-27B-OQ3-GGUF — квантованная версия Qwen3.8-27B, подготовленная Ora Computing методом посттренировочной калибровочной квантизации. Модель предназначена для диалогов и генерации текста; с дополнительным vision-проектором GGUF поддерживает также входные изображения и видео. Репозиторий содержит файл модели размером 10,54 ГБ со средней точностью 3,026 бита на вес и отдельный проектор изображения размером 0,93 ГБ. В основной файл встроена голова многотокенного предсказания, которую можно использовать для ускорения декодирования в совместимых версиях llama.cpp. По приведённым в карточке тестам модель сохраняет 95,4% совокупного результата исходной версии bf16 на MMLU-Pro и AIME-25, занимая примерно в 5,3 раза меньше места. Для запуска автор рекомендует llama.cpp; заявленный родительский чекпойнт — Qwen/Qwen3.8-27B. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.

Jiunsong/SuperQwen3.8-27b-abliterated-NVFP4-DGX-Spark — это сжатая и оптимизированная для производительности мультимодальная модель, созданная Jiunsong на базе Qwen/Qwen3.8-27B. Она предназначена для задач image-text-to-text, рассуждений, работы с инструментами и обработки длинного контекста. Модель поддерживает английский и корейский языки, принимает текст и изображения, а также рассчитана на контекст до 262 144 токенов; в README подтверждён поиск данных в контексте длиной 262 043 токена. Модель использует квантизацию NVFP4 W4A4 с размером группы 16 для подходящих линейных весов и активаций. Vision tower, MTP, пути conv1d и lm_head защищены и сохраняются в исходной или BF16-точности; MTP-компонент используется для speculative decoding. Размер исходной модели — 27B параметров, объём квантизированного набора составляет около 19,15 GiB. В измеренном профиле применяется FP8 KV cache, а стабильная конфигурация speculative decoding использует K=5. Сильными сторонами являются высокая скорость декодирования на одном DGX Spark, сохранение мультимодальных возможностей, tool calling, длинного контекста и ограниченного режима рассуждений. Для конфигурации K=5 заявлена скорость 25,7592 токена в секунду, а проверки показали успешную работу с инструментами, изображениями и тестами на избыточное обдумывание. Ограничения включают возможное ухудшение качества на задачах, не охваченных проверками, зависимость производительности от конкретной среды DGX Spark и ограничение speculative decoding нативным окном 262 144 токена. Заявление об «abliterated» означает снижение измеренной склонности к отказам и не гарантирует универсальную безопасность или достоверность. Модель распространяется по лицензии Apache-2.0.

Apertus-70B-2509 — большая языковая модель семейства Apertus, разработанная Swiss AI Initiative. Это плотный авторегрессионный трансформер с 97,7 млрд параметров по метаданным репозитория; в карточке семейство описано как модель на 70 млрд параметров. Модель обучена с нуля на 15 трлн токенов, а затем прошла supervised fine-tuning и выравнивание QRPO. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста, многоязычных запросов и работы с длинным контекстом до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков и возможность использования инструментов; модель рассчитана на запуск через Transformers, vLLM, SGLang и MLX. Разработчики также описывают её как полностью открытую и обученную на данных с соблюдением требований согласия и отказа от использования. Модель подходит для диалоговых и агентных сценариев, ответов на вопросы, создания и продолжения текста, а также задач на разных языках. Генерируемый текст может содержать фактические ошибки, логические несоответствия и предвзятость; встроенного фильтра персональных данных нет, поэтому важную информацию нужно проверять, а защиту от вывода персональных данных организовывать отдельно.

bartowski/arcee-ai_Trinity-Large-Thinking-GGUF — это GGUF-квантизации текстовой генеративной модели Trinity-Large-Thinking, разработанной arcee-ai. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач рассуждения, агентских сценариев и вызова инструментов, а также для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI и совместимые интерфейсы. Модель работает с текстом и поддерживает английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ3/IQ4; заявленный размер файлов составляет примерно от 181 до 424 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти, тогда как компактные варианты рассчитаны на системы с ограниченными ресурсами. Архитектура, число параметров и размер контекста в README не указаны. Сильными сторонами являются поддержка многоязычной генерации, задач рассуждения и агентского взаимодействия, а также широкий выбор квантизаций. Ограничениями выступают очень большие требования к дисковому пространству и памяти, зависимость совместимости от обновлений используемого программного обеспечения и возможное снижение качества у компактных вариантов. Модель распространяется по лицензии Apache-2.0.

bartowski/c4ai-command-r-v01-GGUF — это набор квантованных версий большой языковой модели c4ai-command-r-v01, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может использоваться в локальных сценариях через совместимые реализации llama.cpp. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Архитектура, количество параметров, модальности и размер контекста не указаны. Доступны варианты квантования Q2_K–Q8_0 размером примерно от 13,81 до 37,17 ГБ; Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, а Q8_0 — как вариант максимального доступного качества. Более сильное квантование обычно сохраняет лучшее качество, но требует больше места и памяти; варианты Q3 и Q2 экономичнее, однако сопровождаются заметным снижением качества. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

DeepSeek-V2-Lite-Chat-GGUF — это квантизированная GGUF-версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek-ai и подготовленной компанией Second State Inc. Модель предназначена для локального запуска и генерации ответов в формате чат-ассистента; в README также указана совместимость с LlamaEdge версии 0.12.3 и выше. Модель поддерживает контекст размером до 128 000 токенов и использует шаблон запросов deepseek-chat-2. В репозитории доступны варианты квантования от Q2_K до Q8_0, а также f16, с размером файлов примерно от 6,43 до 31,4 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Более сильное квантование уменьшает требования к памяти, но может заметно снижать качество ответов. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии DeepSeek с обозначением other; ссылка на условия лицензии приведена в исходном описании.

Euphrates-14B — объединённая языковая модель на архитектуре Qwen2, опубликованная Sakalti. Она создана методом TIES с помощью mergekit на основе Spestly/Athena-1-14B и включает веса Qwen/Qwen2.5-14B. Модель содержит 14 млрд параметров, работает с текстом и рассчитана на генерацию текста и диалоговые сценарии; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов. Модель может применяться для диалоговых помощников, составления и продолжения текстов, а также интеграции с приложениями, использующими вызов инструментов. В карточке указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

gaunernst/gemma-3-12b-it-int4-awq — инструкцияно дообученная мультимодальная модель семейства Gemma 3, разработанная Google DeepMind. Данный репозиторий содержит QAT INT4 Flax-чекпойнт, преобразованный в формат HF+AWQ для использования с Transformers; при этом квантование AWQ непосредственно не применялось. Базовая модель — google/gemma-3-12b-it. Модель принимает текст и изображения и генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений, включая описание визуального содержимого. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Контекстное окно составляет 128K токенов, максимальный объём генерируемого вывода — 8192 токена. Заявлена поддержка более 140 языков. Ключевые преимущества — мультимодальность, большое контекстное окно и сниженные требования к ресурсам благодаря представлению INT4, что может упростить развёртывание на локальной инфраструктуре или в облаке. Ограничения включают зависимость от совместимой версии Transformers и необходимость учитывать особенности формата конвертированного чекпойнта; README не содержит результатов бенчмарков или подробностей о качестве на отдельных языках и задачах. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия соответствующей лицензии.

gghfez/gemma-3-4b-novision — текстовая версия Gemma 3 4B IT, созданная автором репозитория на основе google/gemma-3-4b-it. Из модели удалены компоненты обработки изображений, а мультимодальная архитектура преобразована в Gemma3ForCausalLM; сохранена генерация текста. Модель содержит 4 млрд параметров, использует Transformers и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста по текстовым запросам. Она наследует базовую модель Gemma 3 4B IT, а её контекст составляет до 131 072 токенов. Лицензия — Gemma. Поскольку компоненты зрения удалены, модель не принимает изображения; карточка не приводит отдельных оценок качества или дополнительных ограничений.

gemma-4-12B-it-QUASAR-Q4_0-GGUF — мультимодальная квантованная версия модели Gemma 4 12B Instruct, разработанная QUASAR-QAT на базе google/gemma-4-12B-it. Модель предназначена для диалогов, генерации и понимания текста, работы с изображениями, рассуждений, вызова функций и инструментов, а также агентских сценариев. Заявлена поддержка английского и других языков, однако полный перечень языков и размер контекстного окна в README не указаны. Модель поставляется в формате GGUF с нативной 4-битной INT4-квантизацией Q4_0, выполненной методом quantization-aware training. Указан размер базовой модели 12B параметров; мультимодальная поддержка обеспечивается vision projector из исходной BF16-модели. Формат совместим со стандартными средствами llama.cpp, Ollama и LM Studio. По измерениям авторов, на отложенных чат-запросах модель показала KL-дивергенцию 0,048 и совпадение top-1 с BF16-версией на уровне 94,3%; эти результаты помечены как непроверенные. К сильным сторонам относятся сохранение близкого к BF16 поведения при меньшем размере и требованиях к ресурсам, а также поддержка текста и изображений. Ограничения включают возможные потери качества из-за 4-битной квантизации, зависимость мультимодальных возможностей от совместимого рантайма и отсутствие в README точных требований к памяти, производительности и максимальному контексту. Модель распространяется по лицензии Apache-2.0.

HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — модифицированная версия Gemma 4 12B от Google DeepMind, подготовленная HauhauCS. Модель основана на официальных QAT-весах и ориентирована на агентное программирование, рассуждения, творческое письмо, ролевые сценарии и диалоговые задачи, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и предназначен для случаев, когда стандартные отказы базовой модели нежелательны. Это плотная модель на 12 млрд параметров с контекстом до 256K токенов. Она поддерживает ввод изображений через отдельный vision-проектор mmproj, поэтому может использоваться в мультимодальных сценариях. Доступна в формате GGUF с квантизацией Q4_K_M размером около 6,9 ГБ; автор считает этот вариант оптимальным благодаря обучению Gemma 4 с учетом 4-битной квантизации. Для ускорения генерации поставляется MTP-голова для speculative decoding, которая в llama.cpp, по заявлению автора, дает примерно 60% прироста скорости без изменения проверяемого результата. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Среди ограничений — заявленное ускорение MTP протестировано только в llama.cpp, а при использовании LM Studio автор наблюдал возможные сбои в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоев. Заявление об отсутствии отказов основано на тестах автора и не исключает отдельных отказов в пограничных случаях. Лицензия указана как Gemma; конкретные условия следует уточнять в лицензии семейства Gemma.

Gemma 4 26B A4B IT Heretic (FP8 Static) — офлайн-статически квантованная версия модели coder3101/gemma-4-26B-A4B-it-heretic, опубликованная в репозитории cloud19. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку текста и изображений, а также для высокопроизводительного инференса на оборудовании NVIDIA с FP8 tensor cores, например архитектур Hopper и Blackwell. Модель основана на архитектуре Gemma 4 с MoE-компонентами; заявленный размер — 26B параметров при конфигурации A4B. Квантование выполнено с помощью AutoFP8 в формате FP8 W8A8 со статическим масштабированием активаций. Для калибровки использовано 512 примеров из набора mgoin/ultrachat_2k. Визуальные слои и маршрутизаторы MoE сохранены в исходной точности bfloat16, чтобы сохранить мультимодальность и совместимость с vLLM. Указан контекст до 131072 токенов и поддержка развёртывания через vLLM версии 0.19.0 или новее. Сильные стороны модели — повышенная скорость инференса и эффективность использования NVIDIA-оборудования при сохранении разговорных возможностей, а также поддержка мультимодальности и автоматического выбора инструментов. Ограничения связаны с зависимостью от совместимого FP8-оборудования и актуальной версии vLLM; README не содержит подробных результатов оценки качества, перечня поддерживаемых языков и точных требований к видеопамяти. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Mungert/Jan-v1-4B-GGUF — это GGUF-квантизированная версия Jan-v1, небольшой агентной языковой модели, разработанной Jan/Jan AI и основанной на Qwen3-4B-Thinking-2507. Конкретный репозиторий содержит сборки, созданные с использованием llama.cpp; автор применяет собственный подход к квантизации с повышением точности отдельных важных слоёв. В метаданных указан английский язык, размер базовой модели — 4B параметров, модальность — текстовая генерация. Модель предназначена для агентного рассуждения, решения сложных задач, ответов на вопросы, диалогового взаимодействия и использования инструментов, включая сценарии интеграции с Jan App. В исходной карточке заявлены 91,1% точности на SimpleQA и улучшенные возможности рассуждения и tool use, однако приведённые результаты относятся к Jan-v1 в целом и могут не полностью отражать поведение конкретной GGUF-квантизации. Поддерживаются локальный запуск через llama.cpp и интеграция с инструментами, совместимыми с форматом модели. Сильными сторонами являются компактный размер, ориентация на агентные задачи и потенциально более высокая точность при заданном уровне квантизации благодаря повышению точности отдельных слоёв. Ограничения включают зависимость качества от выбранного GGUF-варианта и параметров квантизации, а также отсутствие в карточке точного размера контекста, перечня доступных квантизаций, детальных сравнительных результатов и описания дополнительных языков. Лицензия модели — Apache 2.0.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

hugging-quants/Meta-Llama-3.1-8B-Instruct-BNB-NF4 — общественная квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и мультиязычного диалогового взаимодействия, включая работу в качестве инструкционно настроенного чат-ассистента. Она поддерживает сценарии вопросно-ответного общения и другие задачи text-to-text, совместимые с causal language modeling, и может использоваться через Transformers или Text Generation Inference. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В этой версии исходные веса BF16 преобразованы с помощью bitsandbytes в формат NF4 с размером блока 64. Для загрузки контрольной точки требуется около 6 ГиБ VRAM без учёта KV-кэша и CUDA-графов, поэтому фактические требования к памяти выше. Квантование снижает требования к видеопамяти, но может влиять на качество по сравнению с исходной версией BF16. В README размер контекста и результаты конкретных тестов не указаны. Модель распространяется по лицензии Llama 3.1. Для запуска рекомендуются torch, bitsandbytes и Transformers версии 4.43.0 или выше; также заявлена поддержка Text Generation Inference.

QuantFactory/Meta-Llama-3-70B-Instruct-GGUF — это квантованная версия инструкционной большой языковой модели Meta Llama 3 70B Instruct, подготовленная QuantFactory в формате GGUF. Базовая модель разработана Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется диалоговое взаимодействие или создание текстового контента. В README указано, что поддерживается английский язык и используется задача text-generation. Известно, что модель относится к семейству Llama 3 и имеет размер 70B параметров. Формат GGUF предназначен для совместимого локального запуска, однако конкретный вариант квантования, требования к памяти, длина контекста и поддерживаемые программные средства в README не указаны. Также отсутствуют сведения о дополнительных модальностях, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся инструкционная настройка базовой модели и возможность использования квантованного GGUF-представления для локального вывода. Ограничения включают отсутствие подробностей о типе и качестве квантования, а также о производительности. Использование регулируется Meta Llama 3 Community License. При распространении модели или продуктов на её основе требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение атрибуции Meta и соблюдение Acceptable Use Policy.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

DhruvalLabs/Qwen2.5-7B-Instruct-GGUF — набор квантизированных версий текстовой генеративной модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen, а представленные GGUF-квантизации подготовлены Dhptl с использованием quant-kit. Модель предназначена для диалогов, генерации текста и работы в качестве локального ассистента; поддерживается запуск через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. В карточке явно указан английский язык. Это семимиллиардная instruction-tuned языковая модель в формате GGUF с вариантами квантизации от Q2_K до Q8_0. Размер файлов составляет примерно от 2,81 до 5,31 ГБ, а рекомендуемым вариантом назван Q4_K_M как компромисс между качеством и требованиями к памяти; для него требуется около 5,9 ГБ RAM. Более сильное сжатие уменьшает потребление памяти, но заметнее снижает качество, тогда как Q6_K и Q8_0 ближе к исходному качеству и требуют больше ресурсов. В README не указаны размер контекста и мультимодальные возможности; приведён пример использования с контекстом 4096 токенов. Лицензия — Apache-2.0. Заявленные оценки сохранения 97–99% качества не подтверждены фактическими результатами в карточке, поскольку бенчмарки предлагается запускать самостоятельно.

Qwen3-4B-Instruct-2507-4bit — языковая instruct-модель для генерации текста, разработанная командой Qwen и конвертированная сообществом mlx-community в формат MLX из базовой модели Qwen/Qwen3-4B-Instruct-2507. Модель предназначена для диалогового взаимодействия и выполнения текстовых запросов с использованием chat template. Модель содержит 4 миллиарда параметров и представлена в 4-битном формате квантования. Она работает с текстовой модальностью; сведения о поддерживаемых языках и размере контекста в README не указаны. Формат MLX и использование библиотеки mlx-lm ориентированы на запуск модели в экосистеме MLX. Конкретные преимущества и ограничения качества по сравнению с исходной моделью в предоставленных данных не описаны; 4-битное представление может влиять на точность, но степень такого влияния не указана. Модель распространяется по лицензии Apache 2.0. Конвертация выполнена с использованием mlx-lm версии 0.26.2.

Это версия Qwen3-4B-Instruct-2507, подготовленная сообществом mlx-community для запуска с библиотекой MLX. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров; в метаданных указан контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также работы с длинными текстовыми контекстами. Карточка подтверждает формат MLX и safetensors; лицензия — Apache-2.0. README сообщает о конвертации из Qwen/Qwen3-4B-Instruct-2507 с помощью mlx-lm 0.30.2.

Карточка модели Bobi099/Qwen3.5-27B-heretic на Hugging Face совпадает с карточкой coder3101/Qwen3.5-27B-heretic, поэтому описание составлено по ней. coder3101/Qwen3.5-27B-heretic — производная мультимодальная модель на основе Qwen/Qwen3.5-27B, опубликованная в формате Transformers. В карточке представлены параметры abliteration и сравнение с исходной моделью: доля отказов в приведённом тесте снизилась с 94 до 14 из 100, а KL-дивергенция составила 0,0653. Модель сохраняет архитектуру Qwen3.5 с языковой моделью и энкодером изображений; заявленный размер — 27 млрд параметров. Модель предназначена для диалогов, рассуждений, анализа изображений и сценариев с вызовом инструментов. Базовая Qwen3.5 поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 010 000 токенов; карточка не приводит отдельных измерений этих характеристик для данной производной модели. Уменьшение числа отказов может быть полезно там, где нужна менее ограниченная генерация, но приведённая оценка не описывает полноту качества или безопасность ответов. Лицензия — Apache-2.0.

amd/Qwen3.5-397B-A17B-NVFP4 — это мультимодальная модель условной генерации Qwen3_5MoeForConditionalGeneration, созданная на основе Qwen/Qwen3.5-397B-A17B и подготовленная Advanced Micro Devices, Inc. Модель принимает текст, изображения и видео, а генерирует текст. В карточке указана поддержка английского языка. Обозначение модели содержит 397B-A17B, однако точное описание числа параметров и конфигурации смеси экспертов в README не приведено. Модель предназначена для задач генерации и анализа текста, а также обработки мультимодальных входных данных. Она оптимизирована для инференса через vLLM на системах AMD MI300, MI350 и MI355 с ROCm 7.2.2, PyTorch 2.10.0 и Transformers 5.14.0 под Linux. Для развертывания используется статическое квантование весов и динамическое квантование активаций MOE-слоёв в формате NVFP4; оптимизация выполнена с помощью AMD-Quark 0.12. К сильным сторонам относятся существенное снижение требований к памяти за счёт NVFP4-квантования, поддержка текста, изображений и видео, а также совместимость с vLLM. В тесте GSM8K модель получила 94,47 против 95,38 у исходной модели, что соответствует восстановлению 99,04% результата исходной версии. Ограничения включают ориентацию на определённое AMD-оборудование и программный стек, а также ограниченную опубликованную оценку: в README приведены результаты только GSM8K. Модель распространяется по лицензии Apache 2.0; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.