II.8Инженерия данных и аналитика

Qwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated — текстовая генеративная модель DavidAU, созданная методом Triple Cubed на основе нескольких моделей рассуждения семейства Qwen. По данным карточки, в её состав вошли QwQ-32B, TinyR1-32B-Preview и DeepSeek-R1-Distill-Qwen-32B; каталог указывает связи с тремя моделями huihui-ai. Архитектура — плотная Qwen2, класс Qwen2ForCausalLM, размер — 35,9 млрд параметров, формат весов — safetensors, контекст — до 131 072 токенов. Модель предназначена для диалоговой генерации текста, пошагового рассуждения, планирования, решения задач, подробных объяснений, творческого письма и мозговых штурмов. Автор отмечает, что версия Triple Cubed рассчитана на более глубокое рассуждение и детальную генерацию, а также допускает широкий диапазон температуры. В метаданных указаны интерфейс чата и интерфейс вызова инструментов. Модель обозначена как abliterated и uncensored, поэтому может выдавать контент без обычных отказов. README рекомендует использовать шаблон ChatML; настройки генерации, включая температуру, могут заметно влиять на результат. Карточка не сообщает конкретные языки обучения или гарантии качества. Условия лицензии в предоставленных данных не указаны.

RedHatAI/Qwen3-0.6B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-0.6B, разработанная RedHat совместно с Neural Magic. Это авторегрессионная модель архитектуры Qwen3ForCausalLM для генерации текста по текстовому вводу. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных предметных экспертов посредством дообучения. Указанный размер базовой модели — 0,6 млрд параметров. Веса линейных слоёв трансформера сжаты до INT4 с использованием GPTQ, асимметричной поканальной групповой схемы с размером группы 64; параметры сохраняются в формате w4a16. Это примерно на 75% снижает размер на диске и требования к памяти GPU по сравнению с 16-битным представлением весов. В README приведены сценарии оценки с длиной контекста до 40960 токенов, однако точное максимальное контекстное окно модели отдельно не указано. Модель поддерживает только текстовые входы и выходы. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание, в частности через vLLM с OpenAI-совместимым сервером. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных результатов оценки, перечня поддерживаемых языков и гарантий качества для конкретных прикладных задач. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимые законы и нормативные требования.

Qwen3-4B-Instruct-2507-Q8_0-GGUF — это квантизированная версия модели Qwen3-4B-Instruct-2507, преобразованная в формат GGUF проектом ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы в диалоговых и инструкционных сценариях; запуск возможен через llama.cpp в режиме CLI или сервера, включая локальное развертывание. Из известных характеристик следует, что это модель размером 4B параметров с инструкционным назначением и квантованием Q8_0. README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста, поэтому эти свойства нельзя достоверно уточнить. Формат GGUF и совместимость с llama.cpp удобны для локального запуска на различном оборудовании, однако конкретные требования к ресурсам и производительность зависят от используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель, созданная в коллаборации shaffhausen/DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В разработке использовались методы Unsloth, датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы Fable, Claude Opus, GPT5 и собственные наборы данных. Лицензия — Apache-2.0; заявлены языки английский и китайский. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, генерации кода, творческого письма, художественной прозы, ролевых сценариев и других универсальных применений. В README заявлена поддержка vision, однако подробности о визуальном энкодере и формате мультимодального ввода не приведены. Архитектурный размер — 27B; точный контекст и базовая архитектура не указаны. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные варианты. Кванты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; в MTP-вариантах MTP-тензоры имеют точность Q8_0. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также сохранение производительности на низких квантах. Автор сообщает о превосходстве базовой Qwen3.6-27B в шести из семи бенчмарков и о результатах выше Qwen3.6-35B-A3B, но эти утверждения представлены самим автором и не подтверждены независимыми данными в README. Ограничения включают отсутствие подробных результатов тестов, точных требований к оборудованию и данных о контекстном окне. Модель позиционируется как uncensored/heretic, поэтому поведение в чувствительных сценариях и соответствие требованиям безопасности следует проверять отдельно. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction.

taurusduan/Qwen3.8-27B-GSQ-RCO-GGUF — это набор GGUF-квантизаций базовой модели Qwen3.8-27B, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска языковой модели, включая мультимодальные сценарии с обработкой изображений через поставляемый vision projector. Файлы совместимы с llama.cpp, Ollama и LM Studio. В набор входят четыре неравномерные квантизации с эффективной разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ. GSQ выполняет посттренировочную скалярную квантизацию, а RCO распределяет типы квантизации по отдельным тензорам с учётом их чувствительности и общего ограничения на размер. Для мультимодального режима используется отдельный проектор mmproj с vision encoder и projector в формате BF16 размером около 0,9 ГБ. Также доступны варианты с Multi-Token Prediction head для speculative decoding в llama.cpp; они примерно на 0,35 ГБ больше. Рекомендуемым вариантом назван IQ3_S: по данным README, он сохраняет качество базовой модели на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая чуть больше одной пятой размера BF16-модели. Более компактные варианты подходят для экономии памяти, но могут иметь больший компромисс по качеству. Модель и методы квантизации распространяются по лицензии Apache 2.0. Языки и максимальная длина контекста в README не указаны.

Qwen3.8-27B-Kearuga — пользовательская гибридно-квантизированная версия Qwen3.8-27B, разработанная 0xWhiteMage. Модель предназначена для генерации текста и высокопроизводительного интерактивного сервинга со speculative decoding на одной NVIDIA DGX Spark с GB10, Grace-Blackwell и 128 ГБ унифицированной памяти. Она ориентирована на сценарии, где важны снижение потребления памяти, высокая пропускная способность и сохранение качества базовой модели. Модель содержит около 27 млрд параметров и использует комбинацию GPTQ с групповыми масштабами Four-Over-Six, NVFP4 AWQ, FP8 E4M3 и защищённых участков BF16. Размер весов сокращён с 51,8 ГиБ до 24,85 ГБ. Для ускоренного сервинга поддерживается связка с SGLang и отдельной Kearuga DFlash 2 drafter-моделью с K=12 и draft head на 64K. Заявлены языки английский, китайский, немецкий, французский, японский, корейский, испанский и русский; модель относится к классу text-generation. По данным README, средняя KL-дивергенция относительно базовой BF16-модели составляет 0,0165, совпадение наиболее вероятного токена на тесте из 40 примеров — 100%, а на отложенном наборе — 95%. Точное совпадение продолжения длиной 32 токена достигнуто в 50% случаев, поэтому квантизация может приводить к отличиям в генерации при близких значениях логитов. Для Quality-200 указано 157 из 180 баллов, включая результаты на GSM8K, HumanEval, IFEval и агентских задачах. Производительность зависит от конфигурации сервинга и оборудования; приведённые показатели измерены на DGX Spark при отключённом thinking и температуре 0. Модель распространяется по лицензии Apache 2.0.

Ma7ee7/Qwen3.8_4B_Distilled_GGUF — набор квантованных версий модели Ma7ee7/Qwen3.8_4B_Distilled, созданной независимым разработчиком на основе Qwen3-4B-Thinking-2507. Модель обучена методом sequence-level knowledge distillation на ответах и рассуждениях, сгенерированных моделью qwen3.8-max-preview, и не является официальным релизом Qwen или Alibaba. Распространяется в формате GGUF для запуска через llama.cpp, LM Studio, Ollama, Jan и другие совместимые приложения. Это decoder-only causal language model архитектуры Qwen3 примерно с 4 миллиардами параметров. Она предназначена для генерации текста, диалогов и задач, требующих рассуждений; режим thinking включён. Основным языком указан английский. В README приведены параметры контекста до 32 768 токенов, однако заявленные возможности могут зависеть от используемого приложения и квантования. Доступны варианты Q4_K_M, Q5_K_M и Q8_0: Q4_K_M рекомендуется как баланс качества, скорости и потребления памяти, Q5_K_M обеспечивает более высокую точность, а Q8_0 — наибольшую точность при максимальных требованиях к памяти. Модель компактнее исходной учительской системы и удобна для локального запуска, но не должна рассматриваться как эквивалент qwen3.8-max-preview: её возможности ограничены размером студенческой модели и потерями от квантования. В карточке указана лицензия Apache-2.0.

Qwen3.8-Flash-Next-CRACK-JANG_6S — модель, опубликованная dealignai на основе JANGQ-AI/Qwen3.8-Flash-Next-JANG_6S, относящегося к экспериментальной линейке Alibaba Qwen. Это CRACK-abliterated-сборка, в которой удалено поведение отказа при сохранении рассуждений, инструментального взаимодействия и мультимодальных возможностей. Модель предназначена для исследовательских задач, агентных сценариев, работы с инструментами, рассуждений, а также анализа изображений и видео. Модель представляет собой квантованную версию примерно 176-миллиардной MoE-архитектуры с 512 экспертами и около 6 миллиардов активных параметров. В описании указаны гибрид Gated DeltaNet и Qwen Sparse Attention, хешированное n-граммное embedding, встроенная multi-token prediction head, поддержка режимов рассуждений off, low и xhigh, а также vision-language и video-возможности. Заявлены языки English и Chinese. Для запуска используется MLX на Apple Silicon; требуется около 106 ГБ дискового пространства и примерно 82 ГБ активной оперативной памяти, при этом около 24 ГБ таблицы embedding потоково считываются с SSD. К сильным сторонам относятся мультимодальность, поддержка агентных инструментов, рассуждений и эффективная MoE-архитектура с небольшим числом активных параметров. По приведённым тестам CRACK-версия получила 86,10% на MMLU, что на 1,62 процентного пункта ниже базовой модели, и не демонстрировала жёстких отказов в 960 проверках HarmBench. Это одновременно является ограничением и фактором риска: модель намеренно лишена части защитного поведения, поэтому требует осторожного применения и дополнительного контроля безопасности. В README также отмечен один некорректный длинный цикл генерации в режиме xhigh. Модель распространяется по лицензии qwen-community-1.0, обозначенной как other. Она представлена как исследовательский артефакт; ответственность за использование весов возлагается на пользователя. Для запуска рекомендуется окружение vMLX и платформа Apple Silicon.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Для взаимодействия используется формат промптов ChatML с ролями system, user и assistant. Модель имеет архитектуру и исходный размер Qwen3-30B-A3B; точные сведения о модальностях, языках и размере контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантизации GGUF, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и более компактные форматы. Квантизация выполнена с использованием imatrix и llama.cpp b5200. Старшие варианты сохраняют высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Основные ограничения связаны с компромиссом между размером файла, требованиями к памяти и качеством генерации: низкобитные варианты имеют более низкое качество и некоторые из них не рекомендуются. Для запуска требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие выбранному файлу; размер вариантов составляет примерно от 11 до 61 ГБ. Модель распространяется по лицензии Apache-2.0.

Shadowm7expMeliodaspercival_01_experiment26t3q-7B — автоматически объединённая текстовая модель на архитектуре Mistral, созданная Maxime Labonne. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и объединяет ShadowM7EXP-7B и MeliodasPercival_01_Experiment26T3q с базовой моделью Mistral-7B-v0.1 методом model_stock; веса представлены в формате safetensors и типе bfloat16. Репозиторий распространяется по лицензии Apache-2.0.

duyntnet/SmolLM2-1.7B-imatrix-GGUF — набор GGUF-квантизаций компактной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для генерации текста и широкого спектра задач, включая следование инструкциям, работу со знаниями, рассуждения, математику, переписывание и суммаризацию текста, а instruct-версия также поддерживает function calling. GGUF-вариант ориентирован на локальный запуск через llama.cpp и совместимые приложения. Модель содержит 1,7 млрд параметров и работает в текстовой модальности; в карточке указан английский язык. Базовая SmolLM2-1.7B обучалась на 11 трлн токенов с использованием данных FineWeb-Edu, DCLM, The Stack, а также математических и программных наборов данных. Instruct-версия дополнительно обучалась методом supervised fine-tuning и оптимизировалась с помощью Direct Preference Optimization на базе UltraFeedback. К сильным сторонам относятся компактность, возможность запуска на устройстве и улучшения по сравнению с SmolLM1-1.7B в следовании инструкциям, знаниях, рассуждениях и математике. Размер контекста в README не указан, поэтому его характеристики и ограничения нельзя определить точнее. Для использования доступны llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Лицензия обозначена как other, без дополнительных условий в README; точные права и ограничения следует уточнять в исходной карточке модели и лицензии базовой SmolLM2-1.7B.

Myric/Spark-X2.5-4B-GGUF — это GGUF-конверсия модели XHToken/Spark-X2.5-4B, предназначенная для генерации текста и работы в сценариях рассуждений, включая агентное программирование. Модель выпускается в нескольких вариантах точности и квантования для запуска через llama.cpp. Модель имеет плотную архитектуру примерно на 4,11 млрд параметров, 36 слоёв, скрытое пространство размером 2560, 16 query-heads и 4 KV-heads. Она использует чередующееся sliding-window attention: 27 слоёв с окном 512 токенов и 9 слоёв с полным вниманием. Заявлен максимальный контекст до 1 048 576 токенов, однако качество на таком контексте в README не измерялось. Модель поддерживает текстовую модальность, имеет словарь на 131 072 токена и выдаёт блок рассуждений. Сильными сторонами являются сравнительно низкие требования к памяти при длинном контексте, наличие вариантов от BF16 до Q4_K_M и оптимизация квантований с importance matrix. Для запуска требуется специально пропатченная ветка llama.cpp с поддержкой архитектуры spark2_5; стандартная upstream-версия не загрузит модель. Необходимо явно задавать размер контекста, иначе может быть предпринята попытка выделить память под полный контекст в 1 млн токенов. Производительность и результаты в README измерены на ограниченном наборе задач, поэтому их нельзя считать универсальными оценками. Модель и конверсия распространяются по лицензии Apache-2.0.

EVA-Qwen2.5-72B-v0.2-GGUF — это GGUF-квантизированная версия текстовой генеративной модели EVA-Qwen2.5-72B-v0.2, подготовленная пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Базовая модель указана как EVA-UNIT-01/EVA-Qwen2.5-72B-v0.2; её основой является Qwen2.5-72B. Модель ориентирована на генерацию текста, следование инструкциям, написание различных материалов и ролевые сценарии. В обучающих данных использовались наборы для instruction-following, письма, roleplay и синтетической генерации, включая материалы на базе Opus, Sonnet 3.5, ChatGPT-4o и Dolphin. Модель доступна в нескольких вариантах квантования от Q8_0 до Q2_K и IQ-квантов, с размером файлов примерно от 27 до 77 ГБ. Более высокие варианты сохраняют лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска рекомендуется использовать LM Studio или совместимый с GGUF движок на базе llama.cpp. В README не указаны точная архитектура, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия обозначена как Qwen; в качестве официального документа приведена лицензия Qwen2.5-72B-Instruct. Условия конкретного использования необходимо проверять по указанному лицензионному тексту. Основные ограничения связаны с большими требованиями к памяти и снижением качества при использовании низких уровней квантования; вариант Q4_K_M описан как оптимальный по размеру для большинства сценариев, а Q6_K и Q5 считаются высококачественными рекомендуемыми вариантами.

EXAONE-4.0.1-32B — плотная языковая модель LG AI Research на 31,5 млрд параметров, дообученная на базе EXAONE-4.0-32B. Версия 4.0.1 содержит исправление, призванное уменьшить число непреднамеренных или неподходящих ответов. Модель поддерживает диалог на английском, корейском и испанском языках и предлагает режимы обычной генерации и рассуждений, а также вызов инструментов. Модель предназначена для диалоговых приложений, решения сложных задач с рассуждением и агентных сценариев с инструментами. Архитектура включает 64 слоя, GQA с 40 головами внимания и 8 KV-головами, а также гибридное внимание; контекст — до 131 072 токенов. Для работы через Transformers требуется версия 4.54.0 или новее. Модель может генерировать неподходящий или предвзятый контент, фактически или логически ошибочные ответы и не гарантирует актуальность сведений. В README указана лицензия «other», а не конкретные условия; перед использованием следует свериться с условиями репозитория.

LGAI-EXAONE/EXAONE-4.5-33B-AWQ — квантованная версия мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуально-языковые задачи, рассуждения и обработку контекста на корейском языке. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Модель имеет 33 млрд параметров: 31,7 млрд приходится на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное Sliding Window Attention и глобальное внимание. Размер контекста составляет 262 144 токена, отсечка знаний — декабрь 2024 года. Версия AWQ применяет 4-битное группажное квантование весов W4A16g128, что снижает требования к памяти, но может уменьшать точность по сравнению с исходной моделью. Сильными сторонами заявлены конкурентные результаты на общих бенчмарках, превосходство сопоставимых по размеру моделей в понимании документов и корейском контекстном рассуждении, а также поддержка изображений. Ограничения включают возможные потери качества из-за квантования, ограниченность знаний датой отсечки и отсутствие в README подробностей о требованиях к оборудованию, производительности и безопасном применении. Лицензия указана как exaone; дополнительные условия следует уточнять в файле LICENSE.

FranQwenStein-35B — языковая модель на архитектуре Qwen2, собранная Nisten методом evo-merge из Qwen2.5-32B-Instruct, Qwen2.5-32B-AGI и Qwen2.5-32B-Base. Она предназначена для диалогов и генерации текста с выполнением системных инструкций; в карточке также приведены результаты оценок на нескольких бенчмарках. Модель содержит 33,9 млрд параметров и поддерживает контекст до 131 072 токенов. По README, слияние сохраняет защитные ограничения Qwen и усиливает следование системному промпту; автор сообщает о результате примерно на 1% выше Qwen2.5-72B-Instruct на GPQA Diamond Zero-Shot. Эти оценки приведены автором и не гарантируют аналогичного качества в других сценариях. Репозиторий распространяется в формате safetensors по лицензии MIT.

FuseChat-Qwen-2.5-7B-Instruct-Heretic-GGUF — языковая модель в формате GGUF, созданная на основе FuseAI/FuseChat-Qwen-2.5-7B-Instruct и опубликованная пользователем ChiKoi7. Базовая модель относится к семейству Qwen 2.5 и имеет 7 млрд параметров. FuseChat-3.0 разработана FuseAI с использованием неявного объединения возможностей нескольких крупных языковых моделей через Supervised Fine-Tuning и Direct Preference Optimization на данных предпочтений; в качестве целевой модели использовалась Qwen-2.5-7B-Instruct. Для данной версии дополнительно применён Heretic v1.0.1 — метод удаления ограничений на отказы от ответов. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая общие разговорные задачи, следование инструкциям, математику и программирование. По приведённому сравнению, версия Heretic отказалась от ответа в 3 случаях из 100 против 93 из 100 у исходной модели, при этом её KL-дивергенция относительно оригинала составила 0,07. Это указывает на существенно более редкие отказы при сохранении близкого поведения к исходной модели, однако одновременно означает потенциально менее выраженные защитные ограничения. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура трансформера, требования к аппаратному обеспечению и конкретная лицензия. Также не приведены результаты независимой оценки качества после применения Heretic. Поэтому модель следует использовать с учётом возможного отсутствия встроенных ограничений безопасности; условия распространения необходимо уточнять по лицензии базовой модели и репозитория модели.

Это NVFP4-квантизованная сборка в формате GGUF модели Gemma 4 E4B IT от Google DeepMind, подготовленная для запуска через llama.cpp и другие совместимые движки. В основе указана QAT-версия Gemma 4 E4B IT; архитектура — Gemma4ForConditionalGeneration, с 4,3 млрд эффективных параметров (7,5 млрд с эмбеддингами) и 42 слоями. В репозитории есть варианты весов NVFP4 и BF16, а также MTP-модель для ускорения генерации. Модель принимает текст, изображения и аудио и генерирует текст. Она предназначена для диалога, анализа изображений и аудио, рассуждений, программирования и локального запуска; заявлены контекст до 128 тыс. токенов, поддержка более 140 языков и структурированного вызова инструментов. Для мультимодального ввода требуется файл mmproj.gguf. NVFP4 уменьшает требования к памяти, а QAT призван сохранить качество, однако качество конкретной квантизованной сборки может отличаться от исходных весов. Лицензия — Apache 2.0.

Это GGUF-сборка модели llmfan46/gpt-oss-120b-ultra-heretic, подготовленная независимым автором llmfan46. В README указано, что исходная модель прошла abliteration: изменялись слои 15–32 с целью снизить частоту отказов при сохранении возможностей. Доступны варианты BF16, Q8_0 и Q5_K_M; метаданные классифицируют эту копию как дообученную модель в формате GGUF. Модель предназначена для диалоговой генерации текста, рассуждений и сценариев с использованием инструментов. README также заявляет поддержку вызова функций, веб-браузинга и структурированных ответов, а запуск описан через llama.cpp, LM Studio и Ollama. Указанные в карточке показатели — 3 отказа из 100 и KL-дивергенция 0,0703 — относятся к оценке автора и не гарантируют результаты на других запросах. Лицензия — Apache 2.0. Сборка ориентирована на пользователей, которым нужна модель с меньшим числом отказов; такие ответы могут быть менее ограничены. Размер параметров и длина контекста для этой GGUF-копии в предоставленных данных не указаны.

Hermes-2-Theta-Llama-3-8B-GGUF — это квантизированная версия текстовой инструкционной модели Hermes-2-Theta-Llama-3-8B. Исходная модель разработана NousResearch, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp и метода imatrix. Модель основана на NousResearch/Hermes-2-Pro-Llama-3-8B и обучалась с применением методов дообучения, DPO, RLHF, дистилляции и синтетических данных, включая датасет teknium/OpenHermes-2.5. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций на английском языке. Заявлены возможности работы с function calling и JSON mode; для общения используется шаблон ChatML с системными, пользовательскими и ассистентскими сообщениями. Это текстовая модель без заявленной поддержки изображений или других дополнительных модальностей. Размер базовой модели — 8B параметров, однако точный размер контекста в README не указан. Главное преимущество набора — наличие множества вариантов квантизации с разным соотношением качества и требований к памяти: от Q8_0 размером 8,54 ГБ до IQ1_M размером около 2,39 ГБ. В README наиболее рекомендуются варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия в предоставленных данных не указана.

AMD Llama-3.1-405B-Instruct-FP8-KV — это FP8-квантизированная версия инструкционной модели Meta-Llama-3.1-405B-Instruct, подготовленная компанией Advanced Micro Devices с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется развертывание крупной языковой модели с оптимизированным использованием памяти и вычислительных ресурсов. README не содержит дополнительных сведений о поддерживаемых языках, длине контекста и исходной архитектуре базовой модели. Квантизации подвергнуты все линейные слои, кроме lm_head; веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием per-tensor. Экспорт выполняется в формате Quark safetensors, а развертывание возможно через совместимый с vLLM backend. По данным оценки на wikitext2, perplexity увеличилась с 1,8561 у исходной модели до 1,8951 у квантизированной версии; при этом результаты получены в режиме псевдоквантизации и могут отличаться от точности реального инференса. Для работы требуется Quark, а из-за размера модели может понадобиться мног GPU-развертывание. Лицензия указана как llama3.1; модификации распространяются с авторскими правами Advanced Micro Devices, Inc. за 2024 год.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

Llama-3_1-Nemotron-51B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Llama-3_1-Nemotron-51B-Instruct, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp и LM Studio. Указан английский язык. Модель имеет 51 млрд параметров и доступна в форматах от F16 до различных вариантов 3-, 4-, 5-, 6- и 8-битного квантования. Размер файлов варьируется примерно от 23,49 до 103,01 ГБ. Квантизация выполнена с использованием imatrix; в карточке также отмечено исправление RoPE. Для работы следует использовать указанный шаблон инструкций с системным, пользовательским и ассистентским сообщениями. Контекст модели, архитектурные детали исходной версии и дополнительные модальности в README не указаны; по имеющимся данным это текстовая модель. Сильными сторонами являются широкий выбор вариантов квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также поддержка llama.cpp и LM Studio. Более компактные варианты экономят память, но могут уступать полноразмерной версии по качеству. Для использования применяются условия NVIDIA Open Model License; конкретные ограничения следует проверять в тексте лицензии по указанной ссылке.

joshnader/Meta-Llama-3.1-8B-Instruct-Q4_K_M-GGUF — это квантизированная версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная для запуска с llama.cpp и совместимых инструментов. Базовую модель разработала Meta. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель содержит 8 миллиардов параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полной версией и делает её более подходящей для локального запуска. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель работает только с текстом; сведения о размере контекстного окна и точной архитектуре в карточке не приведены. К сильным сторонам относятся инструкционное обучение, поддержка нескольких языков и возможность эффективного локального инференса благодаря формату GGUF и квантизации. Ограничения связаны с возможным снижением качества относительно моделей без квантизации, а также с тем, что модель может генерировать неточные или нежелательные ответы. Использование регулируется Llama 3.1 Community License от Meta; при распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая требования об атрибуции, отображении «Built with Llama» и соблюдении Acceptable Use Policy.

ThomasBaruzier/Meta-Llama-3-8B-Instruct-GGUF — это версия модели Meta Llama 3 8B Instruct в формате GGUF, подготовленная пользователем ThomasBaruzier. Базовая модель разработана Meta и предназначена для генерации текста на основе инструкций и диалогового взаимодействия. Модель относится к текстовым генеративным моделям и ориентирована на англоязычные сценарии: ответы на запросы, ведение диалога и выполнение текстовых инструкций. В карточке указаны размер 8B, формат GGUF и английский язык; сведения о длине контекста, конкретной архитектуре, вариантах квантования и поддержке других модальностей отсутствуют. К сильным сторонам относятся специализированная настройка для следования инструкциям и возможность использования в экосистеме GGUF. Ограничения включают отсутствие мультимодальности и неполные сведения о конфигурации конкретной сборки; качество ответов и требования к ресурсам зависят от выбранного варианта GGUF. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, Acceptable Use Policy и требования Meta к атрибуции, включая указание «Built with Meta Llama 3» в применимых случаях.

Nemotron-H-47B-Reasoning-128K-GGUF — это набор GGUF-квантизаций модели Nemotron-H-47B-Reasoning-128K, разработанной NVIDIA и квантизированной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет 47 миллиардов параметров и заявленный контекст до 128K токенов. В README указана только текстовая модальность; сведения о языках, конкретной архитектуре и формате промптов отсутствуют. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций, поэтому можно выбирать между качеством, объёмом памяти и скоростью запуска. Для квантизации использовался imatrix и релиз llama.cpp b6317. Сильной стороной являются большой контекст и широкий выбор уровней квантизации, включая варианты Q4–Q6, рекомендованные автором как обеспечивающие высокое или хорошее качество при существенно меньшем размере файлов. Ограничения связаны с большими требованиями к оперативной или видеопамяти даже у компактных вариантов, а при более агрессивной квантизации возможно снижение качества. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели NVIDIA и соответствующего репозитория.

OLMo-2-1124-13B-Instruct-GGUF — квантизированная версия инструкционной языковой модели OLMo-2-1124-13B-Instruct, разработанной Allen Institute for AI и подготовленной в формате GGUF автором bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Она поддерживает английский язык и использует текстовую модальность. Модель содержит 13 миллиардов параметров. В репозитории доступны исходный вариант F16 и различные уровни квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с помощью llama.cpp и imatrix; для запуска следует использовать шаблон промпта с ролями system, user и assistant, указанный в README. Варианты Q6 и Q5 позиционируются как высококачественные, Q4_K_M — как сбалансированный вариант для большинства сценариев, а варианты с меньшим числом бит требуют меньше памяти, но могут заметнее терять качество. Сильной стороной модели является широкий выбор GGUF-квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций и inference на CPU. Ограничения включают поддержку только английского языка, текстовый формат работы и неизбежное снижение качества у более агрессивно квантизированных вариантов. Размер контекста и другие архитектурные характеристики в предоставленных данных не указаны. Модель распространяется под лицензией Apache 2.0.

Карточка модели OpenYourMind/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored на Hugging Face совпадает с карточкой Laerins/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored, поэтому описание составлено по ней. OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

thesven/Phi-3.5-mini-instruct-awq — это сторонняя AWQ-квантизованная версия Microsoft Phi-3.5-mini-instruct, опубликованная пользователем thesven. Базовая модель разработана Microsoft и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и задач NLP, включая многоязычные сценарии. Репозиторий содержит 4-битные веса в формате Safetensors с AWQ и требует custom code для архитектуры Phi-3. Модель имеет около 4 млрд параметров, архитектуру decoder-only causal language model Phi3ForCausalLM, 32 слоя, 32 attention heads и заявленный контекст до 128K токенов. Это текстовая, а не мультимодальная модель; в карточке базовой модели заявлена многоязычная поддержка, включая английский, немецкий, испанский, французский, японский, русский, тайский и китайский. Квантизация уменьшает размер репозитория примерно до 2,28 ГБ и предназначена для более компактного локального запуска, однако для самой AWQ-версии отдельные результаты качества и подробные ограничения не опубликованы. Лицензия и условия использования у репозитория thesven явно не указаны. Для базовой Microsoft Phi-3.5-mini-instruct указана лицензия MIT. Поэтому при использовании квантизованной версии следует отдельно проверить права на распространение самой производной сборки и учитывать ограничения базовой модели, включая возможные пробелы многоязычного качества и необходимость тестирования в конкретном приложении.

CultriX/Qwen2.5-14B-Hyperionv3 — объединённая языковая модель на архитектуре Qwen2, созданная CultriX с помощью mergekit. В качестве базовой модели использована CultriX/Qwen2.5-14B-Wernickev3; при объединении также использованы несколько моделей семейства Qwen2.5-14B, включая Qwenfinity-2.5-14B, SeQwence-14B-EvolMerge, модели Veltha, Lamarck, Emerged, Broca, Fusion4 и QwenSlerp5. Модель предназначена для генерации текста и диалогового общения; интерфейс также поддерживает вызов инструментов. Она содержит 14 млрд параметров, работает с текстом и имеет контекст до 131 072 токенов. В карточке не описаны специальные языковые или предметные специализации и ограничения качества. Лицензия в предоставленных данных не указана.