II.3Рефакторинг, миграция и модернизация

Qwen3.5-35B-A3B RAMP v2 — GGUF-квантизация модели Qwen/Qwen3.5-35B-A3B, подготовленная независимым ML-исследователем Кевином Ремондером. Это генеративная MoE-модель для диалогов; сборка оптимизирована для запуска на видеокарте RTX 5060 Ti с 16 ГБ памяти и занимает около 15,2 ГБ. В README описана схема RAMP: точность квантизации выбирается отдельно для тензоров с учётом их чувствительности, а калибровочная imatrix создавалась на англо- и франкоязычных текстах, коде и клинических данных. Модель предназначена для локального текстового диалога и генерации, в том числе на английском, французском и китайском языках. В качестве основы использована Qwen3.5-35B-A3B; метаданные каталога указывают поддержку чата. Для запуска автор приводит инструкции с llama.cpp и рекомендует ik_llama.cpp для видеокарт sm_120. README сообщает о функциональной проверке 30 из 30 тестов, но не приводит подробных результатов бенчмарков. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой и заявленным размером 35B параметров; активная конфигурация обозначена как A3B. Обучение или дистилляция связаны с наборами данных, содержащими примеры рассуждений и ответов Claude Opus, а также Qwen reasoning-данные. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих рассуждений. В README она также обозначена как vision model и image-text-to-text модель, поэтому может поддерживать обработку изображений вместе с текстом при наличии соответствующего mmproj-файла. Заявлен английский язык; сведения о длине контекста, точной поддержке других языков, результатах тестирования и рекомендуемых параметрах запуска отсутствуют. Главное преимущество — сочетание reasoning-направленности, MoE-архитектуры и большого набора вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно терять в качестве: для некоторых файлов README прямо указывает на очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; конкретные условия использования базовой модели и датасетов отдельно не раскрыты.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-6bit — текстовая языковая модель, созданная mlasli на основе Qwen/Qwen3.8-27B. Это версия v2.1.0 с изменённым поведением отказов и ответов, преобразованная в формат MLX для запуска через mlx-lm на компьютерах с Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев и задач, где требуется более прямое следование запросу. Модель содержит около 27 млрд параметров и использует групповое 6-битное квантование с размером группы 64. Размер файлов составляет примерно 21,9 ГБ. Репозиторий поддерживает только текстовый ввод: при конвертации удалена vision tower, поэтому обработка изображений недоступна. Многоцелевое предсказание токенов MTP также не сохранено, из-за чего инференс выполняется одной основной головой и может быть медленнее сборок с поддержкой MTP. В карточке указаны английский язык и контекстная длина не приведена. Сильной стороной является уменьшенный объём по сравнению с BF16-версией при сохранении возможностей 27B-модели и удобная интеграция с MLX. По данным тестов, 6-битная версия немного уступает BF16 по прямоте ответов, а режим thinking может чаще приводить к уклончивым или пустым ответам; для заявленного поведения рекомендуется отключать thinking. Abliteration снижает или удаляет исходное safety-выравнивание, поэтому модель требует осторожного применения. Лицензия — Apache-2.0.

mradermacher/Qwen3.8-27B-thinkingcap-abliterated-i1-GGUF — набор квантизованных GGUF-версий модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated. Квантизацию выполнил mradermacher; исходная модель связана с датасетом hotdogs/thinkingcap-sft-qwen38-27b. Модель предназначена для генерации текста, рассуждений и задач, где важны эффективное мышление и экономное использование токенов. В метаданных также указана поддержка изображений, однако для работы с визуальными входами могут потребоваться отдельные файлы mmproj из статического репозитория. Модель относится к семейству Qwen и содержит около 27 миллиардов параметров, но точная архитектура и размер контекстного окна в README не указаны. Заявлен английский язык. Репозиторий предоставляет варианты квантизации i1 с различными форматами и размерами примерно от 11 до 22,5 ГБ, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6. Более качественные варианты требуют больше памяти, тогда как компактные версии позволяют снизить требования к оборудованию, но могут заметнее терять качество; конкретные характеристики скорости и точности не приведены. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, подробного описания базовой архитектуры, контекстного окна или рекомендаций по аппаратным требованиям, поэтому пригодность для конкретных задач следует проверять экспериментально.

Qwen3.8-27B-Uncensored-W4A16-AutoRound — квантизированная версия модели Qwen3.8-27B-Uncensored от orcarouter, созданная с использованием Intel AutoRound. Она основана на Qwen/Qwen3.8-27B и представляет собой abliterated-производную с существенно удалённым защитным выравниванием. Модель предназначена для исследовательских задач, включая интерпретируемость, исследования безопасности ИИ, red teaming, оценку моделей и интеграцию в собственные защищённые системы. Модель поддерживает работу с текстом и изображениями, языки English и Chinese, а также контекст до 262 144 токенов. Используется архитектура Qwen3.8 с сохранённой vision tower и MTP-головой для speculative decoding. Квантизация W4A16 выполнена методом AutoRound: основные линейные слои используют 4-битные веса и 16-битные активации, а vision tower, lm_head, embed_tokens и отдельные проекции GatedDeltaNet сохранены в bf16. Для запуска рекомендуется vLLM; заявлены показатели 0,9052 на GSM8K, 0,761 на MMLU-Pro и 0,880 на MMLU. Сильными сторонами являются большой контекст, поддержка изображений, сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение значительной части исходных возможностей после квантизации. Ограничения включают возможное снижение качества из-за квантизации и abliteration, а также отсутствие эффективных встроенных защитных механизмов: модель может выполнять вредоносные, незаконные или неэтичные запросы. Её не следует предоставлять конечным пользователям без собственной системы безопасности. Лицензия — Apache-2.0; ответственность за использование и последствия вывода несёт пользователь.

Aashraf995/Qwen-Evo-7B — языковая модель на 7,1 млрд параметров, созданная слиянием нескольких предварительно обученных моделей семейства Qwen2 с помощью mergekit и метода Model Stock. В слияние вошли fblgit/cybertron-v4-qw7B-UNAMGS, jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.5 и suayptalha/HomerCreativeAnvita-Mix-Qw7B; последняя использована как базовая. Модель предназначена для генерации текста и диалогового применения, включая ответы на запросы и работу через интерфейс вызова инструментов. Модель использует архитектуру Qwen2ForCausalLM и принимает текст, выдавая текст. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. README не приводит оценок качества или подробных ограничений; характеристики и поведение унаследованы от компонентов слияния.

Rombo-Org_Rombo-LLM-V3.1-QWQ-32b-GGUF — это набор GGUF-квантизаций 32-миллиардной языковой модели Rombo-LLM-V3.1-QWQ-32b, разработанной Rombo-Org. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, рассчитанные на разные компромиссы между качеством, размером файла и требованиями к памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; Q4_K_M указан как вариант по умолчанию для большинства сценариев. Размер файлов составляет примерно от 13,71 до 34,82 ГБ. Модель работает в текстовой модальности; поддерживаемые языки и размер контекста в предоставленных данных не указаны. Сильной стороной является возможность локального запуска на широком спектре оборудования благодаря множеству уровней квантизации, включая варианты для систем с ограниченной оперативной памятью и отдельные legacy-форматы. При снижении точности квантизации уменьшается потребление памяти, но может ухудшаться качество генерации; самые компактные варианты отмечены как низкокачественные или нерекомендуемые. Лицензия модели указана как Apache-2.0.

Это экспериментальная квантизация ASHQ1 модели Spark-X2.5-1.7B, подготовленная wepiqx на основе XHToken/Spark-X2.5-1.7B. Модель представляет собой плотный декодер архитектуры spark2_5 примерно на 1,7 млрд параметров; в репозитории представлены файлы GGUF, включая вариант BF16. Для запуска указана поддержка штатной llama.cpp. Модель предназначена для генерации текста и диалогов, а базовая Spark-X2.5 поддерживает задачи с кодом, переводом, рассуждениями и агентными сценариями. У неё гибридное внимание: один слой с полным вниманием на три слоя с оконным; заявлен контекст до 1 млн токенов. Карточка приводит сравнение перплексии вариантов квантизации, но отмечает, что такие результаты не являются достаточной оценкой качества, а ранжирование пока предварительное. Репозиторий распространяется по лицензии Apache-2.0. Это производный квантованный выпуск; качество и поведение могут зависеть от выбранного файла GGUF и степени снижения точности.

tau-1.8B — языковая модель компании M4-ai, основанная на архитектуре Qwen2 и дообученная продолжением предобучения Qwen1.5-1.8B на учебном наборе UltraTextbooks-2.0. В репозитории указано 1,8 млрд параметров, а метаданные Hugging Face сообщают 1,5 млрд; веса опубликованы в формате Safetensors. Модель поддерживает контекст до 32 768 токенов и предназначена для генерации текста и диалогового взаимодействия. Модель общего назначения, с особым акцентом на машинное обучение, математику и программирование. Её можно применять для ответов на учебные вопросы, краткого изложения материалов, создания образовательного контента, понимания и генерации кода, а также решения математических задач. В карточке названы английский и китайский языки; в качестве обучающего набора указан UltraTextbooks-2.0. Модель может воспроизводить ошибки и предвзятость данных обучения, поэтому ответы следует проверять, особенно в задачах с высокими последствиями. В метаданных указана лицензия «other» без уточнения её условий.

Locutusque/UltraQwen-7B — диалоговая языковая модель на 7,1 млрд параметров, дообученная на примерно 100 000 примерах набора HuggingFaceH4/ultrachat_200k. В метаданных указаны архитектура LlamaForCausalLM, формат safetensors и контекст до 32 768 токенов; модель предназначена для генерации текста в диалоге. Автор сообщает о хороших результатах личных проверок на математике, истории, викторинах и задачах программирования, однако подробные метрики не приведены. Модель не проходила выравнивание DPO. Базовая модель — Qwen/Qwen-7B; в README указана лицензия other в метаданных, без конкретных условий использования.

Urdandi-Qwen2.5-7B — объединённая языковая модель автора win10 на архитектуре Qwen2, созданная с помощью mergekit методом breadcrumbs_ties. При объединении использованы win10/Verdandi-Qwen2.5-7B как базовая модель и win10/Urd-Qwen2.5-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Карточка не приводит сведений о специализации по языкам, датасетах или прикладным областям. Лицензия в доступных данных не указана.

Yi-1.5-9B-Chat-abliterated — диалоговая языковая модель на 8,6 млрд параметров, созданная на основе 01-ai/Yi-1.5-9B-Chat. Автор сообщает, что модель получена методом «abliteration»; подробности приведены в ноутбуке, на который ссылается карточка. Модель использует плотную архитектуру семейства Llama и библиотеку Transformers. Модель предназначена для генерации текста в диалоге и ответов на запросы. Базовая Yi-1.5-9B-Chat рассчитана на следование инструкциям, рассуждения, математику и программирование; эти возможности унаследованы от основы, но карточка не приводит отдельной оценки их качества после преобразования. Контекст — до 4096 токенов. Указаны китайский и английский языки. Лицензия — Apache-2.0.

MaziyarPanahi/zephyr-7b-alpha-sharded-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и anakin87/zephyr-7b-alpha-sharded методом SLERP. Это плотная авторегрессионная архитектура Mistral с 7,1 млрд параметров; веса представлены в формате safetensors, а конфигурация слияния использует bfloat16. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно использовать в чат-ботах, для ответов на вопросы и создания черновиков текста. Заявленная длина контекста составляет до 32 768 токенов. Данные о конкретно поддерживаемых естественных языках в карточке не приведены. Модель распространяется по лицензии Apache-2.0. README описывает способ объединения чекпойнтов, но не приводит сравнительных оценок качества; поэтому пригодность для конкретных задач стоит проверять на собственных примерах.

Atomight V2.5-1.7B — языковая модель NovatasticRoScript для генерации текста и диалогов с упором на пошаговые рассуждения. Она основана на Qwen/Qwen3-1.7B и дообучена методом GRPO с использованием LoRA/PEFT; адаптер объединён с весами в 16-битном формате. Модель содержит 1,7 млрд параметров, использует архитектуру Qwen3 для причинной генерации текста и поддерживает контекст до 40 960 токенов. Модель предназначена для математических и STEM-задач, научных вопросов, программирования, отладки, многошагового планирования и сценариев с агентами. В карточке заявлено обучение на открытых наборах данных по STEM, науке, математике и коду; также приведены результаты собственных оценок на ряде бенчмарков. Основной язык, указанный в метаданных карточки, — английский. Модель распространяется по лицензии CC-BY-4.0. Это компактная модель, поэтому её результаты могут уступать более крупным системам; авторы отдельно отмечают слабые результаты на задачах HumanEval и MBPP по сравнению с некоторыми моделями, специально дообученными для кода. Результаты бенчмарков заявлены авторами и не являются независимой проверкой.

unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Llama-70B. Модель создана на основе DeepSeek-R1-Distill-Llama-70B, разработанной командой DeepSeek, а данный вариант опубликован Unsloth. Это текстовая модель для генерации ответов и решения задач в диалоговом и общем текстовом режимах; в примере README она используется для рассуждений и простых математических вопросов через llama.cpp. Модель содержит 70 млрд параметров и основана на архитектуре семейства Llama; точная версия базовой архитектуры и размер контекстного окна в README не указаны. Поддерживаемый язык обозначен как английский. Формат GGUF предназначен для локального запуска с llama.cpp и поддерживает квантованные варианты, включая Q4_K_M и Q8_0. Для ускорения возможна частичная выгрузка слоёв на GPU, однако из-за размера модели запуск требует значительных вычислительных ресурсов. К сильным сторонам относятся большой размер, возможности дистиллированной модели DeepSeek-R1 и удобство локального использования в llama.cpp с разными уровнями квантования. Ограничения — высокая требовательность к памяти и отсутствие в предоставленных данных сведений о точности на тестах, мультимодальности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии llama3.3.

bartowski/gemma-2-27b-chatml-GGUF — это набор GGUF-квантизаций 27-миллиардной текстовой модели IntervitensInc/gemma-2-27b-chatml. Квантизации подготовлены bartowski с использованием llama.cpp версии b3615 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а запускать её рекомендуется в совместимых приложениях, включая LM Studio. Доступны варианты от исходных весов F16 размером 54,46 ГБ до более компактных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 11,55 до 28,94 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, тогда как компактные варианты снижают требования к оперативной памяти; отдельные Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 оптимизированы для ARM и CPU-инференса. Точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильная сторона набора — широкий выбор квантизаций для разных ограничений по памяти и производительности, включая варианты высокого качества и версии для малоресурсного запуска. Ограничения включают неизвестный формат промптов, отсутствие в README подробностей о возможностях базовой модели и потенциальное снижение качества у низкоразрядных вариантов. Для доступа требуется принять лицензию Google на использование Gemma на Hugging Face; конкретные условия лицензии следует проверить перед применением.

AMD разработала эту модель как 4-битную квантизированную версию Gemma 4 12B IT от RedHatAI. Она предназначена для генерации текста и CPU-инференса на процессорах AMD EPYC, прежде всего в Linux-среде с использованием vLLM и оптимизаций ZenDNN. Указанный язык — английский. Модель построена на архитектуре Gemma4UnifiedForConditionalGeneration и имеет размер 12 миллиардов параметров в исходной версии. Для весов применяется GPTQ-квантизация W4A16: веса хранятся в формате INT4, симметрично и по группам размера 128, а активации остаются в BF16. Визуальные и аудиокомпоненты, мультимодальный проектор и lm_head сохранены в BF16, однако в карточке явно описан сценарий с текстовым вводом и выводом. Калибровка выполнена на 128 примерах датасета ultrachat_200k при максимальной длине последовательности 2048 токенов; в конфигурации оценки использовался максимальный контекст 4096 токенов. Ключевое преимущество модели — снижение требований к памяти и возможность оптимизированного инференса на AMD CPU при сохранении высокой близости к BF16-базовой версии: на GSM8K она получила 0,9249 против 0,9401 у BF16, то есть восстановила 98,38% результата. Ограничения связаны с зависимостью от конкретного программного стека и аппаратной платформы: заявлена совместимость с AMD EPYC, ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0, LLM Compressor 0.12.0 и vLLM 0.26.0. Для оптимальной производительности требуется настройка OpenMP через LD_PRELOAD. Модель распространяется по лицензии Gemma.

MaziyarPanahi/gemma-7b-GGUF — это набор файлов модели Gemma 7B в формате GGUF, созданной Google и преобразованной в GGUF-квантизированные варианты пользователем MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В README указано только, что это модель размером 7B с текстовой модальностью; сведения о поддерживаемых языках, длине контекста и точной архитектуре не приведены. К сильным сторонам относятся широкий выбор уровней квантизации и совместимость с популярными средствами локального инференса, включая запуск с ускорением на GPU. Более агрессивная квантизация может снижать качество по сравнению с исходной моделью, а для работы требуются подходящий клиент и ресурсы, зависящие от выбранного варианта. Указана лицензия other, но её конкретные условия в README не раскрыты.

GLM-4.5-Air-GGUF — квантованная версия модели GLM-4.5-Air, опубликованная организацией ggml-org. Исходная модель разработана zai-org. Формат GGUF предназначен для локального запуска и совместим с инструментами экосистемы llama.cpp; в карточке также указан запуск через llama.app. Модель относится к классу text-generation и предназначена для генерации текста и других сценариев работы с текстовыми запросами. В доступных данных не указаны точная архитектура, количество параметров, поддерживаемые языки, размер контекстного окна, набор модальностей и конкретные результаты тестирования, поэтому оценить её производительность и область применения более детально невозможно. Квантование может снизить требования к памяти, однако потенциально сопровождается потерей качества по сравнению с исходной моделью. Модель автоматически конвертирована с использованием инструмента ggml-org/convert. Лицензия — MIT, если условия исходной модели не устанавливают дополнительных ограничений.

inferencerlabs/GLM-5.3-MLX-Q4i — квантизированная версия языковой модели GLM 5.3, основанная на zai-org/GLM-5.3-BF16 и подготовленная сообществом inferencerlabs. Модель предназначена для генерации и продолжения текста, локального текстового инференса и других задач, поддерживаемых библиотекой MLX. Данные о размере модели, архитектуре, языках и максимальной длине контекста в README не указаны. Модель использует формат MLX и квантизацию Q4-INF, настроенную методом INF для повышения общей точности при ограничении памяти до 512 GiB. По приведённым данным конверсии GLM 5.1, Q4-INF показала perplexity 1,21093, точность токенов 97,70% и missed divergence 10,65%; эти показатели не следует напрямую считать результатами для GLM 5.3. На M3 Ultra заявлена скорость около 15,8 токена в секунду при обработке последовательности длиной около 1000 токенов и потребление примерно 428,6 GiB памяти. Сильной стороной модели является адаптация под экосистему MLX и сохранение высокой точности при 4-битной квантизации, однако использование требует значительного объёма оперативной памяти и совместимого оборудования или программного окружения. Модальности ограничены текстом согласно указанному pipeline_tag. Лицензия в README не указана.

TheBloke/Llama-2-70B-AWQ — это 4-битная AWQ-квантизированная версия языковой модели Llama 2 70B, разработанной Meta и опубликованной сообществом TheBloke. Модель предназначена для генерации текста и поддерживает английский язык. Она создана на основе meta-llama/Llama-2-70b-hf и использует архитектуру семейства Llama с примерно 70 миллиардами параметров. Ключевая особенность модели — квантизация AWQ с групповым размером 128, выполненная на данных wikitext. Доступны шардированные safetensors-файлы, размер модели составляет около 36,61 ГБ, заявленная длина последовательности — 4096 токенов. Модель ориентирована на GPU-инференс и может использоваться через AutoAWQ или vLLM, включая серверные сценарии с параллельной обработкой запросов. К сильным сторонам относятся существенное снижение требований к видеопамяти и возможность запуска 70B-модели примерно на одной GPU с 48 ГБ памяти вместо двух GPU по 80 ГБ. По сравнению с полноразмерной моделью AWQ может упростить развертывание и снизить стоимость инфраструктуры. Ограничением является то, что производительность и совокупная пропускная способность могут быть ниже, чем у неквантизированной версии при использовании vLLM; кроме того, README не приводит подробных результатов оценки качества после квантизации. Модель распространяется по лицензии Llama 2.

Карточка модели ombd/llama-3.1-8b-base на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

pearl-ai/Llama-3.3-70B-Instruct-pearl — сертифицированный вариант Meta Llama-3.3-70B-Instruct, подготовленный командой Pearl Research для работы с Pearl vLLM mining plugin. Модель относится к большим языковым моделям типа instruct и предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов; в карточке указана поддержка английского языка. Модель имеет размер 70B параметров и распространяется через Transformers. Её основной сценарий — запуск в инфраструктуре Pearl miner, где vLLM интегрирован с процессами mining. Для работы требуются CUDA-совместимые NVIDIA GPU класса sm90, например H100 или H200, а также программный стек Pearl; в примере запуска задана длина контекста 8192 токена, однако максимальный контекст модели отдельно не указан. В сравнительном тесте на 4 GPU H200 Pearl-сертифицированный вариант показал близкие к исходной модели результаты MMLU и более высокую пропускную способность в некоторых конфигурациях параллелизма, включая 18 291,66 токена в секунду при DP=4. Эти показатели зависят от оборудования и настроек запуска. Модель ориентирована на специализированную инфраструктуру Pearl и требует запущенного pearld-узла с RPC-доступом, поэтому её использование вне этого стека может потребовать дополнительной настройки. Лицензия указана как llama3.3.

llama-3-cat-8b-instruct-v1-GGUF — это квантизированная версия инструкционной текстовой модели llama-3-cat-8b-instruct-v1, опубликованной TheSkullery. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет размер 8 миллиардов параметров и поддерживает различные варианты квантизации от Q8_0 до IQ1_S. Доступны версии объёмом примерно от 2,16 до 8,54 ГБ; варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Более компактные варианты позволяют запускать модель на системах с ограниченными ресурсами, но снижают качество. Поддерживается текстовая модальность; сведения о языках и размере контекста в представленном README не указаны. Для работы следует использовать формат промпта, основанный на специальной разметке Llama 3 с ролями system, user и assistant. Лицензия указана как llama3. README не содержит подробных результатов тестирования, описания исходного обучения или ограничений, специфичных для самой модели, поэтому её фактическое качество и языковые возможности требуют самостоятельной оценки.

MaziyarPanahi/Llama-3-Smaug-8B-GGUF — это набор файлов модели в формате GGUF для abacusai/Llama-3-Smaug-8B. Исходную модель разработала abacusai, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и сервисах на базе llama.cpp и совместимых библиотек. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации. Размер базовой модели — 8B параметров. Модель работает с текстом; другие модальности и поддерживаемые языки в README не указаны. Для корректной генерации необходимо применять шаблон запросов Llama 3 с соответствующими специальными токенами. К сильным сторонам относятся поддержка различных уровней квантования и совместимость с широким набором локальных инструментов, включая llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения включают возможное снижение качества при использовании более агрессивного квантования, а также отсутствие в README сведений о контекстном окне, результатах оценивания, языковой специализации и подробностях архитектуры. Лицензия в предоставленных материалах не указана.

Llama-3-Yggdrasil-8B-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3-Yggdrasil-8B. Исходную модель разработал Locutusque; она создана на основе объединения моделей NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct, Locutusque/Llama-3-Hercules-5.0-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые инструменты. Доступны варианты с разным балансом качества, размера и требований к памяти: от Q8_0 размером 8,54 ГБ до сверхкомпактного IQ1_S размером 2,01 ГБ. Наиболее рекомендуемыми в карточке названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; низкобитные варианты экономят память, но заметно уступают по качеству. В карточке не указаны точная архитектура в технических деталях, максимальный контекст, поддерживаемые языки и результаты benchmark-тестов. Также не задан chat template, поэтому приведённый формат приглашений может быть неточным и требует проверки по исходной карточке модели. Модель распространяется по лицензии Llama 3; условия исходных компонентов и совместимость конкретного варианта следует дополнительно проверять перед использованием.

Poro 2 8B Base — базовая языковая модель, созданная совместно AMD Silo AI, группой TurkuNLP Университета Турку и High Performance Language Technologies (HPLT). Это плотный авторегрессионный трансформер семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров по метаданным. Модель получена продолжением предобучения Llama 3.1 8B на сбалансированном наборе из 165 млрд токенов на финском и английском языках, а также с данными по коду и математике. Контекст — 8192 токена. Модель предназначена для генерации текста и служит основой для дальнейшей настройки под прикладные сценарии; карточка прямо отмечает, что для большинства применений базовую модель нужно дообучить. По результатам карточки, она заметно улучшает показатели Llama 3.1 8B на финских тестах и сохраняет близкий уровень на английских; также демонстрирует улучшение в переводе между английским и финским. Поддерживаются веса PyTorch и safetensors. Лицензия — Llama 3.1 Community License. Среди ограничений — слабая компетентность в языках, кроме финского и английского, возможные фактические ошибки и предвзятые или неподходящие ответы.

stamsam/maple-preview-gguf — набор GGUF-конвертаций модели Maple-Preview, разработанной DeepGrove. Это языковая reasoning-модель для генерации текста и решения задач, реализованная как Mixture-of-Experts: всего около 20 млрд параметров, примерно 1 млрд активных на токен (A1B), 24 слоя и контекст до 131 072 токенов. Архитектура использует 256 экспертов, 8 активных экспертов, GQA с 16 query-heads и 4 KV-heads, а также гибридное внимание с чередованием скользящего окна размером 512 и глобального внимания. Модель поддерживает текстовую модальность; заявленные языки в README не указаны. В репозитории доступны варианты F16, Q4_K_M и экспериментальный ternary TQ2_0 с двухбитными весами, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильными сторонами являются большой контекст, MoE-архитектура, низкая активная вычислительная стоимость и поддержка GPU для указанных сборок. При этом проект находится на ранней стадии валидации: систематические оценки, perplexity и бенчмарки отсутствуют, а поддержка ternary-вычислений новая. Файлы нельзя загрузить в основной llama.cpp или PrismML upstream; требуется форк stamsam/llama.cpp, ветка prism, с Maple runtime. Базовая модель и опубликованные материалы распространяются по лицензии MIT.

MasherAI-7B-v1 — диалоговая языковая модель, разработанная mahiatlinux и дообученная на openchat/openchat-3.5-0106. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров; для обучения использовались Unsloth и TRL. Модель предназначена для генерации текста в формате диалога: её можно применять для общения, ответов на вопросы и помощи с программированием и математическими рассуждениями — эти возможности описаны для базовой модели OpenChat. Поддерживаемый язык карточки — английский, длина контекста составляет 8192 токена. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не приводит отдельной оценки качества или подробных ограничений MasherAI-7B-v1.

Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF — это GGUF-квантизированная версия языковой модели Meta-Llama-3-70B-Instruct-abliterated-v3.5, подготовленная legraphista на основе модели failspy. Модель предназначена для генерации текста и диалоговых сценариев с использованием llama.cpp и совместимых инструментов. Модель имеет размер 70 млрд параметров и поставляется в форматах BF16, FP16, Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и других вариантах квантизации. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Доступны файлы размером примерно от 26,38 ГБ до 141,12 ГБ; часть крупных вариантов разделена на несколько файлов. README не содержит сведений о длине контекста, поддерживаемых языках или мультимодальности, поэтому модель следует считать текстовой. Сильной стороной является сочетание крупного размера исходной модели с различными уровнями квантизации, позволяющими выбирать баланс между качеством, требованиями к памяти и скоростью инференса. Ограничения связаны с высокими аппаратными требованиями даже для квантизированных вариантов и возможной потерей качества при агрессивной квантизации. Модель распространяется по лицензии llama3; для использования необходимо учитывать условия этой лицензии.