II.8Инженерия данных и аналитика

Qwen2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Для общения применяется специальный шаблон prompt с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix в llama.cpp; варианты отличаются размером файла, требованиями к памяти и ожидаемым качеством. README указывает английский язык, однако сведения о полном наборе поддерживаемых языков, архитектуре и длине контекста не приведены. Сильной стороной являются разнообразные варианты квантизации, позволяющие выбирать между качеством и требованиями к ресурсам; версии Q6, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описана как подходящий вариант стандартного размера. Более компактные варианты экономят память, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Qwen3-30B-A3B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные приложения и диалоговые системы, совместимые с MLX и LM Studio. В исходных данных указано, что базовая модель имеет обозначение 30B-A3B, однако дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях и производительности отсутствуют. Ключевое преимущество этой версии — уменьшенный размер представления благодаря 4-битному квантованию и оптимизация для Apple Silicon, что делает её подходящей для локального инференса при ограниченных ресурсах. При этом квантование может снижать точность по сравнению с исходной моделью, а фактические требования к памяти и качество зависят от конкретного устройства и сценария. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях использования, включая работу через совместимые инструменты на устройствах Apple Silicon. Она относится к семейству text-generation и использует архитектуру и характеристики исходной модели Qwen3-30B-A3B-Instruct-2507, однако README не содержит сведений о языках, длине контекста, поддерживаемых модальностях и других архитектурных деталях. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами благодаря 6-битному квантованию и оптимизации под MLX. Ограничения включают возможную потерю точности из-за квантования, зависимость от платформы Apple Silicon и отсутствие в README подробных данных о качестве, производительности и бенчмарках. Модель распространяется по лицензии Apache-2.0.

Qwen35B-Agent-R2-i1-GGUF — квантизированная GGUF-версия модели Qwen35B-Agent-R2, подготовленная mradermacher. Базовая модель разработана автором или организацией hotdogs; точная информация о разработчике в README не указана. Модель предназначена для генерации текста, диалоговых сценариев, reasoning, агентских задач, использования инструментов и tool calling. Обучение или дообучение связано с датасетами для рассуждений, агентскими траекториями и conversational-задачами. Модель относится к архитектуре Mixture-of-Experts и имеет заявленный размер 35B, поддерживает текстовый ввод и вывод. В метаданных указаны английский и тайский языки. Модель распространяется в виде набора квантизаций GGUF с разным компромиссом между размером, скоростью и качеством: от IQ1_S размером 7,6 ГБ до Q6_K размером 28,6 ГБ. Варианты IQ-квантизации могут быть предпочтительнее сопоставимых обычных вариантов по размеру, но низкобитные версии заметно ограничены по качеству. Оптимальными по соотношению размера, скорости и качества README называет i1-Q4_K_S, а i1-Q4_K_M — быстрой и рекомендуемой. В README не указаны размер контекстного окна, точные параметры архитектуры, мультимодальные возможности и результаты бенчмарков, поэтому нельзя сделать выводы об этих характеристиках. Лицензия модели — AGPL-3.0; условия использования производных квантизированных файлов следует учитывать вместе с лицензией базовой модели.

Qwen3.6-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной ByteShape с использованием ShapeLearn. Метод ShapeLearn выбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для локального запуска и инференса через llama.cpp или LM Studio, включая сценарии, требующие обработки текста и изображений. Модель относится к семейству с обозначением 35B-A3B; README не раскрывает точную архитектуру, размер контекста и поддерживаемые языки. Доступны варианты, оптимизированные для GPU и CPU: GPU-версии используют IQ-квантизацию, а CPU-версии — преимущественно KQ-квантизацию. Размер файлов составляет примерно от 9,42 до 18 ГБ для GPU-вариантов и от 11,7 до 14,7 ГБ для указанных CPU-вариантов, при диапазоне 2,17–4,15 бит на вес. Сильными сторонами являются поддержка vision-сценариев, возможность локального запуска на различном оборудовании и выбор между качеством, размером и скоростью инференса. Ограничения включают зависимость производительности от конкретного варианта и оборудования, а также отсутствие поддержки этой GGUF-модели в Ollama на момент публикации README. Модель распространяется по лицензии Apache-2.0.

AEON-7 выпустил раннюю BF16-версию Qwen3.8-27B, полученную аблитерацией базовой модели Qwen/Qwen3.8-27B для более прямых ответов и ослабления отказов. Это плотная мультимодальная модель с архитектурой семейства Qwen3.5 и примерно 27 млрд параметров; текстовая генерация — основная задача, также заявлена поддержка изображений. Карточка описывает запуск через Transformers и проверку сервинга через vLLM на NVIDIA H200; указанное в примере ограничение контекста — 16 384 токена, а для подходящего оборудования README упоминает исходное окно до 262 000 токенов. Модель предназначена для диалогов, следования инструкциям, программирования, многошаговых рассуждений и вызова инструментов. Ослабление отказов делает ответы более прямыми, но авторы предупреждают, что это ранний выпуск, а на очень длинных запросах возможны повторы и потеря связности. Визуальная башня и голова MTP оставлены без изменений относительно базы. Лицензия — Apache-2.0; веса доступны в формате safetensors, BF16.

AtomicChat/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и подготовленной командой AtomicChat. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для локального использования в диалоговых, текстовых и мультимодальных сценариях. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется отдельный vision-проектор mmproj-Qwen3.8-27B-F16.gguf или BF16-вариант. В репозитории доступны варианты квантизации размером примерно от 8,5 до 28,9 ГБ. AtomicChat использует собственную importance matrix и публикует измерения отклонения квантизированных версий от исходных весов. Указано наличие multi-token prediction head, совместимого с llama.cpp. Контекстная ёмкость в README явно не приведена, но указано потребление около 256 КБ attention cache на токен, что существенно влияет на требования к видеопамяти при длинном контексте. Сильные стороны модели — возможность локального запуска, широкий выбор уровней квантизации, поддержка изображений и оптимизация для llama.cpp. Качество зависит от выбранного файла: более компактные варианты требуют меньше памяти, но сильнее отклоняются от исходной модели и чаще ошибаются в предсказаниях. Для мультимодальной работы необходим дополнительный проектор, а для корректного анализа изображений рекомендуется не менее 1024 image tokens. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-ROCmFPX-Q8_0-AGENT-GGUF — это 8-битная квантизированная GGUF-версия модели Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для локального запуска через специализированную ветку ROCmFPX, ориентированную на GPU AMD с архитектурой gfx1151, включая Ryzen AI MAX+ 395 и платформу Strix Halo. Она поддерживает генерацию текста, агентские сценарии и вызовы инструментов. Модель имеет архитектуру Qwen, размер 27B параметров и контекст до 32 768 токенов в рекомендуемой конфигурации. Указан английский язык. Файл занимает около 26,28 GiB, использует тип квантизации Q8_0_ROCMFPX_AGENT с точностью 8,39 бит на вес и сохраняет повышенную точность для части attention-output projections. В README заявлена совместимость с MTP-спекулятивным декодированием: на Ryzen AI MAX+ 395 измерена скорость 26,62 токена в секунду, что на 6,2% выше обычной сборки ROCmFPX Q8.0. В тестах модель показала корректные ответы на базовые вопросы и 7 из 7 успешных сценариев tool calling в режимах с рассуждением и без него. Основные преимущества — высокая точность 8-битной версии, согласованное агентское поведение, поддержка сложных вызовов инструментов и прирост скорости при использовании MTP. Ограничения существенны: стандартная версия llama.cpp не загружает этот файл, требуется сборка ROCmFPX; модель ориентирована на совместимое AMD-оборудование. Для MTP на некоторых конфигурациях Windows 11, gfx1151 и HIP SDK 7.2 описаны ошибки в устаревшей ветке ROCmFPX, поэтому рекомендуется официальный репозиторий. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-MLX-6bit — это квантованная 6-битная сборка модели Qwen3.8-Flash-Next, преобразованная в формат MLX разработчиком PipeNetwork для запуска на Apple Silicon. Модель предназначена для генерации текста, включая программирование и другие задачи, выполняемые через text-generation pipeline. Для использования требуется runtime MLX с поддержкой удалённого кода; в репозитории поставляется собственная реализация runtime, поскольку необходимая архитектура ещё не включена в выпущенные версии mlx-lm. Исходная модель имеет 125 млрд параметров, из которых около 6 млрд активируются на токен, и использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts. В составе также находится 51,2 млрд параметров хешированных n-граммовых embedding-таблиц. Размер квантованной сборки составляет 148 ГБ против 360 ГБ у исходной версии bfloat16. Основные веса квантованы в 6 бит, отдельные компоненты, включая маршрутизатор MoE и некоторые управляющие параметры, сохранены в bfloat16. Vision tower присутствует в поставке, но данный runtime работает только с текстом; 4-миллиардная multi-token-prediction head не включена. Сильной стороной сборки является существенное сокращение размера при качестве, близком к bfloat16: на тесте wikitext-2 perplexity составила 4,4767 против 4,4708 у bfloat16, причём различие статистически незначимо в указанном эксперименте. Ограничения — очень большие требования к дисковому пространству и памяти, зависимость от Apple Silicon и собственного runtime с параметром trust_remote_code, а также отсутствие поддержки vision-возможностей в текущем режиме. Модель распространяется по Qwen Community License 1.0.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

Salamandra-7B-Instruct-Aina-Hack — разговорная языковая модель, разработанная подразделением языковых технологий Barcelona Supercomputing Center для мероприятия AinaHack, посвящённого созданию ИИ-инструментов для администрации Каталонии. Это инструкция-настроенная версия Salamandra-7B: decoder-only трансформер семейства Llama с 32 слоями и примерно 7 млрд параметров. Модель принимает текст и генерирует текст, использует шаблон ChatML и поддерживает контекст до 8192 токенов. Модель предназначена для диалоговых помощников и генерации текста на европейских языках, а также может служить основой для прикладной донастройки. Семейство Salamandra обучалось с нуля на многоязычном корпусе из 35 европейских языков и программного кода; карточка этой версии описывает её как proof of concept с предварительной настройкой следования инструкциям. Модель распространяется под лицензией Apache 2.0. У модели выявлены социальные и когнитивные смещения, а анализ охватывает не все поддерживаемые языки. Карточка предупреждает, что модель не прошла RLHF-выравнивание для фильтрации чувствительных тем и может создавать вредный или неподходящий контент; перед применением в продуктах необходимы оценка рисков и дополнительная настройка безопасности.

Swift-Qwen3.8-27B-Genesis-F16-GGUF — мультимодальная модель на базе Swift-Qwen3.8-27B, опубликованная LuffyTheFox. Автор применил к весам метод Genesis для численной коррекции тензоров; модель распространяется в формате GGUF F16 и рассчитана на запуск в llama.cpp, LM Studio, koboldcpp и других совместимых средах. Лицензия — Apache-2.0. Модель предназначена для диалогов, анализа изображений и видео, а также задач общего назначения, включая программирование. README указывает плотную архитектуру на 27 млрд параметров с визуальным энкодером, 64 слоями языковой модели и контекстом 262 144 токена; заявлена возможность расширения контекста до 1 000 000 токенов при поддержке со стороны среды запуска. Указана поддержка текста, изображений и видео, однако для работы с изображениями нужен отдельный файл mmproj. Автор описывает Genesis как постобработку тензоров без переобучения и заявляет, что она снижает шум весов, сохраняя выученные знания. Эти заявления не сопровождаются в карточке независимыми результатами оценки. Для работы с шаблоном диалога рекомендуется llama.cpp с флагом --jinja; README также советует использовать контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель помечена как uncensored; качество и поведение на разных задачах могут отличаться от заявлений автора.

ukisai_Swift-Qwen3.8-27b-GGUF — это квантизированная версия модели Swift-Qwen3.8-27b, разработанной ukisai и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для задач генерации текста, рассуждений и эффективного по токенам решения задач. В README также заявлена поддержка обработки изображений вместе с текстом при использовании файла mmproj, поэтому модель может применяться в мультимодальных сценариях image-text-to-text. Модель поддерживает speculative decoding через MTP и использует imatrix-квантизацию. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ3, а также популярные Q4 и Q5; размер файлов варьируется примерно от 12,8 до 54,66 ГБ. В качестве универсального компромисса между качеством и размером рекомендуется вариант Q4_K_M объёмом 17,44 ГБ, тогда как Q6 и Q8 ориентированы на максимально высокое качество. Сведения о поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами модели являются крупный размер, поддержка рассуждений, мультимодальный ввод, speculative decoding и широкий выбор уровней квантизации для различного объёма памяти. Ограничения включают значительные требования к дисковому пространству и памяти, возможное снижение качества в компактных вариантах, необходимость совместимого runtime llama.cpp, а для работы с изображениями — отдельного mmproj-файла. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано, что доступ к ней является gated.

Yi-1.5-6B-Chat-GGUF — русскоязычное описание модели недоступно в предоставленных данных.

Apertus-v1.5-8B — мультимодальная языковая модель на 8 млрд параметров, разработанная Swiss AI. Она принимает текст, изображения и аудио и генерирует текст; подходит для диалогов, следования инструкциям, анализа визуального и аудиоввода, а также задач рассуждения в режиме thinking. Модель использует decoder-only Transformer с активацией xIELU и поддерживает контекст до 262 144 токенов. Это продолжение предварительного обучения Apertus 1.0 с мультимодальными данными и улучшенной настройкой для следования инструкциям и работы с инструментами. Семейство ориентировано на широкий набор языков и заявлено как полностью открытое: доступны веса, данные и сведения о процессе обучения. Для запуска README описывает модифицированные версии vLLM и Transformers; поддержка инструментария в стандартных выпусках на момент составления карточки находилась в разработке. Модель распространяется по лицензии Apache-2.0. Она может выдавать фактически неверные, логически непоследовательные или предвзятые ответы, поэтому важные сведения следует проверять. В режиме thinking вызов инструментов не поддерживается.

Bonsai-27b-Ternary-CRACK-GGUF — мультимодальная модель класса 27B, опубликованная dealignai. Это квантизированная GGUF-версия Bonsai 27B CRACK, созданная на базе prism-ml/Ternary-Bonsai-27B-gguf и относящаяся к семейству Qwen/Qwen3.6-27B. Модель предназначена для диалогов, рассуждений, использования инструментов, обработки текста и анализа изображений; также предусмотрена поддержка видео через отдельный Qwen3VL-проектор и совместимый клиент. Модель содержит 64 гибридных языковых блока архитектуры qwen35, а также отдельный F16-проектор Qwen3VL для мультимодальных входов. Основной языковой файл использует нативное 2-битное представление Q2_0 и занимает около 7,68 GiB, проектор — около 0,86 GiB. Заявлены английский и китайский языки. Контекст модели в README не указан. Для работы требуется форк Prism llama.cpp; обработка изображений проверена, а прямая передача видеофайлов зависит от возможностей конкретной среды выполнения. К сильным сторонам относятся низкое потребление памяти благодаря Q2_0, мультимодальность, совместимость с текстовыми и визуальными сценариями и результаты на приведённых тестах: 75,00% на фиксированной выборке MMLU-200 и 99,38% на полном HB-320. Ограничения включают необходимость специального форка Prism llama.cpp, отдельного мультимодального проектора и возможную необходимость предварительно извлекать кадры из видео. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-0528-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-0528, разработанной deepseek-ai и преобразованной в формат GGUF участником bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 215 до 713 ГБ для представленных файлов. Квантизация выполнена с применением imatrix и специального набора данных; для повышения производительности использовались изменения из соответствующего PR для llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста исходной модели. Сильной стороной набора является широкий выбор уровней квантизации: более высокие варианты обеспечивают качество, близкое к исходному, а более компактные позволяют экономить оперативную память. Ограничения связаны с очень большими требованиями к дисковому пространству и памяти, а также с неизбежным снижением качества у низкобитных вариантов. Для работы следует использовать указанный формат промпта с маркерами DeepSeek-R1. Модель распространяется по лицензии MIT.

Dolphin-2.6-mistral-7b-dpo-laser-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser. Модель относится к семейству Mistral и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В метаданных указан размер 7B, текстовая модальность и поддержка английского языка. Обучение исходной модели связано с наборами данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; также указано DPO дообучение в названии модели. Главная особенность этой версии — поставка в GGUF с вариантами квантования от 2 до 8 бит, что позволяет запускать модель локально с различными компромиссами между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp и совместимыми приложениями и библиотеками для локального запуска. К ограничениям относятся возможная потеря качества при низкобитном квантовании, отсутствие заявленных характеристик контекстного окна и подробных результатов оценки, а также отсутствие подтверждения поддержки других языков помимо английского. Модель распространяется по лицензии Apache 2.0.

Gemma-3-12b-it-GGUF — квантизированная GGUF-версия мультимодальной модели Gemma 3 12B Instruct, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалогов, генерации и анализа текста, а также обработки изображений с использованием соответствующего мультимодального проектора. Модель содержит 12 миллиардов параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размеры файлов составляют примерно от 4,77 до 23,5 ГБ. Для обработки изображений требуется файл gemma-3-12b-it-mmproj-f16.gguf, изображения необходимо нормализовать до разрешения 896×896, при этом каждое изображение кодируется в 256 токенов. README не указывает поддерживаемые языки. Основные преимущества — большой контекст, поддержка текста и изображений и возможность локального запуска через LlamaEdge. Качество и требования к ресурсам зависят от выбранной квантизации: малые варианты экономичнее, но могут заметно терять в качестве, тогда как Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Модель распространяется по лицензии Gemma.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

unsloth/gemma-3n-E2B-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3n E2B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Gemma — семейство лёгких открытых моделей Google, созданных с использованием исследований и технологий Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и генерации текста, включая запуск на устройствах с ограниченными ресурсами. Gemma 3n использует технологию выборочной активации параметров, благодаря чему обеспечивает эффективный размер около 2B параметров при меньших требованиях к ресурсам по сравнению с полноразмерной моделью. Максимальный контекст составляет 32K токенов. Семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио, а обучение проводилось на данных более чем для 140 языков, однако для данной GGUF-версии в README указана текущая поддержка только текстового ввода. Выходом служит сгенерированный текст. К сильным сторонам относятся компактность, пригодность для локального запуска и сниженные требования к памяти, а также открытые веса инструкционной версии. Ограничения этой карточки — отсутствие точных сведений о размере конкретного GGUF-файла, варианте квантования, производительности и качестве на отдельных языках; мультимодальные возможности для данной версии заявлены как недоступные. Использование регулируется лицензией Gemma и соответствующими условиями Google.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

Hermes-Instruct-7B-v0.2 — диалоговая языковая модель на архитектуре Mistral, созданная lodrick-the-lafted на основе Mistral-7B-Instruct-v0.2 с дообучением на части набора teknium/openhermes в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; для общения подходят шаблоны Mistral-Instruct и Alpaca. Модель предназначена для генерации текста и диалоговых ответов по инструкциям. В карточке приведены результаты оценки на задачах рассуждения и понимания текста, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Vtuber-plan/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 4-битная NVFP4-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, созданной на базе Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0; в комплект входит исправленный шаблон чата Qwen. Модель предназначена для генерации текста, диалогов, рассуждений, многоязычных задач и агентских сценариев с вызовами инструментов. Модель использует веса NVFP4 с размером групп 16 и FP8 KV-кэш. Для калибровки применялся набор из 5349 примеров, включающий английские и многоязычные диалоги, математические задачи, длинные рассуждения и трассировки вызовов инструментов. Заявлены языки English, French и multilingual; точный максимальный размер контекста в README не указан. Размер чекпойнта составляет около 19,5 ГБ и распределён по пяти шардам. Основное преимущество — сохранение качества чатового и агентского использования после квантизации: на GSM8K при фиксированном шаблоне чата модель показала 0,9833 против 0,9783 у базовой BF16-версии. При этом она плохо подходит для сырых few-shot-промптов без чатового режима: модель может начать рассуждение и не успеть выдать ответ при малом бюджете токенов. Рекомендуется использовать шаблон из комплекта, режим reasoning_effort medium и запас генерации от 8 тысяч токенов. При максимальном режиме xhigh возможны зацикливание и исчерпание лимита, особенно при температуре около нуля. В sglang при высокой конкуренции и длинных генерациях известна проблема падения; рекомендуется ограничивать число одновременных запросов или обновить sglang. Для запуска нужны sglang с quantization modelopt или TensorRT-LLM; обычный transformers/BF16 inference этот чекпойнт не деквантизирует. Лицензия — Apache-2.0.

AtomicChat/LFM2.5-8B-A1B-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе LiquidAI/LFM2.5-8B-A1B. Репозиторий содержит самостоятельно выполненные квантования исходных весов с использованием importance matrix, рассчитанной для каждого тензора, поэтому модель предназначена для локального и полностью офлайн-использования через llama.cpp, MLX, vLLM, SGLang и совместимые приложения. Модель рассчитана на роль персонального помощника на устройствах с ограниченными ресурсами: она поддерживает диалог, сложные инструкции, последовательные вызовы инструментов и агентские сценарии. Это текстовая Mixture-of-Experts-модель с 8,5 млрд параметров, 24 слоями и 32 экспертами, из которых для обработки выбираются 4; архитектура также включает 32 attention heads и 8 KV heads. Заявленная длина контекста — до 128 000 токенов, размер словаря — 128 000 токенов. Поддерживаемая модальность — текст; сведения о языках в README не указаны. Сильные стороны модели — высокая скорость инференса на CPU и GPU, широкий выбор квантований от Q2_K до Q8_0 и хорошее сохранение качества при использовании importance matrix. В качестве сбалансированного варианта рекомендуется Q4_K_M, а Q6_K и Q8_0 ориентированы на более высокую точность. К ограничениям относятся неизбежная потеря качества в низкобитных вариантах, требования к памяти, зависящие от выбранного квантования, и необходимость применять chat template LFM2.5 с параметром --jinja; без него возможны некорректно сформированные диалоговые ходы. Лицензия обозначена как other, подробные условия находятся в файле LICENSE.

llama-3.1-70B-lumitron — объединённая авторами модели nonetrix языковая модель на основе архитектуры Llama 3.1. Она создана методом task arithmetic с помощью mergekit: в объединение вошли nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и NeverSleep/Lumimaid-v0.2-70B. Модель содержит 69,5 млрд параметров, использует формат safetensors и доступна через библиотеку Transformers; заявленная длина контекста — 131072 токена. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и инструкции. Метаданные также отмечают интерфейс вызова инструментов. Карточка не приводит результатов оценки качества или отдельных гарантий работы этих возможностей. Лицензия в предоставленных данных не указана.

Llama-3.1-Tulu-3-8B-GGUF — текстовая генеративная модель, созданная Allen Institute for AI (AI2) на базе Llama 3.1 Tulu 3 8B. Она предназначена для генерации текста и решения разнообразных задач, включая сценарии, где важны высокая производительность и работа с длинным контекстом. Модель доступна в формате GGUF для использования через llama.cpp и совместимых приложений, включая LM Studio. Модель содержит 8 млрд параметров, поддерживает контекст длиной до 128 тысяч токенов и, согласно карточке, ориентирована на английский язык. Исходная модель, а также данные, код и рецепты обучения заявлены как полностью открытые. GGUF-квантизация выполнена bartowski на основе llama.cpp b4132; конкретные варианты квантизации в README не указаны. Модель распространяется по лицензии llama3.1. README не содержит подробных результатов бенчмарков, сведений о дополнительных модальностях или точных ограничениях качества, поэтому её возможности следует оценивать с учётом возможных неточных или неподходящих ответов генеративной модели.

Meta-Llama-3-120B-Instruct-GGUF — GGUF-квантизированная версия community-модели Meta-Llama-3-120B-Instruct, созданной Maxime Labonne (mlabonne) с использованием self-merge через MergeKit на базе Meta-Llama-3-70B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения и диалогового взаимодействия, включая работу в LM Studio. Модель относится к семейству Llama 3, имеет заявленный размер 120B параметров и поддерживает текстовую модальность. Точные сведения о контексте, языках и конфигурации архитектуры в README не указаны. Для корректного взаимодействия рекомендуется использовать шаблон запросов Llama 3 и системный промпт помощника. Self-merge направлен на расширение возможностей без дополнительных затрат на обучение, однако README не содержит независимых результатов оценки качества. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия обозначена как other; конкретные условия использования в README не раскрыты, их следует уточнять на странице исходной модели.

unsloth/Meta-Llama-3.1-70B — квантованная версия базовой модели meta-llama/Meta-Llama-3.1-70B, опубликованная в экосистеме Unsloth и предназначенная для работы с Transformers. Модель ориентирована на англоязычные задачи обработки и генерации текста, а также на последующее дообучение на пользовательских датасетах. В README упоминаются сценарии conversational и text completion, а также экспорт дообученной модели в форматы GGUF и vLLM. Из указанных характеристик известно, что модель относится к семейству Llama 3.1, имеет размер 70B и поддерживает английский язык. Она распространяется как quantized-модель, что должно снижать требования к памяти по сравнению с полной версией, однако конкретный формат и параметры квантования не указаны. Архитектура, размер контекста, точный набор поддерживаемых модальностей и показатели качества в README не описаны, поэтому модель следует рассматривать прежде всего как крупную текстовую основу для инференса и дообучения. Лицензия указана как llama3.1; условия её применения необходимо проверять по лицензии Meta.