II.1Анализ требований и архитектура ПО

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-4bit-MLX — это 4-битная MLX-квантизация модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Исходную модель разработал AEON-7 при участии команды Qwen; оригинальная uncensored-версия создана автором под псевдонимом SpaceTimeViking. Репозиторий choppedgarlic содержит только конвертацию и квантизацию для локального запуска на компьютерах Apple Silicon, без дополнительного дообучения или намеренного изменения поведения. Модель предназначена для генерации текста, интерактивного диалога и локального использования через MLX, включая OpenAI-совместимый сервер. Поддерживаются режимы с включённым и отключённым reasoning. Архитектура и точная структура исходной модели в README не раскрыты; известно, что размер модели составляет 27B параметров, используется формат MLX, 4-битная affine-квантизация с group size 64, а примерный размер загрузки — 14 ГБ. Указан английский язык. Модель работает только с текстом: vision-компоненты и обработка изображений отсутствуют и не заявлены. Рекомендуется Apple Silicon с unified memory объёмом от 32 ГБ. К сильным сторонам относятся локальный запуск на Apple Silicon, поддержка интерактивного режима, reasoning и OpenAI-совместимого API при сниженных требованиях к памяти по сравнению с BF16-версией. Ограничения включают возможное снижение качества из-за квантизации, отсутствие мультимодальности, зависимость от MLX и платформы Apple Silicon, а также риск неточных, небезопасных или нежелательных ответов. Перед применением в производственных и ответственных сценариях результаты необходимо проверять. Модель выпущена под лицензией Apache License 2.0.

Qwen3.8-27B-i1-IQ4_KS_KT-GGUF — это квантизированные веса модели Qwen3.8-27B в формате GGUF, подготовленные пользователем cHunter789 на базе Qwen/Qwen3.6-27B. Модель предназначена для запуска через ik_llama.cpp на потребительских видеокартах NVIDIA с 16 ГБ видеопамяти. В карточке она обозначена как image-text-to-text, то есть рассчитана на обработку текстовых и визуальных входных данных, однако подробности о поддерживаемых форматах изображений и языках не указаны. Используются квантизации IQ_KS и IQ_KT с imatrix-файлами, собранными из наборов mradermacher и ubergarm; тензор token_emd.weight переведён в q8_0 для потенциально лучшей работы с неанглийскими языками. При квантизации KV-кэша в q4_0 заявлена поддержка контекста до 110 тысяч токенов, а конфигурация для 16 ГБ VRAM обеспечивает около 105 тысяч токенов. В README также приводятся результаты сравнения perplexity и параметры запуска, включая поддержку reasoning. Сильные стороны модели — относительно большой размер при возможности запуска на видеокарте с 16 ГБ памяти, длинный контекст и оптимизация под NVIDIA. Ограничения включают необходимость ik_llama.cpp, совместимость именно с NVIDIA GPU, зависимость характеристик от квантизации и настроек KV-кэша, а также отсутствие подробных независимых оценок качества, языкового покрытия и мультимодальных возможностей. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4 — это квантованный чекпойнт модели, опубликованный esatapedico. Он создан на основе DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, которая, в свою очередь, происходит от Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и диалоговых сценариев; настройка TWIN-TURBO ориентирована на сокращение числа токенов рассуждений при сохранении качества ответов. Заявлена поддержка английского и мультиязычных сценариев. Модель использует архитектуру Qwen3_5ForCausalLM с 64 слоями, гибридным GatedDeltaNet, 16 полными слоями attention и контекстом до 262144 токенов. Присутствует MTP head, а токенизатор и chat template сохранены. Квантование выполнено в формате compressed-tensors NVFP4: W4A16, веса с группами размера 16 и FP8 E4M3 scales. MLP-слои, а также Q, K, V и O в слоях полного attention представлены в NVFP4, тогда как vision tower, linear attention path, lm_head, embeddings и MTP head сохранены в BF16. Калибровочные данные не использовались. К сильным сторонам относятся существенно сжатое представление весов, большой контекст и сохранение ряда чувствительных компонентов в BF16; работоспособность проверялась с помощью smoke-теста vLLM на двух устройствах с tensor parallel. Ограничениями являются зависимость от поддержки NVFP4 и compressed-tensors, отсутствие калибровки, а также то, что README не приводит подробных результатов оценки качества или перечень поддерживаемых языков. Модель распространяется по лицензии Apache 2.0.

keXjos/Qwen3.8-9B-Distill-mlx-5Bit — это 5-битная версия модели empero-ai/Qwen3.8-9B-Distill, конвертированная в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на устройствах, поддерживающих MLX; в README приведён пример использования через библиотеку mlx-lm. Заявленный язык — английский. Модель связана со сценариями рассуждений, дистилляции, supervised fine-tuning и function calling, однако подробные сведения об архитектуре, точном количестве параметров, размере контекста и поддерживаемых модальностях не указаны. Ключевое преимущество версии — 5-битное представление и адаптация к MLX, что может быть удобно для ресурсоэффективного локального вывода. Ограничения и результаты тестирования в README не приведены. Распространение указано по лицензии Apache 2.0.

QwQ-32B-Preview-abliterated-GGUF — квантизированная версия текстовой генеративной модели QwQ-32B-Preview-abliterated, разработанной huihui-ai и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогового применения и генерации текста, включая локальный запуск через llama.cpp и LM Studio. В README заявлена поддержка английского языка. Модель основана на 32B-версии QwQ и распространяется в нескольких вариантах квантизации: от BF16 размером 65,54 ГБ до более компактных форматов Q3, Q4, Q5, Q6, Q8 и IQ. Для квантизации использовался llama.cpp с imatrix и специальным набором данных. Рекомендуемыми названы варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие по качеству форматы; конкретный выбор зависит от доступной оперативной памяти и аппаратной платформы. К сильным сторонам относятся широкий выбор размеров файлов, возможность локального запуска и сохранение высокого качества в старших вариантах квантизации. Ограничения — значительные требования к памяти, снижение качества в компактных вариантах, а также аппаратные ограничения для некоторых ARM-оптимизированных форматов. Модель помечена как abliterated и uncensored, поэтому поведение и защитные ограничения могут отличаться от исходной версии. Лицензия — Apache-2.0.

Qwythos-9B-v2-Heretic-GGUF — набор GGUF-квантизаций модели WaveCut/Qwythos-9B-v2-Heretic, разработанной WaveCut на основе empero-ai/Qwythos-9B-v2. Это текстовая генеративная модель для диалогов и других задач генерации текста, предназначенная для локального запуска через llama.cpp, Ollama, LM Studio, KoboldCpp и совместимые GGUF-рантаймы. Модель использует гибридную архитектуру Qwen3.5 с 32 блоками, сочетающими слои attention и SSM в стиле Mamba. Доступны варианты квантизации от Q4_K_M примерно на 5,6 ГБ до Q8_0 примерно на 9,5 ГБ; они предлагают компромисс между размером, требованиями к памяти и качеством. Указана поддержка английского и русского языков. Контекст модели в README не указан. Вариант описан как uncensored: защитное выравнивание удалено методом Heretic, поэтому ограничения безопасности оригинальной модели могут отсутствовать. Модель распространяется по лицензии Apache-2.0. Это производная квантизированная версия, не связанная с разработчиками исходной empero-ai/Qwythos-9B-v2; использовать её рекомендуется с учётом возможных рисков, связанных с отсутствием защитного выравнивания.

Карточка модели Solshine/reflection-llama-3.1-8B-Natural-Farmer-16bit на Hugging Face совпадает с карточкой Solshine/reflection-llama-3.1-8B-Solshine-Full, поэтому описание составлено по ней. Solshine/reflection-llama-3.1-8B-Solshine-Full — языковая модель Solshine на архитектуре Llama, дообученная от Solshine/reflection-llama-3.1-8B-Solshine-trainround4-16bit с использованием Unsloth и библиотеки TRL. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 131 072 токена. Модель может применяться для генерации ответов в чате и работы с интерфейсом вызова инструментов. В карточке указана поддержка английского языка. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache 2.0.

RuadaptQwen2.5-1.5B-instruct — русскоязычная инструктивная модель, разработанная командой RefalMachine на основе Qwen2.5-1.5B-Instruct. Она предназначена для диалогов и генерации текстовых ответов на инструкции. Модель использует плотную архитектуру Qwen2 и содержит 1,5 млрд параметров; максимальная длина контекста — 32 768 токенов. Авторы заменили токенизатор, продолжили предобучение на русскоязычном корпусе и применили LEP (Learned Embedding Propagation). По заявлению авторов, новый токенизатор увеличил скорость генерации русскоязычного текста до 60% относительно исходной модели на одинаковых последовательностях. В карточке упомянуты оценки на Ru-Arena-General, MERA и llmtf_open, но опубликованные результаты отсутствуют. Модель поддерживает русский язык, чат и интерфейс вызова инструментов. Доступна в формате safetensors по лицензии Apache-2.0. Авторы предупреждают, что ответы могут отражать сведения и взгляды из данных обучения; показатели качества в карточке не приведены.

RWKV-7 Goose — базовая авторегрессионная языковая модель на 1,5 млрд параметров, официальный выпуск BlinkDL в формате Transformers. Она предназначена для генерации текста, оценки моделей и последующего дообучения. Архитектура RWKV-7 не использует attention: модель поддерживает рекуррентное состояние постоянного размера и постоянные вычислительные затраты на каждый новый токен; обучение при этом можно распараллеливать. В репозитории есть шаблон чата и поддержка вызова функций, но это интерфейс промпта, а не свидетельство безопасного или выровненного поведения ассистента. Модель предварительно обучена на веб-текстах, коде, синтетических, инструкционных, диалоговых и рассуждающих данных. В карточке заявлена поддержка английского, китайского, французского, испанского, немецкого, португальского, русского, итальянского, японского, корейского, вьетнамского и арабского языков. Лицензия — Apache-2.0. Качество следования инструкциям и языковое поведение зависят от чекпойнта, промптинга и последующего обучения; оценка безопасности, предвзятости и фактической точности не заявлена. Спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний; ускоренный TileLang-инференс требует проверки совместимости и точности для конкретной конфигурации.

s1.1-32B-GGUF — квантизированная версия языковой reasoning-модели s1.1-32B, разработанной командой simplescaling и опубликованной в формате GGUF пользователем brittlewis12. Базовая модель создана на основе Qwen2.5-32B-Instruct и дообучена на 1 000 примерах из датасета s1K с использованием reasoning traces из DeepSeek-R1. Модель предназначена для генерации текста, диалоговых сценариев и решения задач, требующих многошагового рассуждения, включая математические и научные вопросы. Поддерживает английский язык, работает с текстом и использует шаблон запросов ChatML. Архитектурный тип указан как qwen2; размер модели — 32B параметров. Модель поставляется в GGUF, что подходит для локального запуска через llama.cpp и совместимые приложения, в том числе на устройствах Apple при наличии достаточных ресурсов. Размер контекста в README не указан. К заявленным сильным сторонам относятся улучшенная способность к рассуждению по сравнению с исходной s1 и возможность test-time scaling с помощью budget forcing. В приведённых оценках модель показывает 95,4% на MATH500, 63,6% на GPQA-Diamond, 60,0% на AIME2025 I и 56,7% на AIME2024; результаты получены с применением budget forcing, поэтому они могут не отражать стандартный режим использования. Ограничения включают отсутствие данных о поддерживаемых языках помимо английского, модальностях помимо текста, размере контекста, требованиях к памяти и производительности. Лицензия — Apache-2.0.

Sakura-SOLAR-Instruct-DPO-v2 — языковая модель Kyujin Han (kyujinpy), созданная консорциумом LLM-исследований компаний 미디어그룹사람과숲 и 마커. Это плотная авторегрессионная модель семейства Llama на 10,6 млрд параметров, предназначенная для диалоговой генерации текста и ответов на вопросы. Модель обучена методом DPO на наборе argilla/distilabel-math-preference-dpo; карточка приводит результаты бенчмарков рассуждений и общих знаний, включая GSM8K. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 4096 токенов. Веса опубликованы в формате safetensors. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных работ на тех же условиях и не допускает коммерческого использования.

Seed-OSS-36B-Instruct-MLX-5bit — это 5-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием MLX и предназначено для запуска на компьютерах с Apple Silicon. Модель относится к классу text-generation и ориентирована на генерацию текста и выполнение инструкций в сценариях локального запуска. Она основана на модели размером 36 миллиардов параметров, однако сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в README не указаны. Формат MLX оптимизирован для аппаратного обеспечения Apple Silicon, а 5-битное квантование должно снижать требования к памяти по сравнению с полноразмерной версией, при этом README не содержит количественной оценки потери качества или производительности. К сильным сторонам модели относятся возможность локального использования на Apple Silicon и уменьшенный объём хранения и памяти благодаря квантованию. Ограничения связаны с отсутствием в README подробных данных о качестве, бенчмарках, языковой поддержке и рекомендуемых ресурсах. В карточке указана лицензия Apache-2.0; модель является общественной квантованной сборкой, а её исходной моделью выступает ByteDance-Seed/Seed-OSS-36B-Instruct.

s1-32B-GGUF — это набор квантованных GGUF-версий текстогенеративной модели s1-32B, разработанной simplescaling. Квантование выполнил bartowski с использованием llama.cpp b4585 и метода imatrix на основе набора данных simplescaling/s1K и дополнительного калибровочного набора. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с llama.cpp, включая LM Studio и другие производные проекты. Доступны варианты размером примерно от 11,26 до 34,82 ГБ с форматами Q2, Q3, Q4, Q5, Q6, Q8 и IQ-квантованиями. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше оперативной или видеопамяти; Q4_K_M указан как вариант стандартного размера для большинства сценариев, а Q5 и Q6 — как варианты высокого качества. Архитектура, поддерживаемые языки, модальности и максимальная длина контекста в README не указаны, поэтому модель следует рассматривать как текстовую. Сильной стороной является широкий выбор размеров и совместимость с локальным инференсом, позволяющая подобрать компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества у низкобитных вариантов и значительными требованиями к памяти даже у наиболее компактных файлов. Для работы рекомендуется использовать шаблон промпта ChatML, приведённый в README. Лицензия модели — Apache-2.0.

SimplyAI-2B-Uncensored — диалоговая текстовая модель Miiyamoto255, созданная слиянием моделей на основе google/gemma-2-2b-it. Это плотная авторегрессионная архитектура Gemma 2 с 2,7 млрд параметров и контекстом 8192 токена; модель предназначена для генерации текста в диалоге, а автор отдельно отмечает задачи программирования и кибербезопасности. В карточке заявлена «разблокированная» версия, ориентированная на более свободные ответы. Модель принимает текст и генерирует текст. В метаданных указан английский язык; README не сообщает результатов независимых оценок качества. Для работы используется библиотека Transformers и формат safetensors. Лицензия указана как gemma; перед применением следует соблюдать её условия. Модель может выдавать небезопасные или неправомерные инструкции, поэтому ответы требуют соответствующей проверки.

SJT-900M-Alpha — плотная языковая модель на архитектуре Qwen2, разработанная Sakalti и дообученная на базе Sakalti/SJT-900M. Она предназначена для генерации текста и диалоговых сценариев; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 762,3 млн параметров и поддерживает контекст до 131 072 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка сообщает об использовании Unsloth и TRL при обучении. В метаданных указан английский язык. Специализация по предметной области и конкретные ограничения качества не описаны.

Slush-FallMix-12B — объединённая методом SLERP языковая модель на архитектуре Mistral, созданная сообществом mergekit-community из ChatWaifu-Wayfarer-Sunfall и Slush-Sunfall-Rocinante-GGLD-12B. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и диалоговых ответов; в метаданных также заявлен интерфейс вызова инструментов. Слияние использует V-образное распределение параметра t по слоям: в конфигурации указано сочетание Hermes на входных и выходных слоях и WizardMath в средних слоях. Модель принимает текст и выдаёт текст. Для загрузки используется библиотека Transformers, веса представлены в формате safetensors; заявленная длина контекста — 1 024 000 токенов. Карточка не сообщает результаты оценки качества, поддерживаемые языки или ограничения в применении, поэтому эти характеристики нельзя уточнить. Лицензия в предоставленных данных не указана.

SoftTiger-13b — языковая модель общего назначения, представленная TigerResearch как основа для создания собственных LLM. Она построена на плотной архитектуре Llama с декодером LlamaForCausalLM и содержит 13 млрд параметров; модель предназначена для генерации текста и запускается через Transformers с кодом TigerBot. Модель поддерживает китайский и английский языки, принимает текст и генерирует текст. Её нативная длина контекста составляет 8192 токена. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0. README не приводит оценок качества или специализированных сценариев, поэтому пригодность для конкретных задач следует проверять отдельно.

SoRu-0003 — языковая модель семейства Qwen2, разработанная ehristoforu и дообученная на основе ehristoforu/SoRu-0002. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель содержит около 493,7 млн параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Карточка не описывает конкретные тесты качества или специализированные области применения.

Swift-Qwen3.8-27B-NVFP4-GGUF — это GGUF-версия модели Swift-Qwen3.8-27B-NVFP4, подготовленная для запуска в llama.cpp. Модель разработана UkisAI на основе Qwen3.8-27B от команды Qwen; Swift-Qwen3.8-27B представляет собой дообученную модель с эффективным рассуждением. Данный файл переносит калиброванные веса NVFP4 в формат GGUF без повторного квантования весов NVFP4. Модель предназначена для генерации текста и работы с изображениями при использовании отдельного мультимодального проектора. Она поддерживает контекст до 262 144 токенов, включает голову MTP для speculative decoding и рассчитана прежде всего на NVIDIA Blackwell, где NVFP4 выполняется нативно. Архитектура сочетает NVFP4-квантованные MLP-слои и часть attention-слоёв с компонентами Q8_0 и F32; размер опубликованного файла составляет 19,72 ГБ. Доступны режимы reasoning_effort xhigh, medium и low. Сильная сторона модели — сохранение исходных NVFP4-весов и возможность эффективного запуска через llama.cpp с поддержкой MTP. Для других GPU требуется сборка llama.cpp с fallback-поддержкой NVFP4, а для vision-сценариев необходим отдельный mmproj-файл. Качество именно этого GGUF-файла ещё не измерялось; заявленные результаты относятся к исходному NVFP4-чекпойнту. Модель распространяется по лицензии Swift Open License v1.0: коммерческое использование разрешено физическим и юридическим лицам с годовой регулярной выручкой до 1 млн долларов США; при превышении лимита требуется Swift Enterprise License от UkisAI.

Apertus-8B-Instruct-2509-GGUF — это набор квантизированных версий языковой модели Apertus-8B-Instruct-2509, разработанной swiss-ai и подготовленной пользователем bartowski в формате GGUF с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через LM Studio, llama.cpp и другие совместимые проекты. В набор входят варианты с точностью от BF16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 3,8 до 16,1 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Исходная модель обозначена как 8B, однако сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях в представленном README не указаны; по имеющимся данным это текстовая модель. Сильная сторона набора — широкий выбор локальных конфигураций: варианты Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 подходят для большинства сценариев с ограниченными ресурсами. Более сильная квантизация может снизить качество генерации, особенно у вариантов Q3 и ниже. Формат prompt не указан, поэтому для корректного использования необходимо обратиться к странице исходной модели. Лицензия в README не указана.

google/t5gemma-s-s-prefixlm — предварительно обученная текстовая модель семейства T5Gemma, разработанная Google. Это вариант с энкодером и декодером размера S, адаптированный с использованием PrefixLM; архитектура объединяет энкодер-декодерный подход T5 с основой Gemma. Модель работает в формате «текст на входе — текст на выходе» и рассчитана на английский язык. Модель подходит для генерации текста, ответов на вопросы, суммаризации и экспериментов в области NLP. Энкодер также можно применять в задачах классификации и понимания текста. Компактный размер семейства позволяет рассматривать локальное развёртывание, однако точное число параметров этого варианта в предоставленных данных не указано. Возможности зависят от качества и охвата обучающих данных; модель может упускать языковые нюансы, допускать фактические ошибки и испытывать трудности со сложными открытыми задачами. Лицензия — Gemma; для использования следует соблюдать условия лицензии и политику допустимого использования Gemma.

Teleut 7B — экспериментальная попытка воспроизвести обучение Tülu 3 на базовой модели Qwen2.5-7B. Модель разработана allura-org и предназначена для генерации текста в диалоговом формате; в карточке приведены результаты оценок на BBH, GSM8K и IFEval, но это предварительные измерения, а не гарантия качества в прикладных задачах. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, дообученная на смеси AllenAI Tulu 3 SFT. Она принимает текст и генерирует текст, использует библиотеку Transformers и поддерживает контекст до 131 072 токенов. Модель создана как репликационная попытка, поэтому её результаты могут отличаться от опубликованных показателей Tülu 3; README также содержит неполную таблицу оценок. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Tess-3-Llama-3.1-70B-GGUF — набор квантизированных версий текстовой генеративной модели Tess-3-Llama-3.1-70B, разработанной migtissera. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста, включая диалоговое взаимодействие и другие сценарии, поддерживаемые исходной моделью. Модель имеет размер 70B параметров и распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ1_M. Доступны версии размером примерно от 16,75 до 74,98 ГБ; наиболее сбалансированными по качеству и размеру в README названы Q6_K, Q5_K_M, Q4_K_M, Q4_K_S и IQ4_XS. Для работы рекомендуется формат prompt, совместимый с Llama 3.1, а запуск возможен, в частности, через LM Studio и llama.cpp. Сведения о поддерживаемых языках, длине контекста и мультимодальности не указаны. Главное преимущество набора — широкий выбор квантизаций, позволяющий адаптировать модель к доступному объёму памяти при сохранении приемлемого качества; высокоточные варианты обеспечивают качество, близкое к исходному. Ограничения связаны с большими требованиями к дисковому пространству и памяти, а у низкобитных версий качество заметно снижается. Модель распространяется по лицензии llama3.1.

Tess-3-Mistral-Nemo-GGUF — набор GGUF-квантизаций текстовой генеративной модели Tess-3-Mistral-Nemo, опубликованный и сквантизированный пользователем bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана migtissera. Формат GGUF предназначен для локального запуска, в том числе через llama.cpp и LM Studio. Модель предназначена для генерации текста в диалоговом формате с системными инструкциями и пользовательскими запросами. В репозитории представлены варианты от исходных весов F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также вариантов IQ. Размер файлов составляет примерно от 4,14 до 49 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, тогда как младшие варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для некоторых вариантов применена схема с весами embeddings и output, сохранёнными в Q8_0, что, согласно описанию, может улучшать качество, хотя эффект зависит от сценария. Конкретные архитектурные параметры, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

KnutJaegersberg/Tess-M-34B-2bit — 2-битная квантованная версия Tess-M-34b-v1.4, подготовленная автором репозитория на базе модели Tess-M от migtissera. Tess-M-v1.4 обучена на Yi-34B-200K; архитектура — плотная LlamaForCausalLM с 33,9 млрд параметров и контекстом до 200 000 токенов. Модель предназначена для генерации текста общего назначения, в том числе для few-shot запросов с длинным контекстом и короткими ответами; автор отмечает сценарии запуска на пользовательских и GPU для анализа данных. Для квантования использован quip# с контекстом Гессиана 8K. В README указано, что perplexity на dev-наборе немного выше, чем у исходной модели, а инференс работает медленно. Репозиторий содержит веса safetensors и предлагает запуск через интеграцию quip# в textgen-webui. Лицензия указана как other; README ссылается на соглашение Model License Agreement 2.0 для моделей Yi и требует разрешения для коммерческого использования.

bartowski/TheSkullery_L3.3-exp-unnamed-model-70b-v0.5-GGUF — это набор GGUF-квантизаций текстовой генеративной модели TheSkullery/L3.3-exp-unnamed-model-70b-v0.5, разработанной TheSkullery. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70B параметров и относится к семейству Llama 3.3; в карточке указана лицензия llama3.3. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и IQ4_XS. Они позволяют выбирать между качеством генерации и требованиями к памяти: размер файлов составляет примерно от 30,91 до 74,98 ГБ. Варианты Q4_1 и Q4_0 отмечены как устаревшие форматы, но могут иметь преимущества в отдельных сценариях на Apple Silicon или ARM/AVX-системах. Сильной стороной являются высокое качество старших квантов и возможность локального запуска на широком спектре совместимого оборудования. Ограничения — значительные требования к оперативной или видеопамяти даже у компактных вариантов, а также потенциальная потеря качества при использовании низкобитных квантов. В README не указаны точный размер контекста, поддерживаемые языки, мультимодальные возможности, конкретная архитектура слоёв и результаты бенчмарков, поэтому эти характеристики нельзя достоверно определить.

Tiger-Gemma-9B-v1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Tiger-Gemma-9B-v1, разработанной TheDrummer и подготовленной для распространения пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix, применяющего калибровочный датасет для сохранения качества при уменьшении размера весов. Модель предназначена для локального запуска и генерации текста через совместимые инструменты, включая llama.cpp. Доступны варианты от F32 размером около 36,97 ГБ до низкоразрядных Q2 и IQ2 размером около 3,43–4,03 ГБ; также представлены промежуточные варианты Q3–Q8 и IQ. Более крупные квантизации обычно обеспечивают более высокое качество, а компактные подходят для систем с ограниченным объёмом оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS. Известно, что это модель класса Gemma с примерно 9 млрд параметров и поддержкой текстового ввода и вывода. Для диалогов требуется специальный формат prompt с маркерами начала и конца хода пользователя и модели. Системный prompt модель не поддерживает. Языки, размер контекстного окна и дополнительные архитектурные характеристики в предоставленных данных не указаны. Лицензия исходной модели и условия использования данной сборки также не указаны, поэтому перед применением необходимо проверить их отдельно.

Это набор GGUF-квантизованных файлов модели varox34/Llama-3-Mistral-v0.2-Instruct-slerp, подготовленный организацией featherless-ai-quants. Модель предназначена для генерации текста и инструкционного взаимодействия, включая запуск локально или в совместимых средах инференса, поддерживающих формат GGUF. README не содержит сведений о точной архитектуре, числе параметров, языках, размере контекста или мультимодальности. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,6 до 7,35 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством генерации, однако конкретные характеристики производительности в README не приведены. Сильная сторона набора — широкий выбор степеней квантизации и совместимость с экосистемой GGUF. Ограничения и условия лицензирования исходной модели или квантизованных файлов в README не указаны, поэтому перед использованием необходимо проверить лицензию базовой модели отдельно.

VibeThinker-3B LiteRT-LM — это конвертированная версия модели WeiboAI/VibeThinker-3B, разработанная на базе Qwen2.5-Coder-3B. Репозиторий Tdamre содержит артефакты для локального инференса на устройствах с использованием LiteRT-LM. Модель представляет собой плотную reasoning-модель примерно на 3 млрд параметров, ориентированную на генерацию текста и решение задач, требующих рассуждений, включая программирование и математические запросы. Доступны варианты с кэшем контекста на 2048, 4096, 32768 и 65536 токенов, что позволяет выбирать баланс между потреблением ресурсов и поддержкой длинных запросов. Артефакты используют динамическую квантизацию dynamic_wi8_afp32 и рассчитаны на CPU или GPU; в состав входят токенизатор, метаданные LLM, квантизированные TFLite-модели для prefill/decode и внешний embedder. Указанная модальность — текстовая; сведения о поддерживаемых языках в README отсутствуют. Сильные стороны модели — компактный размер, локальная работа без обязательного обращения к облачным сервисам, варианты для короткого и длинного контекста и совместимость с LiteRT-LM, включая мобильные сценарии. Ограничения связаны с отсутствием готовых Qualcomm SM8750 NPU AOT-артефактов и MediaPipe .task-бандлов, а также с тем, что характеристики качества, скорости и потребления памяти не приведены. Модель и конвертированные артефакты распространяются по лицензии MIT.

Это исследовательский чекпойнт на 1,7 млрд параметров семейства Qwen3, опубликованный пользователем yuq-zhou в стандартном формате Hugging Face Safetensors для загрузки через Transformers. Модель предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Контекст модели составляет 40 960 токенов. Карточка называет репозиторий резервной копией исследовательского артефакта, но не описывает специальную предметную область, поддерживаемые языки или результаты оценки качества. Лицензия в предоставленных данных не указана.