II.2Создание и понимание программного кода

Minami-su/Qwen1.5-7B-Chat_mistral — преобразованная версия диалоговой модели Qwen1.5-7B-Chat от Alibaba Cloud с архитектурой Mistral. Автор адаптировал модель для совместимости с Qwen1.5; репозиторий содержит веса PyTorch, а размер модели составляет 7,1 млрд параметров. В метаданных указаны контекст до 32 768 токенов и поддержка английского и китайского языков. Модель предназначена для генерации текста в диалоговом формате. Автор отмечает поддержку скользящего окна внимания и заявляет о более высокой скорости и увеличенной длине контекста по сравнению с вариантом Qwen2 Llamafy. В README приведены результаты отдельных тестов, в том числе при загрузке в 4-битном режиме. Для использования автор указывает на необходимость вручную изменить реализацию MistralAttention в библиотеке Transformers, поэтому запуск может потребовать адаптации кода. Лицензия в метаданных обозначена как other; конкретные условия использования по доступным сведениям определить нельзя.

Qwen3.5-35B-A3B-uncensored-heretic-v2-Native-MTP-Preserved-NVFP4-GGUF — это квантованная в формате GGUF версия модели Qwen3.5-35B-A3B, подготовленная независимым разработчиком llmfan46 на основе исходной модели Qwen от Qwen. Модель позиционируется как decensored-версия: с помощью Heretic 1.3.0 и варианта метода Magnitude-Preserving Orthogonal Ablation были изменены компоненты attn.o_proj, attn.out_proj и mlp.down_proj для снижения числа отказов при сохранении исходных возможностей. В модели сохранены все 785 native MTP-тензоров, а представленный вариант использует квантование NVFP4. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако README не содержит подробностей о поддерживаемых языках, размере контекста, требованиях к памяти и конкретных режимах работы с изображениями. По заявленным данным, частота отказов снизилась до 14 из 100 против 92 из 100 у оригинальной модели, а KL-дивергенция составила 0,0487, что указывает на относительно близкое сохранение поведения исходной модели. В README также приведены результаты MMLU оригинальной модели с точностью 84,12%, но отдельные результаты для этой модификации не указаны. Сильными сторонами являются уменьшенное количество ограничивающих отказов, сохранение MTP-тензоров и близость к исходным возможностям при компактном NVFP4-представлении. Ограничением выступает экспериментальный характер decensored-модификации: снижение отказов может означать меньше встроенных защит, поэтому качество и безопасность ответов требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved-GGUF — GGUF-квантизация 27-миллиардной модели Qwen3.6-27B, созданная независимым разработчиком llmfan46. Модель представляет собой децензурированную версию исходной Qwen3.6-27B, обработанную с помощью Heretic v1.3.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA). В карточке также заявлена категория image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель предназначена для генерации текста и диалоговых сценариев с меньшим количеством отказов, ограничений и морализаторских ответов. Сохранены все 15 компонентов MTP (Multi-Token Prediction), что, по заявлению автора, поддерживает исходную функциональность этого механизма. Согласно приведённым тестам, доля отказов составила 6 из 100 против 92 из 100 у оригинальной модели, а KL-дивергенция относительно исходной версии — 0,0021, что указывает на близкое сохранение поведения модели. К сильным сторонам относятся уменьшенное число отказов и небольшое заявленное отклонение от базовой модели. Ограничения включают потенциально сниженный уровень защитных ограничений и безопасности, отсутствие полной информации о размере контекста, языках, точной архитектуре и требованиях к оборудованию, а также неполные результаты бенчмарков в представленном README. Модель распространяется по лицензии Apache-2.0.

EgorKodin/Qwen3.8-27B-ABLITERATED-3bit-MLX-TextOnly — это текстовая 3-битная квантизированная версия модели Blackfrost-AI/Qwen3.8-27B-ABLITERATED-BF16. Репозиторий подготовлен EgorKodin в формате MLX и предназначен для запуска и инференса на устройствах с Apple Silicon через mlx-lm. Исходная модель описана как результат fine-tuning и abliteration, однако подробности этого процесса в README не приведены. Модель предназначена для генерации текста и интерактивного диалога. Она поддерживает текстовые сценарии, включая ответы на запросы и генерацию продолжений; визуальная часть исходной мультимодальной модели удалена, поэтому изображения и другие визуальные входные данные не поддерживаются. Размер модели — 27B параметров согласно названию базовой модели. Используется 3-битное affine-квантование с размером группы 64, что снижает требования к памяти по сравнению с исходными BF16-весами. Языки и размер контекстного окна в README не указаны. К сильным сторонам относятся адаптация к MLX, оптимизация под Apple Silicon и уменьшенное потребление памяти благодаря 3-битному представлению. Ограничениями являются текстовый режим без vision tower и возможное снижение точности по сравнению с полноразмерной BF16-версией вследствие квантизации. Для запуска требуется библиотека mlx-lm. Лицензия в README не указана.

Qwen3.8-27B-Abliterated-SFT-i1-GGUF — квантованная GGUF-версия модели azukivc/Qwen3.8-27B-Abliterated-SFT, подготовленная mradermacher. Это 27-миллиардная модель, дообученная методом supervised fine-tuning (SFT) и подвергнутая abliteration. В карточке указана поддержка английского языка и библиотеки Transformers; модель предназначена прежде всего для генерации текста и запуска в совместимых средах, включая vLLM. Модель заявлена как vision-модель, поэтому для обработки изображений могут потребоваться дополнительные mmproj-файлы из статического репозитория. Доступны варианты GGUF с различными уровнями квантования от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ. Среди представленных вариантов i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества; качество и скорость зависят от выбранного типа квантования и оборудования. README не содержит данных о размере контекста, результатах тестирования, точных архитектурных особенностях или подробном перечне поддерживаемых языков и сценариев. Ограничениями также являются возможная потеря качества при низком уровне квантования и необходимость дополнительных файлов для визуального ввода. Модель распространяется по лицензии Apache-2.0.

SC117/Qwen3.8-27B-Uncensored-FIT-GGUF — набор из 14 GGUF-квантизаций базовой модели orcarouter/Qwen3.8-27B-Uncensored. Файлы подготовлены с использованием FIT-GGUF — открытого детерминированного инструмента поверх пресетов квантизации llama.cpp, разработанного Scorp1o117. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp. Модель имеет размер 27B параметров, относится к текстовым моделям и заявлена для английского и китайского языков. Доступны варианты с непрерывно подобранным размером примерно от 7 до 13,5 GiB. Для каждого файла заявлены точное соответствие прогнозируемому размеру и проверка с использованием измерений KL-divergence и same-top; MTP head удалена. Размер контекста и дополнительные модальности в README не указаны. Главное преимущество набора — гибкий выбор размера под доступный бюджет памяти и детерминированное распределение точности по тензорам. При этом README прямо отмечает, что универсально оптимальное распределение тензорной точности не установлено, поэтому качество разных вариантов может различаться. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored — это текстовая генеративная модель на базе orcarouter/Qwen3.8-27B-Uncensored, преобразованная пользователем xidisdg в нативный формат NInfer .ninfer. Модель предназначена для диалогов и других сценариев генерации текста при запуске через совместимый runtime NInfer; это не GGUF и не checkpoint Safetensors для прямой загрузки в Transformers. Доступны четыре варианта: NVFP4 и NVFP4Full, каждый с обычным декодированием или со speculative decoding-компонентом DFlash2. Размер файлов составляет примерно 18,32–23,72 GB. В конфигурации NVFP4 последние 8 из 64 MLP-слоёв сохранены в FP8, что ориентировано на более консервативное сохранение качества, тогда как NVFP4Full обеспечивает меньший размер. Указаны 27 млрд параметров и текстовая модальность, но сведения о языках и максимальной длине контекста отсутствуют. Сильные стороны модели — компактное квантованное представление, несколько вариантов баланса между размером, качеством и скоростью, а также возможность speculative decoding через DFlash2. Ограничения включают зависимость от совместимой сборки NInfer и аппаратно-программной конфигурации; локальная проверка проводилась на Windows 11 x64 с CUDA 13.1 и RTX 5090, поэтому совместимость с другими GPU и Linux не подтверждена. Независимые показатели качества, скорости, задержки и безопасности не опубликованы. Лицензия для этого репозитория не указана. Условия использования исходных весов, конвертированных файлов и дополнительных компонентов необходимо проверять отдельно перед коммерческим использованием или распространением; README не предоставляет дополнительных прав.

Qwen3.8-Flash-Next-heretic-2-IQ4_XS-GGUF — это квантизированная GGUF-версия модели Qwen3.8-Flash-Next-heretic-2, подготовленная для запуска через llama.cpp. Репозиторий содержит пять основных IQ4_XS-шардов, набор из шести MTP/NextN-шардов для speculative decoding и совместимый мультимодальный проектор Q8_0. Модель основана на версии trohrbaugh/Qwen3.8-Flash-Next-heretic-2; исходная конверсия закреплена на конкретной ревизии проекта spiritfather/Qwen3.8-Flash-Next-heretic-2-i1-GGUF. Сведения о точном числе параметров, архитектуре, языках и размере контекста в карточке не указаны. Модель предназначена для генерации текста и обработки изображений в сценариях image-text-to-text, включая мультимодальные запросы и задачи визуального grounding. Формат ориентирован на эффективное размещение и кэширование весов, в частности в средах Runpod Serverless. Для изображений требуется отдельный проектор mmproj в формате Q8_0. MTP-вариант поддерживает ускорение генерации посредством speculative decoding при использовании сборки llama.cpp с PR #27836; в README приведены рекомендуемые параметры запуска для IQ4-класса. К сильным сторонам относятся сниженный размер квантизированных весов, поддержка мультимодального ввода и возможность ускоренной генерации с MTP. Ограничения связаны с необходимостью совместимой сборки llama.cpp, отдельного мультимодального проектора и корректного набора шардов; характеристики качества, производительности и языкового покрытия не приведены. Указана лицензия Qwen Community License версии qwen-community-1.0, условия которой распространяются на upstream-модель и конверсию.

s1.1-32B-GGUF — это набор GGUF-квантизаций языковой модели s1.1-32B, разработанной командой simplescaling и опубликованной в варианте квантизации пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В качестве обучающего набора указан simplescaling/s1K-1.1, однако сведения о задачах обучения, языках, контекстном окне и точной архитектуре в README не приведены. Доступны варианты от исходных весов F16 размером 65,54 ГБ до сильно сжатых квантов Q2 и Q3, а также Q4, Q5, Q6 и Q8. Квантизация выполнена с использованием imatrix на базе llama.cpp. Версии Q6_K и Q6_K_L отмечены как обеспечивающие почти исходное качество, а Q4_K_M указана как вариант стандартного размера для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но снижают качество и точность генерации. Модель подходит для локального инференса при наличии совместимого оборудования и программного обеспечения. Формат промпта использует специальные маркеры system, user и assistant. Лицензия — Apache-2.0. README не содержит данных о мультимодальности, поддерживаемых языках, показателях качества и ограничениях исходной модели.

SmolLM2-135M-Instruct-bnb-4bit — компактная инструкционная языковая модель, опубликованная Unsloth на основе SmolLM2-135M-Instruct от Hugging FaceTB. Модель предназначена для локального и встраиваемого использования, когда важны небольшой размер и низкие требования к ресурсам. Она поддерживает задачи генерации и обработки текста, включая следование инструкциям, переписывание, суммаризацию и function calling. Указанный язык — английский. Модель содержит 135 млн параметров и поставляется в виде предварительно квантованной 4-битной версии с использованием bitsandbytes. Это снижает требования к памяти и делает модель пригодной для запуска на устройствах с ограниченными ресурсами, однако компактный размер может ограничивать качество сложного рассуждения, полноту знаний и устойчивость ответов по сравнению с более крупными моделями. README не указывает точную архитектуру, длину контекста, дополнительные модальности и результаты бенчмарков именно для этой версии. Модель распространяется по лицензии Apache-2.0. Для работы предполагается использование экосистемы Transformers; формат квантования и инструкция по применению ориентированы на локальный запуск и дообучение с инструментами Unsloth.

SYNGEN REASONING 0.6B — языковая модель Pinkstack с 507,6 млн параметров на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-0.6B-Base. Она предназначена прежде всего для генерации синтетических рассуждений, привязанных к итоговым ответам, например при преобразовании диалоговых наборов данных в наборы с цепочками рассуждений. Модель также подходит для других задач генерации текста, требующих рассуждений. Модель принимает текст и генерирует текст; заявленный родной контекст — 32 768 токенов. В README приведены рекомендуемые параметры генерации: min_p 0,05, top_p 0,85, temperature 0,55 и до 32 000 новых токенов. Карточка указывает поддержку английского и многоязычного текста, а также возможности диалога и генерации кода. Лицензия — Apache-2.0.

Tarek07_Nomad-LLaMa-70B-GGUF — это набор квантизированных версий текстовой генеративной модели Nomad-LLaMa-70B, разработанной Tarek07. Квантизация выполнена пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые проекты, включая сценарии диалогов, написания и обработки текста. В набор входят варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 21 до 75 ГБ. Более качественные варианты требуют больше оперативной памяти, тогда как версии с меньшей разрядностью позволяют запускать модель на менее производительном оборудовании, но снижают качество генерации. README не содержит сведений о длине контекста, поддерживаемых языках, дополнительных модальностях, точной архитектуре исходной модели, лицензии или рекомендуемом формате промптов; формат промпта следует уточнять на странице оригинальной модели.

Tesslate_Tessa-T1-32B-GGUF — набор GGUF-квантизованных версий текстовой генеративной модели Tessa-T1-32B, разработанной Tesslate и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях и средах, совместимых с llama.cpp, включая LM Studio. В README заявлена поддержка английского языка; сведения о мультимодальности отсутствуют. Модель содержит 32 млрд параметров и распространяется в форматах от BF16 до различных вариантов квантования Q8, Q6, Q5, Q4, Q3 и Q2, включая IQ-форматы. Размер файлов варьируется примерно от 13,07 до 65,54 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Для работы рекомендуется использовать указанный в README prompt format с ролями system, user и assistant. Точная длина контекста и дополнительные архитектурные характеристики не указаны. Сильная сторона набора — широкий выбор степеней квантования и возможность локального запуска; варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M — как оптимальный вариант для большинства сценариев. Более сильное квантование экономит память, но может снижать качество, особенно у вариантов Q3 и Q2. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Snowpiercer-15B-v3, разработанной TheDrummer и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет размер 15 миллиардов параметров и представлена в нескольких вариантах точности и квантизации: от BF16 размером около 30 ГБ до компактных Q2–Q8-вариантов размером примерно от 6,45 до 15,92 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp, что позволяет выбирать баланс между качеством, требованиями к памяти и скоростью инференса. Наиболее качественными и рекомендуемыми в README названы варианты Q5, Q6 и Q4_K_M; для систем с ограниченным объёмом RAM доступны варианты Q3 и Q2. Сильная сторона модели — возможность локального запуска на широком спектре оборудования благодаря большому выбору квантизаций. Ограничения включают отсутствие в README сведений о базовой архитектуре, поддерживаемых языках, длине контекста, мультимодальности, специализированных сценариях обучения и формате промпта; его рекомендуется уточнять на странице оригинальной модели. Лицензия в предоставленных данных не указана.

MaziyarPanahi/albertlight-7b-GGUF — это набор файлов модели в формате GGUF для базовой модели AgentPublic/albertlight-7b. Исходную модель разработала организация или автор AgentPublic, а квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и сервисах, поддерживающих GGUF. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации. README не содержит точных сведений об архитектуре, количестве параметров, контекстном окне, поддерживаемых языках и модальностях; по метаданным модель относится к text generation и, вероятно, ориентирована на работу с текстом, но дополнительные характеристики не указаны. Формат GGUF поддерживается, в частности, библиотеками и приложениями llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и Candle. Сильной стороной является возможность локального запуска и использования разных уровней квантования. Ограничения и результаты сравнительных тестов в README не приведены. Указана лицензия Apache-2.0.

Это дообученная модель Sentence Transformers, созданная на основе sentence-transformers/all-MiniLM-L12-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализованные для сравнения по косинусному сходству. Архитектура основана на BERT; в метаданных указано 40 млн параметров, библиотека sentence-transformers и контекст до 512 токенов. Карточка модели задаёт максимальную длину последовательности 128 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Обучение проводилось на парах названий состояний и предпосылок из Mathlib, поэтому она может быть особенно полезна для сопоставления формальных математических утверждений и имён в Lean. Базовая модель ориентирована на английский язык; отдельная информация о лицензии в предоставленных данных отсутствует.

Homunculus-GGUF — это квантованные версии языковой модели Homunculus, разработанной arcee-ai и преобразованной пользователем bartowski в формат GGUF с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на его основе. В README указан английский язык и шаблон диалога с ролями system, user и assistant. Доступны варианты от полного BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 5 до 25 ГБ; наиболее качественными считаются BF16, Q8_0, Q6 и Q5, а варианты с более низкой разрядностью требуют меньше оперативной памяти, но могут заметно уступать в качестве. Архитектура, количество параметров, поддерживаемый размер контекста и дополнительные модальности в README не указаны, поэтому модель следует рассматривать как текстовую. Основные преимущества — возможность локального запуска, широкий выбор квантований и баланс между качеством и требованиями к памяти. Ограничения связаны с потерями качества при сильном квантовании, зависимостью от совместимого программного обеспечения и отсутствием подробных данных о возможностях исходной модели. Распространение указано по лицензии Apache-2.0.

bartowski/ArliAI_Qwen3.5-122B-RpRMax-v1-GGUF — это GGUF-квантизованная версия модели ArliAI/Qwen3.5-122B-RpRMax-v1, подготовленная bartowski с использованием llama.cpp и метода imatrix. Репозиторий содержит варианты квантования от Q8_0 до Q3_K и IQ3, рассчитанные на запуск в llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и других совместимых инструментах. Исходная модель разработана ArliAI, а базовая архитектура связана с Qwen3.5-122B-A10B; точные архитектурные параметры в README не приведены. Модель предназначена для локального инференса и генерации текста в совместимых средах. Метаданные указывают pipeline image-text-to-text, однако подробности о поддерживаемых форматах изображений, языках и максимальной длине контекста не указаны. Размер модели — 122B параметров согласно названию, поэтому даже квантизованные варианты требуют значительных ресурсов: размер файлов составляет примерно от 53,99 до 129,91 ГБ. Варианты Q6_K, Q5 и Q4 позиционируются как обеспечивающие высокое или хорошее качество, тогда как варианты Q3 рассчитаны на ограниченный объём оперативной памяти и дают более низкое качество. Основные преимущества — широкий выбор степеней квантования, возможность локального запуска и сохранение высокого качества при использовании старших вариантов. Ограничения включают очень высокие требования к памяти, потенциальную необходимость обновления программного обеспечения для поддержки новой модели, а также отсутствие в README сведений о бенчмарках, языковой специализации и фактических мультимодальных возможностях. Лицензия указана как Apache-2.0.

Aura-4B-GGUF — это набор GGUF-квантизаций языковой модели Aura-4B, разработанной AuraIndustries и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локальных inference-сценариев через llama.cpp и совместимые приложения, включая LM Studio. В README также указано использование в обучении датасетов Mielikki/Erebus-87k, FourOhFour/Instruct_Phase, FourOhFour/RP_Phase и anthracite-core/full-opus-chosen-hermes-rejected-kto-v1. Модель имеет около 4 миллиардов параметров и поддерживает английский язык. Она представлена в форматах от F16 до низкобитных вариантов Q2 и IQ2, поэтому позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы, в частности, Q4_K_M, Q5_K_M, Q6_K и некоторые варианты с повышенной точностью embedding- и output-весов. Для работы используется шаблон промпта ChatML с ролями system, user и assistant. Архитектура, размер контекстного окна и поддержка других модальностей в README не указаны. Сильными сторонами являются локальный запуск, широкий выбор квантизаций и возможность адаптировать потребление памяти под доступное оборудование. Более низкая точность квантизации может заметно снижать качество генерации; варианты Q2–Q3 описаны как низкокачественные или предназначенные для ограниченной оперативной памяти. Модель распространяется по лицензии Apache-2.0.

Это набор GGUF-квантизованных версий модели AXCXEPT/Llama-3.1-8B-EZO-1.1-it, подготовленный организацией featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в сценариях локального или совместимого с GGUF запуска, включая диалоговые приложения и другие задачи текстовой генерации. README не содержит подробного описания исходной модели, её обучения или разработчика AXCXEPT/Llama-3.1-8B-EZO-1.1-it. Модель относится к семейству Llama 3.1 и имеет 8 миллиардов параметров. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размеры варьируются примерно от 3 до 8 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти и сохранением качества, однако конкретные характеристики производительности и качества в README не указаны. Данные о поддерживаемых языках, размере контекста, модальностях и архитектурных деталях отсутствуют. Лицензия также не указана.

BigBang-Aquila-35B-Merged-GGUF — это квантованная в формате GGUF версия модели BigBang-Aquila-35B-Merged, разработанной Davd-b01 и подготовленной к квантованию пользователем mradermacher. Модель предназначена для диалоговых сценариев и задач image-text-to-text, то есть может работать с текстом и изображениями, однако README не содержит подробностей о поддерживаемых режимах обработки изображений. Модель имеет заявленный размер 35B и относится к архитектуре, помеченной как qwen3_5_moe; исходные данные также связаны с Transformers и mergekit, что указывает на использование объединения моделей. Указан английский язык. Доступны варианты квантования Q2_K, Q3_K, IQ4_XS, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 13 до 37 ГБ. Более низкие уровни квантования требуют меньше памяти, но могут снижать качество; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством. README не приводит данных о длине контекста, результатах тестирования, производительности, системных требованиях или конкретных ограничениях мультимодальной работы. Модель распространяется по лицензии Apache-2.0.

Capytessborosyi 34B 200K DARE Ties GGUF — это квантизированная языковая модель для генерации текста, разработанная brucethemoose и преобразованная в формат GGUF пользователем TheBloke. Модель основана на архитектуре Yi и предназначена для работы с текстовыми запросами, включая диалоговые сценарии и локальный запуск через совместимые приложения и библиотеки. Модель имеет размер 34B параметров и заявленный контекст до 200K токенов; в метаданных указан английский язык. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Формат GGUF поддерживается, в частности, llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Для диалогового взаимодействия в README приведён шаблон Orca-Vicuna с ролями SYSTEM, USER и ASSISTANT. К сильным сторонам относятся большой заявленный контекст, широкий выбор уровней квантизации и возможность локального запуска на различном оборудовании. К ограничениям относятся возможное снижение качества по сравнению с исходной неквантизированной версией при использовании агрессивной квантизации, а также отсутствие в README результатов тестирования и подробного описания специализации модели. Распространение регулируется лицензией yi-license; ссылка ведёт на лицензию исходной модели Yi-34B.

DigitalSoul-4B-GGUF — GGUF-квантизированная версия языковой модели DigitalSoul-4B, разработанной TroyDoesAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально, в том числе через LM Studio. В репозитории представлены варианты от полноточного F16 размером 9,25 ГБ до низкобитных форматов Q2_K размером 1,88 ГБ. Доступны квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, включая варианты, оптимизированные для ARM. Для некоторых форматов эмбеддинги и выходные веса сохранены в Q8_0, что потенциально повышает качество. Рекомендуемый формат зависит от доступной памяти и требуемого качества; наиболее высокое качество дают F16 и старшие квантизации, а низкобитные варианты экономят память ценой качества. В README не указаны архитектура исходной модели, поддерживаемые языки, модальности и размер контекстного окна. Приведён шаблон промпта с ролями system, user и assistant и датой отсечения знаний декабрь 2023 года. Лицензия модели указана как Artistic-2.0.

Falcon-180B — авторегрессионная языковая модель с причинным декодером на 180 млрд параметров, разработанная Институтом технологических инноваций (TII) и обученная на 3,5 трлн токенов RefinedWeb и дополнительных отобранных корпусах. Архитектура включает 80 слоёв, вращательные позиционные эмбеддинги, multiquery-внимание и параллельные блоки внимания и MLP; веса доступны в формате Safetensors. Модель предназначена для генерации текста и как основа для дообучения под суммаризацию, чат-ботов и другие прикладные сценарии. Это базовая, предварительно обученная модель, поэтому для следования инструкциям и большинства пользовательских задач рекомендуется специализированное дообучение. Основные языки — английский, немецкий, испанский и французский; заявлены ограниченные возможности для итальянского, португальского, польского, нидерландского, румынского, чешского и шведского. Для быстрого вывода в полной точности bfloat16 требуется примерно 8 ускорителей A100 по 80 ГБ или эквивалент; README указывает потребность как минимум в 400 ГБ памяти для комфортного запуска. Модель может наследовать предвзятости веб-данных и слабо обобщать на языки, не представленные в обучении. Распространяется по лицензии Falcon-180B TII License с Acceptable Use Policy; README заявляет возможность коммерческого использования при соблюдении этих условий.

FunctionGemma 270M IT — компактная текстовая модель Google для генерации текста и вызова функций. Эта версия от LM Studio Community представляет веса исходной модели в формате bfloat16 с оптимизацией MLX для запуска на Apple Silicon; архитектура — плотная Gemma 3, около 257 млн параметров, контекст до 32 768 токенов. Модель подходит для построения локальных специализированных агентов и сценариев, где текстовый запрос преобразуется в вызов инструмента или функции. Она принимает текст и генерирует текст, включая структурированные ответы для интерфейса вызова функций. В карточке указана лицензия Gemma. README предупреждает, что ответы могут быть неточными или неподходящими и что LM Studio не гарантирует качество модели.

FuseChat-Llama-3.2-3B-Instruct-GGUF — набор квантизированных GGUF-версий инструкционной языковой модели FuseChat-Llama-3.2-3B-Instruct, разработанной FuseAI. Квантизацию выполнил bartowski с использованием llama.cpp b4273 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp или LM Studio. Модель содержит около 3 млрд параметров и работает в текстовой модальности. Доступны версии от F32 и F16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизации с размером файлов примерно от 1,82 до 12,86 ГБ. Это позволяет выбирать компромисс между качеством, скоростью и требованиями к оперативной памяти; автор рекомендует, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS в зависимости от сценария. Для работы следует использовать формат prompt, основанный на специальной разметке Llama 3.2 с ролями system, user и assistant. Сильная сторона набора — широкий выбор оптимизированных квантизаций для локального запуска, включая варианты для ARM и AVX. Более компактные версии экономят память, но могут уступать более точным по качеству. В README не указаны поддерживаемые языки, размер контекста, точная архитектура базовой модели, результаты оценки и лицензия, поэтому эти характеристики нельзя надежно определить по представленным данным.

mlx-community/gemma-3-1b-it-4bit — это 4-битная версия модели Gemma 3 1B Instruction Tuned, разработанной Google и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.6. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая запуск локально через библиотеку mlx-lm. Известно, что модель основана на google/gemma-3-1b-it, имеет размер около 1 миллиарда параметров и использует 4-битное квантование, что снижает требования к памяти и делает её подходящей для эффективного запуска в экосистеме MLX. README не содержит сведений о поддерживаемых языках, размере контекста, дополнительных модальностях, точных архитектурных особенностях, показателях качества или ограничениях применения. Доступ регулируется лицензией Gemma; для использования на Hugging Face требуется ознакомиться с лицензией Google и подтвердить её принятие.

Это пакет слоёв модели Gemma 4 31B Instruct в формате GGUF, подготовленный Mesh LLM для распределённого запуска. Пакет основан на unsloth/gemma-4-31B-it-qat-GGUF и разделяет её веса на артефакты по слоям для работы на кластере из нескольких локальных машин. Модель предназначена для диалогов и обработки изображений с текстом, а пакет — для приватного локального инференса, распределения вычислений между узлами и обслуживания запросов через совместимый с OpenAI API Mesh LLM. Указаны архитектура Gemma и вариант квантования UD-Q4_K_XL; прочие детали архитектуры и контекста в карточке пакета не приведены. Репозиторий распространяется по лицензии Apache-2.0. Для работы требуется Mesh LLM и доступные узлы кластера; качество и ограничения модели определяются исходной моделью и вариантом квантования.

MLX-квантизированная версия модели GLM-5.3-BF16 из репозитория zai-org, подготовленная сообществом mlx-community с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и рассчитана прежде всего на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти. Заявлена поддержка английского и китайского языков; исходная архитектура, точный размер, максимальная длина контекста и другие параметры в README не указаны. Модель использует смешанную 4,5-битную квантизацию. При подборе рецепта квантизации учитывались снижение избыточного «обдумывания» и повторной работы, сохранение знаний в экспертных компонентах, защита чувствительных слоёв, корректное следование инструкциям, скорость обработки и сохранение пространства для контекста при максимальном reasoning. К преимуществам относятся экономичное размещение на целевой конфигурации и возможность локального запуска через mlx-lm; при этом характеристики качества, производительности и совместимости за пределами указанного оборудования не приведены. Лицензия обозначена как other с названием glm-5.3, поэтому условия использования следует уточнять по лицензии исходной модели и репозитория.

Модель gustavecortal_Beck-8B-GGUF представляет собой набор GGUF-квантизаций базовой модели Beck-8B, разработанной gustavecortal. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и Q2, размер файлов составляет примерно от 3,6 до 16,4 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, а низкие требуют меньше оперативной памяти; для большинства сценариев рекомендуется Q4_K_M, тогда как Q5 и Q6 ориентированы на более высокое качество. Формат GGUF удобен для локального вывода на совместимом оборудовании, включая CPU и GPU. В README не указаны точная архитектура исходной модели, поддерживаемые языки, размер контекстного окна, мультимодальные возможности, специализированные сценарии применения и лицензия. Шаблон чата также не задан, поэтому приведённый формат приглашения может потребовать проверки по карточке исходной модели.