II.2Создание и понимание программного кода

dat-ai/bge-base-for_text2sql — англоязычная модель Sentence Transformer, дообученная разработчиком dat-ai на базе BAAI/bge-base-en-v1.5 для поиска и сопоставления текста в сценариях Text-to-SQL. Она преобразует текстовые фрагменты в плотные эмбеддинги размерностью 768, нормализует векторы и использует косинусное сходство; обучение проводилось на 56 355 примерах с контекстом и вопросом, связанными с генерацией SQL-запросов. Архитектура основана на BERT, максимальная длина входа — 512 токенов. Модель подходит для поиска релевантного контекста и вопросов по табличным данным, но сама SQL-запросы не генерирует. Лицензия — Apache-2.0.

Compactor-Qwen3.5-4B — модель Schneewolf Labs для сжатия контекста агентных диалогов. Она принимает историю сообщений, которая будет удалена при компактизации, и создаёт краткое резюме, сохраняющее задачу, найденные сведения и текущее состояние работы. Модель предназначена для вспомогательного запуска в egirl: основной агент продолжает работать в своём контексте, а отдельная компактная модель подготавливает сводку. Это плотная причинно-языковая модель семейства Qwen3.5 с архитектурой Qwen3_5ForCausalLM и 3,4 млрд параметров; максимальный контекст — 262 144 токена. Чекпойнт получен слиянием LoRA-адаптера ранга 64 с Lazarus-Ai/ReAligned-Qwen3.5-4B и опубликован в safetensors для Transformers. Автор сообщает о проверке на 45 отложенных окнах: в каждом сводном тексте присутствовала строка задачи, а полнота сохранения фактов выросла относительно базовой модели. Проверка охватывала транскрипты одного оператора и агентное программирование; применимость к другим областям не подтверждена. Среди ограничений автор отмечает обучение на разметке, подготовленной по суждениям GPT-5, и отсутствие сравнения с другими эпохами обучения. Лицензия — Apache-2.0.

MLX-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai с помощью mlx-lm 0.24.1. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих формат диалоговых сообщений и chat template. Модель основана на DeepSeek-R1-0528-Qwen3-8B и представлена в 4-битном формате квантования, что может снизить требования к памяти по сравнению с полноточной версией, однако README не содержит подробностей об архитектуре, количестве параметров, поддерживаемых языках, контексте, модальностях, производительности или ограничениях качества. Указана лицензия MIT, поэтому условия использования определяются её положениями.

Это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-7B, базирующейся на модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизации подготовлены пользователем Dhptl с использованием quant-kit 18 июня 2026 года. Модель относится к классу text-generation и предназначена для диалогов, генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Доступны варианты Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 2,81 до 7,54 ГБ. Рекомендуемый вариант Q4_K_M занимает 4,36 ГБ и требует около 5,9 ГБ RAM; Q3_K_M ориентирован на системы с 8 ГБ RAM, а Q8_0 — на максимальное приближение к качеству исходной модели при потребности примерно в 9 ГБ RAM. Квантизация уменьшает размер и требования к памяти, но более агрессивные варианты могут заметно снижать качество. Для модели указан английский язык; контекст, точное число параметров архитектуры и мультимодальные возможности в карточке не раскрыты. Модель подходит для локального использования на компьютерах с ограниченными ресурсами и поддерживает работу на CPU или GPU в совместимых инструментах. Приведённые значения сохранения качества около 97–99% являются ориентировочными, а фактические результаты бенчмарков в README отсутствуют. Лицензия — MIT.

FableForge-1.5B — компактная универсальная языковая модель, разработанная командой fableforge-ai и входящая в экосистему FableForge. Согласно описанию, модель объединяет знания и возможности различных доменов NEXUS, однако подробности о базовой архитектуре и методах обучения в README не приведены. Модель предназначена для генерации текста общего назначения, включая программирование, рассуждения, интерактивные сценарии, создание персонажей и ролевые приложения. Она используется в проектах FableForge Nexus, Infinite NPC, Dual-GM, ShellWhisperer и Ghost Writer. Указан английский язык, поддерживается формат диалогов ChatML; сведения о других языках, размере контекста, точной архитектуре и поддерживаемых модальностях отсутствуют. Модель текстовая и не предназначена для обработки изображений или других типов данных. Для запуска доступны файлы в формате GGUF с разными уровнями квантования и размерами от 0,51 до 3,09 ГБ. Вариант Q4_K_M обозначен как оптимальный по соотношению размера и качества, IQ4_XS — как подходящий для систем с небольшим объёмом оперативной памяти, а Q6_K — как вариант высокого качества. К преимуществам относятся небольшой размер и совместимость с llama.cpp, Ollama и LM Studio; качество зависит от выбранного уровня квантования, а ограничениями являются малый масштаб модели и отсутствие подробных опубликованных характеристик. Модель распространяется по лицензии Apache-2.0.

Feyospace-v1-small — мультимодальная модель на архитектуре Qwen3.5, разработанная в рамках проекта Feyospace-v1 и дообученная на базе Qwen/Qwen3.8-27B. В репозитории указаны 28 млрд параметров, формат BF16 safetensors и контекст до 262 144 токенов; доступны токенизатор и шаблон чата. Метаданные также указывают поддержку изображений и диалогового режима. Модель предназначена для исследований киберагентов, длинного контекста и агентных систем, а также для авторизованных задач защитной кибербезопасности, обучения, оценки в контролируемых средах и дальнейшего дообучения. В описании проекта среди тематик данных названы анализ кода репозиториев, воспроизведение уязвимостей, CTF, анализ ядра Linux и прошивок, разработка эксплойтов и задачи с устройствами. Модель может выдавать неточные, неполные или небезопасные ответы; результаты следует проверять и испытывать в изолированной среде с надлежащей авторизацией. README запрещает использование для несанкционированного доступа, вредоносной активности и автоматизированных решений с высоким влиянием без надзора человека. Лицензия в предоставленных данных не указана.

FireFunction v2 — модель для генерации текста и вызова функций, разработанная Fireworks AI и представленная в формате GGUF в репозитории bartowski. Это квантизированная версия исходной модели firefunction-v2, подготовленная с использованием llama.cpp и метода imatrix. Модель предназначена для интеграции с приложениями, где ассистент должен отвечать обычным текстом или выбирать и вызывать одну или несколько внешних функций на основе запроса пользователя. Модель поддерживает сценарии function calling: формирование вызовов функций в формате JSON, выбор подходящих функций и передачу аргументов согласно заданной JSON-схеме. В README приведён специальный шаблон промпта с системными инструкциями для принятия решения о вызове функции. Доступны варианты квантования от IQ1_M до Q8_0, различающиеся размером файла и ожидаемым качеством; рекомендуются, в частности, Q6_K, Q5_K_M и Q4_K_M. Квантизация уменьшает требования к ресурсам, но низкобитные варианты могут заметно терять в качестве. В README не указаны размер исходной модели, архитектура, максимальная длина контекста, поддерживаемые языки и результаты сравнительных тестов, поэтому эти характеристики нельзя надёжно определить. Модель распространяется по лицензии llama3.

flammen11-mistral-7B — языковая модель на базе архитектуры Mistral, созданная FlammenAI слиянием двух предварительно обученных моделей с помощью метода SLERP и инструмента mergekit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста; нативная длина контекста составляет 32 768 токенов. Модель подходит для генерации продолжений текста и диалоговых ответов в приложениях на базе Transformers. В карточке не описаны специальные области применения, языки обучения или результаты оценки качества. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

GambronAI-Persian-Cybersecurity-r1 — разговорная языковая модель на архитектуре Qwen2, дообученная для задач кибербезопасности. Разработчик позиционирует её для анализа эксплойтов, тестирования на проникновение, обратной разработки, анализа вредоносных программ и поиска уязвимостей; модель также предназначена для подготовки технических отчётов и генерации кода. По карточке она работает на персидском (фарси) и английском языках, имеет 7,1 млрд параметров и контекст до 32 768 токенов. Модель принимает текст и генерирует текст в формате чата. В репозитории опубликованы веса safetensors; указана лицензия Apache-2.0. Карточка заявляет неограниченную генерацию технических инструкций, поэтому результаты, особенно для анализа уязвимостей и эксплойтов, требуют проверки и контроля при использовании.

Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_5 — дообученная чат-модель Elio2151 на архитектуре Gemma 2. В качестве основы использована unsloth/gemma-2-9b-it-bnb-4bit; модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, составления текстов и помощи в технических задачах. Она содержит около 9 млрд параметров, принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 8192 токена. В репозитории указаны веса safetensors. Модель распространяется по лицензии Apache 2.0. README не описывает конкретный набор обучающих данных, результаты оценки качества или специальные ограничения применения.

AMD разработала эту модель как 4-битную квантизированную версию Gemma 4 12B IT от RedHatAI. Она предназначена для генерации текста и CPU-инференса на процессорах AMD EPYC, прежде всего в Linux-среде с использованием vLLM и оптимизаций ZenDNN. Указанный язык — английский. Модель построена на архитектуре Gemma4UnifiedForConditionalGeneration и имеет размер 12 миллиардов параметров в исходной версии. Для весов применяется GPTQ-квантизация W4A16: веса хранятся в формате INT4, симметрично и по группам размера 128, а активации остаются в BF16. Визуальные и аудиокомпоненты, мультимодальный проектор и lm_head сохранены в BF16, однако в карточке явно описан сценарий с текстовым вводом и выводом. Калибровка выполнена на 128 примерах датасета ultrachat_200k при максимальной длине последовательности 2048 токенов; в конфигурации оценки использовался максимальный контекст 4096 токенов. Ключевое преимущество модели — снижение требований к памяти и возможность оптимизированного инференса на AMD CPU при сохранении высокой близости к BF16-базовой версии: на GSM8K она получила 0,9249 против 0,9401 у BF16, то есть восстановила 98,38% результата. Ограничения связаны с зависимостью от конкретного программного стека и аппаратной платформы: заявлена совместимость с AMD EPYC, ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0, LLM Compressor 0.12.0 и vLLM 0.26.0. Для оптимальной производительности требуется настройка OpenMP через LD_PRELOAD. Модель распространяется по лицензии Gemma.

gemma-4-E2B-it-Uncensored-MAX-GGUF — языковая модель с поддержкой изображений, разработанная prithivMLmods на основе google/gemma-4-E2B-it. Это instruction-tuned и alignment-modified вариант, предназначенный для генерации текста, подробных ответов, следования инструкциям, reasoning и агентских сценариев. Модель также позиционируется для запуска через llama.cpp, vLLM и другие совместимые инструменты, поддерживающие формат GGUF. Модель относится к классу MoE и имеет 2 млрд параметров согласно описанию. Заявлен английский язык. Наличие файлов mmproj указывает на поддержку обработки изображений, однако подробные сведения о визуальной архитектуре, размере контекста и точном наборе поддерживаемых модальностей не приведены. Доступны варианты BF16, F16, F32 и Q8_0 размером примерно от 4,95 до 18,6 ГБ, а также соответствующие мультимодальные компоненты. Ключевая особенность — снижение внутренних отказов от ответа с помощью анализа refusal-направлений и abliteration-based training при сохранении способностей к reasoning и instruction-following. Это может быть полезно для приложений, которым нужны менее ограниченные ответы, но одновременно означает повышенные риски получения небезопасного или нежелательного контента. Качество и требования к ресурсам зависят от выбранной квантизации. Модель распространяется по лицензии Apache-2.0.

IvmeLabs/Ivme-Conversate-N-v2-Instruct — компактная инструктивная языковая модель от IvmeLabs с 9 021 600 параметрами. Это плотный decoder-only Transformer с tied embeddings, multi-head attention, RoPE, SwiGLU и RMSNorm; архитектура повторяет рецепт базовой модели Ivme-Conversate-v2-Base без заявленной архитектурной новизны. Модель обучалась за одну эпоху примерно на 900 млн токенов, с упором на инструкции и диалоги с самого начала обучения. В набор данных вошли многоходовые диалоги UltraChat-200k, SODA, трассы рассуждений UltraInteract, математические задачи Orca Math, инструкции Dolly-15k и примеры SQL. Она предназначена для генерации ответов в диалоге и выполнения текстовых инструкций, включая рассуждения, математические задачи и составление SQL. Карточка указывает английский язык, библиотеку Transformers и лицензию Apache-2.0. Для загрузки в Transformers README требует trust_remote_code=True.

LIMI — агентная языковая модель, разработанная GAIR и дообученная на базе GLM-4.5 с помощью компактного набора тщательно отобранных данных. Она предназначена для диалоговых агентных сценариев: вызова инструментов, выполнения инструкций, соблюдения спецификаций и исправления ошибок в многошаговых взаимодействиях. Модель использует архитектуру GLM-4 MoE, содержит 23,4 млрд параметров и поддерживает контекст до 131 072 токенов. В карточке заявлены английский язык и формат диалогов OpenAI messages с опциональными вызовами функций и инструментов. LIMI подходит для создания ассистентов, которые работают с инструментами и длинными диалоговыми траекториями. Авторы сообщают об оценке агентных возможностей на AgencyBench; в README приведены результаты для моделей LIMI на базе GLM-4.5, GLM-4.5-Air и GLM-4.5-Code, но не отдельные численные результаты именно этой 23,4-миллиардной версии. Модель распространяется под лицензией Apache-2.0. Она может ошибаться в аргументах вызова инструментов и переобучаться на часто встречающиеся схемы; для чувствительных областей необходимы защитные механизмы и контроль.

MermaidSolar — языковая модель TroyDoesAI на архитектуре Llama, обученная на базе Solar 10.7B Base Model с тем же набором данных, что и MermaidMistral, MermaidLLama и MermaidStable3B. В метаданных указано 10,6 млрд параметров, контекст 4096 токенов и формат safetensors; модель предназначена для генерации Mermaid-диаграмм по текстовому контексту. В описанном автором сценарии запросы оформляются так, чтобы ответ содержал заголовок «Response:» и блок Mermaid. Автор сообщает, что при обучении использовал 800 вручную составленных примеров с разнообразными пограничными случаями. Лицензия — CC BY-NC-SA 4.0; она требует указания авторства и распространения производных материалов на тех же условиях, а также запрещает коммерческое использование.

Meta-Llama-3-8B-Instruct-GGUF-old — это языковая модель для генерации текста и выполнения инструкций, представленная в формате GGUF. Модель основана на Meta Llama 3, разработанной Meta, а репозиторий и сборку данной версии связывает с идентификатором bartowski. По названию модели известно, что она содержит около 8 миллиардов параметров и настроена для диалогового взаимодействия и следования инструкциям. Модель предназначена для англоязычной генерации текста, ответов на запросы и других задач, поддерживаемых конвейером text-generation. Формат GGUF ориентирован на локальный запуск средствами, совместимыми с этим форматом, однако конкретные требования к памяти, варианты квантования и максимальный размер контекста в предоставленных данных не указаны. Модель является текстовой и не поддерживает мультимодальные входы по имеющейся информации. К сильным сторонам относятся компактный по современным меркам размер, специализация на инструкциях и возможность использования в локальных сценариях. Ограничениями являются заявленная языковая поддержка только английского, отсутствие сведений о конкретной версии квантования, контекстном окне, производительности и результатах оценки. Использование регулируется Meta Llama 3 Community License: лицензия требует соблюдения условий распространения, указания атрибуции, отображения фразы «Built with Meta Llama 3» при соответствующих сценариях и соблюдения Acceptable Use Policy.

Это GGUF-квантизированная версия языковой модели Qwen3-14B-abliterated, разработанной mlabonne. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 6,66 до 29,54 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество, тогда как компактные варианты подходят для систем с ограниченным объёмом RAM. Для общения используется шаблон prompt формата ChatML с ролями system, user и assistant. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках или мультимодальности, поэтому эти характеристики нельзя достоверно указать. Сильной стороной являются разнообразие форматов GGUF и возможность локального запуска; ограничениями выступают неизбежные потери качества при сильной квантизации и зависимость от совместимого программного обеспечения. Указана лицензия Apache-2.0.

Это модель распознавания сущностей на основе BERT, разработанная авторами репозитория fef2 и дообученная поверх DeepPavlov/rubert-base-cased. Она размечает в русском тексте учётные данные (логины, пароли, токены и секретные ключи), персональные данные (ФИО, организации и локации) и номера договоров. Основной сценарий — обнаружение чувствительных фрагментов в пользовательских сообщениях и конфигурациях для их маскирования перед передачей внешней LLM. Модель использует архитектуру BertForTokenClassification с 205,1 млн параметров, контекстом до 512 токенов и 17 BIO-метками для восьми типов сущностей. Репозиторий также содержит детерминированный regex-слой; опубликованные показатели покрытия учётных данных относятся к объединению NER и regex, а сама NER предназначена дополнять регулярные выражения. Модель распространяется по лицензии Apache-2.0.

Open-Instruct Unnatural Instructions 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на наборе Unnatural Instructions для следования инструкциям и генерации текста. Это модельный diff: для её использования требуется исходная модель LLaMA в формате Hugging Face, а инструкция по применению предполагает заданный формат входных данных. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и рассчитана на контекст до 2048 токенов. В карточке приведены результаты тестирования на задачах вопросов и ответов, математики, рассуждений, программирования и следования инструкциям. Модель распространяется по лицензии AI Model License вместе с исходной лицензией LLaMA. Результаты в карточке показывают ограничения на ряде тестов, в частности на математических задачах и ответах на вопросы без контекста; качество зависит от соблюдения обучающего формата ввода.

dnotitia/Qwen3-1.7B — версия Qwen3, подготовленная Dnotitia для более удобного обучения. Веса совпадают с официальной моделью Qwen3, а шаблон чата вынесен в отдельный файл и дополнен тегами TRL для режима assistant_only_loss. Это плотная причинная языковая модель с 1,7 млрд параметров на архитектуре Qwen3ForCausalLM, рассчитанная на генерацию текста и диалог. Модель подходит для прототипирования диалоговых помощников, генерации и продолжения текста, а также экспериментов с дообучением. Семейство Qwen3 поддерживает переключение между режимами рассуждения и обычного ответа, работу с инструментами и более чем 100 языками; эти возможности описаны для семейства в целом. Метаданные указывают контекст до 40 960 токенов, тогда как README приводит 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. README предупреждает о возможных бесконечных повторах и рекомендует при их появлении настроить параметры генерации, в частности presence_penalty=1.5.

Youssofal/Qwen3.5-9B-MTPLX-Optimized-Speed-FP16 — языковая модель для генерации текста, опубликованная пользователем Youssofal и основанная на семействе Qwen3.5-9B. Она предназначена для локального запуска на компьютерах Apple с чипами Apple Silicon через MTPLX, включая сценарии интерактивного общения, генерации текста и работы локального сервера с OpenAI-совместимым API. Модель оптимизирована для Multi-Token-Prediction speculative decoding. Основная часть модели использует 6-битное MLX affine-представление, а боковой модуль MTP применяется для спекулятивного декодирования. Упакованные квантованные тензоры сохраняются без повторной квантизации, а плавающие тензоры BF16 преобразованы в FP16 для совместимости с предпочтительным режимом работы на Mac с чипами M1 и M2. Рекомендуемый профиль — sustained, глубина по умолчанию — D2, бэкенд — qwen3-next-mtp. Заявленные показатели исходного артефакта достигают 101,32 токена в секунду в режиме D2, однако для FP16-варианта эти значения приведены как ориентир, а не как гарантированный результат. Сильная сторона модели — сочетание компактного квантованного представления, ускоренного декодирования и адаптации к старым поколениям Apple Silicon. Ограничения включают неполноценную точность по сравнению с full-precision checkpoint, зависимость производительности от устройства и среды MTPLX, а также отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и точной архитектуре базовой модели. Лицензия — Apache 2.0.

ilintar/qwen3.8-27b-gguf-strix-halo — набор GGUF-файлов модели Qwen3.8-27B, подготовленный для запуска на AMD Strix Halo с ROCm. Основная модель основана на Qwen/Qwen3.8-27B и дополнена DFlash2-моделью z-lab/Qwen3.8-27B-DFlash2 для speculative decoding. Репозиторий ориентирован на использование с llama.cpp и оптимизированными ветками ROCm для графики gfx1151. Основной файл имеет размер около 16,1 ГБ и использует преимущественно квантизацию IQ4_XS, с отдельными тензорами в Q8_0 и F32. DFlash2-файл размером около 1,04 ГБ служит черновой моделью для ускорения генерации. Модель поддерживает текстовый и, при отдельной установке совместимого мультимодального проектора mmproj, визуальный ввод. В примере конфигурации используется контекст до 65 536 токенов. Сведения о поддерживаемых языках в карточке не приведены. Главное преимущество — возможность ускоренного локального запуска на AMD Strix Halo: в приведённых тестах speculative decoding с IQ4_XS давал прирост скорости относительно Q8_0-черновика, особенно на задачах рассуждений и структурированного вывода. При этом результаты зависят от промпта, уровня принятия черновых токенов и конкретного runtime. К ограничениям относятся привязка к специальной конфигурации ROCm и экспериментальным веткам llama.cpp, необходимость отдельно получать мультимодальный проектор для изображений, а также небольшое ухудшение измеренной perplexity относительно исходной BF16-модели. Лицензия заявлена как Apache 2.0, однако условия исходных моделей рекомендуется проверить отдельно.

trymirai/Qwen3.8-27B-L — это 8-битная квантизированная версия Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для локального вывода в задачах генерации текста; оценочная смесь данных включала публичные агентские данные, наборы для supervised fine-tuning и работы с длинным контекстом, а также частные диалоговые данные. Квантизация выполнена после обучения с использованием симметричного 8-битного целочисленного представления, масштабов bfloat16 и размера группы 64. Для уменьшения выбросов активаций и весов применены блочно-диагональные случайные преобразования Хадамара с размером блока 32. По размеру и параметрам квантизации модель сопоставима с Unsloth UD-Q8_K_XL для GGUF. Заявлено, что чекпойнт находится на компромиссной границе между размером и KL-дивергенцией, однако конкретные показатели качества, архитектурные детали исходной модели, поддерживаемые языки и размер контекста в карточке не приведены. Основное преимущество модели — уменьшенные требования к памяти при сохранении качества, близкого к исходной Qwen3.8-27B, что делает её подходящей для локального использования на Apple silicon. Ограничение — официально поддерживается только инференс на Apple silicon; сведения о работе на других аппаратных платформах отсутствуют. Для запуска на macOS рекомендуется пакет mirai. Модель распространяется по лицензии Apache-2.0.

Israeli-AI/Qwen3.8-27B-MTP-W4A16-VOLTA-Ampere — квантованная версия Qwen/Qwen3.8-27B, подготовленная командой Israeli-AI. Это текстогенерационная thinking-модель с поддержкой native MTP speculative decoding. Основной сценарий — запуск и обслуживание на GPU, включая Volta V100, где официальная FP8-версия не работает, а также на Ampere и более новых архитектурах. Заявлена поддержка английского языка; мультимодальные возможности сохранены, но на Volta проверялся только текстовый режим. Модель использует квантование INT4 W4A16 с симметричной схемой и group size 128 для значительной части self-attention и MLP-проекций. Размер BF16-варианта 51,7 ГБ сокращён до 25,8 ГБ, благодаря чему модель может работать на двух V100 по 32 ГБ с tensor parallelism и контекстом до 256K; в измерениях обслуживался контекст 131 072 токена. MTP-head, vision tower, embeddings, lm_head, нормы и компоненты Gated-DeltaNet сохранены в полной точности. На двух V100 заявлена скорость декодирования 43–68 токенов в секунду, обычно около 53,5, при трёх speculative-токенах. Сильные стороны модели — совместимость с устаревшими Volta GPU, уменьшенный объём памяти и сохранённая эффективность MTP-декодирования за счёт нетронутой MTP-head. Ограничения включают необходимость специальной Volta-совместимой сборки vLLM и настройки окружения, отсутствие проверки мультимодальной работы на Volta, а также неподтверждённую в README работу на Ampere и новее. Модель распространяется по лицензии Apache-2.0.

Callick99/Qwen3.8-27B-Uncensored-GGUF — это набор GGUF-квантизаций модели Qwen3.8-27B, разработанной на базе Qwen/Qwen3.8-27B и опубликованной пользователем Callick99. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp. Доступны варианты с интегрированной MTP-головой для speculative decoding, отдельными target- и draft-файлами, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одной MTP-головой и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; наличие vision-компонента позволяет работать с изображениями при использовании соответствующего проектора и runtime. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, занимающие примерно от 10,6 до 29 ГБ. Основная особенность сборки — существенное снижение поведения, связанного с отказами, без дополнительного обучения и изменения обучающих данных; отказы не устранены полностью. MTP и speculative decoding могут повысить скорость генерации, однако для draft-головы возможна немного меньшая частота принятия токенов. Низкобитные квантизации экономят память, но могут снижать качество, особенно IQ2_M. Модель и её возможности в остальном наследуют ограничения базовой Qwen3.8-27B. Распространяется по лицензии Apache-2.0.

Qwen-3.8-27B-Uncensored-mlx-mixed_3_6 — мультимодальная модель для работы с текстом и изображениями, созданная на основе junafinity/Qwen-3.8-27B-Uncensored и преобразованная пользователем tejones36 в формат MLX с помощью mlx-vlm. Модель предназначена для локального запуска на компьютерах Apple Silicon, генерации текста, анализа изображений, технических объяснений и интеграции через CLI, Python API или локальный OpenAI-совместимый сервер. Модель содержит 27 миллиардов параметров и использует смешанное 3/6-битное квантование с размером группы 64: критические слои внимания и проекций хранятся в 6-битном формате, а MLP-слои — в 3-битном. Средняя точность составляет около 3,6 бита на вес, что снижает требования к памяти и пропускной способности; заявлена возможность запуска на Apple Silicon с 18–24 ГБ и более unified memory. Формат хранения — MLX Safetensors. Поддерживаются текстовая и визуальная модальности, однако сведения о языках и размере контекстного окна в README не указаны. К сильным сторонам относятся локальная работа на совместимом оборудовании, заметное сокращение потребления памяти по сравнению с полноразмерными весами и сохранение повышенной точности в наиболее важных слоях. Ограничениями являются зависимость от экосистемы MLX и Apple Silicon, возможное снижение качества из-за агрессивного квантования, а также отсутствие подробных данных о результатах тестирования, языковой поддержке и контекстном окне. Модель обозначена как uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены. Указана лицензия Apache-2.0.

nytopop/Qwen3-8B.w8a8 — это квантованная версия языковой модели Qwen3-8B, разработанная на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста и может использоваться в сценариях диалоговых приложений, ассистентов и других задач, поддерживаемых causal language models. В README также указана совместимость с reasoning parser qwen3. Модель использует 8-битное квантование W8A8 с применением SmoothQuant и GPTQ; вариант оптимизирован для производительности на GPU архитектуры Ampere. При создании использовались 256 калибровочных примеров с максимальной длиной последовательности 4096 токенов, однако эти параметры не подтверждают предельный контекст исходной модели. Размер модели, архитектурные детали, поддерживаемые языки и модальности в README не указаны. Основное преимущество версии — снижение вычислительных и, вероятно, ресурсных затрат по сравнению с полноразмерной моделью при сохранении назначения исходной Qwen3-8B. Ограничения квантования и точность на конкретных задачах не описаны, поэтому качество следует оценивать отдельно. Модель распространяется по лицензии Apache-2.0.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

Scarlett-Llama-3-8B-v1.0-GGUF — это текстовая генеративная модель на базе Scarlett-Llama-3-8B-v1.0, разработанной ajibawa-2023, представленная в формате GGUF. Данные версии квантизированы bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на работу с английским языком и использует шаблон диалога с системными, пользовательскими и ассистентскими сообщениями. Модель предназначена для генерации текста, включая творческие задачи, обсуждение искусства и философии, романтические сценарии, шутки, советы, программирование и формат виртуального собеседника. Она содержит 8 миллиардов параметров и доступна в вариантах квантизации от Q8_0 до IQ1_S, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью запуска на совместимом оборудовании. Сильной стороной являются разнообразные варианты квантизации: Q6_K, Q5_K_M, Q5_K_S и ряд других обозначены как рекомендуемые и обеспечивают высокое или приемлемое качество при уменьшенном размере. Более компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но дают заметно более низкое качество. Мультимодальность, размер контекстного окна и дополнительные языки в README не указаны. Лицензия обозначена как llama3; подробные условия следует уточнять в файле LICENSE.

WestBreeze-7B-DPO — языковая модель на архитектуре Mistral, созданная PetroGPT слиянием моделей через LazyMergekit. Конфигурация указывает на слияние WestSeverus-7B-DPO-v2 и Breeze-Petro-7B-Instruct-v1 методом slerp; в метаданных базовой моделью указана PetroGPT/WestSeverus-7B-DPO-v2. Репозиторий содержит веса Safetensors, а общий размер модели составляет 14,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов. Для базовой модели заявлены справочная помощь по математике, естественным наукам и программированию; эти сценарии могут быть полезны и для WestBreeze, однако отдельные оценки её качества в README не приведены. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках не приведены. Лицензия — Apache-2.0. Характеристики и области применения частично основаны на описании базовой модели, поэтому качество ответов WestBreeze в отдельных задачах по карточке установить нельзя.