II.4Отладка, тестирование и качество ПО

Archsloth/Qwen3-4B-GGUF — это квантизированная GGUF-версия языковой модели Qwen3-4B, разработанная Archsloth на базе Qwen/Qwen3-4B. Модель предназначена для генерации текста, диалоговых сценариев, программирования и локального запуска через llama.cpp, в том числе на CPU и устройствах с ограниченными ресурсами. Доступны варианты квантизации Q4_K_M, Q6_K и Q8_0 с размером файлов примерно от 2,50 до 4,28 ГБ. Архитектура и структура тензоров соответствуют базовой модели Qwen3-4B, однако README не указывает точное число параметров, максимальный контекст и полный набор архитектурных характеристик. Заявлена поддержка корейского, английского, испанского, японского, китайского, русского, арабского, хинди и тайского языков, а также исходного кода. Для варианта Q4_K_M приведены измерения KL-дивергенции, показывающие более близкое соответствие исходной модели bf16 по сравнению с рядом альтернативных квантизаций аналогичного размера. Основные преимущества — компактный размер, возможность локального CPU-запуска и улучшенные заявленные показатели сохранения качества после квантизации, особенно для корейского языка и программного кода. Ограничения связаны с потерями качества квантизации, потребностью в значительном объёме памяти при длинном контексте и отсутствием в README подробных данных о производительности, мультимодальности и максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Cold-Fusion-GAIN-v1.0-Uncensored-Heretic-NEO-MAX-Imatrix-GGUF — языковая модель семейства Qwen3.5, разработанная DavidAU. Модель представлена в формате GGUF с вариантами обычного и MTP-квантования, включая 4- и 8-битные версии, а также оптимизацию NEO Imatrix. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В карточке также указана мультимодальная классификация image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. По заявлению автора, она создана с использованием многоэтапной настройки, методов Cold Fusion и GAIN, причём GAIN динамически адаптирует обучение для отдельных примеров. Среди заявленных преимуществ — более ясные и подробные ответы, улучшенная работа с контекстом, таблицами, графиками и текстовыми визуализациями, а также сохранение близкой к BF16 производительности в 4- и 8-битных вариантах. Модель содержит около 9 миллиардов параметров. В приведённых тестах она показывает результаты, сопоставимые или превосходящие базовые Qwen3.5-9B и Qwen3.5-27B на части задач ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако полнота тестовых данных ограничена, а заявления о превосходстве над 27B не подтверждены независимыми измерениями. Ограничения включают возможную нецензурированность, отсутствие подробных сведений о контекстном окне и требованиях к оборудованию, а также неполные данные по некоторым бенчмаркам.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это мультимодальная модель на базе Qwen3.5-9B, разработанная DavidAU совместно с Nightmedia. Она представляет собой результат многоэтапного дообучения и слияния нескольких моделей на локальном оборудовании. Модель ориентирована на универсальные сценарии: следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу и ролевые диалоги. Заявлена как uncensored и heretic-модель, то есть с ослабленными ограничениями на ответы. Модель распространяется в формате GGUF, включая обычные и MTP-варианты для multi-token prediction. Доступны квантизации, в том числе 4- и 8-битные; для GGUF заявлен контекст до 256 тысяч токенов. Поддерживаются текст и изображения, однако для работы с изображениями требуется отдельный файл mmproj. Указаны английский и китайский языки. NEO IMATRIX-квантизация и частично сохранённая 16-битная точность выходного тензора предназначены для повышения качества, а MTP-варианты — для ускорения генерации при достаточном уровне принятия предсказанных токенов. Сильными сторонами заявлены производительность в ряде benchmark-тестов, развитое следование инструкциям, компактный размер, поддержка рассуждений и потенциально высокая скорость локального запуска. Ограничения включают зависимость скорости и эффективности MTP от оборудования, настроек и acceptance rate, а также необходимость подбирать обычный или MTP-вариант под конкретный сценарий. Приведённые результаты получены авторами модели и не гарантируют превосходство над более крупными моделями во всех задачах. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель, созданная в коллаборации shaffhausen/DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В разработке использовались методы Unsloth, датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы Fable, Claude Opus, GPT5 и собственные наборы данных. Лицензия — Apache-2.0; заявлены языки английский и китайский. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, генерации кода, творческого письма, художественной прозы, ролевых сценариев и других универсальных применений. В README заявлена поддержка vision, однако подробности о визуальном энкодере и формате мультимодального ввода не приведены. Архитектурный размер — 27B; точный контекст и базовая архитектура не указаны. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные варианты. Кванты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; в MTP-вариантах MTP-тензоры имеют точность Q8_0. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также сохранение производительности на низких квантах. Автор сообщает о превосходстве базовой Qwen3.6-27B в шести из семи бенчмарков и о результатах выше Qwen3.6-35B-A3B, но эти утверждения представлены самим автором и не подтверждены независимыми данными в README. Ограничения включают отсутствие подробных результатов тестов, точных требований к оборудованию и данных о контекстном окне. Модель позиционируется как uncensored/heretic, поэтому поведение в чувствительных сценариях и соответствие требованиям безопасности следует проверять отдельно. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Её разработка связана с DavidAU и коллаборацией с Nightmedia, TeichAI, armand0e и trohrbaugh; обучение и сборка выполнялись с использованием Unsloth. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, работы с текстом и ролевых сценариев. В README также заявлена поддержка vision, однако конкретные возможности мультимодального ввода не раскрыты. Модель имеет 27B параметров и выпускается в форматах GGUF, включая обычные и MTP-варианты с multi-token prediction. Квантизации используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; для MTP-тензоров заявлена точность Q8_0. По утверждению авторов, дообучение направлено на повышение общего интеллекта, качества инструкций, решения задач и рассуждений без изменения базовых возможностей модели. Указаны английский и китайский языки. Размер контекста в предоставленных данных не указан. Сильными сторонами заявлены высокие результаты на семи бенчмарках, улучшение относительно базовой Qwen3.6-27B, хорошие показатели даже у низких квантизаций и пригодность для запуска на потребительском оборудовании. Эти результаты основаны на заявлениях авторов и тестировании сообщества, поэтому их следует воспринимать как неподтверждённые независимой оценкой. Ограничения включают отсутствие точных сведений о контекстном окне, системных требованиях и подробностях мультимодальности; характер uncensored предполагает ослабленные ограничения на содержание. Лицензия — Apache-2.0.

Atomic-Germ/Qwen3.8-9B-Distill-GGUF — это набор квантованных версий языковой модели Qwen3.8-9B, разработанной компанией Empero. Модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B и предназначена для генерации текста и решения задач рассуждения. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых сред. Заявлен английский язык. Модель использует гибридную архитектуру Qwen3.5-класса: на каждые слои полной attention приходятся три слоя Gated DeltaNet. Указан размер 9B параметров; контекстное окно в README не сообщается. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 5,780 до 18,407 GB. В качестве сильных сторон заявлены улучшенные результаты на MMLU по сравнению с базовой Qwen3.5-9B и поддержка локального запуска на видеокартах с 8–16 GB памяти в зависимости от квантования. Ограничением является необходимость свежей сборки llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; при длинном контексте дополнительные ресурсы потребляет KV-кэш. Модель генерирует рассуждения в блоках <think>, которые при необходимости следует скрывать от конечных пользователей. Веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen.

6block/Qwen3-8B-GGUF — набор GGUF-квантизаций базовой модели Qwen3-8B, разработанной командой Qwen и подготовленной пользователем 6block с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, работы с английским и китайским языками, а также задач программирования. Квантизации можно запускать локально через llama.cpp, LM Studio, Ollama и совместимые проекты. В набор входят варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K размером примерно от 3,28 до 8,71 ГБ. При создании использовалась importance matrix (imatrix) и двуязычный, ориентированный на код набор калибровочных данных, что должно помогать сохранять качество китайского языка и программирования при низкой разрядности. В README не указаны архитектурные детали исходной Qwen3-8B, размер контекста и точный перечень поддерживаемых возможностей, поэтому эти характеристики нельзя достоверно описать. Основные преимущества — возможность локального запуска, несколько вариантов компромисса между качеством, скоростью и требованиями к памяти, а также публикация файла imatrix для воспроизводимости квантизации. Более низкие квантизации экономят память, но могут заметнее уступать по качеству; I-квантизации ориентированы на лучшую эффективность при малом размере, однако на CPU могут работать медленнее K-квантизаций. Набор распространяется по лицензии Apache-2.0.

LaTexT разработала дообученную версию Qwen3-8B для генерации текста в диалоговом формате. Модель построена на плотной архитектуре Qwen3 и содержит 7,6 млрд параметров; она обучена с помощью TRL на датасете shannons/ot3-1.2m-50k-converted. Для запуска в README приведён пример с библиотекой Transformers. Модель рассчитана на диалоговую генерацию текста и может использоваться для ответов на вопросы и выполнения инструкций. Метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет 40 960 токенов; базовая Qwen3-8B описана как многоязычная модель, пригодная для рассуждений и работы с кодом. Это экспериментальный чекпойнт из серии обучения latent-COT: в README указаны итерация 2, версия v3, вес 0,2 и размер gist 7. Лицензия в предоставленных данных не указана.

Qwen3-8B TMax SFT v3 — контрольная точка модели Qwen3-8B после supervised fine-tuning, обученная командой или автором репозитория willamazon1. Она создана на итерации 353 запуска tmax_sft_v3 и использовалась как начальная политика и референсная модель для последующего обучения с подкреплением, чьи контрольные точки опубликованы отдельно. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Это плотная причинная языковая модель архитектуры Qwen3ForCausalLM с 7,6 млрд параметров и контекстом до 40 960 токенов. README сообщает о конвертации обучающего чекпойнта Megatron-LM в формат Hugging Face safetensors и о весах bfloat16. Базовая модель Qwen3-8B многоязычная и поддерживает генерацию, рассуждения, следование инструкциям, код и вызов инструментов. Эта версия является промежуточным SFT-чекпойнтом, поэтому её качество и поведение могут отличаться от последующих RL-чекпойнтов; README не приводит результаты оценки. Лицензия — Apache-2.0.

mlx-community/QwQ-32B-bf16 — конверсия модели QwQ-32B в формат MLX, подготовленная сообществом mlx-community на основе Qwen/QwQ-32B с помощью mlx-lm 0.21.5. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров для генерации текста и диалогов; метаданные указывают контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для диалоговых и текстовых задач, в том числе для запросов, требующих последовательного рассуждения. Карточка указывает на формат safetensors, лицензию Apache-2.0 и использование через MLX. Поддержка английского отмечена в метаданных; другие языки и отдельные гарантии качества в карточке не описаны.

SDLM-32B-D4 — языковая модель OpenGVLab для генерации текста в формате последовательной диффузии. Она основана на Qwen2.5-32B и дообучена для переноса авторегрессионных весов в диффузионный режим. Модель предсказывает блоки токенов длиной 4, затем сохраняет наиболее длинный уверенно предсказанный префикс; повторное использование KV-кэша призвано ускорить декодирование. В метаданных указаны 32 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговой генерации и задач с длинным текстом. Авторы сообщают примерно о двукратном ускорении относительно сопоставимых авторегрессионных моделей при близком качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; в README эти результаты связаны, в частности, с тестом MATH-500. В обучении использовались данные по математике, коду и общим диалогам, а также научные и табличные наборы. Указаны интерфейсы чата и вызова инструментов, но отдельные гарантии качества для этих сценариев в карточке не приведены. Модель распространяется под лицензией Apache-2.0.

LeroyDyer дообучил модель LeroyDyer/SpydazWeb_AI_CyberTron_Ultra_7b на базе LeroyDyer/Mixtral_AI_CyberTron_Ultra. Это языковая модель с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста в диалогах и выполнения инструкций. В карточке отмечены возможности работы с кодом, математикой, финансовыми темами, ролевыми сценариями и несколькими языками, однако заявленные тематические навыки не подкреплены подробными оценками. Модель использует контекст до 32 768 токенов и распространяется в формате safetensors через Transformers. Автор сообщает об обучении с Unsloth и библиотекой TRL; приведены результаты оценок IFEval и BBH. Лицензия — Apache-2.0. В карточке есть неоднозначность: README описывает базовую Mistral-7B-Instruct-v0.2, тогда как метаданные и строка о дообучении указывают на Mixtral_AI_CyberTron_Ultra. Для базовой модели в каталоге использована связь из метаданных Hugging Face.

Swift-Qwen3.8-27B-Genesis-F16-GGUF — мультимодальная модель на базе Swift-Qwen3.8-27B, опубликованная LuffyTheFox. Автор применил к весам метод Genesis для численной коррекции тензоров; модель распространяется в формате GGUF F16 и рассчитана на запуск в llama.cpp, LM Studio, koboldcpp и других совместимых средах. Лицензия — Apache-2.0. Модель предназначена для диалогов, анализа изображений и видео, а также задач общего назначения, включая программирование. README указывает плотную архитектуру на 27 млрд параметров с визуальным энкодером, 64 слоями языковой модели и контекстом 262 144 токена; заявлена возможность расширения контекста до 1 000 000 токенов при поддержке со стороны среды запуска. Указана поддержка текста, изображений и видео, однако для работы с изображениями нужен отдельный файл mmproj. Автор описывает Genesis как постобработку тензоров без переобучения и заявляет, что она снижает шум весов, сохраняя выученные знания. Эти заявления не сопровождаются в карточке независимыми результатами оценки. Для работы с шаблоном диалога рекомендуется llama.cpp с флагом --jinja; README также советует использовать контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель помечена как uncensored; качество и поведение на разных задачах могут отличаться от заявлений автора.

Thalassic-Alpha-LLaMa-70B — объединённая модель для генерации текста, созданная автором TareksGraveyard на основе DeepSeek-R1-Distill-Llama-70B и нескольких моделей семейства Llama. Для слияния предварительно обученных моделей автор использовал mergekit и метод Linear DELLA. Модель предназначена для диалогов и генерации ответов; автор сообщает о многообещающих ранних результатах, но отмечает, что другой вариант его эксперимента показался ему лучше. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Она принимает текст и генерирует текст. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — llama3.3.

Trismal-HyperAmocles-7B-Base-Ties — объединённая модель на базе Mistral, созданная JoPmt методом TIES с помощью LazyMergekit из JoPmt/Trismal-Amocles-7B-Base-Ties и Locutusque/Hyperion-2.0-Mistral-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста.

airoboros-65b-gpt4-1.4 — языковая модель на архитектуре LLaMA с 65 млрд параметров, дообученная автором jondurbin методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов и генерации текста: отвечает на вопросы, следует инструкциям, пишет тексты и код, поддерживает ролевые и многоходовые разговоры, загадки и викторины. Для ответов по заданному контексту в карточке описан специальный формат промпта, который помогает модели опираться на предоставленные источники. Модель принимает текст и выдаёт текст. Указанная длина контекста — 2048 токенов; веса опубликованы в формате PyTorch. README предупреждает, что модель ещё не тестировалась, и отмечает, что ответы по контексту могут быть выдуманы, если контекст не содержит ответа. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

jondurbin/airoboros-70b-3.3 — экспериментальная чат-модель, созданная Jon Durbin на основе семейства Llama 3 и дообученная на данных Airoboros, преимущественно синтетических. Метаданные каталога указывают архитектуру LlamaForCausalLM с плотными весами, 69,5 млрд параметров и контекст до 8192 токенов. Модель принимает текст и генерирует текст; карточка показывает шаблон диалога Llama 3 Instruct и примеры ответов на вопросы, пересказа, художественных запросов и задач программирования. Модель подходит для диалогового помощника, написания и продолжения историй, суммаризации, ответов на вопросы и генерации кода. В README отмечено, что модель экспериментальная; приведённые примеры иллюстрируют предполагаемые сценарии, но не подтверждают качество или надёжность ответов. README называет базой Llama 3 70B Instruct, тогда как метаданные указывают дообучение Meta-Llama-3-8B; точную базовую модель по этим источникам установить нельзя. Лицензия в метаданных обозначена как other, поэтому условия использования следует сверить с карточкой модели на Hugging Face.

Albatrox7B — объединённая языковая модель на архитектуре Mistral, созданная сообществом с помощью mergekit. Она получена методом SLERP из NousResearch/Nous-Hermes-2-Mistral-7B-DPO и mlabonne/AlphaMonarch-7B; в репозитории указана конфигурация bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на инструкции и рассуждения. Число параметров — 7,1 млрд, заявленный контекст — до 32 768 токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

Blaze.1-27B-Preview — языковая модель на 27,6 млрд параметров, разработанная на базе Google Gemma 2 27B IT и дообученная на синтетических наборах данных для многошаговых рассуждений. Это плотная авторегрессионная модель семейства Gemma 2, предназначенная для генерации текста и диалога; веса опубликованы в формате Safetensors, исходная точность — bfloat16. Размер контекста — 8192 токена. Модель подходит для ответов на вопросы, суммаризации, следования инструкциям, решения математических и логических задач, сложного анализа и генерации длинных текстов. Основной заявленный язык — английский. Для запуска и дообучения требуются значительные вычислительные ресурсы. Модель может ошибаться в рассуждениях и фактах, а качество ответов зависит от формулировки запроса; на длинных входах связность может снижаться. Лицензия — Gemma.

Cotype-Nano — компактная языковая модель MTSAIR на 1,5 млрд параметров с архитектурой Qwen2. Она предназначена для диалогового взаимодействия и генерации текста при ограниченных вычислительных ресурсах; в карточке приведён пример ответа с объяснением и кодом для простого сервера FastAPI. Модель обучали в два этапа: сначала MLP-слои на математических и программных данных, затем всю модель на внутренних и открытых синтетических инструкционных наборах. Поддерживаются русский и английский языки, а длина контекста составляет 32 768 токенов. В метаданных также указана возможность интерфейса вызова инструментов. В README приведён локальный результат 30,2 в ru-llm-arena; это измерение авторов карточки, а не независимая гарантия качества. Модель распространяется в формате safetensors, для запуска в README предлагается vLLM. Лицензия обозначена как other, поэтому условия использования следует уточнить в репозитории.

DeepSeek-R1-Qwen-lorablated-32B — плотная языковая модель на архитектуре Qwen2, созданная nbeerbower слиянием DeepSeek-R1-Distill-Qwen-32B и Qwen2.5-32B-abliterated-LORA методом task arithmetic с помощью mergekit. Модель содержит 32 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, рассуждений и решения задач, в том числе по математике и программированию — такие возможности указаны для базовой модели. В метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробных инструкций по применению, поэтому производительность конкретных сценариев не подтверждена.

EvaByte-Phase1 — базовая авторегрессионная языковая модель на 6,5 млрд параметров от команды авторов EvaByte. Она использует байтовое представление текста, улучшенную архитектуру с предсказанием нескольких байтов и эффективный механизм внимания EVA. Модель предварительно обучена на 1,2 трлн байтов данных; в обучающий корпус входили естественные языки, математика и код. Модель предназначена для генерации продолжений текста, ответов в диалоге и задач с кодом. Она поддерживает контекст до 32 768 токенов и может генерировать по одному байту или использовать режим многобайтовой генерации. По данным карточки, EvaByte показывает результаты, сопоставимые с открытыми токенизаторными языковыми моделями при меньшем объёме обучающих данных и обеспечивает более быстрое декодирование. Лицензия — Apache-2.0. Это чекпойнт первой фазы обучения: последующие версии EvaByte прошли дополнительные этапы дообучения и объединения, поэтому возможности финальной версии не следует автоматически приписывать Phase1.

FuseChat-Qwen-2.5-7B-Instruct-Heretic-GGUF — языковая модель в формате GGUF, созданная на основе FuseAI/FuseChat-Qwen-2.5-7B-Instruct и опубликованная пользователем ChiKoi7. Базовая модель относится к семейству Qwen 2.5 и имеет 7 млрд параметров. FuseChat-3.0 разработана FuseAI с использованием неявного объединения возможностей нескольких крупных языковых моделей через Supervised Fine-Tuning и Direct Preference Optimization на данных предпочтений; в качестве целевой модели использовалась Qwen-2.5-7B-Instruct. Для данной версии дополнительно применён Heretic v1.0.1 — метод удаления ограничений на отказы от ответов. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая общие разговорные задачи, следование инструкциям, математику и программирование. По приведённому сравнению, версия Heretic отказалась от ответа в 3 случаях из 100 против 93 из 100 у исходной модели, при этом её KL-дивергенция относительно оригинала составила 0,07. Это указывает на существенно более редкие отказы при сохранении близкого поведения к исходной модели, однако одновременно означает потенциально менее выраженные защитные ограничения. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура трансформера, требования к аппаратному обеспечению и конкретная лицензия. Также не приведены результаты независимой оценки качества после применения Heretic. Поэтому модель следует использовать с учётом возможного отсутствия встроенных ограничений безопасности; условия распространения необходимо уточнять по лицензии базовой модели и репозитория модели.

Gemma-3-4b-it-MAX-NEO-Imatrix-GGUF — GGUF-квантизированная версия инструкционной модели Google Gemma 3 4B, опубликованная DavidAU. Модель предназначена для генерации текста, диалогов, выполнения пользовательских инструкций, творческого письма и других общих сценариев использования языковых моделей. Заявлен контекст до 128 000 токенов. Ключевая особенность версии — сочетание квантизации с сохранением embedding- и output-тензоров в формате BF16 («MAXED») и специализированного imatrix-набора «NEO IMATRIX», разработанного DavidAU. По заявлению автора, это должно улучшать следование инструкциям, качество ответов и связность идей по сравнению с обычными квантами. Доступны варианты от IQ1_S до Q8_0; для творческих задач рекомендуются IQ3S, IQ4XS, IQ4NL и Q4, для общего использования — Q5, Q6 и Q8, а для портативных устройств — Q4_0 и Q5_0. Разные варианты квантов могут заметно различаться по качеству и характеру вывода. Модель ориентирована на локальный запуск и позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. README приводит пример производительности около 56 токенов в секунду для IQ4XS на видеокарте среднего уровня, но фактические показатели зависят от оборудования и настроек. Ограничения включают снижение качества у наиболее компактных квантов, различия в результатах между Q- и IQ-вариантами, а также необходимость подбора параметров генерации. Лицензия — Apache 2.0.

Это версия модели OpenAI gpt-oss-20b, подготовленная Richard Young с помощью Heretic v1.4.0 методом abliteration для снижения частоты отказов. Модель построена на архитектуре GPT-OSS с разреженной смесью экспертов (MoE) и предназначена для генерации текста и диалогов; её можно использовать для рассуждений, задач разработчика и агентных сценариев с вызовом инструментов. Карточка сообщает о формате Harmony и возможности менять уровень рассуждений, а также приводит результат: 77 отказов из 100 запросов против 98 у исходной модели. Метаданные указывают 1,6 млрд параметров, контекст до 131 072 токенов и веса safetensors в формате MXFP4. Это производная модель от openai/gpt-oss-20b; лицензия Apache 2.0. Меньшее число отказов не означает их полного отсутствия и не гарантирует точность ответов. Для корректной работы следует использовать формат Harmony.

mlx-community/granite-4.1-3b-bf16 — конверсия модели IBM Granite 4.1 3B в формат MLX для запуска на устройствах Apple Silicon. Это плотная причинная языковая модель с архитектурой GraniteForCausalLM, содержащая 3,4 млрд параметров и поддерживающая контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста; описание базовой модели также указывает на применение для работы с кодом и вызова инструментов. Модель принимает текст и генерирует текст. Репозиторий использует библиотеку MLX и формат safetensors; лицензия — Apache-2.0. Карточка описывает преобразование из ibm-granite/granite-4.1-3b в MLX, поэтому этот вариант рассчитан на соответствующую среду исполнения, а не является самостоятельным дообучением.

nlpguy/Hermes-low-tune-2 — объединённая модель для генерации текста на основе Mistral, созданная с помощью mergekit методом task arithmetic. В качестве базовой использована teknium/OpenHermes-2.5-Mistral-7B; в объединение также вошли Math-OpenHermes-2.5-Mistral-7B, NeuralHermes-2.5-Mistral-7B-laser, dpopenhermes-alpha-v0 и NeuralHermes-2.5-Mistral-7B. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и поддерживает контекст до 32 768 токенов. Она предназначена для диалогов и генерации текста; состав объединённых моделей также указывает на применимость к математическим задачам. Карточка приводит результаты нескольких тестов Open LLM Leaderboard, включая средний балл 68,04. Модель распространяется по лицензии Apache-2.0. Данные карточки не описывают подробно её языковой охват и практические ограничения; качество может зависеть от задачи и формулировки запроса.

Tech-Meld/HX-Mistral-1.5B_v0.3 — диалоговая языковая модель семейства Mistral, созданная слиянием весов через SLERP в mergekit на основе mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для генерации текста и ответов в чате на пользовательские запросы. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors и использует точность float16 согласно конфигурации слияния. Метаданные классифицируют её как дообученную производную базовой модели, хотя README описывает именно слияние весов; поэтому происхождение указано как merge. Лицензия и заявленные языки в предоставленных данных не обозначены.

Ling-3.0-tiny-GGUF — набор квантизованных файлов модели Ling-3.0-tiny, разработанной IBM и опубликованной в формате GGUF для запуска через llama.cpp. Модель предназначена для локального и периферийного развертывания, генерации текста, задач рассуждения и агентских сценариев с возможностью выбирать между быстрым ответом и режимом пошагового reasoning. Модель содержит 7,9 млрд параметров, из которых на каждый токен активируется около 1,3 млрд. Она использует гибридную архитектуру с чередованием слоёв KDA (Kimi Delta Attention) и MLA (Multi-Head Latent Attention) в соотношении 3:1, а также разреженный MoE-слой с 128 маршрутизируемыми экспертами. Заявлена поддержка эффективной обработки длинного контекста, однако конкретный максимальный размер контекста и поддерживаемые языки в README не указаны. Для файлов доступны варианты от BF16 и F16 до экстремально сжатых 1–8-битных квантований; типичный компромисс между качеством и размером — Q4_K_M. Сильные стороны модели — малое число активируемых параметров, экономичное потребление памяти, высокая скорость инференса и встроенный настраиваемый режим рассуждения. В README приведены ориентиры около 100–105 токенов в секунду на NVIDIA DGX Spark и 86–90 токенов в секунду на MacBook с M4 Pro при FP8, а также пиковое потребление около 8,34 ГБ памяти при контексте 8K. Ограничения зависят от выбранного уровня квантования: сильное сжатие снижает качество и может ухудшать связность ответов. Лицензия в предоставленном README не указана.

Llama-3.1-Tulu-3-8B — языковая модель семейства Tülu 3, разработанного Allen Institute for AI (AI2). Это плотная авторегрессионная модель на архитектуре Llama с 7,5 млрд параметров, дообученная на основе allenai/Llama-3.1-Tulu-3-8B-DPO. Она предназначена для диалогов и следования инструкциям, а также для решения широкого круга задач, включая математические вопросы и проверку следования заданным условиям. Модель работает с текстом, поддерживает английский язык и имеет контекстное окно до 131 072 токенов. В карточке описана серия Tülu 3 как открытый пакет постобучения с данными, кодом и рецептами обучения; приведены результаты оценок на ряде бенчмарков. Модель можно загружать через Transformers и обслуживать с помощью vLLM. Указанная лицензия — Llama 3.1 Community License Agreement. Разработчики отмечают, что модель прошла ограниченное обучение безопасности и может выдавать проблемный контент, особенно при соответствующих запросах. В README также советуют при запуске через vLLM учитывать длину шаблона чата и задавать max_model_len=8192.