II.4Отладка, тестирование и качество ПО

Qwen3-0.6B-GPTQ-Int8 — квантованная 8-битная версия причинной языковой модели Qwen3-0.6B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, переводов, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов, однако конкретный перечень языков в README не указан. Модель работает с текстовой модальностью и распространяется в формате GPTQ с 8-битной квантизацией. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, режимов рассуждения и обычной генерации, а также возможности для агентских сценариев. Ограничения включают меньший размер по сравнению с крупными моделями Qwen3 и возможное появление повторов при неподходящих параметрах генерации; README рекомендует при таких проблемах использовать presence_penalty 1.5. Модель распространяется по лицензии Apache 2.0.

HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.5-122B-A10B, разработанная HauhauCS на базе исходной модели Qwen. Это вариант в формате GGUF с усиленным снятием ограничений на отказы; по заявлению автора, изменения наборов данных и базовых возможностей не вносились. Модель предназначена для генерации и понимания текста, программирования, рассуждений, а также работы с изображениями и видео. Поддерживаются текстовая, графическая и видео-модальности, 201 язык и контекст до 262 тысяч токенов. Модель использует гибридную архитектуру MoE с 122 млрд общих параметров и примерно 10 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий; архитектура включает Gated DeltaNet linear attention и полноформатное softmax-внимание в соотношении 3:1, всего 48 слоёв. Доступны квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ; специальные квантизации K_P оптимизированы для сохранения качества. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами, а для поддержки изображений требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая ёмкость MoE при меньшем числе активных параметров и широкий выбор квантизаций. Агрессивный вариант практически не использует отказы и защитные оговорки, поэтому может быть удобен для сценариев, где требуется минимальная модерация, но одновременно повышает риск небезопасных или нежелательных ответов. Для запуска необходимы значительные объёмы оперативной или видеопамяти, особенно для высококачественных квантизаций. Модель распространяется по лицензии Apache-2.0.

HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная MoE-модель в формате GGUF, созданная HauhauCS на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для генерации и понимания текста, работы с изображениями и видео, решения общих и рассуждательных задач, программирования и локального запуска в совместимых средах, включая llama.cpp, LM Studio, Jan и koboldcpp. Модель позиционируется как вариант без встроенных отказов; агрессивная версия может иногда добавлять краткие оговорки, но продолжает генерировать полный ответ. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общий эксперт на токен, 40 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полноформатного softmax-внимания. Нативный контекст составляет 262 тысячи токенов и может быть расширен до 1 млн с YaRN. Поддерживаются текст, изображения и видео, Multi-Token Prediction, словарь на 248 тысяч токенов и 201 язык. Для обработки изображений требуется отдельный файл mmproj. Доступны варианты квантования от BF16 до IQ2_M размером примерно от 65 до 11 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Ограничения включают зависимость мультимодальной работы от дополнительного mmproj-файла, высокие аппаратные требования для крупных вариантов и отсутствие встроенных защитных отказов, что повышает риск небезопасного использования. Модель распространяется по лицензии Apache-2.0.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.

Qwen3.6-35B-A3B Uncensored Heretic MLX 4bit — мультимодальная конверсия модели Qwen3.6, подготовленная froggeric на базе uncensored-варианта от llmfan46. Исходная модель разработана Alibaba Cloud. Версия предназначена для локального запуска на Apple Silicon через MLX и поддерживает работу с текстом, изображениями и видео, рассуждения, диалоги и вызов инструментов. Заявлены английский, китайский и другие языки. Модель использует гибридную архитектуру с линейными блоками внимания DeltaNet-типа и традиционным softmax-вниманием в соотношении 3:1. Веса представлены в 4-битной квантизации. Для модели исправлены параметры vision tower, а также шаблон чата: добавлена совместимость с ролями developer и инструментами, переключение режима рассуждений и обработка проблемных тегов. Указано, что архитектурно-ориентированное uncensoring с помощью Heretic и MPOA снизило частоту отказов при незначительной потере возможностей, однако конкретные результаты могут зависеть от задачи и не заменяют самостоятельное тестирование. Модель подходит для локальных чат-ассистентов, программирования, анализа изображений и мультимодальных сценариев, включая приложения с вызовом инструментов. Для работы рекомендуются mlx-lm версии 0.31.2 или выше и mlx-vlm версии 0.4.4 или выше. В README не указаны размер контекста и требования к объёму памяти. Лицензия — Apache-2.0; из-за uncensored-настройки модель может слабее применять стандартные ограничения безопасности, поэтому ответственность за фильтрацию и применение результатов лежит на пользователе.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-BF16 — плотная мультимодальная модель, созданная на основе Qwen/Qwen3.8-27B с помощью направленной абляции HERETIC, уменьшающей склонность модели отказываться от ответов. Это исходный чекпойнт в формате BF16; сохранены MTP-головы и полная башня обработки изображений. Базовая архитектура содержит 27,8 млрд параметров и 64 слоя, сочетает линейное внимание с полным и поддерживает изображения и видео. Модель предназначена для диалогов, анализа изображений и видео, программирования и многошаговых задач; в репозитории также заявлен интерфейс вызова инструментов. По описанию автора, на тестовом наборе из 100 запросов о вредоносных действиях модель отказала один раз, но снижение числа отказов не означает нейтральности: она может сохранять склонности базовой модели. Для этой версии указана лицензия Apache-2.0. Чекпойнт опубликован для дальнейшей квантизации в нужный формат.

Krasnopjorovs/Qwen3.8-27B-Imatrix-GGUF — набор квантизированных GGUF-сборок базовой модели Qwen/Qwen3.8-27B, подготовленный Krasnopjorovs с использованием llama.cpp и importance-matrix калибровки. Модель предназначена для локального запуска и задач генерации текста, рассуждений, программирования и математики; заявлена также поддержка мультимодального режима image-text-to-text при подключении совместимого mmproj-файла. README не уточняет архитектуру базовой модели, точное число параметров сверх обозначения 27B, список поддерживаемых языков и размер контекста. Доступны варианты квантизации от Q8_0, близкого к исходному качеству, до IQ4_XS и IQ4_NL для экономии памяти, с размерами примерно от 14,27 до 27,05 ГБ. Рекомендуемым вариантом общего назначения назван Q4_K_M размером 15,63 ГБ; сборки с суффиксом L используют Q8_0 для выходных и/или embedding-тензоров, что может повысить стабильность вывода при низкой разрядности. Во все кванты включена MTP-голова для speculative decoding, а для запуска через llama.cpp рекомендуется использовать draft-бюджет 3. Сильные стороны модели — выбор квантизаций под разные ограничения по памяти, поддержка мультимодального режима, калибровка на смешанном корпусе с многоязычными данными, кодом и математикой, а также возможность ускорения генерации через MTP. Ограничения связаны с потерями качества, зависящими от степени квантизации, требованиями к значительному объёму RAM или VRAM и необходимостью совместимого llama.cpp и mmproj-файла для мультимодального использования. Распространение указано по лицензии Apache-2.0.

Qwen3-VL-12B-Thinking-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель в формате GGUF, созданная DavidAU на базе Qwen3-VL-8B-Thinking с адаптером Brainstorm 20x и дополнительной обработкой квантов NEO Imatrix. Модель предназначена для работы с текстом и изображениями, включая image-to-text, описание изображений, программирование, генерацию кода, чат, творческие задачи и рассуждения. В метаданных указан английский язык; заявлена поддержка видео, однако подробности о формате и ограничениях видеовхода не приведены. После применения адаптера размер модели увеличен до 12B параметров; указаны 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, размещённый вместе с основной моделью. Поддерживаются шаблоны Jinja или ChatML. Brainstorm 20x заявлен как модификация, улучшающая детализацию, связность, качество прозы, творческую генерацию и глубину рассуждений, но автор отдельно отмечает, что это не означает кратного повышения интеллектуальных способностей. Сильными сторонами модели являются сочетание обработки текста и изображений, пригодность для сложного многошагового программирования, подробных инструкций, творческих сценариев и работы с длинным контекстом. К ограничениям относятся отсутствие опубликованных в README бенчмарков и примеров, а также возможное зацикливание генерации; для его уменьшения рекомендуются повышенная температура, repetition penalty около 1.1 и presence penalty 2.0. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-GGUF — это мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-4B-Instruct в формате GGUF: языковую модель и отдельный vision encoder в вариантах FP16, Q8_0 и Q4_K_M. Модель предназначена для понимания и генерации текста с учётом изображений, а также для анализа видео. Модель ориентирована на визуальные вопросы и ответы, OCR, распознавание объектов и сцен, пространственное рассуждение, анализ документов и видео, STEM-задачи, генерацию кода и взаимодействие с графическими интерфейсами через инструменты. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длительных видео и поддержка OCR на 32 языках. В архитектуре используются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками для улучшения пространственного и временного анализа. К сильным сторонам относятся сочетание текстового и визуального понимания, работа с мелкими деталями изображений, пространственным контекстом, документами и видео, а также возможность запуска локально на CPU, NVIDIA GPU, Apple Silicon и Intel GPU через llama.cpp, Ollama и другие инструменты GGUF. Выбор точности компонентов позволяет адаптировать потребление памяти и производительность под оборудование, однако квантованные варианты могут уступать FP16 по качеству, а README не содержит подробных числовых результатов бенчмарков, точного перечня поддерживаемых языков для обычного диалога и требований к ресурсам. Лицензия — Apache-2.0.

Qwopus-GLM-18B-Merged-GGUF — экспериментальная модель, разработанная KyleHessling1 на основе двух дообученных моделей Jackrong: Qwopus3.5-9B-v3.5 и Qwen3.5-9B-GLM5.1-Distill-v1. Это 64-слойное объединение моделей Qwen3.5, дополнительно обработанное 1000-шаговым QLoRA-дообучением для устранения проблем на границе объединения слоёв. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, структурированного вывода, вызова инструментов и агентских сценариев. Модель содержит около 18 млрд параметров; доступная версия распространяется в формате GGUF с квантизацией Q4_K_M и размером около 9,2 ГБ. Заявлена поддержка английского, китайского, корейского, японского, французского, немецкого и испанского языков. По данным автора, модель показывает сильные результаты в рассуждениях, вызове инструментов, многошаговых агентских задачах и структурированном выводе, а также способна работать примерно на 12 ГБ видеопамяти, включая потребительские GPU. В тестовом наборе она набрала 40 из 44 заданий, однако программирование остаётся неидеальным: некоторые случаи форматирования и генерации кода всё ещё завершаются ошибками. Модель следует считать экспериментальной: несмотря на улучшение качества после QLoRA-дообучения, у неё могут сохраняться артефакты объединения и другие непредсказуемые особенности. Лицензия — Apache-2.0.

Gille/StrangeMerges_13-7B-slerp — слитая модель генерации текста, созданная с помощью LazyMergekit из Gille/StrangeMerges_12-7B-slerp и uukuguy/speechless-zephyr-code-functionary-7b. Она основана на плотной архитектуре Mistral с 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые задачи с контекстом до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв внимания и MLP. Модель подходит для диалоговых приложений и генерации текста, включая сценарии с кодом и вызовом функций, на которые указывает один из исходных чекпойнтов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Tri-7B — диалоговая языковая модель Trillion Labs для генерации текста. Это плотная авторегрессионная модель с архитектурой Transformer Decoder, основанной на LlamaForCausalLM; в карточке указаны 7,76 млрд параметров, 32 слоя и контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors. Модель прошла предварительное обучение и постобучение с упором на рассуждения, математические задачи и повседневное использование. Она предназначена для диалога, следования инструкциям, ответов на вопросы, генерации кода и решения задач на английском, корейском и японском языках. В README приведены результаты сравнительных тестов с предыдущей моделью Trillion-7B-preview; они показывают улучшения по ряду оценённых задач, но не гарантируют качество для каждого запроса. Модель оптимизирована для английского, корейского и японского; на других языках качество может снижаться. Знания ограничены сведениями, доступными до февраля 2025 года. Лицензия — Apache-2.0.

airoboros-l2-13b-3.1.1 — экспериментальная инструктивная языковая модель на архитектуре Llama 2, дообученная автором jondurbin на наборе синтетических и других примеров airoboros-3.1. Она предназначена для выполнения инструкций и диалогов в формате чата Llama 2; модель содержит 12,9 млрд параметров и имеет контекстное окно 4096 токенов. Модель подходит для ответов на вопросы по предоставленному контексту, суммаризации, математических задач с формированием MathJSON, извлечения полей из журналов, анонимизации текста, программирования и планирования действий с инструментами. По описанию она сильнее ориентирована на точное следование инструкциям, чем на непринуждённый чат и ролевые диалоги. Для математических ответов автор рекомендует низкую температуру генерации; формат чата должен соответствовать шаблону Llama 2. Это дообученная модель, опубликованная в формате safetensors. В карточке указана лицензия Llama 2. Разработчик описывает её как экспериментальную; результаты могут быть нестабильными, а генерация MathJSON и вызовы функций требуют внешнего разбора и выполнения. Русский язык явно не заявлен.

aquif-3.5-Max-1205-GGUF — это квантизированная GGUF-версия языковой модели aquif-3.5-Max-1205, разработанной aquif-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, математических задач и программирования; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. В карточке указано, что модель относится к архитектуре MoE, однако точное число параметров, размер активной части, максимальная длина контекста и другие архитектурные характеристики не приведены. Поддерживаются текстовые запросы; заявлены английский, немецкий, итальянский, португальский, французский, хинди, испанский, тайский, китайский и японский языки. Доступны варианты от BF16 до низкобитных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 19,48 до 84,78 ГБ. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, при этом варианты Q5 и Q6 позиционируются как обеспечивающие высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. Более агрессивная квантизация уменьшает размер, но может снижать качество ответов. В README не приведены результаты бенчмарков, сведения о мультимодальности или ограничения по применению. Указана лицензия Apache-2.0.

Baichuan2-13B-Chat-4bits — версия чат-модели Baichuan 2 от Baichuan Intelligence, представленная в 4-битном квантованном варианте. Это плотная авторегрессионная модель на 13,3 млрд параметров для генерации текста и диалогового взаимодействия. Семейство Baichuan 2 обучено на 2,6 трлн токенов; версия Chat v2, согласно карточке, улучшает математические и логические рассуждения и следование сложным инструкциям. Модель ориентирована прежде всего на китайский и английский языки. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций, а также задач общего характера в областях права, медицины, математики, программирования и многоязычного перевода. Карточка сообщает о 4-битном варианте для снижения требований к памяти. Для работы указан PyTorch 2.0 или новее. Для использования требуется соблюдать Apache 2.0 и лицензионное соглашение сообщества Baichuan 2. Коммерческое применение требует предварительного обращения за официальной лицензией и зависит от условий, изложенных в карточке. Модель может ошибаться; перед использованием в чувствительных сценариях её ответы следует проверять.

Карточка модели bcoding/deepseek-R1-0528-Qwen3-8b-base-16-llvm-sft-trained-16bit-epoch-1-merged на Hugging Face совпадает с карточкой bcoding/deepseek-R1-0528-Qwen3-8b-base-16-llvm-sft-trained-16bit-epoch-2-merged, поэтому описание составлено по ней. Модель bcoding — дообученная версия unsloth/DeepSeek-R1-0528-Qwen3-8B на архитектуре Qwen3 с причинным языковым моделированием. Она предназначена для диалогов и генерации текста; каталог также указывает интерфейс вызова инструментов. Размер модели — 7,6 млрд параметров, контекст — до 131 072 токенов. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель может применяться для диалоговых ответов, рассуждений, решения задач по математике и логике, а также помощи с программированием — эти сценарии указаны для базовой модели в описании каталога. Поддерживаемый язык карточки — английский. Репозиторий распространяется в формате Safetensors по лицензии Apache 2.0.

EuroBERT-2.1B — мультиязычная плотная модель-энкодер семейства EuroBERT, разработанная командой EuroBERT. Модель содержит 2,1 млрд параметров и обрабатывает последовательности длиной до 8192 токенов. Это masked language model для заполнения пропусков; её также можно дообучать или использовать с соответствующими головами для классификации текста и токенов, ответов на вопросы, поиска и регрессии. Модель рассчитана на английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Карточка также указывает поддержку кода и математики. Для работы подходит библиотека Transformers версии 4.48.0 и выше; веса доступны в форматах PyTorch и Safetensors. EuroBERT-2.1B показала сильные результаты в оценках мультиязычного поиска, классификации, регрессии, качества переводов, кода и математических задач; авторы сообщают, что она превзошла сравниваемые системы в проведённых оценках. Как энкодер, она не предназначена для свободной генерации длинных ответов. Лицензия — Apache-2.0.

Falcon-H1-1.5B-Instruct — многоязычная авторегрессионная языковая модель семейства Falcon-H1, разработанная командой TII. Это дообученная для следования инструкциям версия Falcon-H1-1.5B-Base с гибридной архитектурой, сочетающей Transformer-внимание и блоки SSM/Mamba. Модель содержит 1,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений, математических задач, программирования и работы с научными знаниями. В карточке заявлена поддержка 18 языков, включая арабский, английский, хинди, японский, китайский и русский. Для запуска указаны Transformers, vLLM и llama.cpp; метаданные репозитория отмечают формат safetensors. В README указана лицензия Falcon-LLM License, тогда как метаданные Hugging Face обозначают лицензию как other. Перед использованием следует проверить условия лицензии в репозитории. Как компактная модель на 1,1 млрд параметров, она может уступать более крупным моделям на сложных задачах; заявленные в карточке результаты бенчмарков не гарантируют качество на конкретных данных.

Gemma 4 21B-A4B-it REAP Heretic — разговорная модель на базе Gemma 4, представленная в репозитории coder3101. Это доработанный вариант 20-процентно прореженной экспертной модели 0xSero/gemma-4-21b-a4b-it-REAP: в MoE-архитектуре оставлено 103 эксперта на слой вместо 128, а на каждый токен по-прежнему активируются 8 экспертов. Веса опубликованы в формате safetensors; модель поддерживает диалоговую генерацию текста и, согласно карточке, входные изображения. Вариант Heretic применяет абляцию отказов: в приведённом сравнении число отказов на тестовом наборе снизилось со 100 из 100 у исходной модели до 14 из 100. При этом небольшие тесты показывают, что качество зависит от задачи: например, результат по математике начального уровня снизился с 92% до 90%, а по философии — с 92% до 88%; наборы по 50 примеров на задачу и 14 промптов для сравнения генерации не дают широкой оценки качества. Для исходного варианта REAP указано окно контекста 262 144 токена, но README не уточняет, сохраняется ли этот предел в данной сборке Heretic. Модель предназначена для диалогов, рассуждений и генерации кода; особенно подходит для сценариев, где требуется меньше отказов. Лицензия — Gemma; условия её использования следует сверять с лицензией семейства Gemma.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

Delta-Vector/GLM-4-32B-Tulu-Instruct — плотная языковая модель семейства GLM-4, дообученная автором на смеси Tulu-SFT. Она предназначена для диалогов, следования инструкциям и генерации текста; в метаданных также отмечены сценарии работы с кодом. Модель содержит 31,6 млрд параметров, принимает контекст до 32 768 токенов и использует формат диалога ChatML. Автор сообщает, что при обучении были удалены примеры выравнивания безопасности. Модель рассматривается как ассистент и основа для дальнейшего дообучения; оценка качества на длинном контексте не проводилась, а дополнительного обучения с подкреплением после SFT не было. Репозиторий распространяется по лицензии Apache-2.0.

Модель KARAKURI Inc. karakuri-lm-8x7b-instruct-v0.1 — диалоговая языковая модель на архитектуре Mixtral Mixture of Experts, дообученная на базе tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1. Она предназначена для генерации ответов и инструкций на английском и японском языках, включая сценарии вызова инструментов и работы с RAG. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В шаблоне диалога предусмотрены девять управляемых атрибутов ответа: полезность, корректность, связность, сложность, многословность, качество, токсичность, юмор и креативность. Модель дообучали примерно на 1 млрд токенов данных, в том числе на наборах для диалогов, программирования, вызова функций, математики, SQL и RAG. Репозиторий использует формат safetensors и библиотеку Transformers. Известное ограничение: модель может пытаться вызывать инструменты, которые не предоставлены приложением; такие вызовы следует отфильтровывать при постобработке. Лицензия — Apache 2.0.

Liberated-Qwen1.5-7B — разговорная языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалог в формате ChatML. Базовая модель поддерживает контекст до 32 768 токенов; при дообучении использовались последовательности длиной 8 000 токенов. Модель дообучена методом qLoRA на открытых наборах данных, включая OpenHermes-2.5, Code-Feedback, CodeFeedback-Filtered-Instruction и синтетические многоходовые диалоги SystemChat. Она предназначена для ответов на запросы, ведения продолжительных диалогов и следования системным инструкциям, в том числе необычным или механическим. Также её можно использовать для генерации кода и инструкционного текста. В README указано, что при обучении не добавлялись защитные ограничения или цензура, поэтому модель может выдавать нежелательное содержание. Перед предоставлением доступа через сервис разработчик рекомендует добавить собственный слой выравнивания. Лицензия — tongyi-qianwen.

Llama-3.1-Nemotron-70B-Instruct-GGUF — квантованная версия инструкционной модели Llama 3.1 Nemotron 70B, разработанной NVIDIA и опубликованной в формате GGUF сообществом Backyard AI. Модель основана на nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и предназначена для локального текстового общения, генерации текста и решения задач, требующих рассуждений. Модель содержит около 70,6 млрд параметров, поддерживает текстовую модальность и английский язык. Заявленный размер контекста составляет до 131 072 токенов. Формат GGUF совместим с приложениями на базе llama.cpp и позволяет распределять вычисления между CPU и GPU, снижая требования к видеопамяти по сравнению с полноразмерными форматами. Квантование уменьшает потребление ресурсов, но при низкой точности квантования может ухудшать связность и качество ответов. Сильными сторонами модели заявлены улучшенные способности к рассуждению и потенциальное превосходство над значительно более крупными моделями в соответствующих задачах. Ограничениями являются высокая вычислительная требовательность 70-миллиардной модели, зависимость качества от используемого уровня квантования и отсутствие заявленной поддержки языков, кроме английского. Модель распространяется по лицензии Llama 3.1.

RedHatAI/Llama-3.2-3B-quantized.w8a8 — это квантованная текстовая языковая модель семейства Llama 3.2, размещённая Red Hat AI и основанная на модели Meta Llama 3.2. В репозитории указаны формат Safetensors, 8-битная точность и схема W8A8; отдельная карточка модели отсутствует, поэтому сведения о точной процедуре квантования и дополнительных оценках для этой конкретной версии не заявлены. Модель предназначена для генерации текста и кода, а также для адаптации под локальные и периферийные сценарии с ограниченными вычислительными ресурсами. Это авторегрессионная модель с оптимизированной Transformer-архитектурой, примерно 3,21 млрд параметров, текстовыми входами и выходами, поддержкой английского, немецкого, французского, итальянского, португальского, hindi, испанского и тайского языков. Для квантованных текстовых моделей Llama 3.2 заявлен контекст до 8 тысяч токенов. Ключевые преимущества — меньшие требования к памяти, размеру хранения и вычислениям по сравнению с полноточной версией; ограничение — возможная потеря качества из-за квантования, а также отсутствие опубликованной карточки и специфических результатов тестирования именно для данного репозитория. Базовая модель Llama 3.2 разработана Meta, а использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta с дополнительными требованиями Acceptable Use Policy.

Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

Карточка модели Undi95/Meta-Llama-3-70B-hf на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-70B, поэтому описание составлено по ней. Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

Mungert/Phi-4-mini-instruct-GGUF — набор GGUF-версий инструкционной языковой модели Phi-4-mini-instruct, разработанной Microsoft и опубликованный пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и кода. Доступны варианты для запуска на GPU, CPU и устройствах с ограниченной памятью. Представлены файлы в форматах BF16 и F16, а также квантованные варианты Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Квантование уменьшает потребление памяти ценой возможного снижения точности. Заявлена поддержка multilingual-сценариев и языков, включая английский, русский, китайский, японский, корейский, арабский, французский, немецкий, испанский, португальский, украинский и другие. Точный размер модели, архитектура, максимальная длина контекста и мультимодальные возможности в README не указаны; по описанию это текстовая модель. Сильные стороны набора — широкий выбор точности и размера файлов, возможность локального запуска на CPU или GPU и адаптация под устройства с разными ограничениями памяти. Более низкобитные варианты экономичнее, но могут уступать полноформатным версиям по качеству. В README не приведены результаты тестов, точные требования к памяти и подробные ограничения поведения модели. Лицензия — MIT.

Richard Young подготовил декензурированную версию Qwen2.5-3B-Instruct с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,1 млрд параметров для диалоговой генерации текста. Она подходит для чат-ботов, ответов на инструкции, написания и анализа текста, а также задач по программированию и математике. Модель принимает текст и выдаёт текст; контекст составляет 32 768 токенов, поддерживается генерация до 8 192 токенов. В основе лежит Qwen2.5-3B-Instruct с архитектурой Qwen2ForCausalLM; заявлены RoPE, SwiGLU, RMSNorm и grouped-query attention. README указывает многоязычную поддержку более чем 29 языков, включая русский и английский. В приведённом сравнении модель отказала в 3 случаях из 100 против 96 у исходной версии, поэтому её следует считать менее склонной к отказам при запросах на чувствительные темы. Это не означает гарантии полноты или точности ответов. В метаданных лицензия обозначена как other, а README не содержит её условий, поэтому перед использованием следует проверить лицензию на странице модели и базовой модели. Модель предназначена для работы через библиотеку Transformers.

Карточка модели ripgermany/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.