II.4Отладка, тестирование и качество ПО

Qwen3-4B-Instruct-2507-4bit — языковая instruct-модель для генерации текста, разработанная командой Qwen и конвертированная сообществом mlx-community в формат MLX из базовой модели Qwen/Qwen3-4B-Instruct-2507. Модель предназначена для диалогового взаимодействия и выполнения текстовых запросов с использованием chat template. Модель содержит 4 миллиарда параметров и представлена в 4-битном формате квантования. Она работает с текстовой модальностью; сведения о поддерживаемых языках и размере контекста в README не указаны. Формат MLX и использование библиотеки mlx-lm ориентированы на запуск модели в экосистеме MLX. Конкретные преимущества и ограничения качества по сравнению с исходной моделью в предоставленных данных не описаны; 4-битное представление может влиять на точность, но степень такого влияния не указана. Модель распространяется по лицензии Apache 2.0. Конвертация выполнена с использованием mlx-lm версии 0.26.2.

Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — GGUF-квантизированная версия базовой модели Qwen/Qwen3.5-122B-A10B, опубликованная HauhauCS под идентификатором botp. Это мультимодальная MoE-модель для генерации и анализа текста, изображений и видео, включая диалоговые, аналитические, творческие и программные сценарии. Вариант Aggressive отличается минимизированными отказами и существенно ослабленными защитными ограничениями, поэтому требует особенно осторожного применения. Модель содержит 122 млрд параметров, из которых около 10 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общего эксперта на токен, 48 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полного softmax-внимания в соотношении 3:1. Заявлены контекст до 262 тысяч токенов, словарь размером 248 тысяч токенов и поддержка 201 языка. Для работы с изображениями требуется отдельный файл mmproj; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Доступны варианты квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ, однако README не приводит независимых оценок качества, производительности или фактического покрытия языков. Распространяется по лицензии Apache-2.0.

AaryanK/Qwen3.5-2B-GGUF — это квантованное представление модели Qwen3.5-2B в формате GGUF, разработанной командой Qwen. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на генерацию текста, прототипирование, исследовательские задачи и разработку прикладных решений. Модель имеет около 2 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с vision encoder. Она поддерживает текстовые и мультимодальные входы, включая изображения и видео, вызов инструментов и контекст до 262 144 токенов. В README также заявлена поддержка 201 языка и диалекта, однако для данной GGUF-сборки явно указан английский язык. По умолчанию модель работает в режиме без рассуждений. К сильным сторонам относятся компактный размер, поддержка длинного контекста, мультимодальность и возможность эффективного локального инференса. Ограничения включают зависимость от актуальной версии llama.cpp с поддержкой операторов Gated DeltaNet, а также отсутствие подробных данных о конкретных вариантах квантования, качестве на бенчмарках и фактическом наборе поддерживаемых языков в этой сборке. Модель распространяется по лицензии Apache-2.0.

tinyopsec/Qwen3.5-4B-Unredacted-MAX-GGUF — набор GGUF-квантизованных версий языковой модели prithivMLmods/Qwen3.5-4B-Unredacted-MAX, созданной на базе Qwen/Qwen3.5-4B. Модель предназначена для генерации текста, выполнения инструкций, решения задач, многошагового рассуждения, исследовательских экспериментов и локального запуска на совместимом оборудовании. Указанный разработчик базовой дообученной модели — prithivMLmods, а данный репозиторий содержит общественные квантизации. Модель имеет около 4,5 млрд параметров, архитектуру Qwen2 с 28 слоями и 28 головами внимания, контекст до 32 768 токенов и словарь размером 151 936 токенов. В README указан английский язык. Доступны варианты с точностью от 16 до 2 бит и размером примерно от 8,4 до 1,1 ГБ, что позволяет выбирать между качеством, требованиями к видеопамяти и компактностью. Поддерживаются сценарии локального инференса через llama.cpp, llama-cpp-python, LM Studio и Ollama. Сильными сторонами являются сравнительно небольшой размер, гибкий выбор уровня квантизации, совместимость с форматом GGUF и пригодность для запуска на видеокартах среднего класса, ноутбуках и CPU. Ограничения включают компромисс между качеством и степенью сжатия, а также отсутствие в README подробных результатов бенчмарков, данных о мультимодальности и поддерживаемых языках помимо указанного английского. Лицензия — Apache 2.0.

Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled — модель, разработанная Jackrong на базе Qwen3.5-9B. Она дообучена методом Supervised Fine-Tuning с использованием LoRA и данных, полученных дистилляцией рассуждений из взаимодействий с Claude-4.6 Opus, а также дополнительных наборов данных для reasoning, науки, следования инструкциям и математики. В обучении использовалась библиотека Unsloth. Модель предназначена для решения сложных задач, требующих структурированного пошагового анализа, планирования, проверки ограничений и формулирования подробных ответов. Она обучена использовать формат рассуждений в тегах <think> и затем выдавать итоговый ответ, при этом автор стремился сократить избыточные повторения и повысить эффективность рассуждений. Указаны языки английский, китайский и корейский; размер базовой модели — 9B параметров. В README модель описана как текстовая, хотя в метаданных pipeline указан image-text-to-text. Сильными сторонами являются компактный размер, акцент на структурированное reasoning и применение к научным, математическим и общим инструкционным задачам. Ограничения включают отсутствие опубликованных сведений о размере контекстного окна, количественных результатах бенчмарков и фактической поддержке изображений. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая модель на базе Qwen3.6-27B, представленная DavidAU. Она создана в результате многоэтапного дообучения, нескольких слияний моделей и применения методов Unsloth; в разработке также участвовали Nightmedia, TeichAI, armand0e и trohrbaugh. Для обучения и настройки упоминаются наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель предназначена для широкого круга сценариев: следования инструкциям, решения задач, рассуждений, программирования, диалогов, ролевых взаимодействий и работы с художественными текстами. В README заявлена поддержка vision, а в метаданных указаны английский и китайский языки. Доступны обычные GGUF-квантизации и варианты MTP для многотокенного предсказания; все квантизации обозначены как NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Размер базовой модели — 27 млрд параметров. Заявленные сильные стороны — улучшенное следование инструкциям, общее решение задач и рассуждение, а также сохранение качества на низких уровнях квантизации. Автор сообщает о превосходстве базовой Qwen3.6-27B по большинству из семи внутренних бенчмарков, однако эти результаты приведены в README и требуют независимой проверки. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиция; при низком уровне принятия токенов следует использовать обычную квантизацию. Модель описана как uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в результате совместной работы автора, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель создана с применением многоэтапного дообучения и слияния нескольких версий, включая датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Заявленная цель — улучшить следование инструкциям, общее решение задач, рассуждения и интеллект без изменения основных возможностей базовой модели. Модель предназначена для широкого спектра сценариев: диалогов, анализа, программирования, решения задач, рассуждений, творческого письма, художественной прозы и ролевых взаимодействий. Указаны поддержка английского и китайского языков, а также vision, однако подробности о визуальной архитектуре и поддерживаемых форматах входных данных не приведены. Доступны обычные GGUF-квантизации и варианты MTP для multi-token prediction, включая 4-битные и 8-битные сборки; заявлена оптимизация NEO IMATRIX и частичное сохранение выходного тензора в 16-битной точности. К сильным сторонам относятся улучшенное следование инструкциям, решение задач и рассуждения, а также заявленная высокая производительность на ряде бенчмарков даже в низких квантизациях. Модель позиционируется как uncensored и heretic, то есть с ослабленными ограничениями безопасности, что может быть преимуществом для некоторых сценариев, но повышает риски нежелательного или небезопасного вывода. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance следует использовать обычную квантизацию. Лицензия Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-MTP-GGUF — квантизированная GGUF-версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, подготовленная автором ManniX-ITA. Модель имеет 27,78 млрд параметров и заявленную архитектуру Qwen3.5; репозиторий содержит объединённые веса в форматах от F16 до низкобитных IQ- и Q/K-квантизаций. В метаданных указаны поддержка английского языка, reasoning и vision, а также pipeline image-text-to-text, однако подробные сведения о контекстном окне и точном наборе мультимодальных возможностей не приведены. Главная особенность этой версии — сохранённая MTP (Multi-Token Prediction) head, предназначенная для self-speculative decoding в llama.cpp. При использовании llama.cpp с поддержкой MTP модель может предлагать несколько токенов за шаг и ускорять генерацию; для этого требуется версия с поддержкой соответствующего PR и режим draft-mtp. Без MTP-функциональности модель работает в стандартном режиме декодирования. Доступно 19 уровней квантизации и эталонная F16-версия, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти; рекомендуемым балансом в README названа Q6_K. Модель подходит для локального текстового и, при наличии соответствующего мультимодального проектора, визуально-текстового вывода, включая задачи рассуждения. Ограничения связаны с существенными требованиями к памяти, зависящими от выбранной квантизации, необходимостью совместимой версии llama.cpp для ускорения MTP и возможной потерей качества на низких битностях. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-nvfp4full-dflash2-NInfer — мультимодальная conversational-модель на базе Qwen3.8-27B, подготовленная в формате артефакта NInfer. В README разработчик базовой модели явно не указан; указаны исходные проекты Qwen/Qwen3.8-27B и unsloth/Qwen3.8-27B-NVFP4. Артефакт дополнен модулем DFlash2 для speculative decoding и предназначен прежде всего для запуска через форк gpillon/ninfer. Модель рассчитана на генерацию текста, диалоговые сценарии, обработку изображений и задачи coding-agent, особенно при большом числе параллельных запросов с общим системным промптом и схемами инструментов. Форк движка поддерживает повторное использование префиксов, двухуровневое хранение KV-кэша, защиту длительных сессий от вытеснения, streaming и разбор tool calls. Для общих префиксов заявлено повторное использование примерно 99% предварительного вычисления, однако эти показатели относятся к исходному форку движка, а не являются универсальной характеристикой модели. Размер модели — 27B параметров. Используется профиль весов NVFP4-full, включая 281 NVFP4-тензор и 9 BF16-тензоров-исключений; размер файла артефакта составляет около 18,07 GiB. Модуль DFlash2 представляет собой пятислойный sliding-window drafter с окном 2048 и скрытой размерностью 5120. Поддержка языков, точное максимальное контекстное окно базовой модели и фактические характеристики качества в README не указаны; упомянут 1M-context envelope движка NInfer. Главные ограничения — артефакт совместим только с NInfer и не является checkpoint для Transformers, Safetensors или GGUF. Для использования требуется форк gpillon/ninfer с поддержкой DFlash2. Указана лицензия Apache 2.0.

Qwen3.8-Flash-Next-CRACK-JANG_6S — модель, опубликованная dealignai на основе JANGQ-AI/Qwen3.8-Flash-Next-JANG_6S, относящегося к экспериментальной линейке Alibaba Qwen. Это CRACK-abliterated-сборка, в которой удалено поведение отказа при сохранении рассуждений, инструментального взаимодействия и мультимодальных возможностей. Модель предназначена для исследовательских задач, агентных сценариев, работы с инструментами, рассуждений, а также анализа изображений и видео. Модель представляет собой квантованную версию примерно 176-миллиардной MoE-архитектуры с 512 экспертами и около 6 миллиардов активных параметров. В описании указаны гибрид Gated DeltaNet и Qwen Sparse Attention, хешированное n-граммное embedding, встроенная multi-token prediction head, поддержка режимов рассуждений off, low и xhigh, а также vision-language и video-возможности. Заявлены языки English и Chinese. Для запуска используется MLX на Apple Silicon; требуется около 106 ГБ дискового пространства и примерно 82 ГБ активной оперативной памяти, при этом около 24 ГБ таблицы embedding потоково считываются с SSD. К сильным сторонам относятся мультимодальность, поддержка агентных инструментов, рассуждений и эффективная MoE-архитектура с небольшим числом активных параметров. По приведённым тестам CRACK-версия получила 86,10% на MMLU, что на 1,62 процентного пункта ниже базовой модели, и не демонстрировала жёстких отказов в 960 проверках HarmBench. Это одновременно является ограничением и фактором риска: модель намеренно лишена части защитного поведения, поэтому требует осторожного применения и дополнительного контроля безопасности. В README также отмечен один некорректный длинный цикл генерации в режиме xhigh. Модель распространяется по лицензии qwen-community-1.0, обозначенной как other. Она представлена как исследовательский артефакт; ответственность за использование весов возлагается на пользователя. Для запуска рекомендуется окружение vMLX и платформа Apple Silicon.

QwQ-R1-Distill-7B-CoT — диалоговая языковая модель от prithivMLmods, дообученная на базе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Это плотная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста, следование инструкциям и многошаговые рассуждения с подробными объяснениями. Она подходит для решения логических задач, ответов на вопросы, создания и суммирования текстов, а также учебных приложений. Модель принимает текст и генерирует текст; заявленный нативный контекст — 131 072 токена. В карточке указан английский язык. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. В README отмечены риски фактических ошибок и галлюцинаций, возможные смещения обучающих данных, ограниченные знания в узких областях и высокие требования к вычислительным ресурсам.

Yosegi-2 — объединённая языковая модель от Local-Novel-LLM-project, созданная с помощью mergekit и метода TIES. Она предназначена для генерации текста и диалоговых сценариев; при объединении использованы Mistral-7B-v0.3, MetaMath-Mistral-7B, speechless-zephyr-code-functionary-7b и локальная LoRA-адаптация Ninja-v1-RP-expressive-v2. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

DeepSeek-R1-0528-Qwen3-8B-GGUF — квантизированная GGUF-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной командой DeepSeek. Квантизацию выполнил bartowski на основе llama.cpp, а модель распространяется в рамках сообщества LM Studio. Модель предназначена для генерации текста и задач, требующих рассуждений, включая математические задачи и другие сценарии, где важна способность выстраивать цепочку рассуждений. Она создана посредством дистилляции chain-of-thought из DeepSeek-R1-0528 в базовую модель Qwen3 8B. Заявлена поддержка контекста до 128 тысяч токенов и передовые результаты среди открытых моделей на AIME24. Модель относится к текстовым генеративным моделям; сведения о поддерживаемых языках и конкретной архитектуре, помимо основы Qwen3 8B, в README не приведены. Квантизированный формат может быть удобен для локального запуска, однако README не уточняет уровень квантизации, требования к памяти и производительность. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию. Лицензия модели указана как MIT.

Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.

Gemma-2-9B-Chinese-Chat — языковая модель для диалоговой генерации текста, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang. Она создана на базе google/gemma-2-9b-it и дообучена для китайско- и англоязычных пользователей с использованием алгоритма ORPO и более чем 100 тысяч пар предпочтений. Обучение проводилось с помощью LLaMA-Factory. Модель предназначена для общения, ролевых сценариев, использования инструментов, решения математических задач, написания текстов и кода. По сравнению с исходной моделью заявлено уменьшение случаев, когда на китайские запросы модель отвечает по-английски, а также снижение смешения китайского и английского языков в ответах. Модель поддерживает китайский и английский языки, содержит около 9,24 млрд параметров и имеет контекстное окно до 8K токенов. Доступны версии BF16 и GGUF, включая варианты q4_k_m, q8_0 и f16. Сильными сторонами модели являются ориентация на китайско-английские диалоги, улучшенные ролевые ответы, работа с инструментами и математикой, а также наличие форматов для локального запуска через совместимые приложения. Ограничения включают контекст длиной 8K токенов и возможную неточность или непредсказуемость ответов в ролевых сценариях; разработчики отдельно предупреждают, что ответы о личности и происхождении модели могут быть случайными. Модель распространяется по Gemma License.

litert-community/gemma-3-270m-it — компактная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для локального и ресурсоограниченного развертывания, включая мобильные устройства, веб-приложения, настольные системы и собственную облачную инфраструктуру, с использованием LiteRT и совместимых инструментов Google AI Edge. Модель содержит 270 млн параметров и поддерживает генерацию текста для ответов на вопросы, суммаризации документов, анализа и рассуждений. Для семейства Gemma 3 заявлены мультимодальные возможности с обработкой текста и изображений и генерацией текста; изображения нормализуются до 896 × 896 и кодируются в 256 токенов. Для вариантов 1B и 270M указан контекст до 32K токенов на запрос, включая вход и доступный объём вывода. Поддерживается более 140 языков. Данные обучения имеют срез знаний по август 2024 года и включают веб-тексты, код, математические материалы и изображения. Сильными сторонами модели являются небольшой размер, возможность работы на устройствах с ограниченными ресурсами, открытые веса и пригодность для встроенных приложений. Ограничения включают меньший объём параметров по сравнению с крупными вариантами Gemma 3, возможные ограничения качества в сложных задачах и то, что GPU-ускорение для Gemma 3 270M в указанных сценариях на момент публикации README ещё находилось в разработке. Использование регулируется лицензией Gemma и соответствующими условиями Google.

voidsip/gemma-4-26B-A4B-it-abliterated-Q4_0-GGUF — это GGUF-квантизация модели Gemma 4, разработанной Google. Репозиторий voidsip содержит только конвертацию формата; базовая модель и её abliteration предоставлены Google и huihui-ai соответственно. Модель предназначена для генерации текста и поддерживает работу через llama.cpp, включая вызов инструментов. Она является reasoning-моделью и может выдавать рассуждения в поле reasoning_content перед основным ответом. Архитектура — MoE: 25,2 млрд параметров всего и около 3,8 млрд активных на токен, 128 экспертов с маршрутизацией top-8. Используется квантизация Q4_0, размер файла составляет около 13 755 MiB, все 658 тензоров сконвертированы. В README указана поддержка контекста до 64K; языки и мультимодальные возможности не описаны. Благодаря разреженной активации модель может работать существенно быстрее плотной модели сопоставимого размера; на RTX 5090 заявлены примерно 219 токенов/с при генерации и 213 токенов/с при обработке промпта. К ограничениям относятся требования к совместимому рантайму и аппаратному обеспечению. Для FreeToken на Windows нужны ninja, nvcc с настроенной CUDA_HOME и MSVC cl.exe. Abliteration удаляет исходное поведение отказа, поэтому модель может не отклонять запросы, которые отклоняла базовая версия; это не отменяет ограничений допустимого использования. Модель распространяется на условиях Gemma Terms of Use, включая Gemma Prohibited Use Policy.

RedHatAI/granite-3.1-2b-instruct-quantized.w4a16 — квантизированная версия инструкционной языковой модели IBM Granite 3.1 2B Instruct, подготовленная разработчиками Neural Magic. Модель работает с текстом на входе и генерирует текст на выходе; заявленный язык — английский. Она предназначена для диалоговых сценариев, генерации и обработки текста, а также локального и серверного инференса. Модель использует архитектуру granite-3.1-2b-instruct и содержит около 2 миллиардов параметров. Веса и активации квантизированы до INT4; квантизация применяется к весам линейных операторов внутри трансформерных блоков. Это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к GPU-памяти примерно на 75%. Для эффективного запуска рекомендуется vLLM версии 0.5.2 или новее; в приведённом примере используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенно сниженные требования к памяти и удобство развертывания через vLLM с OpenAI-совместимым сервером. На OpenLLM Leaderboard V1 модель получила средний результат 61,54 против 61,98 у неквантизированной версии, что указывает на небольшую потерю качества после квантизации. Ограничения включают ориентацию на английский язык, необходимость совместимого инференсного стека и возможное снижение качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

Это независимая производная модель Huihui-Qwen3.8-27B-abliterated, подготовленная на основе исходных BF16-весов Huihui и с использованием схемы NVFP4 от Gittensor. Релиз не является официальным продуктом Huihui, Gittensor, Qwen, NVIDIA или SGLang. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая агентские задачи, работу с инструментами и сложные задачи рассуждения и программирования. Она основана на архитектуре Qwen3.8 с 27 млрд параметров и использует квантование NVFP4 W4A4 с размером группы 16. В процессе подготовки vision-компоненты, embeddings и отдельные слои Gated-DeltaNet были исключены из NVFP4; native MTP head удалён из deployment-варианта. Поддерживается контекст до 262 144 токенов при конфигурации SGLang, указанной в карточке. Сведения о языках обучения или полном перечне поддерживаемых языков отсутствуют. К сильным сторонам относятся сниженные требования к памяти благодаря NVFP4, совместимость с layout и метаданными Gittensor, а также возможность запуска на одной NVIDIA RTX 5090 с SGLang. Для ускоренного декодирования предусмотрена отдельная совместимая модель-черновик DSpark. Ограничения включают ориентацию на конкретную GPU-конфигурацию и serving-стек, необходимость специальной настройки SGLang, отсутствие встроенного MTP head и зависимость ускоренного режима от отдельного DSpark checkpoint. Архитектурные и поведенческие последствия абляции слоёв 18–51 по описанию исходной модели и слоёв 17–51 по прямому сравнению тензоров отдельно не оценены.

Ling-3.0-tiny-GGUF — лёгкая гибридная reasoning-модель с архитектурой Mixture of Experts (MoE), разработанная командой inclusionAI. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и агентских сценариев, где важны широкие возможности при низкой стоимости инференса. Формат GGUF ориентирован на локальное и ресурсно-ограниченное развертывание. Модель содержит 7,9 млрд параметров, при этом для обработки каждого токена активируется около 1,3 млрд параметров, что снижает вычислительные затраты по сравнению с полным использованием всех параметров. README не сообщает поддерживаемые языки, размер контекстного окна, доступные модальности и конкретные ограничения качества. Модель распространяется по лицензии MIT.

Llama3.1-Dark-Enigma — объединённая языковая модель на архитектуре Llama 3.1, опубликованная пользователем agentlans. По карточке модели, веса нескольких моделей Llama 3.1 8B объединены методом model_stock из mergekit; метаданные указывают 7,5 млрд параметров и контекст до 131 072 токенов. Модель работает с текстом и предназначена для генерации ответов и диалога. Модель подходит для анализа текстов и исследовательских идей, написания и редактирования материалов, ролевых диалогов и помощи с кодом. Карточка характеризует её как uncensored, поэтому она может отвечать на чувствительные темы. Указана лицензия Llama 3.1; использование должно соответствовать её условиям. В карточке отмечено, что качество не оценивалось конкретными метриками. Модель может ошибаться в фактах, особенно при ответах без предоставленного контекста; результаты следует проверять. Она не подключается к интернету и, согласно карточке, не знает специфичных API, библиотек и фреймворков.

IntervitensInc/Llama-3.1-Minitron-4B-Width-Base-chatml — текстовая авторегрессионная модель семейства Llama, разработанная NVIDIA. Это базовая модель для генерации текста и адаптации к различным задачам обработки естественного языка; в этой версии добавлены токены ChatML для дообучения в формате диалога. Модель получена структурным прореживанием Llama-3.1-8B по размеру эмбеддингов и промежуточному слою MLP, после чего прошла дальнейшее обучение с дистилляцией на 94 млрд токенов. Архитектура включает 32 слоя, 32 головы внимания, Grouped-Query Attention и RoPE; число параметров — 3,9 млрд. Модель принимает и выдаёт текст. В README заявлена поддержка английского и многоязычного текста, а также кода; корпус включал веб-страницы, диалоги и документы из разных областей. Метаданные указывают контекстное окно 131 072 токена. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные сценарии; README также сообщает о готовности к коммерческому использованию. Указана лицензия other, поэтому перед использованием следует свериться с условиями NVIDIA. Модель может выдавать неточные, неполные или избыточные ответы и воспроизводить токсичность и предвзятость из обучающих данных.

DavidAU/Llama3.1-MOE-4X8B-Gated-IQ-Multi-Tier-Deep-Reasoning-32B-GGUF — текстовая instruct-модель, разработанная DavidAU на базе Llama 3.1 и объединяющая четыре 8B-модели в конфигурации Mixture of Experts. В состав входят Llama-3.1-DeepHermes-3-8B-Preview для рассуждений, а также Llama-3.1-Hermes-3-8B, Llama-3.1-dolphin-2.9.4-8b и Llama-3.1-SuperNova-Lite для генерации и дополнительной обработки. Заявленный общий размер — 32B параметров, при этом модель описывается как имеющая около 25B весов. Распространяется в формате GGUF и рассчитана на контекст до 128K токенов. Модель предназначена для текстовой генерации, глубокого рассуждения, решения задач, творческого письма, сторителлинга, ролевых сценариев и работы с инструментами. Поддерживает управление режимом рассуждений через системные промпты, включая включение, отключение и многоуровневое рассуждение, а также совместима с вызовами инструментов благодаря встроенному Llama 3.1 Instruct. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Сильными сторонами являются сочетание нескольких экспертных моделей, возможность управлять режимом рассуждений и универсальность сценариев применения. README рекомендует шаблон Llama 3 Instruct, контекст не менее 4K–8K токенов и более крупные квантизации для лучшего качества. К ограничениям относятся возможная нестабильность активации блока рассуждений, необходимость повторной генерации и зависимость качества от промпта, температуры и выбранной квантизации; заявленные улучшения производительности не подтверждены независимыми бенчмарками. Лицензия — Apache-2.0.

bartowski/Llama-3.2-3B-Instruct-GGUF — это квантованная в формате GGUF версия языковой модели Llama 3.2 3B Instruct, разработанной Meta и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, помощь в написании и обработке текста, а также локальный инференс в совместимом программном обеспечении. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель содержит около 3 миллиардов параметров и относится к текстовым моделям; сведения о точной архитектуре, размере контекста, конкретном уровне квантования и поддержке дополнительных модальностей в карточке не приведены. Формат GGUF ориентирован на эффективный запуск и снижение требований к памяти, однако квантование может уменьшать точность по сравнению с исходными весами. Модель распространяется по лицензии Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy.

QuantFactory/Llama-3-KoEn-8B-GGUF — квантизированная версия модели beomi/Llama-3-KoEn-8B, созданная с помощью llama.cpp. Исходная модель разработана Junbum Lee (Beomi) на основе Llama 3 8B; обучение продолжалось на корпусе на корейском и английском языках при поддержке программы TRC и выполнялось на TPUv4-256. Модель предназначена для генерации текста и кода, а также для адаптации к различным задачам обработки естественного языка. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и механизмом GQA. Доступен один вариант размером 8B параметров, с контекстом до 8k токенов и объёмом обучения более 80B токенов. На вход принимает только текст и генерирует текст или код; модель является статичной и обучена на офлайн-данных. README не уточняет конкретный формат квантизации и его влияние на производительность или качество. К сильным сторонам относятся поддержка корейского и английского языков, относительно компактный размер и возможность локального запуска благодаря квантизации. Ограничения включают статус предварительного релиза, дату отсечения знаний — июнь 2023 года, отсутствие встроенной инструкционной настройки у базовой модели и необходимость самостоятельно реализовать меры безопасности. Использование регулируется лицензией CC-BY-NC-SA-4.0 в сочетании с лицензией Llama 3 и соответствующими правилами допустимого использования; коммерческие и иные сценарии должны проверяться на соответствие этим условиям.

Omega AI 50B — разговорная текстовая модель семейства Omega AI, опубликованная K168-V0JL как reference repository. Это дообученная производная NVIDIA Llama-3.3-Nemotron-Super-49B-v1 с плотной архитектурой DeciLMForCausalLM; в метаданных указано 87 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Она предназначена для текстовой генерации и диалоговых сценариев. README сообщает, что репозиторий служит справочным, а брендинг Omega AI не меняет архитектуру или исходные веса базовой модели. Для исходной модели NVIDIA каталог указывает применение в англоязычных диалогах, рассуждениях, программировании, RAG и агентных приложениях; эти сведения описывают базовую модель и не подтверждены отдельно для производной Omega AI. Файлы опубликованы в формате safetensors. Условия лицензии и атрибуции исходной модели продолжают действовать; конкретная лицензия в предоставленных данных не указана.

ehristoforu/phi-4-25b — языковая модель для генерации текста и диалогов, созданная объединением через mergekit слоёв microsoft/phi-4 методом passthrough. Модель имеет плотную архитектуру семейства Phi-3 с классом Phi3ForCausalLM и содержит 24,4 млрд параметров; для запуска используется библиотека Transformers, веса представлены в формате safetensors. Заявленная длина контекста — 16 384 токена. Модель подходит для диалоговых сценариев и генерации текста. Базовая Phi-4 от Microsoft Research рассчитана на английский язык, рассуждения, математику и программирование; отдельные возможности этой сборки помимо генерации текста в карточке не описаны. Сборка не добавляет отдельной предметной специализации. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Phi-4-mini-instruct-GGUF — это набор квантованных файлов в формате GGUF для исходной модели microsoft/Phi-4-mini-instruct. Базовую модель разработала Microsoft, а квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Набор содержит варианты с квантованием 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Архитектура, количество параметров, поддерживаемые языки и размер контекста в предоставленных данных не указаны. Ключевые преимущества — доступность нескольких уровней квантования и совместимость с широким набором локальных средств запуска, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения связаны с потерями качества, возможными при низкобитном квантовании, а также с зависимостью характеристик производительности от выбранного варианта и оборудования. Лицензия в README не указана.

Phi-4-QwQ — дообученная на базе Microsoft Phi-4 языковая модель для диалогов и генерации текста с акцентом на пошаговое рассуждение и ответственное решение задач. Модель содержит 14,1 млрд параметров, использует плотную архитектуру и доступна в формате safetensors для библиотеки Transformers; заявленный контекст — 16 384 токена. Модель предназначена для разложения сложных задач на этапы, логических и математических рассуждений, объяснений, учебного сопровождения, написания текстов и диалоговых помощников. В README описано дообучение методами SFT и DPO на синтетических и отфильтрованных данных. Карточка заявляет многоязычные возможности, однако метаданные указывают только английский язык. Модель может ошибаться при неоднозначных запросах, воспроизводить смещения и выдавать вредные или устаревшие ответы; для критически важных сценариев нужна проверка человеком. Для узкоспециализированных областей может потребоваться дополнительная настройка. Лицензия — MIT.

Qwen2.5-72B — базовая языковая модель семейства Qwen2.5, разработанного командой Qwen. Это предварительно обученная плотная авторегрессионная модель на 71,5 млрд параметров с архитектурой Qwen2 и классом Qwen2ForCausalLM. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания; модель содержит 80 слоёв и поддерживает контекст до 131 072 токенов. Модель предназначена для продолжения текста и как основа для последующего дообучения, например SFT или RLHF. Семейство Qwen2.5 поддерживает более 29 языков, включая русский, и улучшено для задач программирования, математики, следования инструкциям, работы с таблицами и создания структурированных ответов. Однако эта версия — базовая, а не настроенная для диалога, поэтому её не рекомендуют напрямую использовать для разговорных сценариев. Репозиторий распространяется под лицензией с обозначением `other`; конкретные условия следует сверить с лицензией модели на Hugging Face.