II.10Разработка и эксплуатация AI/ML-систем

Qwen3-VL-2B-Instruct-FP8 — это FP8-квантизированная версия мультимодальной модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Квантование выполнено методом fine-grained FP8 с размером блока 128; согласно README, показатели почти идентичны исходной версии в формате BF16. Модель предназначена для задач image-text-to-text и обработки текста, изображений и видео. Модель ориентирована на визуальное понимание и рассуждение, распознавание текста на изображениях, анализ документов, пространственное восприятие, понимание видеосцен и временных событий, а также взаимодействие с графическими интерфейсами и инструментами. Она может применяться для визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и видео, STEM- и математических задач, OCR и агентских сценариев. Заявлена поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Архитектура относится к семейству Qwen3-VL и включает механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Указан нативный контекст 256K с возможностью расширения до 1M, но эти характеристики описаны для поколения Qwen3-VL в целом и не уточнены отдельно для данной 2B-версии. Размер модели — 2B параметров по идентификатору базовой модели. README рекомендует развёртывание через vLLM или SGLang и отмечает, что Transformers пока не поддерживает прямую загрузку этих весов. Модель распространяется по лицензии Apache-2.0.

Модель создана Liquid AI и представляет собой дообученную для агентных сценариев версию LFM2.5-2.6B — плотной языковой модели семейства LFM2. Она рассчитана на локальное и периферийное развёртывание и поддерживает диалог, вызов инструментов, следование инструкциям и многошаговые агентные задачи. Модель принимает текст и генерирует текст; архитектура включает 30 слоёв, около 2,6 млрд параметров и контекст до 131 072 токенов. Модель подходит для извлечения данных, ответов с опорой на документы и RAG, а также длинных контекстных и агентных рабочих процессов. По данным карточки, её обучали на взаимодействиях в популярных агентных средах; заявлена эффективная локальная инференс-работа. Поддерживаются 17 языков, включая русский, английский, китайский, арабский и хинди. Карточка не рекомендует модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами лицензии репозитория. Доступен формат safetensors для Transformers; в README также упомянуты варианты GGUF и ONNX.

Llama3.1-Typhoon2-8B-Instruct — модель для выполнения инструкций, разработанная командой Typhoon AI на основе Llama 3.1 8B. Это плотная авторегрессионная модель семейства Llama с примерно 7,5 млрд параметров; метаданные указывают контекст до 131 072 токенов. Репозиторий содержит веса в формате Safetensors, а для работы требуется Transformers версии 4.45.0 или новее. Модель предназначена прежде всего для диалогов и выполнения инструкций на тайском и английском языках. Среди сценариев — ответы на вопросы, работа с длинным контекстом, вызов функций, а также задачи по математике и программированию. В приведённых авторами тестах показаны результаты для обоих языков, включая тайское переключение между языками и вызов функций. Авторы отмечают, что модель продолжает разрабатываться и может выдавать неточные, предвзятые или нежелательные ответы; встроенные защитные механизмы лишь частичны. Модель распространяется по лицензии Llama 3.1 Community License, поэтому перед использованием необходимо соблюдать её условия.

Это конвертированная в формат MLX версия Llama 3.3 70B Instruct от Meta, опубликованная сообществом mlx-community. Модель с плотной архитектурой LlamaForCausalLM содержит 69,5 млрд параметров и предназначена для генерации текста и диалоговых сценариев; также поддерживает интерфейс вызова инструментов. Веса представлены в формате safetensors с точностью fp16, а нативный контекст составляет до 131 072 токенов. Модель поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Для использования требуется MLX; README указывает конвертацию из meta-llama/Llama-3.3-70B-Instruct с помощью mlx-lm 0.22.2. Лицензия — Llama 3.3 License; перед использованием следует соблюдать её условия. Это крупная модель, поэтому для запуска требуются соответствующие аппаратные ресурсы.

Richard Young подготовил декензурированную версию Qwen2.5-3B-Instruct с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,1 млрд параметров для диалоговой генерации текста. Она подходит для чат-ботов, ответов на инструкции, написания и анализа текста, а также задач по программированию и математике. Модель принимает текст и выдаёт текст; контекст составляет 32 768 токенов, поддерживается генерация до 8 192 токенов. В основе лежит Qwen2.5-3B-Instruct с архитектурой Qwen2ForCausalLM; заявлены RoPE, SwiGLU, RMSNorm и grouped-query attention. README указывает многоязычную поддержку более чем 29 языков, включая русский и английский. В приведённом сравнении модель отказала в 3 случаях из 100 против 96 у исходной версии, поэтому её следует считать менее склонной к отказам при запросах на чувствительные темы. Это не означает гарантии полноты или точности ответов. В метаданных лицензия обозначена как other, а README не содержит её условий, поэтому перед использованием следует проверить лицензию на странице модели и базовой модели. Модель предназначена для работы через библиотеку Transformers.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это GGUF-версия модели на базе DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель создана в результате многоэтапной дообученной настройки и слияния нескольких моделей Qwen3.5 9B; в разработке также участвовал Nightmedia. Предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. Заявлена как полностью uncensored и ориентированная на минимизацию отказов. Модель поддерживает контекст до 256k токенов, английский и китайский языки, а также обработку изображений. Для работы с изображениями требуется отдельный файл mmproj, размещённый в одной папке с GGUF-файлом. Доступны обычные и MTP-квантизации в форматах GGUF. NEO IMATRIX заявлена как технология, улучшающая точность квантизированных версий и работу с длинным контекстом, а MTP-варианты могут ускорять генерацию за счёт многотокенного предсказания. К сильным сторонам относятся высокая заявленная производительность на ряде тестов общего назначения, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность запуска в стандартных приложениях, поддерживающих GGUF. Ограничения включают зависимость скорости от аппаратного обеспечения и параметров генерации; MTP-версии могут работать хуже обычных при низком уровне принятия предсказанных токенов, сложных творческих задачах или температуре выше 1. Модель не обязательно превосходит более крупные версии во всех задачах. Лицензия — Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Mungert/Qwen3-VL-8B-Instruct-GGUF — квантованная GGUF-версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen и подготовленной пользователем Mungert с помощью llama.cpp. Модель предназначена для задач «изображение—текст»: анализа изображений и видео, генерации текста, визуального вопросно-ответного взаимодействия, OCR, пространственного рассуждения, анализа документов, визуального программирования и взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 8 млрд параметров и поддерживает обработку текста, изображений и видео. Заявлены нативный контекст до 256K токенов с возможностью расширения до 1M, понимание длительных видео с временной индексацией, улучшенное пространственное рассуждение и OCR для 32 языков. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Формат GGUF ориентирован на запуск через llama.cpp и другие совместимые средства локального инференса. Сильными сторонами являются мультимодальность, распознавание текста в сложных условиях, анализ пространственных и временных отношений, работа с длинным контекстом и возможности визуального агента. Точность и размер файла зависят от выбранного уровня квантования: низкая разрядность может ухудшать качество, тогда как описанный автором подход с повышением точности отдельных слоёв увеличивает размер модели и потенциально сохраняет больше точности. README не содержит подробных результатов тестирования конкретных квантованных файлов и сведений о требованиях к оборудованию. Лицензия — Apache 2.0.

Qwen3-VL-8B-Instruct-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen; данный репозиторий содержит её веса в формате GGUF и включает исправления chat template от Unsloth. Модель предназначена для диалогов и генерации текста по текстовым и визуальным входам, включая анализ изображений и видео, OCR, визуальное рассуждение, понимание пространственных отношений, обработку документов, визуальное программирование и взаимодействие с графическими интерфейсами через инструменты. Модель имеет плотную архитектуру и размер 8B параметров. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, поддержка видео с временной привязкой событий и OCR на 32 языках; полный список языков текстового общения в README не указан. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и изображений, распознавание деталей и документов, пространственный и мультимодальный анализ, а также сценарии визуального агента. Ограничения, точные требования к ресурсам и характеристики конкретной GGUF-квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия gemma-3-12b-it-ultra-uncensored-heretic, разработанная независимым автором LLMfan46 на базе Google Gemma 3 12B Instruct. Модель создана с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения встроенных ограничений на ответы при сохранении исходных возможностей. По приведённому сравнению, частота отказов снизилась с 97 до 4 из 100, а KL-дивергенция составляет 0,0131 относительно оригинальной модели. Модель предназначена для генерации текста, ответов на вопросы, анализа, суммаризации, рассуждений и понимания изображений. Gemma 3 поддерживает текстовые и графические входные данные с генерацией текста, контекст до 128K токенов, выход до 8192 токенов и более 140 языков. Для мультимодальной работы требуется отдельный vision projector. Доступны варианты GGUF с квантованием от BF16 и Q8_0 до IQ3_XXS; версии с более низкой разрядностью занимают меньше места, но могут сильнее терять в качестве. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Сильной стороной является сочетание относительно компактного размера 12B, мультимодальности, длинного контекста и уменьшенного числа отказов. Ограничения включают возможное снижение качества при агрессивном квантовании, необходимость vision projector для работы с изображениями и потенциальные риски, связанные с ослаблением механизмов отказа. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google. Базовые модели Gemma разработаны Google DeepMind.

llm-jp-4.1-8b-thinking — языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная трансформерная модель семейства Llama с 7,8 млрд параметров по метаданным и контекстом до 65 536 токенов. Репозиторий содержит веса в формате safetensors; для диалогов предусмотрен шаблон, совместимый с форматом ответов OpenAI Harmony, но для токенизации требуется прилагаемый токенизатор модели. Модель предназначена для генерации ответов и рассуждений в диалоге, а также для задач математики, естественных наук, вопросов и ответов, программирования, следования инструкциям и перевода между японским и английским. Она обучалась на японском и английском; после предварительного обучения прошла дообучение с учителем и выравнивание методом DPO, без обучения с подкреплением. Контекст и наличие диалогового режима делают её пригодной для многошаговых запросов и работы с длинными текстами. Разработчики оценивают модель на общих задачах, безопасности и вызове инструментов. Карточка предупреждает, что ответы могут быть неточными, неподходящими или нежелательными, поэтому результаты следует проверять. Разработчики не предназначают модель для непосредственного применения в производственных сервисах. Лицензия — Apache-2.0.

Luna-8B-Instruct-262k — объединённая модель на архитектуре Llama 3, созданная Ppoyaa с помощью LazyMergekit. В состав входят gradientai/Llama-3-8B-Instruct-262k, jondurbin/bagel-8b-v1.0, mlabonne/ChimeraLlama-3-8B-v3 и nbeerbower/llama-3-wissenschaft-8B; в конфигурации указан метод model_stock и формат bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы. В репозитории заявлено окно контекста до 262 144 токенов; размер составляет 7,5 млрд параметров. Использование предусмотрено через Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16 — экспериментальная модификация мультимодальной модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 от AEON-7. Это вариант BF16 с удалённым механизмом отказов методом ортогонализации подпространства в остаточном потоке; модель предназначена для диалогов, рассуждений, генерации кода и работы с изображениями и аудио. Архитектура NemotronH сочетает Mamba2, attention и MoE; в мультимодальный стек входят зрительная башня RADIO и аудиоэнкодер Parakeet. Метаданные указывают поддержку английского языка и задач генерации текста и any-to-any. Автор сообщает, что мультимодальные веса сохранены без изменений, а в точечных проверках сохранились арифметика, перевод, код и другие навыки. При этом релиз помечен как альфа: внутренние испытания выявили зацикливание рассуждений, пустые или повторяющиеся ответы и ухудшение в многоходовых диалогах; разработчик рекомендует считать модель исследовательским артефактом. Лицензия в метаданных обозначена как other, поэтому условия использования следует уточнить по карточке модели.

Qwen3.6-35B-A3B-Uncensored-Genesis-Final-NVFP4-GGUF — квантизированная в формате NVFP4 GGUF версия модели LuffyTheFox. NVFP4-квантизацию и интеграцию MTP выполнил jan1k; базовая модель разработана HauhauCS. Модель распространяется по лицензии Apache-2.0. Это мультимодальная модель для генерации текста и работы с изображениями, ориентированная на диалоговые сценарии, программирование, точные задачи, творческое взаимодействие и roleplay. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется дополнительный файл mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf. Модель предназначена для запуска через llama.cpp и поддерживает контекст до 128K токенов. Архитектура — Mixture of Experts: около 35 млрд общих параметров, примерно 3 млрд активных на токен, 8 маршрутизируемых экспертов и 1 общий эксперт. Доступен вариант с MTP для speculative decoding, способный ускорять генерацию. К сильным сторонам относятся сравнительно низкая вычислительная нагрузка на токен, поддержка reasoning и мультимодальности, а также оптимизация для GPU NVIDIA Ampere, Ada Lovelace и Blackwell. Ограничения включают зависимость от совместимого программного обеспечения и оборудования, необходимость отдельного vision-проектора для изображений и отсутствие в карточке независимых бенчмарков качества.

Chungulus/Qwen3.8-27B-Q3_K_L-GGUF — это независимая ванильная GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообучением, слиянием или изменённой версией; сохранены исходные шаблон чата, режимы рассуждений, нативный формат вызова инструментов и мультимодальные компоненты. Квантизация выполнена в формате Q3_K_L с использованием llama.cpp, размер основного файла составляет около 14,56 ГБ, а полный репозиторий занимает около 15,5 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и работы с видео через vision projector. Она использует гибридную архитектуру с чередованием Gated DeltaNet и полнотекстового внимания, а также содержит MTP-тензоры, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов и мультимодальные сценарии прошли функциональную проверку; валидационная скорость составила около 14,77 токена в секунду на тестовой системе. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower, проектор, токенизатор и MTP-метаданные, а также ориентировочно не менее 19 ГБ доступной памяти без гарантии пикового потребления. Максимальный размер контекста в README не указан и полноценно не тестировался, языки также не перечислены. Квантизация может снижать качество, особенно из-за небольшой разрядности. Модель и её квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без поведения отказа; заявленные возможности базовой модели сохраняются без изменений в обучающих данных и общем назначении. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой мультимодального ввода через отдельный BF16-проектор. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Указана поддержка английского, китайского и других языков. Выпуск представлен в форматах GGUF с различными уровнями квантизации, включая специализированные K_P-кванты. К сильным сторонам относятся длинный контекст, мультимодальность, сохранённые встроенные механизмы MTP/NextN и ускорение HauhauCS FastMTP 32K. Заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для задач рассуждения по сравнению с вариантами без MTP, однако эти показатели зависят от сценария и конфигурации. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских задач, где предпочтительнее сбалансированная версия. Для работы с изображениями и видео требуется отдельный vision-проектор. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Thinking-FP8 — мультимодальная модель семейства Qwen, представленная в репозитории Qwen и основанная на Qwen3-VL-4B-Thinking. Это FP8-квантизированная версия с мелкозернистым квантованием и размером блока 128; заявлено, что её показатели почти идентичны исходной модели в формате BF16. Модель предназначена для генерации текста по изображениям и тексту, а также для анализа видео. Модель ориентирована на визуальное понимание и рассуждение, включая распознавание текста на изображениях, анализ документов, STEM- и математические задачи, пространственное восприятие, понимание динамики видео, локализацию событий по временным меткам и визуальное программирование. Она также рассчитана на сценарии visual agent: распознавание элементов интерфейса ПК и мобильных устройств, понимание их функций, вызов инструментов и выполнение задач. Поддерживаются изображения, видео и текст; заявлен нативный контекст 256K с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. К архитектурным особенностям относятся Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и механизм выравнивания текста с временными метками. Сильными сторонами являются расширенное визуальное и пространственно-временное понимание, обработка длинного контекста, OCR и мультимодальное рассуждение. Ограничение состоит в том, что на момент публикации README Transformers не поддерживал прямую загрузку этих весов; для развёртывания рекомендованы vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Aether-492B — заявленная в README универсальная языковая модель CortexAether для диалогов, рассуждений, программирования, математики, анализа и творческой генерации. Метаданные Hugging Face описывают её как decoder-only MoE-модель семейства AetherMind с архитектурой AetherMindForCausalLM, библиотекой Transformers и форматом safetensors. При этом метаданные указывают 5,8 млн параметров, контекст 1024 токена и теги языков fa и en; заявленные в названии 492 млрд параметров этому не соответствуют. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, перевода, помощи с кодом и многошаговых задач. Возможны диалоговые и агентные сценарии, в том числе использование в качестве языкового компонента RAG-систем. README заявляет поддержку многоязычного общения, но не приводит результатов оценки; перечисленные там длинный контекст и широкий набор способностей следует считать заявленными, а не подтверждёнными характеристиками. Лицензия — Apache-2.0.

Apertus-v1.5-8B — мультимодальная языковая модель на 8 млрд параметров, разработанная Swiss AI. Она принимает текст, изображения и аудио и генерирует текст; подходит для диалогов, следования инструкциям, анализа визуального и аудиоввода, а также задач рассуждения в режиме thinking. Модель использует decoder-only Transformer с активацией xIELU и поддерживает контекст до 262 144 токенов. Это продолжение предварительного обучения Apertus 1.0 с мультимодальными данными и улучшенной настройкой для следования инструкциям и работы с инструментами. Семейство ориентировано на широкий набор языков и заявлено как полностью открытое: доступны веса, данные и сведения о процессе обучения. Для запуска README описывает модифицированные версии vLLM и Transformers; поддержка инструментария в стандартных выпусках на момент составления карточки находилась в разработке. Модель распространяется по лицензии Apache-2.0. Она может выдавать фактически неверные, логически непоследовательные или предвзятые ответы, поэтому важные сведения следует проверять. В режиме thinking вызов инструментов не поддерживается.

DFM Mimir v1 — языковая модель, разработанная в рамках Danish Foundation Models при сотрудничестве Университета Южной Дании, Орхусского университета, Копенгагенского университета и Alexandra Institute. Модель обучена с нуля на архитектуре HRM-Text и предназначена для генерации текста и диалогового следования инструкциям. В репозитории указано около 1 млрд параметров, а метаданные Hugging Face содержат оценку 855,6 млн; длина контекста — 4096 токенов. Модель ориентирована на датский и английский языки. Авторы сообщают о конкурентных результатах на тестах по датскому, английскому, математике и программированию, включая новый уровень результатов для датского среди сравниваемых моделей. Она может использоваться для диалога, ответов на вопросы, следования инструкциям, а также задач на рассуждение, математику и код. Лицензия — Apache 2.0. Авторы предупреждают, что модель обучалась только на датском и английском и может плохо работать на других языках. Она не проходила специальную настройку безопасности и может отражать социальные предубеждения обучающих данных.

granite-4.1-8b-heretic — это децензурированная версия IBM Granite 4.1 8B Instruct, созданная пользователем RACER IS OP на основе модели ibm-granite/granite-4.1-8b-instruct. Модель предназначена для генерации текста, диалоговых сценариев, написания кода, задач на рассуждение и других случаев, где требуется прямое следование инструкциям без типичных отказов базовой модели. Она ориентирована на локальный запуск на потребительских GPU, CPU и Apple Silicon, а также может использоваться через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Модель имеет нативный размер около 8,4 млрд параметров; доступны веса BF16 и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. В README указана поддержка английского языка, архитектурные детали и размер контекста не приведены. Децензурирование выполнено с помощью Heretic 1.4.0 методом directional ablation («abliteration»): целевые изменения весов внесены в выходные проекции attention и down-projections MLP без дообучения. Заявляется, что знания и основные возможности базовой модели в значительной степени сохранены. Сильной стороной модели является сочетание возможностей 8B-модели, доступности различных уровней квантования и подавления отказов, что делает её удобной для локального использования. Ограничение состоит в намеренном отсутствии дополнительной фильтрации безопасности: модель может выполнять запросы, от которых отказалась бы базовая версия, в том числе нежелательные. Поэтому разработчик рекомендует не использовать её за незащищёнными публичными интерфейсами без собственного контроля и модерации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Locutusque разработала Llama-3-NeuralHercules-5.0-8B — дообученную модель семейства Llama 3 для диалогов и решения сложных задач. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на контекст до 8192 токенов. Она принимает текст и генерирует текстовые ответы; в карточке заявлена поддержка английского и многоязычное применение. Модель дообучена на Hercules v5.0 в течение двух эпох, а затем на mlabonne/orpo-dpo-mix-40k методом DPO. Её предполагаемые сценарии — ответы на вопросы, научное и математическое рассуждение, помощь с программированием и разбор медицинских текстов. Указана лицензия Llama 3 в метаданных, тогда как README заявляет Apache-2.0; условия лицензирования следует сверить с актуальными файлами репозитория перед использованием.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh. Это многоэтапная дообученная и объединённая модель, созданная с использованием Unsloth и рассчитанная на запуск на потребительском оборудовании. В README заявлена поддержка английского и китайского языков, а также vision, однако подробности о визуальной архитектуре и максимальном размере контекста не указаны. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, художественной генерации, ролевых сценариев и универсального диалога. Среди заявленных характеристик — улучшенные instruction following, интеллект, problem solving и thinking/reasoning. Доступны regular и MTP GGUF-квантизации, включая 4-битные и 8-битные варианты; все кванты используют NEO IMATRIX, а часть выходного тензора переведена в 16-битную точность. MTP-варианты поддерживают multi-token prediction. К сильным сторонам относятся заявленные улучшения относительно базовой Qwen3.6-27B, высокое качество низкоразрядных квантов, работа с текстом и изображениями, а также широкий спектр сценариев применения. Ограничения включают отсутствие в README точных результатов независимого тестирования, детальных требований к памяти и производительности, размера контекста и описания формата vision-входов. Модель распространяется по лицензии Apache-2.0.

ddark-il/Qwen3.8-Flash-Next-Uncensored-Mixed-omlx — это MLX-квантизированная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, подготовленная для запуска через oMLX на устройствах Apple Silicon. Модель основана на архитектуре qwen4_exp с разреженными экспертами (MoE), поддерживает текстово-визуальные сценарии и имеет тег image-text-to-text. В README не указано, что ddark-il является исходным разработчиком базовой модели; он предоставляет адаптированный квантованный вариант. Модель содержит около 180 млрд параметров и использует смешанную AWQ/affine-квантизацию с эффективной точностью 4,86 бит на параметр. Размер файлов составляет около 109,24 ГБ, а заявленная длина контекста — до 262 тысяч токенов. В составе предусмотрены MTP-компонент для speculative decoding, GDN и sparse attention, а также vision-модули. Квантизация распределена по чувствительности компонентов: маршрутизируемые эксперты и некоторые таблицы имеют 4-битную точность, критичные элементы сохранены в 8-битном или BF16-виде. Модель предназначена для длинноконтекстной генерации текста, агентских сценариев с вызовами инструментов и задач, сочетающих текст и изображения. На M5 Max с 128 ГБ памяти и oMLX 0.6.4 автор README измерил около 30,7 токена в секунду при работе с длинными агентскими сессиями. Ограничения включают требование oMLX версии не ниже 0.6.3rc3, значительное потребление памяти, зависимость от корректной настройки mmap для PLE-таблицы и отсутствие дополнительного обучения или калибровки. Лицензия — Apache-2.0.

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL в варианте с режимом рассуждений, представленная в репозитории Unsloth как набор весов с исправлениями шаблона чата. Она принимает текст и изображения и предназначена для диалога, визуального анализа и ответов на вопросы по изображениям; карточка также описывает распознавание текста, понимание видео, пространственные рассуждения и взаимодействие с инструментами. Архитектура — Qwen3 VL MoE для условной генерации; веса опубликованы в формате safetensors, лицензия Apache-2.0. В README заявлены контекст 256K с возможностью расширения до 1M, поддержка OCR на 32 языках, анализ длительных видео, распознавание элементов интерфейса и генерация кода или схем по визуальным примерам. Эти возможности перечислены для семейства Qwen3-VL; подробные результаты тестирования именно этого набора весов в карточке не приведены. Для запуска с llama.cpp README рекомендует параметр --jinja.

Карточка модели karanjaWakaba/Qwen3-VL-4B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen3-VL-4B-Instruct, поэтому описание составлено по ней. Qwen3-VL-4B-Instruct от Unsloth — весовой репозиторий мультимодальной модели для диалога и задач с изображениями и видео. Это дообученная версия Qwen/Qwen3-VL-4B-Instruct с плотной архитектурой Qwen3-VL и примерно 4 млрд параметров; модель распространяется в формате safetensors и работает с библиотекой Transformers. Модель принимает текст и изображения, отвечает текстом и поддерживает визуальное рассуждение, OCR, анализ видео, понимание пространственных отношений и взаимодействие с инструментами. В README заявлены контекст 256 тыс. токенов с возможностью расширения до 1 млн и OCR на 32 языках. Также описаны сценарии визуального управления интерфейсами и генерации кода или разметки по визуальному примеру. Лицензия — Apache-2.0. README не содержит численных результатов раздела производительности; заявленные преимущества и возможности следует считать описанием разработчика, а качество проверять на целевых данных.

Tencent разработала Hunyuan-Large — текстовую языковую модель на архитектуре Transformer с разреженной структурой Mixture of Experts. Она содержит 389 млрд параметров, из которых при обработке активны 52 млрд. Предварительно обученная версия поддерживает контекст до 256 тысяч токенов, а версия Instruct — до 128 тысяч токенов. Модель предназначена для генерации текста, ответов на вопросы, чтения и понимания длинных документов, рассуждений и решения математических задач. В карточке описаны оценки на англоязычных и китайских тестах, включая MMLU, CMMLU и C-Eval; метаданные также отмечают английский язык. Для развёртывания README указывает vLLM и TRT-LLM. Репозиторий распространяется по лицензии с обозначением other, поэтому конкретные условия следует уточнять в лицензии проекта.

Velvet-2B — языковая модель Almawave, разработанная командой Technology and Innovation. Она принимает и генерирует текст и предназначена для интеграции в приложения и системы на базе ИИ. Модель обучена на английском и итальянском языках; для диалога доступна в формате chat. Её можно запускать с Transformers, vLLM и Ollama. Модель предварительно обучена почти на 3 трлн токенов из общедоступных источников, а затем дообучена на наборах инструкций и более чем миллионе размеченных и синтетических примеров. Она поддерживает генерацию и продолжение текста, суммаризацию, извлечение информации, перефразирование, классификацию, машинный перевод, ответы на вопросы, рассуждение и сценарии RAG. Лицензия — Apache 2.0. Ответы могут быть неточными, неполными или избыточными, а данные обучения могут приводить к воспроизведению токсичных формулировок и социальных предубеждений. Для фактических ответов рекомендуется использовать внешние источники, например RAG, а для приложений — проверять результаты и применять подходящие меры безопасности.

Agnes-3.0-Flash Preview GGUF — набор квантизированных сборок базовой модели Agnes-AI/Agnes-3.0-Flash, опубликованный quimmedes. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео, а также для локального запуска через совместимый runtime llama.cpp. Доступны варианты квантования от Q3 до Q9 и несколько альтернативных сборок с разным распределением точности между компонентами модели. Архитектура основана на гибридной схеме с recurrent SSM- и attention-слоями: 72 слоя, включая 54 delta-rule и 18 global attention, дополнительная параллельная SwiGLU-ветвь в каждом слое, около 32,63 млрд параметров, размер скрытого состояния 5120, словарь из 248 320 токенов и один MTP-слой. Поддерживаются текст, изображения и видео; точный набор языков и максимальная длина контекста в README не указаны, хотя приведён пример запуска с контекстом 32 768 токенов. Модель использует тот же токенизатор и шаблон чата, что и Qwen3.8-27B, но имеет дополнительные слои и переобученные проекционные матрицы. Ключевое преимущество сборок — сочетание гибридного внимания, поддержки длинного контекста, мультимодальности и выбора размера файла: от 12,12 до 32,28 GiB для основной линейки. Для работы требуется патченная версия cafe-llama.cpp; стандартная llama.cpp не поддерживает необходимые тензоры и может завершиться ошибкой или некорректно загрузить модель. Указанные требования к видеопамяти и параметры запуска ориентированы на карту 24 ГБ, однако фактические возможности зависят от выбранного квантования и длины контекста. Модель и сборки распространяются по лицензии Apache-2.0.

Это дообученная модель генерации текста на архитектуре Llama 2 с 12,9 млрд параметров, созданная автором репозитория на основе NousResearch/Yarn-Llama-2-13b-64k. К модели применён merged QLoRA fine-tune ранга 64 на наборе инструкций Airoboros 2.1; базовая версия использует YaRN для расширения рабочего контекста до 65 536 токенов. Модель предназначена для ответов на инструкции и вопросы, а также генерации текста с учётом длинного контекста. В описании приведены результаты тестов на ARC, Hellaswag и MMLU и сравнение perplexity на разных длинах контекста. Репозиторий содержит веса safetensors; для запуска через Transformers требуется trust_remote_code=True и совместимая реализация YaRN. Автор указывает, что короткоконтекстные результаты конкурентны с некоторыми моделями сравнения, но также отмечает необходимость дальнейшей проверки качества на длинном контексте. Лицензия в доступных данных не указана.