II.10Разработка и эксплуатация AI/ML-систем

philbert440/Qwen3.6-40B-DeckardUncensored-OpusDistilled-HermesCalibrated-W4A16-AWQ — мультимодальная vision-language модель семейства Qwen3.6, разработанная philbert440. Она предназначена для генерации текста по текстовым и визуальным входным данным, а также для сценариев с использованием инструментов и function calling. Модель относится к коллекции Deckard-40B Uncensored и прошла Hermes-калибровку для задач работы с инструментами. Модель имеет размер 40B параметров и использует 4-битное квантование весов W4A16-AWQ с FP16-активациями и форматом compressed-tensors. Указана совместимость с 1Cat-vLLM на Tesla V100 с архитектурой SM70, включая режим TurboMind, а также со стандартным vLLM на GPU Ampere и новее. README не содержит сведений о поддерживаемых языках и максимальной длине контекста. К сильным сторонам относятся мультимодальность, поддержка tool use и function calling, а также возможность запуска крупной модели в квантованном формате на ограниченных GPU-ресурсах. Модель позиционируется как abliterated, то есть из неё удалены отказы, связанные с механизмами безопасности; это может расширять диапазон ответов, но повышает риски небезопасного или неправомерного использования и требует самостоятельного контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-Whittle-25B-A3B — текстовая MoE-модель для диалогов и генерации текста, созданная автором проекта Whittle на основе Qwen3.6-35B-A3B. В основной версии репозитория удалены 30% маршрутизируемых экспертов базовой модели (256 → 180 на слой), а оставшиеся веса дообучены с помощью самодистилляции от исходной модели. Общее число параметров по метаданным — 2,9 млрд; модель поддерживает контекст до 262 144 токенов. В репозитории также описаны отдельные экспериментальные и GGUF-артефакты, поэтому характеристики конкретных файлов различаются. Модель предназначена для диалогов, следования инструкциям и агентных сценариев; метаданные отмечают интерфейс вызова инструментов. Карточка приводит результаты небольших проверок и указывает на близкую к исходной модели точность в отдельных заданиях, но эти результаты основаны на малом числе примеров. Для текстового и кодового дополнения в стиле базовой модели автор отмечает потерю качества без удалённой n-граммной памяти. Метаданные указывают лицензию Apache-2.0.

Это мультимодальная диалоговая модель семейства Qwen3.5 с плотной архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров, представленная Solstice-AI. Репозиторий содержит версию NVFP4 для оборудования NVIDIA Blackwell и упакованную конфигурацию с контекстом до 1 048 576 токенов на основе YaRN; заявлена автоматическая настройка контекста при запуске в vLLM и SGLang. Модель предназначена для диалога, следования инструкциям, творческого письма и анализа изображений. Поддерживает текстовый и визуальный ввод и выдаёт текст; в метаданных также указаны интерфейс вызова инструментов и английский и китайский языки. Это производная от дообученной модели DavidAU версия, упакованная Solstice-AI; лицензия — Apache-2.0. Заявление README о NVFP4 для Blackwell соседствует с метаданными о форматах GGUF BF16 и safetensors, поэтому точный формат конкретных файлов следует проверять в репозитории. Длина контекста 1 млн токенов заявлена в конфигурации, но практические требования к памяти и производительность зависят от оборудования и движка инференса.

Qwen3.8-27B Uncensored NVFP4-NInfer — это квантованный мультимодальный вариант Qwen3.8-27B, подготовленный igorls в формате .ninfer для собственного fork NInfer. Исходную abliterated-модель и смешанные веса NVFP4/FP8 разработала OrcaRouter, а для speculative decoding включён сопутствующий компонент DFlash2 от Inco AI. При конвертации дообучение и отдельное удаление отказов не выполнялись; сохранены BF16-эмбеддинги токенов и полная выходная голова. Модель предназначена для диалоговых и conversational-сценариев, обработки текста, а также анализа изображений и видео при сборке NInfer с поддержкой media. Заявлены английский и китайский языки. Артефакт включает целевую 27B-модель, Vision- и MTP-компоненты, оптимизированную proposal head, DFlash2-компаньон, токенизатор, шаблоны и медиаресурсы. Размер файла — около 26,27 ГБ; квалифицированная конфигурация — RTX PRO 6000 Blackwell Workstation Edition с 96 ГБ видеопамяти под Windows, CUDA target sm_120a. В приведённом примере ограничение контекста составляет 32K токенов, а общий KV-пул — 64K. Сильные стороны модели — готовая интеграция компонентов для обычной генерации и speculative decoding через MTP или DFlash2, поддержка OpenAI-совместимого API, JSON Schema, потоковой выдачи и мультимодального ввода. Ограничения связаны с форматом .ninfer: модель не загружается напрямую в Transformers, vLLM, Ollama или llama.cpp. Потребление видеопамяти превышает размер файла и зависит от контекста, CUDA-графов и параллелизма; меньшие GPU и максимальный контекст не квалифицировались. Интеграция распространяется по лицензии Apache 2.0.

Vontra/Qwen3.8-Flash-Next-MLX-4bit — общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах с Apple Silicon. Конверсия выполнена Vontra непосредственно из официального BF16-чекпойнта и предназначена для задач генерации текста и обработки изображений в сценариях vision-language. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, объединяющую Gated DeltaNet, Qwen Sparse Attention, разреженные MoE-слои, расширенные gated residual-потоки и хешированные bigram/trigram-эмбеддинги. Языковая часть содержит 125 млрд параметров, из которых активно используется около 6 млрд, а таблицы n-gram-эмбеддингов включают 51 млрд параметров. Архитектура имеет 48 слоёв, 512 маршрутизируемых экспертов с активацией 10 экспертов и одного общего, 24 attention heads и 2 KV heads. Заявленный контекст — до 262 144 токенов; сохранены исходные токенизатор, chat template, vision processor и настройки генерации. Весы представлены в формате MLX safetensors и подвергнуты 4-битному аффинному квантованию с group size 32, что делает модель пригодной для локального запуска через совместимые версии MLX-VLM или oMLX. На Apple M3 Studio сообщается около 24,1–26,1 токена в секунду при прогретой генерации через oMLX и 31 токен в секунду в коротком standalone-тесте. К ограничениям относятся возможное снижение качества из-за квантования, высокая потребность в памяти, отсутствие опциональной MTP-head и необходимость runtime с поддержкой qwen4_exp; подключение Qwen3.8 27B MTP drafter несовместимо. Модель распространяется по Qwen Community License 1.0. Это неофициальный релиз Qwen: дизайн, обучение и исходная документация принадлежат Qwen и первоначальным авторам, а MLX-конверсия, проверка на Apple Silicon и упаковка выполнены Vontra.

sasa2000/Qwen3-Swallow-8B-RL-v0.2-heretic — дообученная версия Qwen3-Swallow 8B RL v0.2 с ослабленным поведением отказа, подготовленная на основе abliteration. Базовая модель разработана проектом Swallow LLM; репозиторий содержит плотную причинно-языковую архитектуру Qwen3 с 7,6 млрд параметров и контекстом до 40 960 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Она предназначена для общения на японском и английском языках, перевода между ними, решения математических задач, программирования и рассуждений. В сравнении из карточки указано 31 отказ из 100 запросов против 97 у исходной модели; это описание теста отказов, а не оценка общей точности. Рекомендуемый автором предел контекста — 32 768 токенов или меньше. Работа с вызовом инструментов не была специально обучена и не валидирована, а отдельное переключение режима рассуждений не поддерживается. Модель распространяется по лицензии Apache-2.0. Авторы базовой модели отмечают, что семейство находится на раннем этапе разработки и не настроено для надёжного следования человеческим намерениям или требованиям безопасности; снижение частоты отказов также означает, что ответы требуют соответствующей проверки.

Qwen3-VL-8B-Instruct-Unredacted-MAX-Quants-GGUF — набор высококачественных GGUF-квантизаций мультимодальной модели prithivMLmods/Qwen3-VL-8B-Instruct-Unredacted-MAX. Модель предназначена для диалогового взаимодействия, генерации текста и анализа изображений, включая задачи image-to-text, описания изображений и визуального распознавания. В README заявлена версия без ограничительных фильтров. Модель основана на архитектуре Qwen3-VL и содержит 8 миллиардов параметров. Поддерживаются текстовая и визуальная модальности, а также английский, русский и китайский языки. Доступны варианты квантования Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16; Q4_K_M рекомендован как баланс скорости и качества, а F16 служит эталонным вариантом с базовым качеством. Для обработки изображений требуется отдельный vision projector mmproj, доступный в форматах F32, F16, BF16 и Q8_0. Преимуществами являются совместимость с llama.cpp и другими GGUF-совместимыми средами, выбор вариантов под разные требования к памяти и производительности, а также полноценная поддержка изображений при использовании mmproj. К ограничениям относятся компромиссы между размером, скоростью и качеством у разных квантований; варианты Q2_K и Q3_K_M характеризуются более заметной потерей качества, а визуальные задачи требуют дополнительного файла проектора. Лицензия — Apache-2.0.

Rombo-LLM-V2.5-Qwen-1.5b — плотная причинная языковая модель на архитектуре Qwen2, созданная Rombo-Org как дообученная версия Qwen2.5-1.5B-Instruct. Она предназначена для диалогов и генерации текста, включая структурированные ответы и интерфейс вызова инструментов. В карточке заявлено слияние instruct- и base-моделей методом TIES, однако метаданные указывают связь с Qwen2.5-1.5B-Instruct как finetune; поэтому происхождение точнее определить по доступным данным нельзя. Модель содержит 1,5 млрд параметров, работает через Transformers и распространяется в формате safetensors; автор также упоминает варианты GGUF. Указанный контекст — до 131 072 токенов. Лицензия — Apache-2.0. README заявляет о более высокой производительности по сравнению с исходными instruct- и base-моделями, но не приводит результатов бенчмарков или подробностей оценки.

Fulcrum-AI/Ryze-Embed-2 — объединённая методом passthrough модель на архитектуре Qwen2, созданная из Alibaba-NLP/gte-Qwen2-7B-instruct. Карточка не описывает дополнительных изменений к базовой модели; метаданные указывают 12,7 млрд параметров, формат safetensors и контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и классификации текста. Базовая GTE-модель преобразует текст в эмбеддинги для семантического поиска и сравнения, однако README не объясняет, сохраняет ли объединённая модель эти возможности в пригодном для использования виде. В метаданных указана библиотека Transformers. Модель распространяется под лицензией, указанной в метаданных Hugging Face; в предоставленных метаданных поле лицензии отсутствует, поэтому условия использования определить нельзя.

ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF — это GGUF-квантизации языковой модели Apriel-Nemotron-15b-Thinker, разработанной ServiceNow AI. Квантизации подготовлены bartowski с использованием imatrix и llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер около 15 млрд параметров; доступны варианты от BF16 до Q3 и IQ4, с размерами файлов примерно от 8 до 30 ГБ. README указывает текстовую модальность и формат prompt для систематического решения задач, однако сведения о поддерживаемых языках, размере контекстного окна и точной архитектуре не приведены. Более высокие уровни квантизации обеспечивают лучшее качество, а менее ресурсоёмкие варианты подходят для систем с ограниченным объёмом оперативной памяти. Распространяется по лицензии MIT. Для работы требуется совместимое программное обеспечение и объём памяти, соответствующий выбранному файлу квантизации; ограничения конкретных вариантов определяются их размером и степенью квантизации.

Spark-X2.5-1.7B-Abliterated-GGUF — набор GGUF-квантов модели Spark-X2.5-1.7B, разработанный сообществом darioooooo0o на основе XHToken/Spark-X2.5-1.7B. Модель предназначена для генерации текста и рассуждений, включая многоязычные сценарии и агентское использование с инструментами. Основное изменение — однократная rank-1-абляция направления отказа методом heretic, выполненная на сбалансированной многоязычной выборке из 6292 запросов; это существенно снизило склонность модели к отказам и предисловиям о соблюдении ограничений. Доступны варианты Q8_0 размером около 1,8 ГБ, Q6_K около 1,4 ГБ, Q4_K_M около 1,0 ГБ и IQ4_XS около 0,9 ГБ. Для работы требуется совместимая версия llama.cpp с архитектурой spark2_5; README рекомендует F16 KV-кэш и задаваемый лимит рассуждений, поскольку типичная длина скрытого рассуждения превышает 1500 токенов, а отдельные цепочки превышают 4000 токенов. Размер контекста указан в инструкции запуска как 65536 токенов, максимальная длина вывода — 4096 токенов. Точные сведения об архитектуре базовой модели, языковом покрытии и исходном контекстном окне вынесены в отдельную карточку и здесь не приведены. По заявленным проверкам, на закрытых наборах после аудита модель не демонстрировала реальных отказов в ответах, сохранив результат 5 из 6 эффективных задач агентского использования. Ограничением стала небольшая потеря качества по perplexity: ухудшение относительно базовой модели составило 2,3%. Кроме того, абляция направлена на снятие отказов, поэтому поведение и защитные ограничения базовой модели не следует считать сохранёнными. Распространение указано по лицензии Apache-2.0.

Tema_Q-X7-Thinking — большая языковая модель для агентных приложений, созданная на основе Ornith-1.5-35B-A3B, разработанной Ornith AI. В карточке указано, что модель рассчитана на генерацию более гибких и полезных ответов на сложные запросы; в сочетании с Tema_Q Agent она поддерживает расширенные рассуждения. Модель использует архитектуру семейства Qwen 3.5 MoE и распространяется в формате safetensors. Она поддерживает японский, английский и китайский языки, диалог, следование инструкциям и интерфейс вызова инструментов. Лицензия в предоставленных данных не указана. Пользователи отвечают за соблюдение применимого законодательства и правил платформы; карточка запрещает использование для дискриминации, преследования, насилия, незаконных и иных вредоносных целей.

Zelensky — экспериментальная командная модель V1, созданная автором nisten на основе семейства Qwen2.5. По карточке, модель обучали один проход с низкой скоростью обучения и многократно объединяли с тремя другими моделями; метаданные также указывают связь merge с Qwen/Qwen2.5-72B-Instruct и другими вариантами Qwen2.5 и ChatWaifu. Это плотная причинно-языковая архитектура Qwen2 с 76,7 млрд параметров и контекстом до 98 304 токенов. Модель предназначена для диалогов и генерации текста; каталог также отмечает интерфейс вызова инструментов. В карточке упоминаются прогоны GPQA Diamond Zero-shot на LM Eval Harness, но результаты оценки не приведены. Указана лицензия MIT, а автор отдельно отмечает, что продолжает действовать лицензия Qwen.

DeepSeek-V4-Flash-0731-GGUF — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp и Text Generation Web UI. Модель содержит 284 млрд параметров, поддерживает текстовый ввод и поставляется только в формате MXFP4. Доступен вариант размером около 156,38 ГБ, сохраняющий исходное качество квантизации. В модели предусмотрены веса MTP (Multi-Token Prediction) в виде отдельной DSpark draft-модели, которую можно использовать для speculative decoding и ускорения генерации. Языки, максимальная длина контекста и дополнительные модальности в README не указаны. К сильным сторонам относятся большой размер модели, сохранение исходного качества MXFP4 и возможность ускорения вывода с помощью DSpark. Ограничения включают очень высокие требования к дисковому пространству и аппаратным ресурсам, отсутствие imatrix-калибровки на момент публикации и неопределённость стандартного chat template, который может быть задан некорректно. Модель распространяется по лицензии MIT.

Dicta-LM 3.0 Nemotron 12B Instruct — открытая весовая языковая модель, разработанная Dicta для работы на иврите и английском языках. Это instruct-версия с 12 млрд параметров, архитектурой Hybrid-SSM и точностью BF16; в качестве исходной модели использована NVIDIA-Nemotron-Nano-12B-v2-Base. Модель предназначена для диалогов и выполнения инструкций, а также поддерживает вызов инструментов для интеграции с внешними API и сервисами. Для работы следует использовать предусмотренный моделью chat template; в README рекомендованы vLLM и Transformers. Разработчик заявляет, что семейство Dicta-LM 3.0 достигает лучших результатов своего класса по ивриту. Модель распространяется с лицензией, обозначенной в метаданных как other; README заявляет о свободном использовании, но конкретные условия лицензии следует проверить отдельно.

ssmits/Falcon2-8B-multilingual — текстовая языковая модель семейства Falcon, опубликованная как слияние предварительно обученных моделей с помощью mergekit и метода passthrough. В состав слияния вошла ssmits/Falcon2-5.5B-multilingual; метаданные также связывают эту модель с базовой моделью через дообучение. Репозиторий содержит веса в формате safetensors, модель использует архитектуру FalconForCausalLM и поддерживает диалоговый режим. Модель предназначена для генерации текста и диалогов; метаданные также указывают задачи ответов на вопросы, классификации текста и токенов. Контекстное окно составляет 8192 токена, а общий размер модели — 11,8 млрд параметров. Название указывает на многоязычность, однако конкретные языки в доступных данных не перечислены. Сведения о лицензии отсутствуют в предоставленных источниках.

FireStorm-Llama-3.1-8B — разговорная языковая модель, опубликованная EpistemeAI2 и дообученная на базе unsloth/llama-3.1-storm-8b-bnb-4bit. Это плотная причинная модель семейства Llama с 7,5 млрд параметров; карточка указывает контекст до 131 072 токенов и форматы PyTorch и Safetensors. Модель предназначена для генерации ответов в диалоге, следования инструкциям, вопросов и ответов на основе знаний, рассуждений и вызова функций. В README описаны дообучение на тщательно отобранных обучающих примерах и слияние с Llama-Spark; заявлены улучшения относительно Llama-3.1-8B-Instruct на нескольких тестах, включая проверку следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Эти результаты относятся к оценкам авторов карточки. Для запуска предлагаются Transformers и vLLM, а в репозитории указана лицензия Apache-2.0. Основной указанный язык — английский. README отмечает, что модель не проходила отдельное выравнивание и может сохранять некоторые свойства выравнивания базовой instruct-модели. Ее ответы могут содержать ошибки; результаты тестов не гарантируют качество в конкретном применении.

unsloth/gemma-3n-E2B-it-litert-preview-GGUF — GGUF-версия инструкционной модели Gemma 3n E2B, основанной на google/gemma-3n-E2B-it-litert-preview. Модель разработана Google DeepMind, а данный вариант подготовлен Unsloth. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами, а также для диалогов, ответов на вопросы и суммаризации документов. Модель поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текстовых ответов, однако в README для этой конкретной версии указано, что в настоящее время поддерживается только текст. Эффективный размер составляет 2B параметров благодаря технологии выборочной активации параметров; общий размер параметров не указан. Максимальная длина контекста — 32K токенов. Заявлена языковая поддержка английского языка, при этом семейство Gemma 3n обучалось на данных более чем 140 разговорных языков. К сильным сторонам относятся компактность, ориентированность на малоресурсные устройства и формат GGUF, удобный для локального запуска. Ограничения включают текущую поддержку только текстовых входов в этой версии и отсутствие подробных сведений о производительности, аппаратных требованиях и результатах оценки. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google.

Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced-Ollama — это модифицированная и квантизированная версия Gemma 4 26B A4B, основанная на Google Gemma 4 26B A4B Instruct. Модель опубликована braydenh563, а вариант без ограничений разработан HauhauCS. Она предназначена для творческого письма, ролевых сценариев, эмоционально-интеллектуального общения, исследований, программирования и агентных задач с инструментами. Версия Balanced ориентирована на минимальное число отказов и обычно предоставляет полный ответ после краткой оговорки о безопасности, хотя в отдельных случаях может сначала уклониться от ответа. Модель использует архитектуру Mixture-of-Experts: около 25,2 млрд параметров всего и примерно 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, выбор 8 экспертов и одного общего эксперта. В ней 30 слоёв, гибридное внимание со скользящим окном на 1024 токена и периодическим глобальным вниманием, Proportional RoPE и нативный контекст до 256K токенов. Это нативно мультимодальная модель для текста и изображений; для обработки изображений поставляется отдельный mmproj, поддерживающий переменные бюджеты визуальных токенов от 70 до 1120 на изображение. В README заявлен английский язык. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, мультимодальность, стабильность семплирования в длинных сессиях и специальные K_P-квантизации с оптимизацией по важности тензоров. Ограничения включают отсутствие приведённых независимых бенчмарков, зависимость качества и требований к памяти от выбранной квантизации, а также менее высокую пригодность для агентного программирования по сравнению с Qwen3.6, согласно автору README. Удаление отказов снижает встроенные защитные ограничения и требует самостоятельного контроля безопасного применения. Модель распространяется по лицензии Apache-2.0 в форматах GGUF; размеры доступных вариантов составляют примерно от 10 до 27 ГБ, а файл mmproj занимает около 1,2 ГБ.

Adolphsson/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4 — мультимодальная модель для работы с текстом, изображениями и аудио. Это общественный, вручную собранный чекпойнт на основе Gemma-4-E4B и дообучения HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive. Модель не является официальным релизом Google или HauhauCS; сборку подготовил автор Adolphsson. Текстовый трансформер содержит 42 слоя со скрытым размером 2560. Он квантизован в формат NVFP4 W4A4 с 4-битными весами и активациями, а таблицы эмбеддингов используют FP8 e4m3 с построчными масштабами F32. Зрительный модуль и аудиоэнкодер сохранены в BF16. Модель поддерживает английский и другие языки, а также мультимодальные сценарии с изображениями и аудио. Заявлено контекстное окно до 131 072 токенов, однако фактическая доступная длина зависит от видеопамяти и настроек сервера. Основные преимущества — небольшой размер около 6,2 ГБ, возможность запуска на одной RTX 5090, высокая скорость декодирования с MTP speculative decoding и заметно увеличенный объём KV-кэша благодаря FP8-эмбеддингам. Для работы требуется vLLM с патчем из репозитория: без него FP8-таблицы эмбеддингов загружаются некорректно, что приводит к деградации генерации. Производительность и совместимость в README проверены на vLLM 0.28, Python 3.12, CUDA 13 и RTX 5090; заявленные показатели зависят от оборудования, параметров запуска и сценария нагрузки. Модель распространяется по лицензии Apache-2.0.

Giraffe-v2-70b-32k — авторегрессионная языковая модель на базе Transformer, разработанная Abacus.AI и дообученная на Llama 2 70B для работы с увеличенным контекстом. Модель содержит 68,7 млрд параметров, использует архитектуру Llama и принимает текст для генерации текста в диалоговых сценариях. Заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и обработки длинных запросов и документов в чат-сценариях. Для работы с увеличенной длиной контекста требуется специальная настройка интерполяции; загрузка через стандартный AutoModel из Transformers без такой модификации не поддерживается. Лицензия — Llama 2 Community License.

GLM-5.3-Flash-GSQ-RCO-GGUF — это сторонняя общественная GGUF-квантизация мультимодальной модели GLM-5.3-Flash от zai-org. Файлы созданы независимым сообществом с применением методов GSQ и RCO, разработанных Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель содержит около 320 млрд параметров и предназначена для работы с текстом и изображениями; для визуального ввода поставляется отдельный BF16 vision encoder и projector. Доступны варианты с эффективной точностью около 3,0 и 3,5 бит размером примерно 117,48 и 137,07 ГБ соответственно, а также vision projector размером 1,16 ГБ. GSQ выполняет посттренировочную скалярную квантизацию с настройкой сеток и масштабов, а RCO распределяет типы квантизации между тензорами с учётом общего бюджета размера. Эти варианты рассчитаны на запуск через совместимый GGUF-совместимый runtime, в README отдельно описана проверка с использованием llama.cpp. Основное преимущество модели — существенное уменьшение размера по сравнению с FP8-чекпойнтом объёмом около 328,3 ГБ при сохранении близких характеристик: в тестах вариант 3,5 бит показал точность 60,55% на MMLU-Pro против 61,95% у Q8_0, а вариант 3,0 бит — 60,00%. Ограничения включают очень большой объём файлов, требования к производительному оборудованию и некоторое ухудшение perplexity и качества относительно восьмибитного эталона; показатели зависят от выбранного варианта квантизации. В опубликованной оценке использовался контекст 2 048 токенов, но общий максимальный контекст модели не указан. Лицензия файлов — MIT.

saidutta69 выпустил granite-4.2-3b-heretic — вариант IBM Granite 4.2 3B с подавленным поведением отказа. Модель создана методом directional ablation (abliteration) с Heretic v1.4.0: целевые изменения внесены в веса проекций внимания и MLP без дополнительного обучения. Это плотный декодерный трансформер GraniteForCausalLM на 3,66 млрд параметров с групповой обработкой запросов внимания и контекстом до 131 072 токенов. Модель предназначена для генерации текста, рассуждений, вызова инструментов и локальных агентов, в том числе на потребительском оборудовании. README сообщает о сохранении шаблона рассуждений Granite и снижении отказов с 62 до 3 на использованном авторами тесте из 100 запросов; результат KL-дивергенции относительно базовой модели — 0,0095. Указаны поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков, а также варианты весов BF16 и GGUF-квантизации. Модель может выполнять запросы, от которых отказалась бы базовая версия, и не содержит дополнительного фильтра безопасности; это важно учитывать при развёртывании. Она наследует фактические ограничения и смещения Granite 4.2. Лицензия — Apache-2.0.

IberianLLM-7B-Instruct — мультиязычная авторегрессионная языковая модель на архитектуре Llama, разработанная LangTech. Модель содержит 6,7 млрд параметров, обучена с нуля на текстах и предназначена для генерации текста и диалогов на иберийских языках, английском и коде. Версия Instruct настроена для следования инструкциям и использует шаблон диалога ChatML; длина контекста составляет 8192 токена. Модель подходит для создания общего разговорного помощника, генерации текста и помощи с кодом. В README указано, что это ранняя демонстрационная версия без выравнивания с помощью RLHF; она может выдавать вредный или неподходящий контент, а качество может различаться между языками и диалектами. Выпущена под лицензией Apache 2.0, допускающей исследовательское и коммерческое использование.

L3-NotCrazy-8B — языковая модель bunnycore, полученная слиянием трёх моделей семейства Llama 3 с помощью mergekit. Она предназначена для генерации текста в диалогах и сочетает способности к рассуждению и решению задач, творческой ролевой игре и точному следованию инструкциям. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. В репозитории представлены веса safetensors; лицензия — Llama 3 Community License.

Orion-zhen разработал чат-модель Orion-zhen/Llama3-70B-Orion-Chinese на основе failspy/Llama-3-70B-Instruct-abliterated-v3, дообучив её методом DPO. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, контекстом 8192 токена и поддержкой диалога; карточка демонстрирует ответы на китайском языке с более оживлённой подачей и частым использованием эмодзи. Модель предназначена для диалога на китайском, рассуждений, ответов на вопросы и генерации кода. В README приведены примеры решения математических и логических задач, бытовых вопросов, анализа эмоций и написания кода. Метаданные также связывают обучение с наборами предпочтений для китайского и английского диалога, математики, физического рассуждения, кода и других ответов. Файлы опубликованы в формате Safetensors. Лицензия — Llama 3; применимость и условия использования следует сверять с её условиями. Примеры README показывают возможные ошибки в рассуждениях и небезопасные советы, поэтому ответы требуют проверки; инструкция по расширению контекста до 32k в карточке не подтверждена как штатная длина контекста модели.

Gradient разработала инструктивную версию Llama 3 8B, расширив её контекстное окно с 8 тысяч до 262 144 токенов. Это плотная авторегрессионная языковая модель примерно на 7,5 млрд параметров, рассчитанная на диалог и генерацию текста с обработкой длинных входных материалов. Модель подходит для ответов на вопросы по объёмным документам, анализа длинных текстов и построения диалоговых помощников. В карточке указана поддержка английского языка; специальных отраслевых сценариев не заявлено. Расширенный контекст позволяет передавать модели существенно больше текста за один запрос, однако сам по себе не гарантирует точности извлечения фактов или качества ответов. Модель опубликована в формате Safetensors и использует лицензию Llama 3. Для развёртывания следует учитывать условия этой лицензии и оценивать остаточные риски безопасности для конкретного применения.

Ministral-3-14B-abliterated-GGUF — GGUF-квантизированные версии модели Ministral-3-14B-abliterated, разработанные jenerallee78 на базе Ministral-3-14B-Instruct-2512 от Mistral AI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для использования в OpenAI-совместимых API-серверах и Ollama. Это мультимодальная модель, принимающая текстовые и графические входные данные. Заявлена поддержка контекста до 256K токенов; язык, указанный в карточке, — английский. Доступны варианты F16 размером около 26 ГБ и Q8_0 размером около 14 ГБ. Для обработки изображений требуется отдельный vision-проектор mmproj-F16 размером около 838 МБ. Версия F16 обеспечивает максимальное качество, а Q8_0 рассчитана на более экономичное использование памяти. Модель подвергнута abliteration — изменению внутренних представлений, направленному на удаление поведения, связанного с отказами в ответах. Это может сделать её более пригодной для исследовательских сценариев, требующих менее выраженных ограничений, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для F16 указано тестирование на NVIDIA RTX PRO 6000 Blackwell с потреблением около 67 ГБ VRAM и скоростью генерации около 20–22 токенов в секунду; показатели Q8_0 обозначены как оценочные или не предоставлены. Лицензия — Apache-2.0; автор также указывает исследовательское и образовательное назначение и ответственность пользователя за соблюдение законодательства и этических норм.

Это GGUF-квантизированная версия модели Devstral-Small-2507, разработанной Mistral AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b5856 и метода imatrix. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В карточке указана мультимодальная категория image-text-to-text, однако подробные сведения об архитектуре, количестве параметров и поддерживаемом контексте не приведены. Заявлена поддержка множества языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, украинский и другие. Доступны варианты от BF16 до различных уровней квантизации; размеры файлов составляют примерно от 10 до 47 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти. Основные преимущества версии — возможность локального запуска, широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают отсутствие в README подробных данных о характеристиках исходной модели, результатах оценки и требованиях к оборудованию; качество заметно зависит от выбранного варианта квантизации. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-Instruct-2409-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-Small-Instruct-2409, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. Для взаимодействия используется шаблон промпта <s> [INST] запрос [/INST]. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Архитектура, число параметров, размер контекстного окна и поддержка модальностей, кроме текстовой, не указаны. Доступны варианты от F16 размером 44,50 ГБ до IQ3_M размером 10,06 ГБ, а также форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие. Более высокие уровни квантизации обеспечивают лучшее качество, тогда как компактные варианты требуют меньше оперативной памяти, но могут снижать качество ответов. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для ARM, что позволяет подобрать баланс между качеством и ресурсами устройства. Ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием в README подробных сведений о возможностях исходной модели и результатах оценки. Модель распространяется по лицензии Mistral Research License (MRL) 0.1; применяются условия лицензии Mistral AI.