II.10Разработка и эксплуатация AI/ML-систем

DeepSeek-OCR-2-GGUF — это квантованные варианты мультимодальной vision-language OCR-модели DeepSeek-OCR-2, разработанной командой DeepSeek AI и распространяемой в репозитории SandLogicTechnologies. Модель работает с изображениями и текстом, поддерживает многоязычные сценарии и ориентирована на распознавание текста, понимание структуры документов и извлечение структурированной информации. Модель предназначена для оцифровки сканов, обработки счетов, чеков, форм, таблиц, книг и отчетов, анализа сложных визуальных документов, выделения пар «ключ-значение», а также построения корпоративных OCR-конвейеров, систем поиска и индексации документов. Заявлены возможности анализа макета, взаимосвязей между абзацами, таблицами и формами, включая работу с рукописным и цифровым содержимым. Размер исходной модели составляет около 3 млрд параметров. Доступны GGUF-варианты IQ3_M, IQ4_NL и IQ4_XS для локального запуска через llama.cpp; их размер составляет примерно 1,35, 1,59 и 1,53 ГБ соответственно вместо 5,47 ГБ для 16-битной версии. Ключевое преимущество вариантов GGUF — сниженные требования к памяти и возможность локального развертывания на потребительском оборудовании и периферийных устройствах. IQ4_NL ориентирован на более высокую сохранность качества распознавания, IQ4_XS предлагает баланс между точностью, скоростью и потреблением памяти, а IQ3_M обеспечивает максимальную компактность, но может сильнее терять качество на плотных макетах, рукописном тексте и сложных документах. Для модели не указаны точное максимальное окно контекста, полный перечень поддерживаемых языков и количественные результаты бенчмарков. Лицензия — MIT.

gemma-4-12B-it-GGUF — это GGUF-сборка мультимодальной модели Google DeepMind gemma-4-12B-it, опубликованная prithivMLmods. Модель предназначена для генерации и понимания текста, анализа изображений, видео и аудио, категоризации контента, сжатия контекста и локальных AI-приложений без зависимости от API. Она также ориентирована на агентские сценарии и многошаговое рассуждение. Модель имеет 12 млрд параметров и унифицированную encoder-free архитектуру: текстовые, визуальные и аудиоданные поступают непосредственно в основу LLM без отдельных vision- и audio-энкодеров. Заявлены сниженные задержка и потребление памяти, поддержка Multi-Token Prediction для ускорения вывода и работа на устройствах примерно с 16 ГБ памяти. В README указан английский язык и мультимодальный режим image-text-to-text; размер контекста не указан. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16 и F16, с размерами основных файлов от 4,83 до 23,8 ГБ. Сильными сторонами являются мультимодальность с нативной поддержкой аудио, возможность локального запуска и широкий выбор уровней квантования. Ограничения README не описывает; в частности, отсутствуют подробности о фактической производительности, поддерживаемых языках кроме английского, максимальном контексте и требованиях к конкретному оборудованию. Модель распространяется по лицензии Apache 2.0.

Gemma4-12B Uncensored-HauhauCS-1M-GGUF — GGUF-версия модели, опубликованная satgeze и основанная на HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced, которая, в свою очередь, использует 12-миллиардный dense-чекпойнт Google с квантизацией QAT. Модель предназначена для генерации текста, работы с длинными документами и задач, требующих извлечения информации из больших контекстов. Также заявлена поддержка изображений благодаря vision tower и ускоренного вывода через MTP speculative decoding; запуск ориентирован на llama.cpp и Ollama. Ключевая характеристика модели — контекстное окно до 1 048 576 токенов, увеличенное в четыре раза относительно исходных 262 144 токенов. В README сообщается о сертифицированном needle-in-a-haystack извлечении на всём диапазоне от 64K до 1M токенов, а также о сохранении цепочек многошагового поиска на полном миллионном контексте. MTP ускоряет генерацию примерно на 51% в заявленных тестах, до 218,4 токена в секунду на RTX 5090. Языки явно не указаны. Сильные стороны модели — очень длинный контекст, точное позиционное извлечение и поддержка изображений. Ограничения проявляются в задачах, требующих агрегации данных по всему окну: на больших длинах качество снижается, а режим thinking, по данным README, существенно ухудшает результаты и может зацикливаться или исчерпывать лимит генерации. Для длинноконтекстного извлечения рекомендуется отключать thinking. Модель описана как uncensored и распространяется по лицензии Gemma; конкретные условия лицензии следует учитывать при использовании.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

Карточка модели unsloth/GLM-4-9B-0414 на Hugging Face совпадает с карточкой zai-org/GLM-4-9B-0414, поэтому описание составлено по ней. GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

Это GGUF-квантизации модели llmfan46/gpt-oss-120b-heretic-v2, созданные независимым автором на основе дообученной версии gpt-oss-120b. Модель предназначена для диалогов и генерации текста, включая задачи с вызовом инструментов и структурированными ответами в совместимых средах запуска. Вариант heretic создан методом abliteration: в README указаны параметры обработки и меньше отказов в приведённом сравнении с исходной gpt-oss-120b. Репозиторий распространяет веса в формате GGUF и рассчитан на запуск через llama.cpp, LM Studio, Ollama и другие совместимые программы. Указана лицензия Apache 2.0.

Hermes-2-Pro-Llama-3-13B — плотная авторегрессионная языковая модель семейства Llama, созданная объединением предварительно обученных моделей с помощью mergekit. В README указана базовая модель NousResearch/Hermes-2-Pro-Llama-3-8B; метаданные описывают модель как дообученную производную этой модели. Репозиторий содержит веса Safetensors, всего 11,4 млрд параметров, с контекстом 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на инструкции. Метаданные каталога также указывают на возможности чата; описание базовой модели связывает семейство Hermes-2-Pro с вызовом функций и генерацией структурированных данных в JSON. Основной язык и отдельные профильные области применения в карточке не обозначены. Лицензия в предоставленных данных не указана. README называет метод слияния passthrough, но перечень объединённых моделей и детали конфигурации опущены, поэтому состав слияния нельзя установить полностью.

djuna/L3.1-Purosani — языковая чат-модель на архитектуре Llama, созданная объединением нескольких предварительно обученных моделей с помощью mergekit и метода della_linear. В основу слияния вошли arcee-ai/Llama-3.1-SuperNova-Lite и grimjim/Llama-3-Instruct-abliteration-LoRA-8B; также в объединении использованы модели для вычислений, длинных текстов и диалогов. Число параметров составляет 7,5 млрд, заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций. Она работает с текстом и может применяться для ответов на вопросы, составления и продолжения текстов, а также обработки длинных запросов. В метаданных указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

KoarAI разработала LFM2.5-350M-Thinking-0003 как дообученную компактную гибридную языковую модель на основе LiquidAI/LFM2.5-350M. Модель с архитектурой LFM2 и примерно 443,4 млн параметров предназначена для генерации текста и диалогов с пошаговыми рассуждениями: она формирует внутренние шаги решения, а затем выдаёт итоговый ответ. Модель дообучена на примерах математических и алгоритмических рассуждений, программирования, русскоязычных диалогов, многошаговых ответов и вопросов из STEM, бизнеса и права. Заявлены контекст до 128 000 токенов и поддержка английского и русского языков. Модель рассчитана на компактное развертывание и сценарии, где нужны ответы с инструкциями, рассуждениями или вызовом инструментов; качество рассуждений и кодогенерации на малой модели может быть ограничено. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache-2.0. Для локального запуска через llama.cpp и совместимые приложения автор отдельно указывает квантованные версии GGUF в другом репозитории.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

Llama DEUS v3 — языковая модель семейства Llama, разработанная автором репозитория teknium и основанная на Llama 7B. Это объединённая с базовой моделью версия LoRA-дообучения: адаптер не требуется подключать отдельно. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые инструкции в формате «### Instruction: … ### Response:». Контекст — до 2048 токенов. Модель дообучена на наборах общих инструкций, программирования, ролевого общения, а также биологии, физики, химии и математики. Она предназначена для генерации ответов и выполнения инструкций в этих сценариях. В README автор характеризует датасеты и модель как uncensored, что может приводить к выдаче нежелательного или небезопасного содержания. Модель распространяется по лицензии MIT.

mindy-7b-v2-Mistral-7B-Instruct-v0.1 — разговорная языковая модель, созданная объединением Mistral-7B-Instruct-v0.1 и mindy-7b-v2 методом SLERP. Это плотная трансформерная архитектура MistralForCausalLM с 7,1 млрд параметров; модель рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специальные предметные области или отдельные ограничения качества.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

Nero-7B-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная teodortita слиянием Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоге; модель принимает текст и выдаёт текст. Архитектура — плотная MistralForCausalLM, контекст — до 32 768 токенов. В README приведены сравнительные результаты на AGIEval, GPT4All, TruthfulQA и Bigbench; Nero показала более высокие значения, чем обе исходные модели, на GPT4All и Bigbench. Эти результаты относятся только к указанным бенчмаркам и не гарантируют качество для конкретных запросов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-1M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель относится к семейству Llama 3.1, имеет около 8 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. В названии указана поддержка сверхдлинного контекста до 1M токенов; в метаданных README заявлен английский язык. Модель подходит для локального запуска в сценариях вопросно-ответного взаимодействия, написания и преобразования текста, анализа длинных документов и других задач text-generation. Файлы представлены в формате GGUF с вариантами квантизации от bf16 до Q3 и IQ4; наиболее качественные варианты требуют больше памяти, а компактные версии позволяют запускать модель на системах с ограниченными ресурсами, но могут сильнее уступать исходным весам по качеству. Квантизация выполнена с использованием imatrix и llama.cpp release b5074. Запуск поддерживается через llama.cpp, LM Studio и другие проекты на базе llama.cpp. Лицензия модели — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями этой лицензии.

Olmo Hybrid Instruct DPO 7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель на 6,3 млрд параметров, дообученная методом supervised fine-tuning и оптимизации предпочтений DPO на запросах по математике, программированию, диалогам и общим знаниям. Она предназначена для диалоговых ответов и генерации текста; поддерживает контекст до 32 768 токенов и запускается через Transformers 5.3.0 или выше. В карточке приведены результаты оценки на математических бенчмарках, включая MATH и AIME. Модель выпускается в формате safetensors и распространяется по лицензии Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии с рекомендациями Responsible Use. Без дополнительной фильтрации она может генерировать вредный или предвзятый контент, а ответы могут содержать фактические ошибки.

Pretergeek создал OpenChat-3.5-0106_9.86B_44Layers-Appended на основе диалоговой модели OpenChat 3.5 0106. Это плотная причинная языковая модель семейства Mistral с 9,7 млрд параметров, предназначенная для генерации текста и общения в формате чата. Она принимает текст и выдаёт текст; заявленная длина контекста — 8192 токена. Модель получена расширением исходной сети дополнительными слоями в конце: автор применил вариант метода расширения блоков, описанного в работе LLaMA Pro. По README, после такого расширения модель ещё не проходила дополнительное обучение и должна вести себя близко к исходной. Её можно использовать для диалога, ответов на общие вопросы, программирования и математических рассуждений, но ожидаемые улучшения от новых слоёв пока не подтверждены обучением. Модель распространяется по лицензии Apache-2.0. Результаты в таблице README включают средний показатель 22,55, IFEval — 59,61 и BBH — 24,06; полный контекст оценки в доступной карточке не приведён.

facebook/opt-iml-max-30b — большая языковая модель семейства OPT, разработанная Meta AI и дообученная по инструкциям в рамках проекта OPT-IML. Версия OPT-IML-Max обучалась на примерно 2000 задачах обработки естественного языка из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource. Модель предназначена для генерации текста по инструкциям и выполнения разнообразных языковых задач. Это плотная авторегрессионная модель с архитектурой OPTForCausalLM и 39,8 млрд параметров; максимальный контекст составляет 2048 токенов. Модель распространяется в формате PyTorch. По оценке авторов, OPT-IML превосходит базовую OPT на ряде оценок. Как и другие большие языковые модели, она может выдавать фактически неверные ответы, токсичный текст и стереотипные формулировки. В метаданных указана лицензия other; конкретные условия следует проверять на странице модели.

Phi-3-medium-4k-instruct-IMat-GGUF — квантизированная версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Релиз подготовлен пользователем legraphista с использованием llama.cpp и представлен в формате GGUF для локального запуска и генерации текста. Модель предназначена для диалоговых сценариев, выполнения инструкций и других задач текстовой генерации. Исходная модель использует формат BF16, а репозиторий содержит варианты с разными уровнями точности и размером от 4,13 до 27,92 ГБ: FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели с сохранением качества по сравнению с обычной квантизацией. Указаны мультиязычная поддержка и контекст до 4096 токенов; доступна только текстовая модальность. Преимущества модели — широкий выбор вариантов квантизации, возможность подбора соотношения качества и требований к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при использовании наиболее компактных вариантов и высокие требования к ресурсам для полноточных версий; конкретные языки, архитектурные детали и результаты оценки в README не указаны. Модель распространяется по лицензии MIT.

Pixtral-12B-2409 — мультимодальная модель Mistral AI для работы с изображениями и текстом. Она сочетает декодер на 12 млрд параметров и визуальный энкодер на 400 млн параметров, обучена на чередующихся данных изображений и текста и поддерживает изображения разных размеров. Модель предназначена для понимания изображений и диаграмм, ответов на вопросы по визуальному содержимому и текстовых задач, включая следование инструкциям, математику и программирование. Заявленная длина последовательности — 128 тыс. токенов. В карточке приведены результаты сравнительных тестов, в том числе по MMMU, MathVista и ChartQA. Модель выпущена под лицензией Apache 2.0. В README указано, что у неё нет механизмов модерации, поэтому при использовании следует учитывать риск немодерируемых ответов.

Qwen2.5-0.5B-Instruct-AWQ — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen компании Alibaba Cloud. Она предназначена для генерации текста, диалоговых приложений, следования инструкциям, обработки структурированных данных и создания структурированных ответов, включая JSON, а также для задач программирования и математики. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и корейский. Модель построена по архитектуре causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд приходятся на неэмбеддинговые параметры, 24 слоя и механизм GQA с 14 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. AWQ-квантизация до 4 бит снижает требования к памяти и подходит для локального и ресурсно-ограниченного запуска, однако может приводить к некоторой потере качества по сравнению с исходной версией в формате bfloat16. README не содержит конкретных результатов бенчмарков, требований к объёму GPU-памяти или данных о пропускной способности. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы.

Карточка модели filippovg199/Qwen2.5-7B-Instruct-abliterated-v2 на Hugging Face совпадает с карточкой huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, поэтому описание составлено по ней. Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-4bit — языковая instruct-модель для генерации текста, разработанная командой Qwen и конвертированная сообществом mlx-community в формат MLX из базовой модели Qwen/Qwen3-4B-Instruct-2507. Модель предназначена для диалогового взаимодействия и выполнения текстовых запросов с использованием chat template. Модель содержит 4 миллиарда параметров и представлена в 4-битном формате квантования. Она работает с текстовой модальностью; сведения о поддерживаемых языках и размере контекста в README не указаны. Формат MLX и использование библиотеки mlx-lm ориентированы на запуск модели в экосистеме MLX. Конкретные преимущества и ограничения качества по сравнению с исходной моделью в предоставленных данных не описаны; 4-битное представление может влиять на точность, но степень такого влияния не указана. Модель распространяется по лицензии Apache 2.0. Конвертация выполнена с использованием mlx-lm версии 0.26.2.

Карточка модели pupsipups/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель семейства Qwen 3.5 с 40 млрд параметров, созданная автором DavidAU на основе DavidAU/Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель дообучали на внутренних наборах Deckard/PDK и наборе высокоуровневых рассуждений Claude 4.5 Opus; также применялись расширение модели с 27B до 40B параметров и шаблон Unsloth. Архитектура использует 96 слоёв, заявлено окно контекста 256 тысяч токенов и переменная длина рассуждений. Модель предназначена для диалогов, рассуждений, написания художественных текстов, генерации кода и анализа изображений. Автор отмечает сохранённую обработку изображений, проверенную генерацию кода и отсутствие ограничений на взрослый и графический контент. В метаданных указаны задачи image-text-to-text, возможности chat и vision, языки английский и китайский, библиотека Transformers и формат safetensors. Автор сообщает о склонности к зацикливанию при низких квантизациях или слишком коротких запросах и рекомендует более качественные кванты и содержательные промпты. Модель распространяется по лицензии Apache-2.0; заявление о превосходстве над базой основано на бенчмарках автора и не является независимой оценкой.

FreedomAISVR публикует GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — разговорной модели рассуждения, дистиллированной из Claude 4.7 Opus. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров, около 3 млрд из которых активны при генерации; в модели 256 экспертов, из них 8 активируются на токен, а также 40 слоёв и MTP-голова. Контекст составляет 262 144 токена. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями. Это текстовая версия без поддержки изображений. Веса сохранены в формате GGUF и квантизированы в NVFP4 примерно до 4 бит; файл модели занимает около 18,81 ГБ. Apache 2.0 указана как лицензия исходной модели.

Qwen3.7 Flash — мультимодальная модель рассуждения с поддержкой изображений, разработанная Alibaba. Она предназначена для мультимодальных агентов, визуального программирования, поиска и взаимодействия с компьютером, а также задач распознавания объектов и пространственного понимания. Модель принимает текст и изображения и генерирует текст.

Qwen3.8-27B-Pessoa-5090 (AR11) — квантованный вариант Qwen/Qwen3.8-27B, подготовленный автором lribeiro. Это vision-language model для обработки текста и изображений, включая сценарии image-text-to-text; языковая часть поддерживает multilingual-данные. Модель предназначена для запуска через vLLM на одной видеокарте NVIDIA RTX 5090 с архитектурой Blackwell SM120 и поддерживает speculative decoding с помощью MTP. Модель содержит 27,79 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration: 27-слойный ViT-энкодер изображений и языковую модель из 64 слоёв, объединяющую 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания. Максимальный контекст составляет 262 144 токена, словарь — 248 320 токенов. Квантование выполнено методом AutoRound 0.14.2 в формате compressed-tensors: ранние MLP-слои используют INT4, поздние — INT5, а проекции внимания — INT6; активации, KV-cache, визуальный энкодер, эмбеддинги, lm_head и MTP-head сохраняются в BF16. Главное преимущество — уменьшение размера с 55,6 до 22,59 ГБ при сохранении качества: заявлены KLD 0,00397 наты и совпадение top-1 в 97,64% случаев на тесте из 278 392 позиций. Ограничения включают зависимость от совместимого стека vLLM, FlashInfer и оборудования Blackwell, а также потенциальные потери точности из-за квантования весов. Модель распространяется по лицензии Apache-2.0.

MiawTeam/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанный MiawTeam на базе Qwen/Qwen3.8-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, включая диалоги, работу с английским и китайским языками, а при наличии vision tower в базовой модели — обработку изображений. Доступны варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также конфигурации со встроенной или отдельной MTP-головой для speculative decoding. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, контекстом до 262 144 токенов и одной MTP-головой. Веса были обработаны методом abliteration с помощью Heretic для существенного снижения отказов без дополнительного обучения и без использования новых данных; при этом базовые возможности, обучающие данные и архитектура заявлены как сохранённые. MTP-тензоры проверены после конвертации и квантизации, а imatrix рассчитана непосредственно из F16-весов. Сильные стороны — большой контекст, поддержка текстовой и потенциально визуальной модальности, несколько уровней квантизации и возможность ускорения генерации за счёт speculative decoding. Ограничения включают зависимость производительности от оборудования и настроек draft decoding, потенциальное небольшое снижение acceptance rate для черновой головы, а также то, что снижение отказов не является полным. В сравнении с базовой моделью среднее изменение результатов на указанных 0-shot тестах составило около −0,5 и находится в пределах или около стандартной ошибки измерений. Распространение указано по лицензии Apache-2.0.