II.7DevOps, облако и эксплуатация IT-систем

bullerwins/Hunyuan-A13B-Instruct-hf — это конвертированная в формат Hugging Face версия чат-модели Hunyuan-A13B-Instruct, разработанной Tencent и представленной в репозитории в формате safetensors. Модель использует архитектуру Mixture of Experts (MoE); в README для исходной модели указаны 80 млрд параметров всего и 13 млрд активных, тогда как метаданные этой копии сообщают 3,1 млрд параметров. Поэтому размер модели в описании этой версии нельзя однозначно согласовать с характеристиками оригинала. Модель предназначена для генерации ответов в диалоге, рассуждений, математики, программирования и агентных сценариев; метаданные также указывают интерфейс вызова инструментов. README исходной модели описывает режимы быстрого и углублённого рассуждения и контекст до 256K токенов, но метаданные этой копии указывают нативный контекст 32 768 токенов. Поддерживаемые языки в предоставленных данных не перечислены. Модель работает с текстом на входе и выдаёт текст. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией Tencent в репозитории перед использованием.

InternLM-20B 是上海人工智能实验室联合商汤科技、香港中文大学和复旦大学发布的 плотная авторегрессионная языковая модель с архитектурой InternLM. В карточке указано, что модель содержит 19,6 млрд параметров, имеет 60 слоёв и предварительно обучена на более чем 2,3 трлн токенов английского, китайского и программного кода. Её основное назначение — генерация текста; модель также ориентирована на понимание, рассуждения, математику, программирование и вызов инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 4096 токенов; README сообщает о возможности расширения до 16 тыс. токенов с помощью экстраполяции при инференсе. В карточке описана базовая предварительно обученная версия; SFT и RLHF относятся к отдельной Chat-версии. README сообщает о сравнительных результатах на языковых и экзаменационных тестах, но они не гарантируют качество для конкретного применения. Лицензия репозитория — Apache-2.0; в README отдельно сказано, что для коммерческого использования весов требуется запросить разрешение. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст.

Ling-1T-GGUF — GGUF-версия языковой модели Ling-1T, разработанной InclusionAI. Это флагманская немыслящая модель серии Ling 2.0 для генерации текста, сложного рассуждения, программирования, математических и логических задач, использования инструментов, создания фронтенд-кода и мультиязычного контента. Модель построена на архитектуре Ling 2.0 и содержит около 1 триллиона общих параметров, из которых примерно 50 миллиардов активируются для каждого токена. Используется разреженная MoE-архитектура с коэффициентом активации 1/32, MTP-слои, маршрутизация экспертов без auxiliary loss, QK-нормализация и FP8-обучение. Модель предварительно обучалась на более чем 20 триллионах токенов, поддерживает контекст до 128K токенов и применяет метод evolutionary chain-of-thought (Evo-CoT). README не указывает полный список поддерживаемых языков, однако заявляет поддержку мультиязычного текста. К сильным сторонам относятся эффективность рассуждения, качество генерации кода, визуальное понимание, создание эстетичного фронтенд-кода, математические и логические задачи, а также вызов инструментов. По заявлению разработчиков, модель демонстрирует высокие результаты на ряде сложных бенчмарков, включая AIME 25, ArtifactsBench и BFCL V3. Ограничения включают чрезвычайно большой общий размер модели и, вероятно, высокие требования к вычислительным ресурсам; конкретные требования к памяти и производительности GGUF-версии в README не приведены. Лицензия — MIT.

Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.

ehristoforu/moremerge — объединённая языковая модель, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-7B-Instruct и ещё девяти моделей семейства Qwen2.5. В состав объединения входят инструктивные и разговорные модели, варианты для кода и математики, а также DeepSeek-R1-Distill-Qwen-7B. Модель имеет архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов; её компоненты ориентированы также на ответы по инструкциям, код и математические рассуждения. Метаданные отмечают интерфейс вызова инструментов. Доступна в формате safetensors для Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Nemotron-Cascade-2-30B-A3B — открытая языковая модель NVIDIA с архитектурой Nemotron-H и смесью экспертов: при общем размере 30 млрд параметров активируется около 3 млрд. Модель дообучена на основе nvidia/Nemotron-3-Nano-30B-A3B-Base и предназначена для диалогов, сложных рассуждений и агентных сценариев. Она поддерживает режимы с рассуждениями и обычными инструкциями, а также интерфейс вызова инструментов через соответствующую конфигурацию. Модель работает с текстом и использует шаблон ChatML. Размер контекста по метаданным — 262 144 токена. В README сообщается о золотых медалях на Международной математической олимпиаде IMO и Международной олимпиаде по информатике IOI 2025. Для запуска через vLLM требуется версия не ниже 0.17.1. Указанный в метаданных язык — английский. Лицензия обозначена как other; конкретные условия следует сверить с карточкой модели на Hugging Face. Качество может зависеть от запроса и настроек генерации; заявленные результаты на олимпиадах не гарантируют такой же точности в других задачах.

Mungert/Phi-4-mini-instruct.gguf — GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и распространяемой на основе этой модели. Это компактная открытая instruction-tuned модель для генерации текста, диалогов, следования инструкциям, рассуждений, генерации кода и function calling. Модель ориентирована на локальный запуск с ограниченными ресурсами и низкой задержкой, а также поддерживает сценарии чат-комплитов. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Заявлена поддержка контекста до 128K токенов и мультиязычных сценариев, однако конкретный перечень языков в README не указан. Для диалогов используется специальный chat format, а для вызова инструментов предусмотрен структурированный формат с описанием функций в JSON. Преимуществами являются открытая доступность, большой контекст, поддержка reasoning, генерации кода и function calling, а также наличие GGUF-формата, подходящего для локального inference. Ограничения зависят от аппаратной конфигурации и выбранной квантизации; в описанном CPU-сценарии на шести потоках загрузка занимала около 15 секунд, а inference был медленным и обрабатывал только один пользовательский запрос одновременно. Модель распространяется по лицензии MIT.

Qwen1.5-4B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2 на архитектуре Transformer с декодером для авторегрессионной генерации текста; в репозитории указано около 3,6 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Модель поддерживает несколько естественных языков, а её контекстное окно составляет 32 768 токенов. Карточка описывает улучшенную для разных языков и программного кода токенизацию и отмечает улучшение предпочтений пользователей в чат-сценариях относительно предыдущей версии Qwen. Для запуска рекомендуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. В карточке также отмечено, что при переключении между языками и некоторых других проблемах генерации могут помочь параметры из generation_config.json.

ClaudioItaly/Qwen2.5-Boster — это объединённая с помощью mergekit методом TIES языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. В качестве основы использована Qwen/Qwen2.5-7B-Instruct, в слияние также включена Qwen/Qwen2.5-Coder-7B-Instruct. Модель предназначена для диалогов и генерации текста, включая задачи с кодом и структурированными ответами. Она принимает текст и выдаёт текст; контекст составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна через библиотеку Transformers. Метаданные указывают интерфейс для вызова инструментов, но карточка не описывает его поведение и качество. Лицензия в предоставленных данных не указана. Результаты могут зависеть от формулировки запроса; README не приводит оценок качества или подробных ограничений модели.

unsloth/Qwen3.5-35B-A3B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen; конвертацию, квантизацию и публикацию сборки выполнила Unsloth. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживается Transformers, vLLM, SGLang и KTransformers. Архитектура относится к MoE-линейке Qwen3.5; обозначение A3B указывает на модель с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен, однако точные характеристики в представленном README не приведены. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, работу с длинным контекстом, вызов инструментов и использование developer role. Доступна поддержка мультимодальных задач с изображениями, но при использовании MTP некоторые возможности ограничены: режим не поддерживает параллельные последовательности с параметром -np > 1 и работу с --mmproj. MTP speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступно включение и отключение режима рассуждений. К сильным сторонам относятся улучшенные послеобучение и квантизация, заявленные улучшения качества диалогов, программирования, длинного контекста и tool calling, а также возможность эффективного локального запуска в разных вариантах GGUF. Ограничения включают зависимость от совместимого программного обеспечения и специальных настроек для MTP, а также отсутствие в README точных сведений о поддерживаемых языках, максимальной длине контекста и полном наборе мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-DeepSeek-V4-Flash — плотная мультимодальная модель на 9 млрд параметров, дообученная Jackrong методом дистилляции на данных DeepSeek-V4-Distill-8000x. Она построена на базе unsloth/Qwen3.5-9B и предназначена для диалогов, структурированных рассуждений, многошагового решения задач и рабочих процессов с вызовом инструментов. Архитектура поддерживает обработку изображений и текста; заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Модель рассчитана на эффективный инференс и может применяться для программирования, математических и STEM-задач, анализа изображений и агентных сценариев. В карточке приведены рекомендации по генерации: temperature от 0,7 до 1,0 и top_p 0,95; для строгих задач программирования предлагается более низкая температура. Модель распространяется по лицензии Apache-2.0. Оценка в README описана как раннее контролируемое сравнение квантованной версии Q5_K_M с базовой Qwen3.5-9B, поэтому заявления о качестве следует считать предварительными. Ограничения включают возможные затруднения с редкими знаниями, чрезмерно длинные рассуждения на простые запросы и возможное ухудшение некоторых аспектов выравнивания безопасности.

Big-Pluto/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-версия модели, разработанная на базе Qwen3.6 и опубликованная Big-Pluto; в README также указаны методы и наборы данных DavidAU, включая Claude 4.6 Opus High Reasoning и Deckard/PDK. Модель предназначена для универсального применения, включая рассуждения, программирование, математику, творческое и художественное письмо, ролевые сценарии и генерацию историй различных жанров. Заявлены 40 млрд плотных параметров, 96 слоёв и 1275 тензоров; модель описана как расширенная с 27B до 40B параметров и поддерживающая переменную длину рассуждений. Указан контекст до 256K токенов, языки English и Chinese, а также поддержка изображений через отдельный mmproj-файл, что соответствует мультимодальному сценарию image-text-to-text. Распространяются различные GGUF-квантизации с dual imatrix-настройками; для них заявлено сохранение значительной доли качества BF16, однако конкретные результаты зависят от выбранного кванта. Сильными сторонами заявлены развитое reasoning, работа с длинным контекстом, кодом и математикой, творческая выразительность и отсутствие цензурных ограничений. Ограничения включают значительные требования к памяти и вычислительным ресурсам из-за размера модели, необходимость отдельного mmproj для работы с изображениями и возможную нестабильность или потерю качества при использовании низких квантизаций. Лицензия — Apache-2.0.

batiai/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, основанной на архитектуре Qwen3.5. Квантизацию выпустила BatiAI на базе официального релиза Qwen. Модель предназначена для локального запуска через llama.cpp и Ollama, включая использование на устройствах Apple Silicon. Модель представляет собой плотную модель на 27 млрд параметров с 64 слоями, скрытым размером 5120 и словарём из 248 320 токенов. Она использует гибридную архитектуру с преимущественно линейным вниманием Gated DeltaNet и полным вниманием в каждом четвёртом блоке. Нативный контекст составляет 262 144 токена и заявлена возможность расширения до 1 млн токенов. Поддерживаются текстовые сценарии, а при подключении vision-проектора BF16 — анализ изображений и видео. Заявлены языки английский, корейский и китайский. Модель ориентирована на генерацию текста, рассуждения, планирование и агентские сценарии с обработкой обратной связи от окружения. Режим рассуждений включён по умолчанию, его можно отключать и настраивать через reasoning_effort. Доступно несколько вариантов квантизации объёмом примерно от 10,2 до 22,1 ГБ, а vision-проектор требует ещё около 0,93 ГБ. Квантизация снижает требования к памяти, но может влиять на качество по сравнению с полноточной моделью; конкретные требования зависят от выбранного варианта и оборудования. На Apple Silicon производительность разных квантизаций неодинакова, поэтому меньший файл не всегда означает более высокую скорость. Распространение указано по лицензии Apache-2.0.

Davidmg0815/Qwen3.8-27B-MTP-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-27B, опубликованная Davidmg0815 и собранная из оригинальных BF16-весов. Репозиторий предназначен для запуска через llama.cpp и содержит отдельную MTP-модель для speculative decoding, благодаря чему Multi-Token Prediction можно использовать в llama-server. Модель рассчитана на текстовые и мультимодальные сценарии: диалог, рассуждения, генерацию и анализ текста, программирование, структурированный вывод, а также обработку изображений и видео при использовании отдельного vision/video-проектора. В метаданных указаны немецкий и английский языки. Доступны целевая модель в вариантах Q8_0 размером 27,3 ГБ и Q6_K размером 21,0 ГБ, отдельный MTP-draft размером около 3,0 ГБ и мультимодальный проектор F16 размером около 0,9 ГБ. Заявлен контекст до 262 144 токенов; в тестовой конфигурации использовался KV-cache q8_0. Сильная сторона сборки — эффективное speculative decoding: на трёх RTX 3080 по 20 ГБ MTP увеличивал скорость до 2,79 раза для рассуждений и примерно в 1,7 раза для обычного связного текста. В тестах указаны результаты 98,0% на MATH-500 и 88,4–90,2% на HumanEval+. При этом выигрыш от MTP сильно зависит от типа текста: для предсказуемых последовательностей он выше, а для творческого текста и кода ниже. Q8_0 ориентирован на максимальное сохранение качества, тогда как Q6_K быстрее и требует меньше памяти; различия в качестве между ними в приведённых тестах не обнаружены. Для работы MTP необходимы совместимые целевая и draft-модели и llama.cpp с соответствующими параметрами. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-V2-GGUF — мультимодальная instruction-tuned модель, разработанная Jackrong. Это обновлённый post-training релиз Qwopus3.8-27B-Flash, основанный на Qwen3.8-27B. Модель предназначена для генерации текста по текстовым и визуальным входным данным, решения сложных задач, рассуждений, генерации кода, использования инструментов, function calling и агентских сценариев с многократными итерациями «анализ — вызов инструмента — наблюдение — редактирование — проверка». Версия GGUF ориентирована на локальный inference. Ключевая заявленная характеристика — размер 27B параметров. Модель поддерживает image-text-to-text и относится к мультимодальным моделям с vision-возможностями. В README указаны языки English, Chinese, Spanish, Russian и Japanese. Архитектура и размер контекстного окна не раскрыты. Обновлённое обучение направлено на сокращение неэффективных рассуждений, повышение скорости завершения задач и улучшение практичности длительных агентских рабочих процессов; отдельно отмечено улучшение форматирования Python. Сильными сторонами модели являются сочетание рассуждений, программирования, работы с изображениями и инструментами, а также ориентация на эффективность при ограниченных вычислительных ресурсах. При этом README подчёркивает компромисс между сокращением длины рассуждений и сохранением корректности; универсальные улучшения качества не заявлены. Точные методы обучения V2 и полный рецепт reinforcement learning не раскрыты. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic — текстовая дообученная модель на архитектуре Qwen3.5-9B, опубликованная llmfan46. Она предназначена для генерации ответов с рассуждениями и агентных сценариев с вызовом инструментов, включая вычисления, поиск фактов и работу с большими наборами документов или кодом. В README описана поддержка формата вызова функций Qwen3.5 и контекстное окно до 1 048 576 токенов с YaRN; автор сообщает о проверке на контекстах примерно до 137 тысяч токенов. Модель имеет 9 млрд параметров и обучена методом полного supervised fine-tuning на текстовых данных; визуальная часть унаследована от базы, но не дообучалась и не тестировалась. Архитектура базы мультимодальная, однако основная карточка и pipeline ориентированы на генерацию текста. Указаны английский язык и лицензия Apache 2.0. Автор предупреждает о возможных повторах при жадном декодировании и низкой температуре, а также о небольшом снижении качества на коротком контексте из-за YaRN.

RavenXAILabsLLC-Qwen3.8-27B-Abliterated-Unified-Frontier-Model-IQ-Injected-MLX-MTP — открытая текстовая генеративная модель, разработанная RavenX AI Labs LLC на основе PocketAiHub/Qwen3.8-27B-Abliterated-MLX-4bit. По данным карточки, модель объединяет дистиллированные примеры и паттерны рассуждения из нескольких заявленных frontier-моделей и дополнительно обучалась на задачах программирования, агентного tool calling, анализа безопасности, финансов и трейдинга. Заявлены 1 159 426 обучающих примеров и сохранение планирования в весах без явных тегов рассуждений в ответах. Модель предназначена для генерации текста, программирования, структурированного анализа, агентских сценариев с вызовом инструментов и API, анализа уязвимостей и задач, связанных с безопасностью. Архитектура указана как Qwen3_5, размер — 27 млрд параметров, формат — MLX 4-bit; поддерживается библиотекой MLX и ориентирована прежде всего на запуск на Apple Silicon. В карточке также заявлена совместимость с ESI и MTP drafter для speculative decoding, а рекомендуемый объём памяти составляет около 15,5 ГБ. Указан английский язык; поддержка других языков и размер контекстного окна не уточняются. Сильными сторонами заявлены универсальность, навыки программирования и рассуждений, агентское взаимодействие с инструментами, а также оптимизация для локального запуска на устройствах Apple. Производитель сообщает о результате 93% на собственном наборе из 18 тестов, однако подробная методика и независимое подтверждение этого показателя в README не приведены. Ограничениями являются отсутствие подтверждённых сведений о контекстном окне, мультимодальности, качестве на разных языках и независимых бенчмарках; возможности в сфере пентестинга и безопасности требуют осторожного применения и проверки результатов. Лицензия указана как Apache-2.0.

XORTRON.CriminalComputing.LARGE.2026.3 — разговорная языковая модель на архитектуре Mistral, опубликованная heretic-org. По карточке это версия Mistral-Large-Instruct-2411 с abliteration: модель изменена для существенного снижения частоты отказов, а не для отдельной предметной области. Она предназначена для генерации ответов в диалоге, рассуждений, помощи с кодом и работы с длинным контекстом; исходная карточка также описывает поддержку вызова функций. Метаданные указывают 122,2 млрд параметров, плотную архитектуру MistralForCausalLM, контекст до 131 072 токенов и форматы Safetensors. Указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, при KL-дивергенции 0,0578; это показывает снижение отказов, но не подтверждает качество или безопасность ответов. Лицензия обозначена как other; README описывает исследовательскую лицензию Mistral для исходной модели, но условия лицензии этой производной модели однозначно не установлены.

Карточка модели jondurbin/airoboros-l2-70b-gpt4-m2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-m2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

DeepHermes-3-Llama-3-3B-Preview-Abliterated — англоязычная чат-модель Nous Research, дообученная на базе NousResearch/DeepHermes-3-Llama-3-3B-Preview. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов. Она поддерживает обычный режим ответов и режим развёрнутых рассуждений, переключаемые системным промптом, а также вызов функций. Модель предназначена для рассуждений, решения сложных задач, структурированной генерации, аннотирования, оценки ответов и автоматизации. Её можно применять для программирования, исследовательской работы и поддержки принятия решений. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Суффикс «Abliterated» указывает на изменение защитного поведения, но README не описывает его механизм или результаты оценки.

Vontra/DeepSeek-V4-Flash-0731-MXFP4-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731 от DeepSeek, распространяемая Vontra. Модель предназначена для генерации текста и запуска локальных LLM-приложений на устройствах Apple с MLX, включая диалоги, программирование и работу с длинным контекстом. Исходная модель имеет 305 млрд параметров, из которых около 13 млрд активируются для одного токена, и использует архитектуру Mixture-of-Experts. В данной версии эксперты представлены в формате MXFP4, attention — в MXFP8, а выходная голова сохраняется в формате bfloat16. Поддерживается текстовая модальность; сведения о полном наборе языков и максимальной длине контекста в README не указаны, однако приведены измерения на контексте 23 тысячи токенов. Конверсия заявлена как побитово идентичная исходному checkpoint: значения весов после деквантизации совпадают с оригиналом, а размер составляет около 167,1 ГБ. Модель сохраняет DSpark MTP-головы, что позволяет использовать нативное speculative decoding в oMLX 0.5.4rc2 и повысить скорость генерации примерно до 41,7 токена в секунду на Mac Studio с M3 Ultra против 26,1 токена в секунду без спекуляции. Для работы требуется значительный объём памяти и совместимое окружение MLX/oMLX; заявленные показатели зависят от оборудования, настроек и кэширования промптов. Лицензия — MIT.

Falcon3-1B-Instruct — компактная инструктивная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она дообучена на базе tiiuae/Falcon3-1B-Base и предназначена для диалогов и генерации текста по инструкциям. Модель имеет плотную архитектуру Transformer с причинным декодером и 1,4 млрд параметров. В ней 18 блоков декодера, Grouped Query Attention, SwiGLU и RMSNorm; контекстное окно — до 8192 токенов. Модель принимает и генерирует текст на английском, французском, испанском и португальском языках. Модель обучалась на данных для STEM, диалогов, программирования, безопасности и вызова функций. В карточке заявлены сильные результаты в рассуждениях, понимании языка, следовании инструкциям, математике и задачах с кодом. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-AWQ — мультимодальная языковая модель, основанная на архитектуре GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса подготовила dealignai, а Solstice-AI выпустила эту AWQ-квантизованную версию. Модель предназначена для генерации и анализа текста, программирования, математических и логических задач, а также понимания изображений и видео. Заявлены поддерживаемые языки английский и китайский. Модель использует MoE-архитектуру с 320 млрд общих параметров, 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Применяется формат W4A16 AWQ: веса квантизованы до INT4 с group_size=128, а активации сохраняются в 16-битном формате. Визуальные компоненты, механизмы внимания, маршрутизаторы MoE, эмбеддинги и языковая голова оставлены без квантизации. В README указана поддержка контекста до 131 072 токенов, а также speculative decoding с DFlash 2. К сильным сторонам относятся сочетание больших возможностей MoE-модели с уменьшенным размером весов, мультимодальность, поддержка длинного контекста и сценариев программирования, математики, анализа изображений и видео. Ограничения включают очень высокую общую ёмкость модели и, как следствие, значительные требования к памяти и вычислительным ресурсам, несмотря на INT4-квантизацию; для запуска требуются совместимые движки, например vLLM или SGLang. Показатели качества и отсутствие отказов приведены авторами README и не подтверждены независимой проверкой. Лицензия — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — Apple Silicon-версия мультимодальной модели GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса предоставлены dealignai, а смешанную квантизацию oQ8e подготовила Solstice-AI. Модель распространяется в формате MLX и предназначена для локального запуска на чипах Apple Silicon M2, M3, M4 и M5. Это разреженная MoE-модель общим объёмом 320 млрд параметров, из которых около 18 млрд активируются для каждого токена; используется 288 маршрутизируемых экспертов. Модель поддерживает текст, изображения и видео, заявлены языки English и Chinese, а также нативное контекстное окно до 1 048 576 токенов. В релиз включён DFlash2 speculative drafter, который, по данным README, может обеспечивать прирост пропускной способности генерации до 3 раз. Ключевая особенность — смешанная точность около 8,6 bpw: критичные для маршрутизации и вывода компоненты защищены 8-битным или полным представлением, а vision tower и мультимодальный aligner сохранены в BF16. Модель ориентирована на рассуждения, программирование, математические задачи, анализ изображений и видео, а также работу с длинным контекстом. README заявляет высокие результаты на MMLU, SWE-bench Pro, LiveCodeBench, MATH-500, MMMU и VideoQA, но эти показатели не подтверждены независимыми источниками. Пометка UNCENSORED указывает на отсутствие обычного поведения отказа, что расширяет спектр допустимых сценариев, но может повышать риски небезопасных ответов. Лицензия — MIT.

harkov000/hermes-dolphin-8B — объединённая модель на архитектуре Llama, созданная методом SLERP из NousResearch/Hermes-3-Llama-3.1-8B и cognitivecomputations/dolphin-2.9.4-llama3.1-8b. Репозиторий содержит веса в формате safetensors; размер модели — 7,5 млрд параметров, заявленная длина контекста — 131 072 токена. Модель предназначена для диалоговой генерации текста и следования инструкциям; метаданные также отмечают интерфейс вызова инструментов. Её можно применять для ответов на вопросы, рассуждений, помощи с кодом и сценариев с использованием инструментов. Базовая модель Hermes 3 ориентирована на английский язык; карточка этой объединённой модели не уточняет языковой охват. Модель опубликована 23 октября 2024 года. Условия лицензии в предоставленных данных не приведены.

Это квантованная версия Qwen3.5-35B-A3B, доработанная huihui-ai в стиле Claude 4.6 Opus и опубликованная cesarsal1nas в формате GGUF. Модель предназначена для диалогов, следования инструкциям, программирования, рассуждений, генерации структурированных ответов и работы с инструментами. Она также поддерживает обработку изображений при использовании отдельного vision-проектора. Архитектура — qwen35moe: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов, из которых активируются 8. Используется квантование Q4_K_M с размером основного файла около 20 ГБ; vision-проектор F16 занимает около 858 МБ. Заявленная длина контекста — 262 144 токена, однако в примерах запуска рекомендуется 131 072. Языки в README не указаны. К сильным сторонам относятся сочетание MoE-архитектуры с относительно небольшим числом активных параметров, поддержка текста и изображений, а также заявленная пригодность для reasoning, coding и tool use. Модель подвергнута abliteration: механизмы отказа и ограничения выравнивания удалены, поэтому её ответы могут быть менее безопасными и требуют особенно внимательного контроля. Указанные возможности основаны преимущественно на тестировании автора в Hermes Agent; независимые оценки качества не приведены. Лицензия — Apache 2.0.

DuoNeural/LFM2.5-8B-A1B-Abliterated-GGUF — набор GGUF-квантизированных версий модели DuoNeural LFM2.5-8B-A1B-Abliterated, созданной на основе Liquid AI LFM 2.5-8B-A1B. Модель предназначена для генерации текста, рассуждений, программирования, математических задач и формирования структурированных данных, включая JSON. Указан английский язык. Модель распространяется в формате GGUF и совместима с llama.cpp, Ollama и LM Studio; используется шаблон ChatML. Архитектура описана как гибридная, сочетающая MoE и hybrid attention, с 8B общих параметров и обозначением A1B; в ней присутствуют шесть полносвязных GQA-слоёв. Доступны варианты Q4_K_M размером 4,9 ГБ с рекомендуемым объёмом RAM около 6 ГБ и Q5_K_M размером 5,7 ГБ с требованием около 8 ГБ. Для Q4_K_M заявлена работа с контекстом до 128k, для Q5_K_M подтверждён контекст 64k. Q5_K_M рекомендован как баланс качества и размера. Это локальная и вычислительно эффективная модель, способная работать даже на видеокартах потребительского уровня; заявлено сохранение возможностей исходной модели после аблерации и минимальное изменение распределения ответов на доброкачественных запросах. При этом README сообщает об удалении большей части исходного отказного поведения, поэтому модель может быть менее безопасной для неконтролируемого применения. Подробные ограничения, результаты независимой оценки и полный набор поддерживаемых языков не указаны. Лицензия — Apache 2.0.

li-14b-v0.4 — языковая модель на 14 млрд параметров от wanlige, объединённая с помощью mergekit методом Model Stock. В качестве основы использована Qwen/Qwen2.5-14B-Instruct; в слияние также вошли Qwen2.5-Coder-14B, DeepSeek-R1-Distill-Qwen-14B и другие модели семейства Qwen. Модель имеет плотную архитектуру Qwen2 и доступна в формате safetensors. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, выполнение инструкций, рассуждения и задачи, связанные с кодом. Поддерживает контекст до 32 768 токенов; в карточке указаны китайский, английский, французский и немецкий языки. Для инференса используется библиотека Transformers. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая оценку IFEval 81,33 и MATH Level 5 55,74; они характеризуют тестирование автора и не гарантируют качество на пользовательских задачах. Модель объединяет несколько чекпойнтов, поэтому её поведение и качество могут различаться между типами задач; независимые подробные оценки в карточке не представлены.

Mistral-Small-4-119B-Uncensored-GGUF — текстовая GGUF-версия модели Mistral Small 4 119B Instruct, разработанная TIMTEH на базе модели Mistral AI. Из исходной мультимодальной модели удалена vision tower, поэтому данная версия работает только с текстом. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и других задач обработки естественного языка, включая сценарии, где требуется меньше ограничений на ответы. Модель содержит 119 млрд параметров и использует архитектуру Mixture of Experts с 128 маршрутизируемыми и одним общим экспертом на каждом слое; для каждого токена активируются 4 эксперта. Архитектура включает 36 decoder layers и Multi-Latent Attention. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского и корейского языков. Исходная модель поддерживает контекст до 128K токенов, однако для GGUF-рантаймов рекомендуется ориентироваться на контекст до 32K токенов. Ключевая особенность — abliteration: из слоёв 9–35 удалено направление, связанное с отказами, без дообучения и изменения датасета. Это расширяет диапазон запросов, на которые модель отвечает, но одновременно уменьшает защитные ограничения и требует ответственного применения. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в BF16; размер файлов составляет примерно от 41 до 222 ГБ, поэтому требуются значительные ресурсы GPU или оперативной памяти. Совместима с llama.cpp, LM Studio, Jan, koboldcpp, Ollama и другими GGUF-совместимыми средами. Распространяется по лицензии Apache-2.0.