II.3Рефакторинг, миграция и модернизация

Карточка модели nuottroisaoduoc/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

ThomasBaruzier/Meta-Llama-3-8B-Instruct-GGUF — это версия модели Meta Llama 3 8B Instruct в формате GGUF, подготовленная пользователем ThomasBaruzier. Базовая модель разработана Meta и предназначена для генерации текста на основе инструкций и диалогового взаимодействия. Модель относится к текстовым генеративным моделям и ориентирована на англоязычные сценарии: ответы на запросы, ведение диалога и выполнение текстовых инструкций. В карточке указаны размер 8B, формат GGUF и английский язык; сведения о длине контекста, конкретной архитектуре, вариантах квантования и поддержке других модальностей отсутствуют. К сильным сторонам относятся специализированная настройка для следования инструкциям и возможность использования в экосистеме GGUF. Ограничения включают отсутствие мультимодальности и неполные сведения о конфигурации конкретной сборки; качество ответов и требования к ресурсам зависят от выбранного варианта GGUF. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, Acceptable Use Policy и требования Meta к атрибуции, включая указание «Built with Meta Llama 3» в применимых случаях.

MiniCPM5-2B-GGUF — это набор общественных GGUF-квантизаций плотной языковой модели MiniCPM5-2B, разработанной OpenBMB и преобразованной в формат GGUF автором ngquocvinh. Релиз предназначен для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, а также для создания локальных ассистентов, coding agents, сценариев с использованием инструментов и развёртывания на устройствах с ограниченными ресурсами. Релиз является только конвертацией и квантизацией исходной модели без дополнительного обучения, дообучения, объединения весов или иных изменений параметров. Модель использует архитектуру LlamaForCausalLM, содержит около 2,52 млрд параметров, 42 слоя и GQA с 16 query-heads и 2 KV-heads. Нативная длина контекста составляет 131 072 токена. В метаданных указаны английский и китайский языки. Поддерживаются генерация текста, рассуждения и официальный шаблон чата с thinking и XML-стилем вызова инструментов, однако поведение tool calling в этом релизе отдельно не сертифицировано. Доступно несколько уровней квантизации: от Q8_0 и Q6_K с наибольшей близостью к BF16-версии до более компактных вариантов с меньшей точностью. Чем сильнее сжатие, тем ниже требования к ресурсам, но тем заметнее отклонение поведения от исходной модели; экстремально низкие уровни, такие как Q1_0 и некоторые Q2-варианты, демонстрируют существенную потерю качества по приведённым измерениям. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию OpenBMB и лицензию при перераспределении. Это общественная квантизация, не официальный релиз и не одобрение OpenBMB.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

bartowski/NousResearch_DeepHermes-3-Llama-3-8B-Preview-GGUF — это набор GGUF-квантизаций модели DeepHermes-3-Llama-3-8B-Preview, разработанной NousResearch и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых и чат-сценариев, инструкционного взаимодействия, рассуждений, ролевых диалогов, работы с JSON и function calling. Указан английский язык. Модель основана на Llama 3 и содержит 8 миллиардов параметров. Она поддерживает текстовую модальность и формат запросов ChatML-подобного типа с системными, пользовательскими и ассистентскими сообщениями. В репозитории представлены варианты квантизации от Q3 до Q8 объёмом примерно от 4,45 до 8,54 ГБ; более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и поддержка задач, связанных с инструкциями, структурированными ответами и вызовом функций. Ограничения включают отсутствие заявленных данных о контекстном окне, бенчмарках и качестве на других языках, а также неизбежные потери качества при использовании более агрессивной квантизации. Лицензия указана как llama3; дополнительные условия использования в README не раскрыты.

Это GGUF-квантизированная версия DeepHermes-3-Mistral-24B-Preview, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель основана на архитектуре Mistral, содержит 24 млрд параметров и предназначена для генерации текста в формате instruct/chat. В репозитории представлены варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4 и Q3, различающиеся размером файлов и соотношением качества и требований к памяти. Модель ориентирована на диалоговые сценарии, рассуждения, ролевое взаимодействие, синтетическую генерацию данных, function calling и выдачу структурированного JSON. Для работы используется формат сообщений ChatML-подобного типа с ролями system, user и assistant; рекомендуемые среды запуска включают LM Studio, llama.cpp и совместимые проекты. В метаданных указан английский язык, однако сведения о поддерживаемых языках помимо него отсутствуют. Максимальная длина контекста также не указана. Сильной стороной являются доступные варианты квантизации: Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество при меньших требованиях к памяти, а Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Ограничения связаны с тем, что это preview-версия, а квантизация может снижать точность по сравнению с исходными весами; характеристики производительности и результаты тестирования в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1_5, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к классу крупных текстовых моделей примерно на 49 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; размеры файлов составляют примерно от 26,87 до 99,74 ГБ. Для работы используется специальный prompt format семейства Llama 3. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в совместимых инструментах. Ограничения связаны с большим размером модели и высокими требованиями к памяти, особенно для BF16 и качественных вариантов. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и лицензия исходной модели.

Open-Instruct CoT 13B — языковая модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Allen Institute for AI на подмножестве CoT из Flan v2. Она предназначена для генерации ответов на инструкции с пошаговыми рассуждениями, а также для общих задач генерации текста, включая вопросы и ответы, математические задачи и программирование. Модель принимает текст и выдаёт текст; карточка указывает английский язык, а контекст составляет 2048 токенов. В опубликованных бенчмарках модель оценивалась на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Для её использования требуется исходная модель LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельный полный чекпойнт. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Pareto — мультимодальная составная модель, предназначенная для исследований, программирования и агентных сценариев. По карточке модели, она рассчитана на широкий круг задач общего назначения и заявляет высокий уровень производительности. Метаданные каталога относят её к моделям типа image-text-to-text, поэтому она принимает изображения и текст и формирует текстовые ответы. Сведений об архитектуре, размере, языковой поддержке и лицензии в доступных данных нет. Карточка позиционирует модель для исследовательских и агентных рабочих процессов, но не описывает конкретные возможности, ограничения или условия применения.

Pensez-v0.1-e5 — двуязычная англо-французская языковая модель для диалогов и задач рассуждения, разработанная на базе Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель Qwen2 с 7,1 млрд параметров, дообученная методом SFT на наборе Pensez v0.1 из 2 000 примеров: по 1 000 на французском и английском языках. Модель предназначена для повседневных вопросов, научных задач, математики и программирования; для простых запросов использует краткие рассуждения, а для сложных может разворачивать их подробнее. Поддерживает контекст до 32 768 токенов и поставляется в формате safetensors. В карточке приведены сравнительные результаты на франкоязычных тестах по математике, пониманию вопросов и знаниям; результаты различаются по бенчмаркам и не гарантируют качество для всех запросов. Модель доступна по лицензии Apache-2.0. Для запуска автор указывает библиотеку Transformers.

Richard Young создал эту версию Microsoft Phi-4-mini-instruct с помощью Heretic 2.0.0.dev0: модель подвергнута аблерации, которая уменьшает склонность отказывать в ответах. Это плотная авторегрессионная языковая модель семейства Phi-3 с 3,8 млрд параметров и контекстом 4096 токенов; она распространяется в формате Safetensors и предназначена для генерации текста, диалогов, кода и рассуждений, в том числе в условиях ограниченных вычислительных ресурсов. Модель поддерживает множество языков, включая русский, английский, китайский, японский, арабский, украинский и другие. По данным карточки, в тесте на 100 запросах число отказов снизилось с 99 у исходной модели до 5 у этой версии; автор также сообщает о низком расхождении с исходной моделью по KL-дивергенции. Модель подходит для локального использования, творческого письма и изучения методов выравнивания, однако уменьшение отказов означает, что она может выдавать ответы на запросы, которые исходная модель отклоняет. Как и другие языковые модели, она может ошибаться; для высокорисковых сценариев автор рекомендует отдельную оценку точности, безопасности и справедливости. Лицензия — MIT.

Qwen3-4B-Instruct-2507-Q8_0-GGUF — это квантизированная версия модели Qwen3-4B-Instruct-2507, преобразованная в формат GGUF проектом ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы в диалоговых и инструкционных сценариях; запуск возможен через llama.cpp в режиме CLI или сервера, включая локальное развертывание. Из известных характеристик следует, что это модель размером 4B параметров с инструкционным назначением и квантованием Q8_0. README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста, поэтому эти свойства нельзя достоверно уточнить. Формат GGUF и совместимость с llama.cpp удобны для локального запуска на различном оборудовании, однако конкретные требования к ресурсам и производительность зависят от используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Architect-Polaris2-Fable-B-F451 — мультимодальная модель Nightmedia, полученная слиянием NuSLERP нескольких моделей семейства Qwen. Карточка описывает её как диалоговую и экспериментальную модель для рассуждений, программирования и творческого письма; в примере показаны развёрнутые ответы на математические и художественные вопросы. Архитектура в метаданных обозначена как плотная Qwen3.5 для генерации текста с изображениями, размер базовой модели — 27 млрд параметров. Метаданные указывают поддержку зрения, следования инструкциям и интерфейса вызова инструментов, а также языки английский, китайский, японский и испанский. Заявлены контекстные варианты до 256 тыс. и 1 млн токенов, однако README не уточняет, к каким именно вариантам они относятся. Модель подходит для диалоговых помощников, анализа изображений, программирования, рассуждений и создания художественных текстов. Карточка приводит отдельные сравнительные показатели компонентов с разными форматами квантования, но не даёт полноценной независимой оценки качества итогового слияния. Лицензия — Apache-2.0. README содержит фрагменты кода, опущенные в карточке, поэтому детали рецепта слияния и воспроизводимости по нему проверить нельзя.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4 — квантизированная текстовая causal language model на базе Qwen/Qwen3.8-2.4T-A95B, разработанная RedHatAI. Модель принимает текст и генерирует текст; архитектура указана как Qwen3_5MoeForCausalLM с Mixture-of-Experts. Конкретные поддерживаемые языки и размер контекста в README не указаны. В модели веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), тогда как attention и неквантизированные слои сохраняют исходную точность. Для квантизации использован LLM Compressor, а модель экспортирована в формате compressed-tensors и подготовлена для инференса через vLLM. Для развертывания в README приведена конфигурация с tensor parallelism и expert parallelism на 8 устройств. Ключевое преимущество — сокращение числа бит на параметр в квантизированных MoE-слоях с 16 до 4, что уменьшает их дисковый размер и требования к памяти GPU примерно на 75%. По заявленным оценкам, качество практически полностью сохраняется относительно неквантизированной версии: на GPQA Diamond получено 92,9 против 92,6, а на DeepSWE (v1.1) — 56,6 против 56,6. Ограничения включают зависимость от совместимой инфраструктуры vLLM и аппаратной поддержки NVFP4; лицензия в README не указана.

Agens Pilot NOESIS BF16 — это мультимодальная языковая модель примерно на 27 млрд параметров, разработанная Blockway и выпущенная AMAImedia в составе платформы автоматизации многоязычного дубляжа NOESIS. Это дообученная версия Qwen3.8-27B с архитектурой Qwen3.5 для генерации текста по текстовым и визуальным входам; репозиторий содержит веса BF16 в формате Safetensors. Модель рассчитана на контекст до 1 млн токенов, включая расширение YaRN сверх нативных 262 144 токенов. Модель предназначена для диалоговых помощников и агентных сценариев, особенно для пользователей Гонконга и региона Гуандун. Карточка выделяет письменный кантонский с гонконгской лексикой и регистром, ответы на сложные исторические и геополитические вопросы с несколькими перспективами, следование инструкциям, вызов инструментов, программирование и задачи «изображение—текст». Заявлены также китайский и английский языки; метаданные указывают широкий набор дополнительных языков. По результатам внутренней проверки разработчика модель показала более сбалансированные ответы на небольшом наборе сложных вопросов, при этом поведение отказа на универсально вредоносные запросы сохранилось. Эти результаты ориентировочные: набор мал, оценки получены в одном запуске, а показатели внутренних тестов напрямую несопоставимы с внешними бенчмарками. Модель может ошибаться в фактах, визуальная математика названа слабой стороной; кантонское поведение лучше всего охватывает письменный гонконгский вариант. Лицензия Apache-2.0 допускает коммерческое использование.

Distillio/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска задач генерации и анализа текста, а также обработки изображений при использовании совместимого файла mmproj. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и квантизацию imatrix. Доступны варианты от BF16 и Q8_0 до более компактных Q2_K и IQ3/IQ4, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым компромиссом README называет Q4_K_M размером около 17,77 ГБ; более высокое качество обеспечивают Q5 и Q6, а варианты Q2–Q3 рассчитаны на ограниченный объём оперативной памяти, но заметно уступают по качеству. Для запуска требуется совместимое программное обеспечение, в частности llama.cpp; для работы с изображениями необходим mmproj-файл. README не указывает поддерживаемые языки и размер контекста, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Kearuga — пользовательская гибридно-квантизированная версия Qwen3.8-27B, разработанная 0xWhiteMage. Модель предназначена для генерации текста и высокопроизводительного интерактивного сервинга со speculative decoding на одной NVIDIA DGX Spark с GB10, Grace-Blackwell и 128 ГБ унифицированной памяти. Она ориентирована на сценарии, где важны снижение потребления памяти, высокая пропускная способность и сохранение качества базовой модели. Модель содержит около 27 млрд параметров и использует комбинацию GPTQ с групповыми масштабами Four-Over-Six, NVFP4 AWQ, FP8 E4M3 и защищённых участков BF16. Размер весов сокращён с 51,8 ГиБ до 24,85 ГБ. Для ускоренного сервинга поддерживается связка с SGLang и отдельной Kearuga DFlash 2 drafter-моделью с K=12 и draft head на 64K. Заявлены языки английский, китайский, немецкий, французский, японский, корейский, испанский и русский; модель относится к классу text-generation. По данным README, средняя KL-дивергенция относительно базовой BF16-модели составляет 0,0165, совпадение наиболее вероятного токена на тесте из 40 примеров — 100%, а на отложенном наборе — 95%. Точное совпадение продолжения длиной 32 токена достигнуто в 50% случаев, поэтому квантизация может приводить к отличиям в генерации при близких значениях логитов. Для Quality-200 указано 157 из 180 баллов, включая результаты на GSM8K, HumanEval, IFEval и агентских задачах. Производительность зависит от конфигурации сервинга и оборудования; приведённые показатели измерены на DGX Spark при отключённом thinking и температуре 0. Модель распространяется по лицензии Apache 2.0.

Qwen3-Swallow-32B-RL-v0.2 — японско-английская языковая модель команды Swallow LLM, дообученная на основе Qwen3-Swallow-32B-SFT-v0.2 с помощью обучения с подкреплением по проверяемым вознаграждениям (RLVR). Это плотная архитектура Qwen3 с 29,7 млрд параметров, предназначенная для диалоговой генерации текста и рассуждений; модель принимает текст и генерирует текст. Поддерживает японский и английский языки, а родная длина контекста составляет 40 960 токенов. Модель ориентирована на ответы на японском и английском языках, перевод между ними, а также задачи математики и программирования. По описанию разработчиков, RLVR улучшило математические и кодовые рассуждения, сохранив результаты на уровне исходных Qwen3 или выше на некоторых задачах. Для запуска разработчики рекомендуют Transformers-совместимую инфраструктуру, в частности vLLM, и контекст не более 32 768 токенов. Вызов инструментов не является проверенным сценарием, а отдельного переключателя режима рассуждений нет. Модель выпущена на раннем этапе исследований и разработки; авторы предупреждают, что её ответы не настроены для надёжного соответствия намерениям пользователя и требованиям безопасности. Лицензия — Apache-2.0.

Это GGUF-квантизованная версия Qwen3-Next-80B-A3B-Instruct — инструкционной текстовой модели, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где требуется запуск через совместимые локальные инструменты, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 36,6 до 84,8 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие позволяют снизить требования к оперативной памяти за счёт большей потери качества. Для работы необходимо использовать указанный шаблон промпта с ролями system, user и assistant. Архитектура, максимальный контекст, поддерживаемые языки и дополнительные модальности в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка распространённого формата GGUF и возможность локального запуска в нескольких приложениях. Ограничениями являются значительный объём файлов и неизбежный компромисс между качеством и экономией памяти при выборе низкобитных вариантов; совместимость с отдельными инструментами может зависеть от их обновления. Модель распространяется по лицензии Apache 2.0.

Qwopus3.8-27B-Flash-NVFP4 — это конверсия базовой модели Jackrong/Qwopus3.8-27B-Flash в формате NVIDIA ModelOpt NVFP4, предназначенная для запуска на GPU NVIDIA Blackwell. Репозиторий содержит логическую модель объёмом 27,78 млрд параметров и использует формат safetensors. В README также указано, что исходную модель создал Kyle Hessling, а конверсия выполнена сообществом. Модель предназначена для диалоговых, мультимодальных и агентных сценариев: обработки текста и изображений, следования инструкциям, генерации структурированных ответов, вызова инструментов и работы в coding-agent циклах. Сохранены визуальный энкодер и проектор, а также встроенная MTP/NextN-голова для speculative decoding. Трансформерные веса используют NVFP4, тогда как lm_head, визуальная часть и MTP-голова сохранены в BF16 для повышения качества. Рекомендуемый сценарий обслуживания — SGLang с FlashInfer, поддержкой ModelOpt FP4 и совместимой моделью-черновиком Qwen3.8 27B DFlash2 NVFP4. В тестовом профиле заявлен контекст до 262 144 токенов, однако для этого требуются Blackwell GPU с достаточным объёмом памяти под основную и черновую модели, KV-кэш и накладные расходы. README не указывает поддерживаемые языки и результаты бенчмарков; для мультимодальной работы необходимо использовать поставляемый chat template, а для вызова функций — парсер инструментов Qwen. Лицензия указана как Apache-2.0, при этом пользователю рекомендуется соблюдать лицензионные условия базовой модели. Ограничениями являются зависимость от совместимого оборудования и программного стека NVIDIA Blackwell, необходимость специальной DFlash2-модели для рекомендованной спекулятивной генерации и возможное снижение доступного контекста на менее мощных GPU.

StrangeMerges_18-7B-dare_ties — объединённая языковая модель, созданная Gille с помощью LazyMergekit на основе Gille/StrangeMerges_17-7B-dare_ties и teknium/OpenHermes-2.5-Mistral-7B. В ней используется архитектура Mistral с плотной сетью и 7,1 млрд параметров; модель распространяется в формате Safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, написания текстов и помощи с кодом; README приводит результаты оценки на бенчмарках рассуждений и понимания текста. Указана лицензия Apache-2.0. README не уточняет языковой охват и отдельные гарантии качества, поэтому результаты на бенчмарках не следует считать обещанием качества для любых сценариев.

Whittle-Qwen-3.8-35B-A3B — экспериментальная языковая модель с архитектурой Qwen3.8-Flash-Next (qwen4_exp), разработанная автором проекта Whittle. Это MoE-модель с 35,1 млрд параметров, включая 10 млрд параметров хешированной n-граммной памяти; на каждом токене активны примерно 3 млрд параметров. Модель получена дистилляцией Qwen3.8-27B на обучающих примерах с математическими задачами, кодом, диалогами, строгим JSON и эпизодами работы агента. По данным метаданных, базовая модель — logic65/Whittle-Next-27B-A3B. Модель предназначена для генерации текста и диалогов, написания кода, математических рассуждений и сценариев с инструментами. Она поддерживает контекст до 262 144 токенов; автор сообщает о запуске через стандартный llama.cpp, а файлы репозитория представлены в safetensors. Английский и китайский указаны среди языков карточки; метаданные также характеризуют модель как многоязычную. Это исследовательский предварительный выпуск: дистилляция охватывает ответы учителя, помещавшиеся в окно обучения 4k токенов, длинные примеры пока не использовались, а этап дистилляции на собственных ответах модели ещё не начат. Автор предупреждает, что модель не следует напрямую сравнивать с Qwen3.8 на равных условиях. Лицензия — Apache-2.0.

Whittle-Qwen-3.8-35B-A3B-i1-GGUF — это квантизированная GGUF-версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и опубликованной в формате квантизаций пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач, а также для локального запуска через llama.cpp и совместимые инструменты. Модель использует архитектуру mixture-of-experts (MoE) и заявленные механизмы n-gram memory, conditional memory, hyper-connections и knowledge distillation. В обозначении указано 35B параметров, однако README не уточняет число активных параметров при инференсе. Поддерживаются английский, китайский и другие языки; модель работает с текстом и не предназначена для мультимодальных входов. Размер контекста и другие параметры архитектуры не указаны. Доступно множество вариантов квантизации i1-GGUF объёмом примерно от 13,1 до 29,4 ГБ. Они предлагают разные компромиссы между размером, скоростью и качеством; README отмечает i1-Q4_K_M как быстрый рекомендуемый вариант, а i1-Q4_K_S — как удачный баланс размера, скорости и качества. Ограничения включают возможную потерю качества при низкой разрядности и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Agens Pilot — мультимодальная языковая модель Blockway, гонконгской компании, построенная на базе Qwen/Qwen3.8-27B и дообученная для агентных сценариев и письменного кантонского языка. Это плотная модель с архитектурой Qwen3.5, примерно 27 млрд параметров, которая принимает текст и изображения и генерирует текст. Поддерживает контекст до 1 048 576 токенов; карточка указывает китайский и английский, а разработчик отдельно отмечает приоритет кантонского, традиционного и упрощённого китайского и английского. Модель предназначена для кантонских ассистентов и чат-ботов, работы с длинными документами, анализа изображений, программирования и многошаговых агентных задач с вызовом инструментов. Разработчик сообщает об улучшении многостороннего изложения сложных исторических и геополитических вопросов на внутреннем наборе из 20 запросов; результаты имеют малый объём выборки и не являются независимой комплексной оценкой. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование. Известные ограничения: точность фактов не гарантируется, ответы по сложным вопросам требуют проверки человеком; письменный кантонский в варианте Гонконга охвачен лучше других разновидностей юэ. Разработчик также отмечает слабую способность к визуальной математике и возможное снижение согласованности INT4-версии на неоднозначных фактических вопросах.

bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-Distill-Qwen-7B, подготовленный bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста и локального инференса на устройствах с ограниченными ресурсами. В основе лежит модель размером 7B параметров; точная архитектура, поддерживаемые языки и размер контекста в представленном README не указаны. Доступны версии от F32 и F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и Q2 с размером файлов примерно от 3,55 до 30,47 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix, а для запуска рекомендуется применять указанный формат prompt. Сильная сторона набора — широкий выбор компромиссов между качеством, размером файла и требованиями к памяти: версии Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество, а Q4 — как подходящие для большинства сценариев. Более компактные варианты предназначены для систем с небольшим объёмом RAM, но могут заметно уступать по качеству. Лицензия в README не указана, поэтому условия использования следует уточнять в документации исходной модели и репозитория.

DeepSeek-V4-Flash-2bit-DQ — это версия модели DeepSeek-V4-Flash, подготовленная сообществом mlx-community при поддержке Lambda.ai для запуска с использованием библиотеки MLX. Модель предназначена для генерации текста и локального инференса через mlx-lm; в README приведён пример диалогового применения с использованием chat template. Ключевая особенность модели — динамическая смешанная квантизация. Большинство весов экспертов маршрутизируемой MoE-архитектуры упаковано в 2 бита, а чувствительные слои и проекции сохранены в форматах 4, 6 или 8 бит. Такой подход снижает потребление памяти по сравнению с базовым checkpoint с 4-битной квантизацией, сохраняя более высокое качество в критичных компонентах. Точный размер модели, объём контекста, список поддерживаемых языков и модальности в README не указаны. Для использования требуется установить пакет mlx-lm; модель рассчитана на экосистему MLX. Лицензия в предоставленных данных не указана, поэтому условия распространения и коммерческого использования требуют дополнительной проверки.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

unsloth/gemma-3n-E2B-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3n E2B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Gemma — семейство лёгких открытых моделей Google, созданных с использованием исследований и технологий Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и генерации текста, включая запуск на устройствах с ограниченными ресурсами. Gemma 3n использует технологию выборочной активации параметров, благодаря чему обеспечивает эффективный размер около 2B параметров при меньших требованиях к ресурсам по сравнению с полноразмерной моделью. Максимальный контекст составляет 32K токенов. Семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио, а обучение проводилось на данных более чем для 140 языков, однако для данной GGUF-версии в README указана текущая поддержка только текстового ввода. Выходом служит сгенерированный текст. К сильным сторонам относятся компактность, пригодность для локального запуска и сниженные требования к памяти, а также открытые веса инструкционной версии. Ограничения этой карточки — отсутствие точных сведений о размере конкретного GGUF-файла, варианте квантования, производительности и качестве на отдельных языках; мультимодальные возможности для данной версии заявлены как недоступные. Использование регулируется лицензией Gemma и соответствующими условиями Google.

RedHatAI/GLM-5.3-MXFP4 — текстовая генеративная модель, разработанная RedHatAI на основе zai-org/GLM-5.3. Она предназначена для задач генерации текста, следования инструкциям и решения математических и других reasoning-задач. Модель принимает текст и возвращает текст, поддерживает английский и китайский языки и реализует архитектуру GlmMoeDsaForCausalLM. Размер модели и длина контекстного окна в README не указаны. Это квантизированная версия GLM-5.3 для инференса через vLLM. Веса и активации линейных операторов внутри transformer-блоков представлены в формате FP4 по схеме MXFP4 с микромасштабированием OCP; для весов используются формат e2m1, группы размера 32 и масштабы E8M0, а для активаций — динамическое масштабирование по группам. По сравнению с контрольной версией FP8 такая оптимизация примерно на 50% уменьшает размер на диске и требования к памяти GPU, при этом на заявленных тестах сохраняет большую часть качества FP8-модели. Наибольшее относительное снижение показателей отмечено на AIME 2025 и GPQA Diamond. Модель предназначена для развёртывания с vLLM; в README приведена конфигурация с FP8 KV-cache, четырьмя устройствами в tensor parallelism и speculative decoding. Квантизация выполнена методом model-free post-training quantization без калибровочных данных с использованием LLM Compressor, а модель экспортирована в формате compressed-tensors. Лицензия обозначена как glm-5.3, тип лицензии — other; дополнительные условия в README не раскрыты.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.