II.2Создание и понимание программного кода

MuXodious выпустил дообученную мультимодальную модель Gemma 4 E4B Instruct с применением Heretic v1.4.0 и методов abliteration, включая Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation. В README приведены результаты эксперимента по снижению отказов и KL-дивергенции относительно исходной модели. Основа — google/gemma-4-E4B-it-qat-q4_0-unquantized; архитектура — плотная Gemma4ForConditionalGeneration, библиотека Transformers, веса в формате Safetensors. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст; семейство Gemma 4 E4B также поддерживает аудио. Она предназначена для диалога, рассуждений, анализа изображений и документов, распознавания речи, программирования и сценариев с вызовом инструментов. Для семейства в целом указаны контекст до 128K токенов у E4B и поддержка множества языков, но README не подтверждает, что все перечисленные возможности доступны именно этому чекпойнту после дообучения.

Это экспериментальная GGUF-квантизация GigaChat3.1-10B-A1.8B, подготовленная ENOSYS на основе ai-sage/GigaChat3.1-10B-A1.8B-bf16. Модель предназначена для генерации текста и диалогового использования; базовая модель — компактная многоязычная MoE-модель GigaChat для диалогов, рассуждений, кода и вызова инструментов. В репозитории приведены варианты квантования с целевой точностью 2,750, 2,875 и 3,000 бит на вес, а также таблица сравнительных метрик. Для калибровки использованы наборы данных с примерами инструментов, математики, кода и английского и русского текста. Тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Квантование выполнено на нестандартной ветке LLaMA.cpp с дополнительными патчами. Варианты GGUF позволяют запускать модель в совместимых инструментах с поддержкой этого формата. Квантизация снижает точность относительно исходных весов; приведённые метрики указывают на заметные изменения perplexity и распределений выходных вероятностей. Лицензия репозитория — MIT.

NVIDIA GLM-4.7 NVFP4 — это квантизированная версия авторегрессионной языковой модели GLM-4.7, разработанной ZAI и оптимизированной с помощью NVIDIA Model Optimizer. Модель не принадлежит и не разработана NVIDIA; NVIDIA подготовила её под требования соответствующего сценария применения. Модель предназначена для коммерческого и некоммерческого использования, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на основе искусственного интеллекта. Модель построена на архитектуре Transformer и имеет 358 млрд параметров. Она работает только с текстом: принимает строковые последовательности и генерирует текст. Максимальная длина контекста составляет до 200 000 токенов. Версия NVFP4 1.0 квантизирована до формата NVFP4 с использованием nvidia-modelopt v0.41.0; квантизации подвергнуты веса и активации линейных операторов в Transformer-блоках MoE. Данные о полном составе обучающей выборки и поддерживаемых языках не раскрыты, однако калибровка включает англоязычный cnn_dailymail и набор Nemotron с данными на испанском, французском, немецком, итальянском и японском языках. Модель ориентирована на инференс на NVIDIA GPU, особенно на архитектуре Blackwell, с использованием SGLang и Linux. Квантизация NVFP4 может снизить требования к ресурсам и ускорить развертывание, однако для работы требуется совместимая NVIDIA-инфраструктура и дополнительное тестирование в конкретном сценарии. В README приведены результаты на MMLU-PRO, GPQA Diamond, ns_livecodebench, SCICODE и AIME 2025, но они не описывают все практические ограничения модели. Лицензия — MIT.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

GLM-5.3-Int4-Int8Mix — это квантизированная версия большой языковой модели GLM-5.3, разработанной организацией zai-org. Модель предназначена для генерации текста, решения математических и программных задач, следования инструкциям и работы через chat-интерфейсы. Она рассчитана на развёртывание в vLLM с tensor parallelism и поддерживает speculative decoding через MTP, автоматический выбор инструментов и prefix caching. Исходная модель содержит 743 млрд параметров и использует архитектуру с 78 слоями, скрытым размером 6144, 256 маршрутизируемыми экспертами MoE и компонентами DSA. В этой версии применена статическая симметричная weight-only-квантизация без калибровочных данных: эксперты в основном квантизированы до Int4, линейные слои и MTP — до Int8, а критические компоненты, включая router, DSA indexer и lm_head, сохранены в BF16. Размер весов сокращён до 377,4 GiB в 282 shards; при TP4 на один ранг приходится около 94,6 GiB. Заявленный максимальный контекст — 200 000 токенов, при этом в конфигурации модели указано значение 1M. Модель демонстрирует высокую производительность на конфигурации из четырёх NVIDIA DGX Spark: до 26,3 токена в секунду при одной параллельной сессии и 89,2 токена в секунду при восьми, с TTFT около 0,6 секунды для промпта примерно на 780 токенов. Проверки показали отсутствие повреждений генерации на английском, корейском и русском языках, а также корректное извлечение данных из 34 996-токенного контекста. Среди ограничений — очень высокие требования к памяти и инфраструктуре, необходимость распределённого развёртывания, вариативность результатов производительности и некоторое отставание от сравниваемой hosted GLM-5.2 в IFEval. Лицензия указана как other; дополнительные условия в README не раскрыты.

Granite-4.0-1B-Base — компактная базовая языковая модель IBM Granite Team для генерации текста в условиях ограниченных вычислительных ресурсов, включая мобильные устройства и IoT. Это декодерный плотный трансформер на 1,6 млрд параметров с архитектурой GraniteMoeHybrid, GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст — до 131 072 токенов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Также поддерживает заполнение пропусков в коде по префиксу и суффиксу (FIM). Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; её также можно использовать как основу для дообучения под конкретные задачи. Небольшой размер рассчитан на быстрое выполнение и локальное использование, в том числе с сохранением данных на устройстве. Модель не прошла выравнивание безопасности и может выдавать предвзятые, неверные или проблематичные ответы, а также воспроизводить фрагменты обучающих данных. Распространяется по лицензии Apache 2.0.

mlx-community/granite-4.1-3b-bf16 — конверсия модели IBM Granite 4.1 3B в формат MLX для запуска на устройствах Apple Silicon. Это плотная причинная языковая модель с архитектурой GraniteForCausalLM, содержащая 3,4 млрд параметров и поддерживающая контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста; описание базовой модели также указывает на применение для работы с кодом и вызова инструментов. Модель принимает текст и генерирует текст. Репозиторий использует библиотеку MLX и формат safetensors; лицензия — Apache-2.0. Карточка описывает преобразование из ibm-granite/granite-4.1-3b в MLX, поэтому этот вариант рассчитан на соответствующую среду исполнения, а не является самостоятельным дообучением.

granite-4.1-8b-heretic — это децензурированная версия IBM Granite 4.1 8B Instruct, созданная пользователем RACER IS OP на основе модели ibm-granite/granite-4.1-8b-instruct. Модель предназначена для генерации текста, диалоговых сценариев, написания кода, задач на рассуждение и других случаев, где требуется прямое следование инструкциям без типичных отказов базовой модели. Она ориентирована на локальный запуск на потребительских GPU, CPU и Apple Silicon, а также может использоваться через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Модель имеет нативный размер около 8,4 млрд параметров; доступны веса BF16 и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. В README указана поддержка английского языка, архитектурные детали и размер контекста не приведены. Децензурирование выполнено с помощью Heretic 1.4.0 методом directional ablation («abliteration»): целевые изменения весов внесены в выходные проекции attention и down-projections MLP без дообучения. Заявляется, что знания и основные возможности базовой модели в значительной степени сохранены. Сильной стороной модели является сочетание возможностей 8B-модели, доступности различных уровней квантования и подавления отказов, что делает её удобной для локального использования. Ограничение состоит в намеренном отсутствии дополнительной фильтрации безопасности: модель может выполнять запросы, от которых отказалась бы базовая версия, в том числе нежелательные. Поэтому разработчик рекомендует не использовать её за незащищёнными публичными интерфейсами без собственного контроля и модерации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

SL-AI/GRaPE-2.5-Helios-GGUF — мультимодальная инструкционная модель семейства GRaPE 2.5, разработанная командой SL-AI. Это версия модели GRaPE 2.5 Helios в формате GGUF; базовая модель указана как SL-AI/GRaPE-2.5-Helios. Helios позиционируется как модель среднего размера с примерно 10 млрд параметров для локального использования и общих задач. Модель принимает изображения, видео и текст, а генерирует текст. Она предназначена для диалогов, творческих задач, агентного программирования, математики, естественно-научных и других STEAM-сценариев, а также задач рассуждения и анализа. Поддерживаются языки English, Chinese, French, German, Spanish, Japanese, Korean, Portuguese, Russian и Arabic. Архитектура в README не раскрыта, размер контекста также не указан. Ключевая особенность — управляемая глубина рассуждений через тег <thinking_mode=xxx> с режимами minimal, low, medium, high и xtra-hi. Это позволяет выбирать компромисс между скоростью и качеством для простых запросов, сложного кода, многошаговой математики и глубокого анализа. Модель также ориентирована на более естественный стиль текста, многоязычное рассуждение и агентные сценарии. Ограничения включают отсутствие заявленных количественных бенчмарков, неизвестные технические характеристики архитектуры и контекстного окна, а также необходимость корректно поддерживать специальные режимы рассуждений в используемом интерфейсе. Лицензия — Apache-2.0.

Карточка модели PS4Research/Hk6vAazgWreoKsXr на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4 — мультимодальная 31-миллиардная модель, представляющая собой NVFP4-квантизированную версию Huihui-gemma-4-31B-it-abliterated-v2 от huihui-ai, созданную на базе Google Gemma 4 31B IT. Релиз предназначен для диалогов, генерации и анализа текста, следования инструкциям, программирования, структурированного вывода, а также обработки изображений и видео. В README также указана abliteration-интервенция, направленная на удаление отказов модели. Модель поддерживает сценарии «текст—текст», «изображение—текст» и «видео—текст»; аудио не поддерживается, поскольку в 31B-чекпойнте отсутствует аудиоэнкодер. Визуальная башня сохранена в формате BF16, а большинство линейных слоёв текстового стека, включая слои self-attention, квантизированы в NVFP4. Эмбеддинги, lm_head и визуальная часть также остаются в BF16. Размер файлов составляет около 19,5 ГБ, что позволяет запускать модель на одной видеокарте RTX 5090 с 32 ГБ памяти; заявленная скорость декодирования — около 69 токенов в секунду. К сильным сторонам относятся уменьшенный размер, сохранение мультимодальных возможностей исходной модели, улучшенное по сравнению с предыдущей версией значение perplexity и более строгое следование инструкциям по результатам локального тестирования. Ограничения связаны с отсутствием аудиоподдержки, требовательностью к совместимому программному стеку и аппаратному обеспечению, а также возможным влиянием агрессивной NVFP4-квантизации на качество. Для работы рекомендуется vLLM с поддержкой Gemma 4 и NVFP4. Лицензия указана как gemma.

Huihui-Qwen3.8-27B-abliterated-NVFP4 — квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная автором репозитория sakamakismile. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, переводов и следования инструкциям. Она также содержит необработанную vision tower, однако мультимодальная работа в README не тестировалась. Модель основана на архитектуре Qwen3.8 с 27 млрд параметров и использует NVFP4-квантизацию W4A4 с размером группы 16. Большинство весов представлены в NVFP4, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bfloat16. Поддерживаются speculative decoding через MTP и запуск в vLLM 0.22 на GPU с архитектурой Blackwell SM120. Размер весов уменьшен с 55,6 до 20,0 ГБ; рекомендуемый контекст — до 32 768 токенов. README не указывает полный список поддерживаемых языков, но результаты проверок включают английский, французский и японский. К сильным сторонам относятся заметное сокращение объёма модели, совместимость с двумя видеокартами по 16 ГБ при наличии запаса под KV-кэш, сохранение MTP-головы для ускоренного декодирования и отсутствие выявленного ухудшения на заявленном наборе проверок после более узкой абляции. Ограничения включают необходимость Blackwell и vLLM 0.22 для описанной конфигурации, неподтверждённую мультимодальную работу, а также периодические пропуски закрывающей скобки при генерации длинных файлов кода; рекомендуется использовать синтаксическую проверку. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит только квантизированные веса, а авторство исходной модели принадлежит huihui-ai.

Infinity-Instruct-3M-0625-Llama3-8B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Llama 3 методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Llama примерно с 7,5 млрд параметров, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель не обучалась с использованием обучения с подкреплением по обратной связи от людей (RLHF), а разработчики сообщают о хороших результатах на AlpacaEval 2.0 и MT-Bench. Модель подходит для многошаговых диалогов, ответов на вопросы, повседневных текстовых задач, а также задач по коду и математике. Карточка указывает англоязычный контекст, поэтому основной подтверждённый язык — английский. Репозиторий распространяется в формате safetensors. В README указана лицензия Apache-2.0 в метаданных, однако там же ресурсы проекта, включая веса, ограничены академическими исследованиями и запрещены для коммерческого использования; это расхождение следует учитывать при применении. Разработчики также предупреждают, что точность ответов не гарантируется.

InternLM2-Base-20B — базовая языковая модель второго поколения InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров для генерации и продолжения текста; она предназначена прежде всего для адаптации к предметным областям и может служить основой для последующего дообучения. Репозиторий содержит веса PyTorch, а заявленная длина контекста составляет 32 768 токенов. Модель рассчитана на работу с длинными текстами и демонстрирует способности к рассуждениям, математике и программированию. В README заявлена поддержка входов до 200 000 символов и приведены результаты оценивания InternLM2-20B на бенчмарках, включая MMLU, AGIEval и BBH; этот показатель длины в символах не следует смешивать с контекстом в 32 768 токенов из метаданных. Карточка описывает семейство InternLM2, но не перечисляет конкретные языки обучения или поддержки. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст, поэтому её ответы требуют проверки. Код распространяется по Apache-2.0; веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатную лицензию.

Jais-30b-chat-v3 — диалоговая языковая модель, разработанная Core42 (Inception) совместно с Cerebras Systems и дообученная на парах запросов и ответов на арабском и английском языках. Она предназначена для чат-ассистентов, клиентской поддержки, ответов на вопросы, генерации кода и рассуждений по тексту. Модель использует декодерную архитектуру Transformer, близкую к GPT-3, с активацией SwiGLU и позиционными представлениями ALiBi. README указывает контекст до 8192 токенов. Модель принимает текст и генерирует текст; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель оптимизирована для современного стандартного арабского и английского языков. Среди ограничений — возможные ошибки, предвзятость и неподходящие ответы; качество на других языках и диалектах не гарантируется. Не следует использовать её для высокорисковых решений без контроля человека или для работы с чувствительной информацией. Лицензия Apache 2.0.

JiRack Ultra 7B — текстовая модель для генерации и диалогов от CMSManhattan. Она построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, а в карточке модели также заявлена основа DeepSeek R1 7B. Модель оптимизирована для запуска на CPU: автор сообщает о применении технологий BitNet и QAT, а в репозитории доступны веса safetensors и варианты GGUF с квантованием от Q2_K до Q8_0. Указанный контекст — до 131 072 токенов. Модель предназначена для диалоговых сценариев, использования в RAG, агентной разработки и вызова инструментов. Карточка упоминает специализированные токены для маршрутизации, мультимедиа, зрения, звука и робототехники, но метаданные подтверждают только текстовую генерацию и возможность чата; мультимодальный ввод или вывод ими не подтверждён. Среди отмеченных в метаданных языков — английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. По заявлению автора, модель рассчитана на экономичный локальный или облачный инференс, включая запуск через llama.cpp и Ollama. Для квантованного Q4_K_M README рекомендует не менее 12 ГБ системной памяти, а для комфортной работы — 16–24 ГБ; фактическая скорость зависит от процессора и контекста. Веса распространяются по лицензии MIT, однако Docker-образ, готовые Ollama-сборки и UI-клиенты могут требовать отдельной коммерческой лицензии.

SirSahOl подготовил 16-битную версию модели IFM/K2-Horizon-0.9B для запуска на компьютерах Apple Silicon с помощью MLX. Это плотная причинная языковая модель примерно на 924,5 млн параметров с контекстом до 8192 токенов, предназначенная для диалогов и генерации текста. Базовая модель описана как компактная модель для рассуждений, математики и программирования; эти возможности унаследованы от неё. Модель распространяется в формате safetensors и рассчитана на запуск через MLX. README приводит замеры на Apple M1 и рекомендации по объёму памяти для разных вариантов точности. Для этой версии требуется Apple Silicon M1 или новее; при работе с контекстами длиннее 8 тысяч токенов качество может снижаться. Лицензия — Apache 2.0.

NVIDIA Kimi-K2-Thinking-Eagle3 — текстовая авторегрессионная модель NVIDIA, представляющая собой Eagle3 speculative decoding head для Moonshot AI Kimi-K2-Thinking. Она основана на трансформерной архитектуре DeepSeek V3 и обучена с NVIDIA Model Optimizer. Веса модели занимают 1,8 млрд параметров; метаданные указывают контекст до 262 144 токенов, тогда как README приводит длину 4096 токенов. Эти значения расходятся, поэтому фактическую длину контекста следует сверить с выбранной конфигурацией запуска. Модель предназначена для разработчиков чат-ботов, AI-агентов, RAG-систем и других приложений, а также для выполнения инструкций, генерации кода и рассуждений. Она принимает текст и генерирует текст; для ускоренного инференса NVIDIA указывает TensorRT-LLM и совместимость с GPU Blackwell. Лицензия обозначена как other; README требует соблюдать NVIDIA Open Model License и упоминает Modified MIT License Kimi-K2-Thinking. Перед использованием следует проверить условия обеих лицензий и протестировать модель на целевых данных.

Ling-lite — разговорная языковая модель на архитектуре Mixture of Experts (MoE), разработанная и опубликованная InclusionAI. Карточка описывает версию Ling-lite-0415; модель содержит 16,8 млрд параметров, из которых активируется 2,75 млрд. Метаданные репозитория указывают 1,5 млрд параметров и контекст 32 768 токенов, тогда как README сообщает для Ling-lite контекст 128K; эти характеристики источников расходятся. Модель предназначена для диалогов и широкого круга языковых задач, включая генерацию текста, программирование и математику. В README приведены результаты сравнительных тестов, в том числе HumanEval и GPQA; это свидетельствует о заявленных возможностях в коде и решении сложных задач, но не гарантирует качество в конкретном применении. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

LLaDA2.0-flash-CAP — языковая модель компании InclusionAI на основе диффузионной архитектуры Mixture-of-Experts. Она предназначена для генерации текста и диалоговых ответов, включая задачи знаний, рассуждений, программирования и математики. Обучение Confidence-Aware Parallel (CAP) повышает уверенность модели в корректных предсказаниях, чтобы ускорить параллельное декодирование. В README указана архитектура базовой LLaDA2.0-flash с 100 млрд параметров, 32 слоями, 32 головами внимания и контекстом 32 768 токенов; метаданные репозитория указывают 5,5 млрд параметров. В сравнении с базовой версией README сообщает ускорение генерации в 1,46 раза при небольшом снижении среднего результата на бенчмарках. Модель работает с текстом; для снижения риска смешения языков авторы рекомендуют температуру 0.0. Репозиторий распространяется по лицензии Apache-2.0.

PocketWeights Llama 3.1 8B Instruct abliterated GGUF — это квантизированная версия модели Meta-Llama-3.1-8B-Instruct-abliterated, разработанной huihui-ai на базе архитектуры Meta Llama 3.1. Модель распространяется в форматах GGUF с вариантами квантизации IQ3_M, Q4_K_M и Q6_K, что позволяет запускать её локально на потребительском оборудовании, включая видеокарты с 4–8 ГБ VRAM и компьютеры Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев, творческого письма, работы с кодом, анализа репозиториев, создания синтетических данных и исследовательских задач. Заявлена поддержка контекста до 128K токенов, благодаря чему она подходит для обработки длинных документов и многоходовых диалогов. Основной язык и полный набор поддерживаемых языков в README не указаны. К сильным сторонам относятся компактность, возможность автономного запуска, несколько уровней компромисса между качеством и требованиями к памяти, а также отсутствие стандартных отказов и ограничений, характерных для выровненных моделей. Это одновременно является существенным ограничением: модель лишена защитных механизмов, поэтому требует осторожного применения, особенно при работе с потенциально опасными запросами. Качество зависит от выбранного уровня квантизации. Модель распространяется по Meta Llama 3.1 Community License.

RedHatAI/Llama-3.2-3B-quantized.w8a8 — это квантованная текстовая языковая модель семейства Llama 3.2, размещённая Red Hat AI и основанная на модели Meta Llama 3.2. В репозитории указаны формат Safetensors, 8-битная точность и схема W8A8; отдельная карточка модели отсутствует, поэтому сведения о точной процедуре квантования и дополнительных оценках для этой конкретной версии не заявлены. Модель предназначена для генерации текста и кода, а также для адаптации под локальные и периферийные сценарии с ограниченными вычислительными ресурсами. Это авторегрессионная модель с оптимизированной Transformer-архитектурой, примерно 3,21 млрд параметров, текстовыми входами и выходами, поддержкой английского, немецкого, французского, итальянского, португальского, hindi, испанского и тайского языков. Для квантованных текстовых моделей Llama 3.2 заявлен контекст до 8 тысяч токенов. Ключевые преимущества — меньшие требования к памяти, размеру хранения и вычислениям по сравнению с полноточной версией; ограничение — возможная потеря качества из-за квантования, а также отсутствие опубликованной карточки и специфических результатов тестирования именно для данного репозитория. Базовая модель Llama 3.2 разработана Meta, а использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta с дополнительными требованиями Acceptable Use Policy.

RLHFlow/LLaMA3-iterative-DPO-final — неофициальная диалоговая модель семейства LLaMA 3, разработанная авторами исследования «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Это плотная авторегрессионная модель на 7,5 млрд параметров с контекстом 8192 токена, представленная в формате safetensors и предназначенная для генерации текста в режиме чата. Модель обучена для следования инструкциям с помощью итеративного онлайн RLHF на основе DPO. Она подходит для диалоговых ответов, общих вопросов, рассуждений и задач по программированию; авторы приводят результаты на Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard и академических тестах. В README указано, что чекпойнт предназначен для демонстрации метода и исследовательского использования. README предупреждает, что модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Указанная лицензия — llama3; README также отмечает нерешённые лицензионные вопросы при выпуске модели, поэтому условия распространения и использования следует сверять с применимыми условиями LLaMA 3.

Llama-3-Smaug-8B — языковая модель Abacus.AI для диалогов и генерации текста. Она создана дообучением meta-llama/Meta-Llama-3-8B-Instruct по рецепту Smaug, ориентированному на повышение качества многоходовых разговоров в практических сценариях. Модель использует плотную архитектуру Llama, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов; веса доступны в формате safetensors для Transformers. Модель подходит для диалоговых помощников и задач генерации текста. В карточке приведено сравнение на MT-Bench: средняя оценка Smaug-8B составила 8,33 против 8,10 у исходной Meta-Llama-3-8B-Instruct. В данных также указаны обучающие наборы для математических задач, кода и диалогов. Метаданные указывают лицензию llama2; перед использованием следует учитывать условия лицензии Meta Llama 2.

LlamaMix-7B-slerp — языковая модель для генерации текста и диалогов, созданная MohamedAtta-AI объединением моделей через mergekit. В объединение вошли Magicoder-CL-7B и Llama-2-7b-chat-hf; применён метод SLERP. Модель использует архитектуру Llama с плотной трансформерной сетью и выдаёт текст в ответ на текстовый запрос. Метаданные указывают 3,4 млрд параметров и контекст до 4096 токенов. Модель подходит для диалогового ассистента и генерации кода благодаря включению Magicoder-CL-7B. В карточке не приведены оценки качества или подробные результаты тестирования, поэтому пригодность для конкретных задач стоит проверять на собственных примерах. Распространяется по лицензии Apache-2.0.

LongCat-Flash-Chat — разговорная языковая модель Meituan для генерации ответов и выполнения агентных задач. Она основана на архитектуре Mixture-of-Experts (MoE) и поддерживает интерфейс вызова инструментов. В README указано 560 млрд параметров всего и в среднем около 27 млрд активируемых на токен; метаданные Hugging Face указывают 17,7 млрд параметров, поэтому размер модели в источниках расходится. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов, задач с инструментами, многошагового взаимодействия, а также задач рассуждения и программирования. В README модель описана как non-thinking; авторы сообщают о высокой пропускной способности инференса и конкурентных результатах на своих оценках. Доступны веса в формате safetensors. Лицензия — MIT. Авторы предупреждают, что модель не была специально разработана и всесторонне проверена для всех возможных прикладных сценариев.

Карточка модели TracNetwork/mayhem-catalog-prism-ml-Ternary-Bonsai-27B-MLX-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Модель mergekit-model_stock-injkqri — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом Model Stock. В качестве базовой использована Qwen/Qwen2.5-14B-Instruct-1M; в слияние также вошли Virtuoso-Small, Qwen2.5-Coder-14B, miscii-14b-1225 и tempesthenno-ppo-ckpt40. Это плотная архитектура Qwen2 с 14 млрд параметров, доступная в формате safetensors и рассчитанная на генерацию текста и диалоговое взаимодействие. Модель предназначена для генерации ответов и продолжения текста в чат-сценариях; состав исходных моделей также ориентирует её на задачи программирования и следования инструкциям. Метаданные указывают контекст до 1,01 млн токенов и интерфейс для вызова инструментов. Карточка не сообщает результатов оценки качества или подробностей о фактическом поведении объединённой модели. Лицензия в предоставленных данных не указана.

Карточка модели Ayush-1722/Meta-Llama-3-8B-Instruct-Summarize-v0.2-24K-LoRANET-Merged на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.