II.2Создание и понимание программного кода

agiin-13.6B-v0.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и mncai/agiin-13.6B-v0.1 методом SLERP. В каталоге указаны архитектура MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и поддерживает диалоговый режим. Модель предназначена для генерации текста и ответов на инструкции в чат-сценариях. В README описана настройка слияния слоёв внимания и MLP, а базовая модель определена как mistralai/Mistral-7B-Instruct-v0.2. Лицензия Apache-2.0. Данные о специальных доменах и языках применения в карточке не приведены.

bcoding/deepseek-llvm-sft-merged-8b — дообученная языковая модель семейства Qwen3, разработанная bcoding на базе unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 7,6 млрд параметров; поддерживает генерацию текста и диалоговый режим, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста в диалоге. В карточке указано, что дообучение выполнялось с Unsloth и библиотекой TRL; подробности обучающего набора и специализация по задачам не приведены. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

DeepSeek-R1-Distill-Qwen-32B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной deepseek-ai. Квантизация выполнена bartowski на основе llama.cpp версии b4514 и предназначена для запуска через совместимые инструменты, включая LM Studio. Модель создана для генерации текста, прежде всего для задач, требующих рассуждений: решения сложных вопросов, анализа и пошагового построения ответа. Она дистиллирована из reasoning-модели DeepSeek-R1 и специально настроена на reasoning и chain-of-thought. Заявлена поддержка контекста длиной до 128k токенов. В README не указаны точные параметры архитектуры, языки, набор поддерживаемых модальностей и размер конкретных GGUF-файлов, поэтому модель следует считать текстовой. Сильные стороны модели — ориентация на рассуждения, большой контекст и возможность локального запуска в формате GGUF. Ограничения включают потенциально неточные, вредные или неподходящие ответы, характерные для генеративных моделей; README также не содержит сведений о результатах бенчмарков. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять по исходной модели и репозиторию квантизации.

RedHatAI/diffusiongemma-26B-A4B-it-NVFP4 — это квантизированный вариант модели google/diffusiongemma-26B-A4B-it, подготовленный Red Hat AI. Модель предназначена для генерации текста и обработки задач image-text-to-text; поддерживает работу через Transformers и vLLM. Веса и активации квантизированы в формат NVFP4 с 4-битным представлением, а сохранение выполнено в формате compressed-tensors с использованием llm-compressor. Исходная модель содержит около 25,8 млрд параметров, включая примерно 22,8 млрд экспертных и 3 млрд неэкспертных параметров. В составе указаны текстовые и визуальные компоненты, включая vision tower, однако точные поддерживаемые языки и размер контекстного окна в карточке не приведены. Модель ориентирована на диалоговые сценарии, рассуждения, решение математических и научных задач, следование инструкциям и обработку мультимодальных запросов. Сильная сторона версии NVFP4 — существенное снижение требований к памяти и возможность эффективного развёртывания на совместимом оборудовании. По приведённым тестам на одной GPU B200 качество в большинстве задач близко к исходной неквантизированной модели: показатели сохранения качества составили около 97–100% на AIME 2025, GPQA Diamond, IFEval и GSM8K, а на MMLU 0-Shot результат оказался выше исходного. Ограничения включают возможные потери качества из-за квантизации и зависимость от совместимых версий Transformers, vLLM и параметров запуска; в карточке также не приведены подробные ограничения применения и результаты для языков. Модель распространяется по лицензии Apache 2.0. Для развёртывания заявлена проверка совместимости с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.

Experiment28T3q_Experiment26Strangemerges_30 — объединённая модель семейства Mistral, созданная MaziyarPanahi на основе automerger/Experiment28T3q-7B и automerger/Experiment26Strangemerges_30-7B. Это плотная авторегрессионная модель с архитектурой MistralForCausalLM, содержащая 7,1 млрд параметров и поддерживающая контекст до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу, в том числе для диалогов и продолжения текста. В репозитории используются веса Safetensors. Указана лицензия Apache-2.0.

Это инструктивно настроенная причинная языковая модель для генерации текста и диалогов в формате чата. Репозиторий разработан latent-artist; модель построена на архитектуре Qwen2 и содержит 7,1 млрд параметров. Модель предназначена для ответов на запросы и ведения диалога через текстовые промпты. В метаданных также отмечен интерфейс для вызова инструментов. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов, а карточка указывает английский язык. Веса доступны в формате safetensors, для загрузки рекомендуется библиотека Transformers. Лицензия — Apache-2.0. Карточка не сообщает результатов оценки качества или специальных ограничений применения.

mkurman/GLM-4.7-Flash-SynthLabs — дообученная и объединённая с базовой моделью версия GLM-4.7-Flash, опубликованная mkurman. Модель семейства glm4_moe_lite предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Она содержит 4,1 млрд параметров, поддерживает контекст до 202 752 токенов и распространяется в формате Safetensors. Карточка сообщает, что модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Указанная в метаданных лицензия — MIT; README при этом указывает Apache-2.0, поэтому условия лицензирования требуют уточнения. Язык карточки — английский, а базовая GLM-4.7-Flash описана как модель для рассуждений и программирования, но конкретная специализация этой версии не раскрыта.

GPT4-Alpaca-LoRAMLP-65B — модель генерации текста семейства LLaMA, подготовленная на основе LLaMA 65B с помощью LoRA-дообучения MLP-компонентов на наборе alpaca_data_gpt4. Репозиторий TheBloke содержит веса после объединения LoRA с исходной LLaMA 65B; доступны варианты для GPU и CPU, включая квантованные сборки в отдельных репозиториях. В этой карточке указаны веса PyTorch для Transformers: 65 млрд параметров и контекст до 2048 токенов. Модель предназначена для диалоговых и инструкционных сценариев: она принимает текстовые инструкции и генерирует ответы. В README описан обучающий чекпойнт, полученный через LoRA на данных Alpaca GPT-4; это не означает, что ответы эквивалентны GPT-4. Для репозитория указана лицензия other, поэтому условия использования следует сверить с исходной лицензией LLaMA и правилами распространения этой сборки.

K2-Horizon-MoVA-36B-A4B-GGUF — квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, опубликованная abenzerps в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и поддерживает сценарии диалогов и вызова инструментов; доступен формат tool calling с вариантами xml, json и xml_typed. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Исходная модель поддерживает контекст до 524 288 токенов (512K), а заявленный язык — английский. Модель текстовая и не требует vision projector. Доступны варианты квантования Q3_K_M, Q4_K_M, Q4_0, Q5_K_M, Q6_K и Q8_0 размером примерно от 17,66 до 39,83 ГБ. Ключевое преимущество модели — сочетание большого контекстного окна, разреженной MoE-архитектуры и нескольких вариантов квантования для выбора компромисса между качеством и требованиями к памяти. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, включая форк MBZUAI-IFM до появления поддержки в основной ветке. Лицензия исходной модели — Apache-2.0; фактическая производительность зависит от выбранной квантовки и доступной памяти.

Kimi-Linear-48B-A3B-Instruct-AWQ-4bit — квантизированная 4-битная версия инструкционной языковой модели Kimi Linear, разработанной Moonshot AI. Модель предназначена для генерации текста и работы в формате диалога, включая задачи с коротким и длинным контекстом, а также сценарии, связанные с reinforcement learning. В README указана поддержка Transformers и возможность развертывания через vLLM с OpenAI-совместимым API. Модель использует гибридную архитектуру с Kimi Delta Attention (KDA) и глобальными блоками MLA в соотношении 3:1. Всего она содержит 48 млрд параметров, из которых активируется около 3 млрд, и поддерживает контекст до 1 млн токенов. Архитектура снижает потребность в KV-кэше до 75% и обеспечивает ускорение декодирования до 6 раз на длинных последовательностях. README не указывает языки, поддерживаемые модальностями или результаты именно для AWQ-версии, поэтому эти характеристики нельзя достоверно оценить. К сильным сторонам относятся высокая эффективность на длинном контексте, уменьшенное потребление памяти и ускорение генерации. Для запуска требуются совместимые версии Python, PyTorch и fla-core, а при использовании Transformers может понадобиться trust_remote_code. Ограничениями являются значительные требования к ресурсам для модели такого размера и отсутствие в README подробных данных о качестве на конкретных прикладных задачах. Лицензия — MIT.

Luminea — объединённая диалоговая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой модели использована NousResearch/Meta-Llama-3.1-70B-Instruct; в объединение также вошли NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель содержит 69,5 млрд параметров, принимает текстовые запросы и генерирует текст. Она предназначена для диалогов, ответов на инструкции и запросы; заявленная длина контекста — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Качество ответов и ограничения отдельно в карточке не описаны. Лицензия в предоставленных данных отсутствует.

Bllossom-8B — двуязычная языковая модель на архитектуре Llama 3, разработанная MLPLab при SeoulTech совместно с Teddysum и Yonsei University. Она дообучена на базе meta-llama/Meta-Llama-3-8B для генерации текста и диалогов на корейском и английском языках. В карточке указаны 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для ответов на запросы, следования инструкциям и создания корейского текста с учетом связи знаний между корейским и английским языками. Обучение включало дополнительные данные, настройку на инструкциях по корейскому языку и культуре, а также DPO. Авторы также сообщают о выравнивании с визуальной моделью, но метаданные классифицируют эту версию как текстовую генеративную модель. В README приведены результаты LogicKor по математике, рассуждениям, письму, программированию, пониманию и грамматике; эти результаты относятся к конкретному бенчмарку. Модель распространяется по лицензии Llama 3, условия которой следует учитывать при использовании.

MFANN-Llama3.1-Abliterated-SLERP-V5 — объединённая методом SLERP языковая модель, созданная разработчиком netcat420 с помощью mergekit на основе mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated и netcat420/MFANNv0.25. Это плотная причинно-авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Модель принимает текст и выдаёт текст; заявленный размер контекста — 131 072 токена. Модель рассчитана на интерактивные беседы и генерацию ответов. Базовая модель описана в каталоге как диалоговая Llama 3.1 8B Instruct с ослабленными ограничениями на ответы. Файлы представлены в формате safetensors; метаданные указывают библиотеку Transformers. Лицензия в предоставленных данных не указана.

MiniCPM5-2B-CoreAI — это конверсия модели openbmb/MiniCPM5-2B, разработанной OpenBMB, в формат Apple Core AI (.aimodel) для локального запуска на устройствах Apple. Модель предназначена для генерации текста, диалоговых приложений, суммаризации, работы с агентами и вызова инструментов полностью на устройстве, включая iPhone и Mac на Apple Silicon, без обязательной передачи данных в облако. Модель относится к классу 2B и поддерживает гибридные режимы рассуждения Think и No-Think, нативный вызов инструментов и контекст до 128K токенов. В README указаны варианты квантования для разных сценариев: int8 с block-32 и 6-битная k-means-палетизация с group 8 для Neural Engine. Для iPhone 17 Pro заявлена скорость декодирования около 38,5 токена в секунду в ANE-варианте, однако первая загрузка может занимать около 23 минут из-за построения программ Neural Engine, а размер модели составляет примерно 2,7 ГБ. Сильными сторонами модели являются небольшой размер, работа полностью на устройстве, поддержка длинного контекста, инструментов и режимов рассуждения, а также оптимизация под GPU и Neural Engine Apple. Ограничения включают значительные требования к памяти, длительную первоначальную компиляцию на iPhone и возможные расхождения квантованных вариантов с исходной моделью. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/mistral-7b-finetuned-orca-dpo-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная с помощью слияния SLERP весов mistralai/Mistral-7B-Instruct-v0.1 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных указана лицензия Apache-2.0. Карточка не описывает отдельную специализацию по языкам или предметным областям.

MaziyarPanahi/Mistral-7B-v0.1-sharded-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и alexsherstinsky/Mistral-7B-v0.1-sharded. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Поддерживает контекст до 32 768 токенов и поставляется в формате safetensors; в метаданных также указана поддержка чата. Модель принимает текстовые запросы и выдаёт текст. Она подходит для диалоговых помощников, ответов на инструкции и генерации текста. Лицензия — Apache-2.0. Данных о специальных предметных областях или ограничениях качества в предоставленной карточке нет.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

mistral-NeuralHermes-7B-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Это плотная модель MistralForCausalLM на 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Она принимает текст и выдаёт текст; заявленный размер контекста — до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка описывает состав и настройки слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Mistral_solar-slerp — диалоговая языковая модель, созданная автором Pierre-obi слиянием NousResearch/Nous-Hermes-2-SOLAR-10.7B и mistralai/Mistral-7B-Instruct-v0.2 методом slerp с помощью LazyMergekit. Модель использует плотную архитектуру Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель принимает текст и выдаёт текст; заявленная длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель подходит для чат-ботов, ответов на вопросы и других задач генерации текста. Публичные сведения не дают отдельных результатов оценки качества или подробных ограничений, поэтому производительность в конкретных сценариях следует проверять самостоятельно.

SlimOrca Mixtral 8x7B — дообученная языковая модель, выпущенная OpenAccess AI Collective и OpenOrca на базе mistralai/Mixtral-8x7B-v0.1 с использованием датасета Open-Orca/SlimOrca. Это авторегрессионная модель генерации текста с архитектурой Mixtral sparse Mixture of Experts; она подходит для генерации продолжений и ответов на текстовые запросы. Модель поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache 2.0.

Jackrong/MLX-Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit — языковая модель, разработанная Jackrong и преобразованная в формат MLX из Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2 с использованием mlx-lm 0.30.7. Модель предназначена для генерации текста и задач, требующих рассуждений; в описании также указана специализация на chain-of-thought. Она рассчитана на использование с библиотекой mlx-lm, в том числе через chat template и интерфейс MLX. Модель имеет размер 27B параметров и представлена в 4-битном формате, что снижает требования к памяти по сравнению с полноразмерным представлением. Поддерживаются английский, китайский и корейский языки. Для обучения или дистилляции заявлены наборы данных nohurry/Opus-4.6-Reasoning-3000x-filtered, Jackrong/Qwen3.5-reasoning-700x и Roman1111111/claude-opus-4.6-10000x. Архитектура, максимальная длина контекста и мультимодальные возможности в README не указаны. Лицензия — Apache-2.0.

Muse-Glimmer-30B-ROCmFP4-Strix-Halo-DFlash-GGUF — квантованная GGUF-сборка модели Muse-Glimmer-30B от meta-models/Muse-Glimmer, подготовленная kingjones777 для AMD Strix Halo. Модель мультимодальная: поддерживает текст и изображения, рассуждения с разделением reasoning_content и content, а также tool calling. Сборка предназначена для локального запуска на AMD Ryzen AI Max+ 395 с графикой Radeon 8060S и архитектурой gfx1151. Доступны шесть вариантов квантования ROCmFP4 и ROCmFPX с размером от 13,80 до 27,23 GiB и эффективной точностью 4,25–8,39 BPW. В комплект входят vision projector, chat parser и DFlash для speculative decoding. Проверенный контекст составляет 32768 токенов; пиковое потребление памяти — около 19,99 GiB с моделью, drafter, projector и KV-кэшем. На указанном оборудовании скорость декодирования зависит от задачи и составляет примерно 17–45 токенов в секунду, обычно около 30 токенов в секунду. Сильные стороны модели — сочетание текста, зрения, рассуждений, вызова инструментов и ускоренного декодирования в одной сборке, а также оптимизация под unified memory AMD Strix Halo. Ограничения включают узкую аппаратную совместимость: стандартный llama.cpp эту модель не загружает, требуется специальная ROCmFPX-сборка с поддержкой архитектуры muse-glimmer и типов ROCmFP4. Более быстрые варианты могут генерировать заметно более короткие ответы, поэтому для глубины ответа предпочтителен вариант STRIX. Лицензия указана как other; дополнительные условия в README не раскрыты.

MaziyarPanahi/neural-chat-7b-v3-1-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на базе Mistral-7B-Instruct-v0.2 и uukuguy/neural-chat-7b-v3-1-dare-0.85. Веса объединены методом SLERP с настройками для слоёв self-attention и MLP; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В README не приведены результаты оценки качества или отдельные гарантии работы для конкретных языков и предметных областей.

NeuralsirkrishnaShadow_NeuralsirkrishnaInex12 — объединённая модель семейства Mistral, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

Neutrino-8B — диалоговая языковая модель на 8,19 млрд параметров, разработанная FermionResearch на основе Qwen/Qwen3-8B. Она предназначена для общения с пользователем, генерации текста, следования инструкциям, создания структурированного JSON и вызова инструментов; режим рассуждений отключён. Модель использует плотную архитектуру TrtcV4ForCausalLM с 36 слоями и шириной скрытого представления 4096. Линейные слои упакованы в пятизначное представление с разрядностью менее двух бит на вес, а таблицы эмбеддингов хранятся в int8. Репозиторий содержит GGUF-сборку; модель также запускается через Transformers, CPU, MLX и llama.cpp на поддерживаемых платформах. Модель унаследовала многоязычную токенизацию Qwen3-8B, но в карточке не перечислены конкретные поддерживаемые естественные языки. Контекстное окно в предоставленной информации не описано. Разработчик приводит результаты MMLU-Redux и IFEval и рекомендует параметры генерации отдельно для диалога, структурированного вывода и длинных текстов. Для корректной остановки нативного C-бинарника требуется задать EOS-токен; при генерации JSON рекомендуется отключать штраф за повторения. Лицензия — Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и подготовленной для запуска с llama.cpp. Квантизацию выполнил bartowski с использованием imatrix. Модель предназначена для генерации текста и поддерживает только текстовый ввод; заявленное количество параметров — 33 млрд. Вариант включает поддержку MTP. Модель подходит для локального запуска и задач текстовой генерации, включая диалоговые сценарии при использовании рекомендованного шаблона промпта. Доступны варианты квантизации от BF16 и Q8_0 до более компактных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В README рекомендуются Q4_K_M как сбалансированный вариант, а также варианты Q5 и Q6 для более высокого качества. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Ограничения модели включают отсутствие мультимодального ввода и неизвестный из предоставленных данных размер контекстного окна. Более сильное сжатие уменьшает требования к памяти, но может снижать качество по сравнению с BF16 и вариантами с более высокой точностью. Модель распространяется по лицензии openmdw-1.1; в README она обозначена как license: other, с дополнительной ссылкой на условия лицензии.

OpenLLaMA 7B — авторская предварительно обученная языковая модель OpenLM Research, созданная как открытая воспроизводимая реализация архитектуры Meta AI LLaMA. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов. Она обучена с нуля на наборе RedPajama, содержащем более 1,2 трлн токенов; доступны веса PyTorch, а проект также выпускал веса для JAX. Модель предназначена для генерации текста и может служить основой для языковых приложений и дальнейшей адаптации. По оценке авторов, OpenLLaMA 7B показывает сопоставимые с оригинальной LLaMA 7B и GPT-J 6B результаты на большинстве рассмотренных задач. В карточке не заявлены специализированная область или отдельная языковая специализация. Для корректной токенизации авторы рекомендуют не использовать быстрый токенизатор Transformers: автоматически конвертированная версия может ошибаться. При few-shot оценке рекомендуется добавлять BOS-токен. Авторы также отмечают возможное загрязнение обучающего набора данными бенчмарков CB и WSC и исключили эти задачи из оценки. Лицензия модели — Apache-2.0.

EasierAI/Qwen-2.5-32B — это GGUF-квантизированная версия Qwen2.5-32B-Instruct, предназначенная для генерации текста и диалогового взаимодействия. Исходная модель разработана командой Qwen, а представленные квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Модель ориентирована на чат, локальный запуск и другие сценарии текстовой генерации, включая использование в LM Studio. В README указано, что модель поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Размер исходной модели составляет 32B параметров; доступны варианты от F16 до IQ3 и Q3-квантизаций с объёмом файлов примерно от 13,71 до 65,54 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Точная архитектура и максимальная длина контекста в README не указаны; отмечено лишь обновление настроек контекста и токенизатора. Сильными сторонами являются многоязычность, широкий выбор квантизаций и возможность локального инференса, включая варианты, оптимизированные для ARM. Ограничения связаны с компромиссом между качеством и требованиями к памяти при использовании низкоразрядных вариантов, а также с отсутствием в описании результатов тестирования и точных характеристик производительности. Модель распространяется по лицензии Apache-2.0.

bartowski/Qwen2.5-7B-Instruct-1M-GGUF — набор GGUF-квантизаций модели Qwen2.5-7B-Instruct-1M, подготовленный bartowski на основе модели Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях и запуск через llama.cpp или LM Studio. В README указана поддержка английского языка. Модель содержит около 7 миллиардов параметров и рассчитана на контекст до 1 миллиона токенов, что подходит для обработки очень длинных документов и многошаговых диалогов. Доступны варианты от F32 и F16 до различных типов квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы с imatrix-квантизацией. Размер файлов варьируется примерно от 3,5 до 30,5 ГБ; более компактные варианты снижают требования к памяти, но могут ухудшать качество ответов. Для работы следует использовать шаблон сообщений Qwen с ролями system, user и assistant. Наиболее качественными в README названы варианты Q6 и Q5, а Q4_K_M описан как типичный компромисс между размером и качеством. Модель распространяется по лицензии Apache-2.0; конкретные требования и ограничения исходной модели следует проверять в её лицензии.