II.2Создание и понимание программного кода

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

Mirai’s Qwen3.8-27B Medium Quantization — это 4-битная квантованная версия модели Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования, включая агентские задачи, диалоги и работу с длинным контекстом; подробности об исходной архитектуре, языках и размере контекста в представленном описании не указаны. Модель использует асимметричную целочисленную 4-битную квантизацию с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнено quantization-aware distillation. По сочетанию размера и KL-дивергенции разработчики относят чекпойнт к Pareto-фронту; по уровню квантизации и размеру он сопоставим с Unsloth UD-Q4_K_M. Сильная сторона модели — компромисс между качеством и эффективностью при локальном инференсе на Apple silicon. Основные ограничения заключаются в текущей поддержке только Apple silicon и необходимости использовать совместимое программное обеспечение, например пакет mirai или сборку uzu. Лицензия — Apache-2.0. Для архитектурных характеристик, языков, контекстного окна, оценок и ограничений следует обращаться к карточке исходной модели Qwen3.8-27B.

mlx-community/Qwen3-8B-8bit — языковая модель для генерации текста, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-8B, созданной командой Qwen. Модель предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm, и может использовать чат-шаблон токенизатора для диалоговых сценариев. Модель представлена в формате MLX и имеет размер 8B с 8-битным представлением, что отражено в её идентификаторе. Поддерживаемая модальность — текст; README не содержит сведений о языках, размере контекста, конкретной архитектуре, результатах тестирования, сильных сторонах или ограничениях. Для работы требуется библиотека mlx-lm; конвертация выполнена с использованием версии 0.24.0. Модель распространяется по лицензии Apache-2.0.

ggml-org/Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, автоматически преобразованная в формат GGUF проектом ggml-org. Исходная модель разработана командой Qwen; в карточке также указаны связанные исходные модели Qwen/Qwen3-8B, z-lab/Qwen3-8B-DFlash-b16 и deepseek-ai/dspark_qwen3_8b_block7. Модель предназначена для генерации текста и может использоваться через совместимые инструменты, включая llama.app. Объём модели составляет 8B параметров; формат GGUF и квантизация ориентированы на более удобный запуск и эффективное использование ресурсов по сравнению с полноразмерной версией. Сведения о конкретном варианте квантизации, архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Модель распространяется по лицензии Apache-2.0. Ограничения по качеству, точности, требованиям к оборудованию и рекомендуемым сценариям использования отдельно не описаны.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3.5-35B-A3B-GGUF — это набор квантованных версий модели Qwen3.5-35B-A3B, подготовленный пользователем bartowski на основе оригинальной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, а GGUF-формат позволяет запускать её локально через llama.cpp и совместимые приложения, включая LM Studio, Jan AI, KoboldCpp и Text Generation Web UI. В набор входят варианты от BF16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 17 до 71 ГБ. Обозначение 35B указывает на 35 миллиардов параметров, а A3B относится к архитектуре исходной модели; подробности об архитектуре, поддерживаемых языках и размере контекста в README не приведены. Квантизации выполнены с использованием imatrix и llama.cpp, для некоторых конфигураций доступна поддержка MTP-слоёв. Сильная сторона набора — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью локального запуска; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как типичный выбор для большинства сценариев. Низкобитные варианты экономят память, но могут снижать качество. Для использования требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

RWKV/RWKV7-G1j-2.9B-20260831 — базовая языковая модель RWKV-7 Goose, официальный выпуск BlinkDL в формате Transformers. Это плотная авторегрессионная модель примерно на 3,1 млрд параметров для генерации текста, оценки и последующего дообучения; шаблон диалога задаёт формат запросов, но сам по себе не означает, что модель выровнена как безопасный ассистент. Архитектура RWKV-7 не использует attention: она поддерживает состояние рекуррентного размера, не растущее с длиной контекста, и постоянную вычислительную работу на генерируемый токен; обучение при этом допускает параллелизацию. В комплект входят реализация для Transformers, токенизатор RWKV World и шаблон чата с поддержкой многоходовых диалогов, режима thinking и формата вызова инструментов. Модель обучалась на веб-текстах, коде, синтетических, инструкционных, диалоговых и рассуждательных данных. В карточке перечислена поддержка английского, китайского, французского, испанского, немецкого, португальского, русского, итальянского, японского, корейского, вьетнамского и арабского языков. Модель подходит для генерации и продолжения текста, диалоговых прототипов и как основа для оценки или дообучения. Качество следования инструкциям и языковое поведение зависят от чекпойнта, промпта и последующего обучения. Откат состояния для assisted/speculative decoding не поддерживается без сохранения предыдущих состояний; оптимизированный запуск зависит от GPU, типа данных, размера пакета и формы входа. Заявлений о проверке безопасности, предвзятости, токсичности, фактической точности или пригодности для критически важных решений нет. Лицензия — Apache-2.0.

TheBloke/Selfee-13B-fp16 — это версия SelFee 13B от KAIST AI, подготовленная TheBloke в формате PyTorch fp16. SelFee — плотная авторегрессионная языковая модель семейства LLaMA с примерно 12,9 млрд параметров, предназначенная для генерации текста по инструкциям и диалога. Веса получены слиянием diff SelFee с базовой LLaMA 13B и преобразованием из fp32 в fp16. Модель дообучали на инструкциях из нескольких областей, включая математику и программирование, с генерацией ответов, обратной связью и повторными исправлениями. Обучающие данные преимущественно англоязычные; модель может использоваться для диалога, ответов на вопросы, объяснений и написания кода. Контекст составляет 2048 токенов. README указывает на ошибки в математике, рассуждениях, фактической точности и программировании, а также на ограничения использованной оценки. Лицензия в метаданных обозначена как other, конкретные условия в предоставленных данных не раскрыты.

SmolLM3-3B-Base — базовая языковая модель HuggingFaceTB, обученная предсказывать продолжение текста. Это плотный decoder-only Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель опубликована в форматах Safetensors и ONNX. По карточке, предобучение проводилось на 11,2 трлн токенов из веб-текстов, кода, математики и материалов для рассуждений. Это базовая версия семейства; instruct-модель опубликована отдельно. Модель предназначена для генерации и продолжения текста, а также может служить основой для адаптации под прикладные задачи. Она обучалась на английском, французском, испанском, немецком, итальянском и португальском языках; в меньшем объёме также использовались арабский, китайский и русский. Контекст конфигурации — 65 536 токенов; README описывает расширение до 128k токенов с YaRN. Карточка приводит результаты тестирования на задачах рассуждения, математики, кода и многоязычного понимания, но они не гарантируют точность ответов в практическом использовании. Разработчик предупреждает, что текст может содержать фактические ошибки, логические несоответствия и предубеждения из обучающих данных; важную информацию следует проверять. Модель распространяется по лицензии Apache-2.0.

Thespis-CurtainCall-7b-v0.3 — языковая модель на 7,1 млрд параметров, опубликованная cgato. Это плотная авторегрессионная модель семейства Mistral для генерации текста; в карточке указан контекст до 32 768 токенов и формат PyTorch. Модель обучена на наборах Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder-Evol-Instruct-110k, Yahoo Answers, OpenOrca, Airoboros 3.1 и данных по физическому рассуждению и теории разума. Она предназначена для диалогов и генерации ответов в шаблоне, совместимом с Ooba и Silly Tavern, а также может применяться для инструкционного следования, рассуждений и задач по коду благодаря составу обучающих данных. Модель выпущена как версия 7B; автор сообщает о планах выпустить вариант Mixtral. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает результаты оценивания качества, поэтому пригодность для конкретных задач следует проверять самостоятельно.

InternScience/Agents-A1-F16-GGUF — вариант модели Agents-A1 от InternScience в формате GGUF F16. Это 35-миллиардная MoE-модель, дообученная для многошаговой работы в роли универсального агента: она разбивает сложные запросы на этапы, планирует действия и может использовать инструменты через интеграцию с внешней системой. Модель предназначена для длительного поиска, инженерных задач, научных исследований, следования инструкциям и ответов на профессиональные вопросы. Карточка базовой модели сообщает о поддержке вызова функций и интеграции с API, поисковыми системами и интерпретаторами кода. В опубликованных оценках Agents-A1 показала результаты на задачах агентного поиска, научных рассуждений и следования инструкциям; эти результаты относятся к базовой модели и не являются отдельной оценкой данного варианта GGUF F16. В README также описан контекст 262K для стандартной версии при запуске через SGLang, но это значение не подтверждено для данного GGUF-файла. Лицензия — Apache-2.0.

Codetulu 2 13B — англоязычная модель-помощник, разработанная AllenAI. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, дообученная на базе codellama/CodeLlama-13b-hf на смеси общедоступных, синтетических и созданных людьми инструкций и диалогов Tulu V2. Модель работает с текстом и поддерживает контекст до 8192 токенов. Модель предназначена для генерации ответов на инструкции и ведения диалогов, а также может использовать возможности базовой CodeLlama при работе с кодом. Для генерации следует подавать текст в формате, описанном в карточке модели, включая завершающий перевод строки. Модель преимущественно рассчитана на английский язык. Модель выпущена под лицензией AI2 ImpACT Low-risk. В карточке отмечено, что модель не прошла выравнивание безопасности на этапе RLHF и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно в ответ на соответствующие запросы.

csg-wukong-1B-chat-v0.1 — разработанная OpenCSG чат-модель, полученная дообучением csg-wukong-1B. Она предназначена для диалоговой генерации текста и может применяться в чат-ботах и других сценариях, где требуется генерировать ответы на текстовые запросы. Модель построена на плотной архитектуре Llama и содержит около 1 млрд параметров; заявленная длина контекста — 32 768 токенов. В карточке также отмечена возможность работы с кодом. Модель представлена в формате safetensors и распространяется по лицензии Apache-2.0. В README приведены сведения об обучении и оценке исходной csg-wukong-1B на open_llm_leaderboard, но отдельные результаты оценки чат-версии не указаны.

DeepSeek-R1-Qwen-lorablated-32B — плотная языковая модель на архитектуре Qwen2, созданная nbeerbower слиянием DeepSeek-R1-Distill-Qwen-32B и Qwen2.5-32B-abliterated-LORA методом task arithmetic с помощью mergekit. Модель содержит 32 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, рассуждений и решения задач, в том числе по математике и программированию — такие возможности указаны для базовой модели. В метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробных инструкций по применению, поэтому производительность конкретных сценариев не подтверждена.

DeepSeek-V2-Lite-Chat-GGUF — это квантизированная GGUF-версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek-ai и подготовленной компанией Second State Inc. Модель предназначена для локального запуска и генерации ответов в формате чат-ассистента; в README также указана совместимость с LlamaEdge версии 0.12.3 и выше. Модель поддерживает контекст размером до 128 000 токенов и использует шаблон запросов deepseek-chat-2. В репозитории доступны варианты квантования от Q2_K до Q8_0, а также f16, с размером файлов примерно от 6,43 до 31,4 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Более сильное квантование уменьшает требования к памяти, но может заметно снижать качество ответов. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии DeepSeek с обозначением other; ссылка на условия лицензии приведена в исходном описании.

mlx-community/DeepSeek-V3.1-8bit — это 8-битная версия модели DeepSeek-V3.1, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai/DeepSeek-V3.1. Модель предназначена для генерации текста и локального использования через библиотеку mlx-lm на устройствах, поддерживающих MLX. Она может применяться для диалогов и других задач текстовой генерации; в README приведён пример использования с chat template и сообщениями в формате ролей. Ключевые характеристики — формат MLX, 8-битное представление весов и тег text-generation. Конвертация выполнена с помощью mlx-lm версии 0.26.3. Данные о точном размере модели, архитектуре, поддерживаемых языках и длине контекста в README не указаны. Сжатое 8-битное представление может быть удобно для локального запуска, однако конкретные требования к памяти, производительность и качество по сравнению с исходной моделью не описаны. Модель распространяется по лицензии MIT.

granite-4.0-h-3b-ar — компактная инструктивная языковая модель, разработанная IBM Research и Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) в рамках IBM–MBZUAI AI Center of Excellence. Она предназначена для диалогов и генерации текста на современном стандартном арабском, нескольких региональных арабских диалектах и английском языке, в том числе для разнородных и межъязыковых сценариев. Модель содержит 2,6 млрд параметров и использует плотную decoder-only архитектуру GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Контекстное окно по метаданным составляет 131 072 токена. Компактный размер позволяет рассматривать её для эффективного развёртывания при ограниченных ресурсах; обучение охватывало общие задачи, а также примеры по математике, программированию и рассуждениям. Качество может зависеть от диалекта, предметной области, формулировки запроса и сложности задачи; результаты на арабских диалектах могут уступать английским. Модель способна выдавать неточные, предвзятые, неподходящие или небезопасные ответы, поэтому перед использованием в конкретной задаче рекомендуется оценка и настройка, а для рискованных сценариев — модерация входов и выходов. Лицензия — Apache-2.0.

GRPO-Think-7B-8k — плотная языковая модель класса Qwen2, разработанная институтом INSAIT для проверки решений задач по программированию. Она дообучена на наборе INSAIT-Institute/Aletheia-Train от DeepSeek-R1-Distill-Qwen-7B и содержит 7,1 млрд параметров. При обучении применялись GRPO, промежуточные рассуждения и отрицательные примеры; суффикс 8k обозначает бюджет рассуждений до 8 тысяч токенов завершения при обучении. Модель принимает условие задачи и несколько кандидатных решений, затем оценивает их и ранжирует, определяя корректное. Её можно использовать как функцию вознаграждения при оптимизации генерации кода и как автоматического судью в конвейерах оценки программ. Карточка указывает контекст до 131 072 токенов; базовая модель поддерживает диалог и генерацию текста, а в датасете обучения представлены решения на Python, C++ и Java. Лицензия CC-BY-NC-SA-4.0 требует указания авторства, распространения производных материалов на тех же условиях и запрещает коммерческое использование. Модель специализирована на верификации кандидатных решений и может уступать при переносе на более сильные или существенно отличающиеся решения; для точного формата запросов следует сверяться с кодом проекта.

immersyn2026 выпустил чат-модель immersyn-mini-v1, дообученную на базе unsloth/qwen2.5-coder-3b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, предназначенная для генерации текста в диалоге; в метаданных также заявлен интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает специализированную область применения или результаты оценки качества.

AISE-TUDelft/java-summary-classifier — модель на архитектуре MPNet, созданная на базе Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, сравнения предложений и кластеризации. В частности, модель подходит для задач классификации описаний Java-кода по сходству с краткими сводками. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста составляет 514 токенов. README сообщает об обучении с CosineSimilarityLoss. Доступные сведения не уточняют поддерживаемые естественные языки. Формат весов — PyTorch; сведения о лицензии отсутствуют.

Primitive AI представляет квантизированную версию IFM/K2-Horizon-MoVA-36B-A4B — разреженной MoE-модели для генерации текста, рассуждений и вызова инструментов. Модель предназначена для серверного инференса и сценариев, где важны качество рассуждений, tool calling и размещение на одной видеокарте. Поддержка интегрирована в ветку main проекта vLLM; опубликованный вариант рассчитан на использование с Transformers, compressed-tensors и vLLM. Модель имеет 45 разреженных слоёв и общий размер 36B параметров при активных примерно 4B параметров на токен. В данной сборке 15 экспертных слоёв используют NVFP4, а остальные 30 — FP8 с блочными масштабами [128,128]. Размер файлов составляет 44,48 ГБ, что примерно на 8% меньше официальной FP8-версии и в 1,7 раза меньше BF16-варианта. Заявлена работа с контекстом до 32 768 токенов; на одной 96-ГБ видеокарте модель запускается без tensor parallelism. Сведения о поддерживаемых языках в README не указаны. Сильными сторонами являются сохранение уровня знаний, сопоставимого с BF16 и официальной FP8-версией, а также более высокая точность вызова инструментов по сравнению с альтернативной сборкой на чистом NVFP4. Модель требует GPU с архитектурой NVIDIA Blackwell и не тестировалась для Ampere, поскольку использует FP8-тензорные ядра. Для запуска нужен nightly или сборка vLLM из main с поддержкой K2-Horizon; стабильная версия 0.28.0 эту поддержку не содержит. Настройка уровня рассуждений выполняется на уровне сервера. Модель распространяется по лицензии Apache-2.0.

Это квантованная в формате MXFP4_MOE сборка разговорной гибридной MoE-модели Ling-3.0-flash от Inclusion AI, опубликованная в формате GGUF. Она предназначена для генерации текста в диалогах; базовая модель также рассчитана на программирование и многошаговые агентные задачи. Для запуска в карточке рекомендуется llama.cpp. Сведения о размере модели, контекстном окне и поддерживаемых языках в доступных данных отсутствуют. Квантование уменьшает точность весов и предназначено для запуска модели в более компактном формате, однако доступные данные не содержат результатов оценки качества этой сборки. Лицензия не указана в предоставленных сведениях.

LingoWhale-8B — плотная двуязычная языковая модель с авторегрессионной архитектурой LingoWhaleForCausalLM, разработанная DeepLang Technology совместно с лабораторией NLP Университета Цинхуа. Модель содержит 7,7 млрд параметров, обучена на качественных китайских и английских данных и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и может использоваться как базовая модель для ответов на вопросы, написания текстов, рассуждений и генерации кода. В README также приведены примеры диалоговой модели, полученной дообучением LingoWhale-8B на открытых SFT-данных; это пример производной модели, а не отдельная возможность исходной базовой модели. Для адаптации доступны примеры тонкой настройки, включая LoRA. Разработчики отмечают, что модель может галлюцинировать, а её математические способности ограничены. Для академических исследований модель открыта; коммерческое использование исходной модели и её производных требует заявки и получения разрешения по лицензии LingoWhale-8B наряду с Apache 2.0.

bunnycore/Llama-3-8B-TitanFusion-Mix-2 — объединённая причинная языковая модель семейства Llama, созданная автором с помощью mergekit. В качестве основы использована NousResearch/Meta-Llama-3-8B; методом TIES объединены веса четырёх моделей, включая инструктивную и uncensored-версии Llama 3.1 8B и модели линейки TitanFusion. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM, доступна в формате safetensors и поддерживает контекст длиной до 8192 токенов. Метаданные описывают базовую модель как ориентированную на английский текст и код; отдельные сведения о языках этого конкретного слияния не приводятся. Слияние объединяет возможности исходных моделей, но README не содержит оценок качества или подробностей о поведении результирующей модели. Лицензия в предоставленных данных не указана.

Marin 8B Base — базовая авторегрессионная языковая модель команды Marin при Stanford CRFM, созданная как открытая фундаментальная модель. Это плотный Transformer семейства Llama 3 с 7,5 млрд параметров; в карточке указаны 32 слоя, скрытый размер 4096, 32 головы внимания и 8 KV-голов. Модель принимает текст и генерирует продолжение, а её контекстное окно составляет 4096 токенов. Модель обучена преимущественно на английских данных из наборов для веб-текстов, энциклопедий, научных статей, программирования, математики и вопросов-ответов. Она предназначена для продолжения текста и может служить базой для дальнейшей адаптации под конкретные задачи; это именно Base-модель, а не настроенный для диалога помощник. Репозиторий использует формат safetensors и совместим с Transformers и инструментами, поддерживающими архитектуру Llama. Модель выпущена по лицензии Apache 2.0. Она не проходила настройку безопасности; ответы могут содержать предвзятые или вредоносные материалы и фактические ошибки. Разработчики не рекомендуют использовать её автономно без проверки результатов.

Meta-Llama-3.1-405B-Instruct-AWQ-INT4 — это общественно подготовленная квантованная версия большой языковой модели Meta-Llama-3.1-405B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая ассистентские сценарии, ответы на вопросы и другие задачи, поддерживаемые instruction-tuned моделями. Она работает в формате text in/text out и интегрируется с Transformers, AutoAWQ и Text Generation Inference. Модель содержит 405B параметров и использует архитектуру Llama 3.1. FP16-версия была преобразована в INT4 с помощью AutoAWQ: применяются GEMM-ядра, zero-point quantization и размер группы 128. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Точный размер контекстного окна в представленных данных не указан. Ключевое преимущество — значительное снижение требований к памяти по сравнению с FP16 при сохранении возможностей 405B-модели и поддержке оптимизированного инференса. Ограничения связаны с экстремально большим размером: для загрузки чекпойнта требуется около 203 GiB VRAM без учета KV-кэша и CUDA graphs, поэтому для практического запуска нужна мног GPU-конфигурация или сопоставимая инфраструктура. Модель распространяется по лицензии llama3.1; это именно community-driven квантованная версия оригинальной модели Meta.

RedHatAI/Meta-Llama-3-70B-Instruct-FP8 — квантизированная версия Meta-Llama-3-70B-Instruct, разработанная Neural Magic. Это текстовая авторегрессионная модель с архитектурой Meta-Llama-3 и примерно 70 млрд параметров, предназначенная для диалоговых сценариев и работы в формате ассистента. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в FP8. Это сокращает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Используется симметричная поэлементно-тензорная квантизация; модель подготовлена для инференса с vLLM версии 0.5.0 и новее. В описанной конфигурации максимальная длина контекста составляла 4096 токенов. К сильным сторонам относятся снижение требований к памяти и близкие к исходной модели результаты: средний балл OpenLLM составляет 79,16 против 79,51 у неквантизированной версии. Ограничения включают специализацию на английском языке и возможное небольшое снижение точности из-за квантизации. Модель не предназначена для использования на языках, кроме английского, а также для сценариев, нарушающих применимое законодательство. Распространяется по лицензии Llama3.

RedHatAI/Meta-Llama-3-8B-Instruct-FP8-KV — это квантованный вариант Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев с использованием vLLM; чекпойнт подготовлен с помощью AutoFP8 и калибровочных примеров из ultrachat. Модель содержит 8B параметров и использует FP8-квантизацию весов и активаций с покомпонентным масштабированием на уровне тензоров. Дополнительно в чекпойнт включены масштабы для FP8-квантизации KV-кэша, что позволяет включать этот режим через параметр kv_cache_dtype="fp8" в vLLM. Для работы требуется vLLM версии 0.5.0 или новее. Данные о поддерживаемых языках, размере контекста и мультимодальности не указаны. К преимуществам относятся снижение требований к памяти и возможность эффективного инференса с FP8 KV-кэшем. По результатам Open LLM Leaderboard показатель gsm8k в режиме 5-shot составляет 74,98 против 75,44 у исходной модели и 74,37 у варианта FP8 без квантованного KV-кэша, что указывает на близкое качество в этом тесте. Ограничения включают возможную потерю точности из-за квантизации и зависимость от совместимой версии vLLM. Лицензия в README не указана.

hiieu дообучил Meta-Llama-3-8B-Instruct для вызова функций и генерации ответов в формате JSON. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров; она принимает текст и генерирует текст. Контекст — до 8192 токенов. Карточка демонстрирует двухэтапный сценарий вызова функций, где модель сначала формирует вызов, а затем обрабатывает результат.

unsloth/mistral-7b-bnb-4bit — это напрямую квантизированная 4-битная версия Mistral 7B, подготовленная командой Unsloth с использованием bitsandbytes. Модель предназначена для запуска и дообучения в экосистеме Transformers, в том числе в доступных GPU-средах вроде Google Colab и Kaggle. Основные сценарии использования — генерация и продолжение текста, диалоговые приложения, а также fine-tuning на собственных наборах данных. README указывает поддержку английского языка, библиотекой интеграции является Transformers. Архитектура основана на Mistral 7B, однако точные параметры контекста и другие архитектурные характеристики в карточке не приведены. Формат 4-bit уменьшает требования к памяти; для Mistral 7B заявлено снижение использования памяти примерно на 62% при дообучении с инструментами Unsloth. Сильные стороны модели — компактное 4-битное представление и ориентированность на эффективное дообучение, включая последующий экспорт в GGUF или использование с vLLM. Ограничения включают возможное снижение точности из-за квантизации, зависимость от совместимого программного окружения и отсутствие в README подробных результатов оценки качества. Модель распространяется по лицензии Apache-2.0.