II.2Создание и понимание программного кода

dphn/fc-dolphin-2.6-mistral-7b-dpo-laser — языковая модель на архитектуре Mistral, разработанная Дэвидом, Фернандо и Эриком как версия Dolphin 2.6 с поддержкой вызова функций. Модель обучена на варианте набора glaive function calling v2 и использует формат описания и вызова функций из этого набора; для диалогов применяется ChatML. Модель предназначена для генерации текста и диалоговых сценариев, где ассистенту нужно выбирать и вызывать объявленные функции, например поиск по Wikipedia. В карточке описан экспериментальный приём частичной заморозки весов по анализу laserRMT, призванный снизить забывание ранее усвоенных знаний при обучении новым навыкам. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Авторы отмечают, что это первая модель в серии экспериментов; качество вызова функций и результаты метода частичной заморозки в карточке подробно не оценены.

mlx-community/functiongemma-270m-it-bf16 — преобразованная в формат MLX версия компактной текстовой модели Google FunctionGemma 270M Instruct. Она построена на плотной архитектуре Gemma 3 и предназначена для генерации текста в диалогах, включая сценарии вызова функций и создания специализированных локальных агентов после дообучения. Модель содержит 257 млн параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors для использования с библиотекой MLX. Лицензия — Gemma. Карточка описывает конвертацию исходной модели google/functiongemma-270m-it; отдельные сведения о дополнительном дообучении этой версии отсутствуют.

QuantFactory/gemma-2-27b-it-abliterated-GGUF — это квантованная версия модели byroneverson/gemma-2-27b-it-abliterated, созданная командой QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через инструменты и экосистему llama.cpp. В карточке указана поддержка английского языка и библиотека Transformers. Модель относится к семейству Gemma 2, имеет размер 27B параметров и распространяется в формате GGUF. Она основана на instruct-версии Gemma 2, а также прошла процедуру abliteration: из весов удалялось направление, связанное с отказами модели, с последующей ортогонализацией файлов .safetensors. Это может сделать модель менее склонной к отказам, но одновременно снижает предсказуемость защитного поведения и не гарантирует безопасные ответы. Квантование может уменьшать требования к памяти и вычислительным ресурсам по сравнению с полной версией модели, однако точный метод и уровень квантования в представленном README не указаны. Размер контекста, поддерживаемые дополнительные модальности, точные аппаратные требования и результаты тестирования не приведены. Модель распространяется по лицензии Gemma.

OsaurusAI подготовила MLX-сборку JANG_4M на основе инструкционной Gemma 4 от Google DeepMind с 12 млрд параметров. Это плотная модель семейства gemma4_unified с 48 текстовыми слоями, предназначенная для диалога и генерации текста; заявлен интерфейс для вызова инструментов. Веса упакованы в формате safetensors с аффинной смешанной точностью: эмбеддинги токенов, нормализации, компоненты обработки медиа и связанные проекторы сохранены в fp16, проекции внимания и маршрутизатора MoE — в 8-битном виде, основная часть MLP и экспертов — в 4-битном. Проверенный путь запуска через JANG-загрузчик vMLX поддерживает только текст. Хотя веса и конфигурации для изображений и аудио сохранены, для них требуется совместимая реализация Gemma 4 в MLX; в стандартном mlx_vlm такой поддержки пока нет. Модель распространяется по лицензии Gemma. Сборка предназначена для MLX и Apple Silicon; фактическое использование зависит от совместимого JANG-загрузчика и шаблонов Gemma 4.

Это совместимая сборка Gemma 4 26B-A4B-it в формате GGUF для llama.cpp, подготовленная TaterTotterson на основе релиза unsloth/gemma-4-26B-A4B-it-GGUF. Модель предназначена для диалоговых задач и сценариев image-text-to-text, включая работу с изображениями через отдельный vision projector. Сборка не является новым fine-tune: основные веса и проектор взяты из upstream-релиза, а шаблон чата изменён так, чтобы принудительно отключать режим рассуждений и использовать no-thinking path. Основной файл использует квантизацию UD Q4_K_M; точный размер модели, максимальная длина контекста и поддерживаемые языки в README не указаны. Для ускорения генерации предусмотрена speculative decoding с совместимыми боковыми моделями MTP Q8_0 или DFlash Q8_0. Они не являются самостоятельными чат-моделями и должны использоваться только с данной целевой моделью Gemma 4 26B-A4B-it. Поддержка vision требует файла mmproj-F16.gguf. Сильные стороны сборки — интеграция с llama.cpp и Tater, поддержка обработки изображений, принудительное отключение рассуждений и возможность ускорения вывода посредством MTP или DFlash. Фактический прирост скорости зависит от запроса, оборудования, длины контекста и доли принятых черновых токенов. Ограничения включают необходимость совместимой свежей версии llama.cpp, отдельного projector для vision и корректно подобранной draft-модели; параметры контекста и языковые возможности не заявлены. Лицензия — Apache 2.0.

Модель armand0e/Gemma-4-E4B-it-DeepSeek-v4-Distill — дообученная на базе unsloth/gemma-4-E4B-it мультимодальная модель семейства Gemma 4 с плотной архитектурой Gemma4ForConditionalGeneration. Автор карточки указывает, что модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для диалога и генерации ответов по текстовым и визуальным входам; метаданные также отмечают поддержку интерфейса вызова инструментов. Базовая Gemma 4 E4B Instruct описана как подходящая для анализа изображений, документов, программирования и других текстовых задач, но отдельные возможности этой версии подробно не подтверждены карточкой. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает размер контекста и подробные результаты оценки качества; практическое качество дистилляции DeepSeek в README не раскрыто.

MaziyarPanahi/gemma-7b-it-GGUF — это набор файлов модели в формате GGUF для Gemma 7B Instruction Tuned, разработанной Google. Автором исходной модели указана Google, а конвертацию и квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев. Модель имеет около 7 миллиардов параметров и поставляется в нескольких вариантах квантования: от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Квантование позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Сильными сторонами являются наличие разных уровней квантования и широкая совместимость с инструментами локального вывода. В README не указаны поддерживаемые языки, размер контекстного окна, точные характеристики архитектуры, результаты оценки качества или конкретные ограничения модели. Лицензия обозначена как other, но её условия в предоставленных данных не раскрыты.

GLM-4.7-Flash-MLX-6bit — это 6-битная квантизированная версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org. Квантизация выполнена командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и поддерживает английский и китайский языки. Модель подходит для локального запуска и задач текстовой генерации на совместимых устройствах Apple Silicon. Квантизация снижает требования к памяти по сравнению с полноразмерной версией, что может упростить локальное использование, однако потенциально сопровождается некоторой потерей точности относительно исходной модели. README не содержит сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях помимо текста и результатах тестирования. Для модели указана лицензия MIT.

granite-4.0-h-small-MLX-8bit — 8-битная квантованная версия модели granite-4.0-h-small, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm, а сама модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Модель предназначена для задач генерации и обработки текста, однако README не содержит подробностей о конкретных сценариях применения, поддерживаемых языках, размере модели, архитектуре и длине контекста. Ключевая характеристика этой версии — 8-битное представление, которое может снизить требования к памяти и ускорить локальный запуск на совместимом оборудовании, но потенциально сопровождается некоторой потерей точности по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем или владельцем модели и не гарантирует её точность, безопасность или пригодность для конкретных задач; результаты могут быть ошибочными, вредными или непредсказуемыми.

grug-3b — диалоговая языковая модель ProCreations на архитектуре NanbeigeForCausalLM с плотной архитектурой и 3,2 млрд параметров. Она дообучена на Nanbeige/Nanbeige4.2-3B и предназначена для генерации текста, рассуждений и решения задач в чате. Модель адаптивно распределяет усилия: отвечает кратко на простые вопросы и тратит больше шагов рассуждения на сложные; в числовых рассуждениях применяет повторную проверку вычислений. Карточка сообщает о контекстном окне до 262 144 токенов и поддержке английского языка. В приведённых авторами тестах grug-3b улучшила результат базовой модели на MATH-500 и ARC, но уступила ей на GSM8K, HumanEval и MBPP. Поэтому компромисс между расходом токенов и точностью зависит от типа задачи; для максимального результата в программировании README рекомендует базовую модель. Репозиторий содержит веса safetensors и исправление совместимости с Transformers 4.54 и новее. Лицензия — Apache-2.0.

Hermes-2-Pro-11B-GGUF — это квантизированная версия языковой модели Hermes-2-Pro-11B, разработанной mattshumer и представленной в формате GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. В репозитории представлены файлы с разными уровнями квантизации — от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации. Модель относится к текстовым генеративным моделям; сведения о поддерживаемых языках, длине контекста, точной архитектуре и модальностях в README не указаны. Формат GGUF удобен для локального развертывания на Windows, Linux и macOS, поддерживается рядом интерфейсов и библиотек, а также может использовать GPU-ускорение в зависимости от используемого программного обеспечения. Более низкая разрядность обычно снижает требования к ресурсам, но может ухудшать качество по сравнению с вариантами с большей разрядностью. Для модели указана лицензия Apache 2.0. README не содержит подробных результатов оценки, бенчмарков или описания ограничений исходной модели, поэтому её качество в конкретных задачах следует проверять отдельно.

Это пакет слоёв GGUF модели Kimi-K2.6 в варианте UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Пакет создан из unsloth/Kimi-K2.6-GGUF и сохраняет исходное распределение GGUF, разбитое на артефакты по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального приватного чата и генерации текста, в том числе для обслуживания запросов через совместимый с OpenAI API. Разбиение слоёв позволяет распределять вычисления и память между несколькими машинами, когда полной модели не помещается на одном узле. Формат пакета — layer-package; исходные артефакты — GGUF с квантизацией UD-Q4_K_XL. Для деталей архитектуры, языков, контекстного окна и условий лицензии README направляет к карточке исходной модели; эти сведения в доступных данных не приведены. Для работы пакет рассчитан на Mesh LLM и распределённый инференс.

konic-labs выпустила 50%-ную обрезанную по экспертам версию LiquidAI/LFM2.5-8B-A1B, созданную методом REAP (Ranking and Eliminating Experts via Activation Patterns). Это причинная MoE-модель для генерации текста и диалогов. В каждом MoE-слое оставлено 16 из 32 экспертов; по README, размер сократился на 45,5% относительно базовой модели. Сохранившиеся веса экспертов и веса маршрутизатора побитно совпадают с исходными, дополнительного дообучения не проводилось. Модель рассчитана на диалоговое использование, математические задачи и вызов инструментов; README приводит результаты тестов MATH500 и BFCLv3. Метаданные указывают контекст до 128 000 токенов и английский язык. Модель можно запускать в bf16, в том числе через vLLM; лицензия — Apache-2.0. Обрезка снижает качество относительно исходной модели: в приведённых результатах точность на MATH500 составляет 77,0%, а на BFCLv3 — 59,07%. README позиционирует её как промежуточный этап сжатия и допускает дальнейшую квантизацию; результаты тестов не гарантируют качество на других задачах.

Llama-2-7b-chat-mlx — адаптация чат-модели Llama 2, разработанной Meta, в формате NPZ для использования с фреймворком Apple MLX. Модель содержит около 7 миллиардов параметров и предназначена для генерации текста и диалоговых сценариев, включая запуск локального инференса на совместимых устройствах Apple через MLX. Веса преобразованы из исходного формата bfloat16 в float16 для совместимости с NumPy. README не указывает поддерживаемые языки, размер контекста и полный набор архитектурных характеристик. К сильным сторонам относятся специализированная чат-настройка, относительно компактный размер по сравнению с более крупными версиями Llama 2 и интеграция с MLX; ограничения включают зависимость от MLX и отсутствие в карточке подробных сведений о качестве, языковых возможностях и производительности. Модель распространяется по лицензии Llama 2. Для получения дополнительных сведений README рекомендует обращаться к оригинальной карточке модели Meta Llama 2 7B Chat.

Это языковая модель для генерации текста, представленная сообществом mlx-community. Она конвертирована в формат MLX из модели DavidAU/L3.2-8X4B-MOE-V2-Dark-Champion-Inst-21B-uncen-ablit с использованием mlx-lm версии 0.25.2 и предназначена для запуска через экосистему MLX. Модель относится к семейству Llama 3.2 и использует архитектуру mixture of experts с 8 экспертами, каждый из которых имеет размер 4B; общий заявленный размер составляет 21B параметров. В карточке также указаны контекст до 128k токенов, режим instruct, формат квантования Q_6 и поддержка текстовой генерации. Языки и мультимодальные возможности явно не указаны. Основные сценарии применения — диалоговая генерация и выполнение инструкций, включая запуск локально на совместимом оборудовании Apple через MLX. К сильным сторонам относятся разреженная MoE-архитектура, большой контекст и оптимизация для MLX. Ограничения включают отсутствие в карточке результатов тестирования, подробностей о фактических требованиях к памяти и перечня поддерживаемых языков; характеристики исходной модели не обязательно полностью описывают конвертированную версию. Лицензия в README не указана.

magnum-v4-9b-GGUF — набор GGUF-квантизаций языковой модели magnum-v4-9b, разработанной anthracite-org и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и чат-сценариев, а запускать её можно, в частности, через LM Studio. Указан английский язык и формат prompt с ролями system, user и assistant. В набор входят варианты от F16 до низкобитных Q2 и IQ2/IQ3-квантизаций с размерами файлов примерно от 3,43 до 18,49 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; для некоторых вариантов заявлены оптимизации под ARM, включая требования к поддержке sve или i8mm. Сильная сторона набора — широкий выбор компромиссов между качеством и потреблением памяти, при этом Q5–Q6 и некоторые Q4-варианты отмечены как рекомендуемые. Ограничения включают снижение качества у низкобитных вариантов и отсутствие данных о размере контекста, архитектуре исходной модели, мультимодальности и дополнительных языках. Лицензия указана как gemma.

Tess-4-9B-GGUF — набор квантизированных GGUF-версий модели Tess-4-9B, разработанной migtissera и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель позиционируется для диалоговых, reasoning- и agentic-сценариев, включая задачи с инструментами и работу с длинным контекстом. В метаданных она также обозначена как multimodal и image-text-to-text, однако подробности о поддерживаемых типах изображений и фактических мультимодальных возможностях не приведены. Модель имеет размер 4B–9B согласно идентификатору и названию базовой модели, но точная архитектура, максимальная длина контекста и список языков в README не указаны. Доступны варианты от BF16 до сильнее сжатых Q2/Q3/Q4/Q5/Q6/Q8 и IQ-квантизаций; это позволяет выбирать между качеством, размером файла и требованиями к памяти. Версии GGUF предназначены для запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. README не описывает результаты тестов, поэтому сильные стороны и ограничения качества нельзя надежно оценить; при более агрессивном квантовании ожидается снижение качества. Указана лицензия Apache-2.0.

MiniCPM5-1B-i1-GGUF — это набор imatrix-квантизированных версий базовой языковой модели openbmb/MiniCPM5-1B, подготовленный пользователем mradermacher. Модель предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, включая локальное использование на устройствах с ограниченными ресурсами и edge-сценарии. В карточке указаны английский и китайский языки, а также датасеты Ultra-FineWeb, Ultra-FineWeb-L3, UltraData-Math и UltraData-SFT-2605, использованные для базовой модели. Модель имеет размер 1 млрд параметров и распространяется в формате GGUF с различными уровнями квантизации — от IQ1_S до Q6_K. Размер файлов составляет примерно от 0,5 до 1 ГБ; вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Более агрессивные варианты занимают меньше места, но могут заметно уступать в качестве, тогда как более крупные варианты обычно сохраняют качество лучше. Поддержка мультимодальности и точный размер контекста в README не указаны. Лицензия модели — Apache-2.0. Доступны готовые квантизированные файлы, а также imatrix-файл для создания собственных квантов. Ключевое ограничение — компромисс между компактностью и качеством, особенно у вариантов с низкой точностью; конкретные показатели производительности и качества в карточке не приведены.

unsloth/mistral-7b — базовая плотная авторегрессионная языковая модель семейства Mistral, опубликованная Unsloth в формате Safetensors. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В метаданных указан английский язык и лицензия Apache-2.0. Модель предназначена для генерации текста и может использоваться как основа для чат-ботов и дополнения текста. README связывает её с шаблонами ShareGPT ChatML и Vicuna и предлагает ноутбуки для разговорного дообучения, текстового продолжения и DPO; это рекомендации по дальнейшей настройке, а не свидетельство, что данный чекпойнт уже дообучен под эти сценарии. Описания качества или конкретных результатов нет.

mistral-megamerge-dare-7b — объединённая разговорная языковая модель на архитектуре Mistral, созданная martyn на основе Mistral-7B-Instruct-v0.2 и нескольких моделей Mistral 7B для кода и диалога. Слияние выполнено методом DARE с параметрами p=0.12 и lambda=2.1. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогов на английском языке. Репозиторий содержит веса в формате safetensors, лицензия — MIT. Карточка не описывает отдельные результаты оценки качества или гарантии для конкретных задач.

unsloth/Mistral-Nemo-Instruct-2407 — плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров. Репозиторий размещён Unsloth и содержит веса в формате safetensors; модель предназначена для генерации текста в диалогах и поддерживает интерфейс вызова инструментов. Модель принимает текстовые запросы и выдаёт текст. Она поддерживает английский язык и контекст длиной до 131 072 токенов. Карточка репозитория посвящена инструкциям Unsloth по дообучению Mistral Nemo, включая разговорный формат ShareGPT ChatML/Vicuna и экспорт дообученной модели. Модель распространяется по лицензии Apache-2.0. Сведения о специализированных предметных областях и конкретных ограничениях качества в карточке не приводятся.

Nanbeige4.2-3Bcmf — это квантизированная версия Nanbeige/Nanbeige4.2-3B, разработанная Nanbeige LLM Lab и преобразованная в формат CMF проектом infosave2007. Модель предназначена для генерации текста и задач, требующих рассуждений: она сначала формирует внутренний ход рассуждений, а затем выдаёт ответ. Формат CMF хранит модель в одном файле объёмом около 2,4 ГБ и позволяет запускать её через чистый Rust-runtime без Python. Архитектура модели — Looped Transformer: 22 физических слоя применяются дважды, что соответствует 44 виртуальным слоям, с повторной нормализацией на границах циклов. Используется квантизация q4t; с учётом большой vocabulary и untied embeddings файл содержит около 4,17 млрд параметров, несмотря на обозначение 3B. Модель работает с текстом; поддерживаемые языки и максимальная длина контекста в README не указаны. Доступны CPU- и GPU-сценарии, включая Apple Metal, Vulkan и DX12, а также OpenAI-compatible API через cortiq serve. Сильные стороны модели — компактное хранение, автономный запуск на компьютерах и мобильных устройствах, потоковая генерация и сохранение поведения исходной модели после конвертации. Ограничения связаны с вычислительной стоимостью looped-архитектуры: производительность зависит от пропускной способности памяти, а для reasoning-сценариев требуется выделять несколько сотен токенов на генерацию. Указанные результаты производительности относятся к конкретному оборудованию и runtime cortiq версии не ниже 0.5.35, поэтому не гарантируют аналогичные показатели в других условиях. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели. Права на веса принадлежат Nanbeige LLM Lab; репозиторий infosave2007 изменяет формат хранения и исполнения.

Nautilus — небольшая языковая модель Loke-60000 для составления команд по запросам на естественном языке. Она предназначена для помощи с терминалом в Linux и macOS, а также с PowerShell в Windows. Модель формирует один ответ за ход: команду для выполнения задачи, `ANSWER:` если задача завершена или требуется объяснение, либо `UNCLEAR:` если запрос неоднозначен или предположение может быть опасным. После передачи вывода команды может предложить следующий шаг. В метаданных указаны архитектура Qwen3.5 Text, класс Qwen3_5ForCausalLM, 581,4 млн параметров и контекст 262 144 токена; карточка округляет размер до 0,8 млрд параметров. Репозиторий содержит веса safetensors, а варианты GGUF доступны в отдельном репозитории. Модель рассчитана на английский язык и имеет интерфейс чата, но не является универсальным собеседником: она не выполняет команды, не предназначена для написания произвольного текста и может ошибаться в редких флагах. Лицензия — Apache-2.0.

Nous-Hermes-2-Mixtral-8x7B-SFT-Alpaca-GGUF — это набор файлов модели в формате GGUF, подготовленный и квантованный MaziyarPanahi на основе Nous-Hermes-2-Mixtral-8x7B-SFT-Alpaca. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. В основе используется архитектура Mixtral 8x7B с дообучением в формате SFT и данными Alpaca. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Модель работает с текстом; сведения о поддерживаемых языках и размере контекста в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp, llama-cpp-python и другими инструментами для локального инференса. Ограничения связаны с потерями качества, возможными при низкоразрядном квантовании, а также с отсутствием в README подробных данных о производительности, языковом покрытии и контексте. Указанная лицензия — Apache-2.0.

MaziyarPanahi/openchat-3.5-1210-Seraph-Slerp-GGUF — это набор квантованных файлов в формате GGUF для модели Weyaxi/openchat-3.5-1210-Seraph-Slerp. Исходную модель разработал Weyaxi, а квантование и публикацию набора выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. В набор входят варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python, Candle и другими инструментами. В README не указаны размер модели, архитектура исходной модели, максимальная длина контекста, поддерживаемые языки или наличие мультимодальных возможностей, поэтому эти характеристики нельзя определить достоверно. Основные преимущества — несколько вариантов квантования и широкая совместимость с инструментами для локального вывода, включая запуск с GPU-ускорением. Более сильное квантование может уменьшать требования к ресурсам, но потенциально снижать точность и качество генерации. Модель распространяется по лицензии Apache-2.0.

OpenLLaMA 3B v2 — предобученная авторегрессионная языковая модель семейства LLaMA, разработанная OpenLM Research как открытая репродукция Meta AI LLaMA. Модель содержит 3,3 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для продолжения или генерации текста. Контекст модели — 2048 токенов. Версия v2 обучена с нуля на смеси открытых корпусов Falcon RefinedWeb, StarCoder и частей RedPajama, включая Wikipedia, arXiv, книги и StackExchange. Авторы сообщают о сопоставимых с исходной LLaMA результатах на большинстве рассмотренных ими задач, но отмечают возможное загрязнение обучающими данными отдельных бенчмарков. Модель можно использовать как замену LLaMA в совместимых реализациях для генерации текста и исследовательских экспериментов. В README авторы предупреждают, что автоматически сконвертированный быстрый токенизатор может неверно токенизировать текст; для корректной работы рекомендуется медленный токенизатор LlamaTokenizer или use_fast=False. Репозиторий распространяется по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-PrismaQuant-AQUA-25GB-vllm — это смешанно-квантизированная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста и запуска через Transformers и vLLM. К checkpoint применяется формат compressed-tensors, поэтому он поддерживается стандартным vLLM без модифицированного runtime и пользовательских CUDA-ядер. Модель имеет MoE-архитектуру с 35 млрд параметров, из которых 3 млрд активируются на токен. PrismaQuant назначает отдельным линейным слоям форматы BF16, FP8 или NVFP4: большинство маршрутизируемых экспертов используют NVFP4, тогда как важные компоненты плотного пути сохраняются в FP8 или BF16. Размер артефакта составляет 24,68 ГБ против 71,90 ГБ у исходной BF16-версии, что даёт сокращение примерно в 2,91 раза. Базовая модель поддерживает контекст до 262 144 токенов, однако полный контекст требует значительного объёма памяти под KV-кэш. На WikiText-2 квантизированная версия показала perplexity 11,7067 против 11,4181 у BF16-источника, то есть ухудшение составило 2,53%. Сильная сторона модели — существенная экономия памяти при относительно небольшом падении качества; смешанное распределение точности также снижает расхождение с BF16 по сравнению с равномерной NVFP4-квантизацией. Ограничения включают потенциальную зависимость производительности от совместимого оборудования и версии vLLM, а приведённые метрики получены на конкретном наборе данных и конфигурации. Модель распространяется по лицензии MIT.

Kunhao/pile-7b-250b-tokens — языковая модель, опубликованная пользователем или организацией Kunhao на Hugging Face. Она предназначена для авторегрессионной генерации текста и совместима с Transformers, PyTorch, vLLM и SGLang. Карточка Hugging Face помечает её как Llama-модель и показывает использование через AutoModelForCausalLM и pipeline text-generation. По метаданным модель содержит около 5,9 млрд параметров и поддерживает контекст длиной до 4096 токенов. Её можно применять для продолжения текста, генерации ответов и локального или серверного инференса через совместимые инструменты. Мультимодальность и поддерживаемые естественные языки не установлены. Модельная карточка не содержит подробного описания назначения, оценок качества, данных обучения или рекомендаций по безопасному использованию; лицензия также не указана в доступных данных. Поэтому перед коммерческим применением необходимо отдельно проверить условия распространения и качество на целевых данных.

Qwen2-0.5B-Instruct — компактная инструктивно дообученная языковая модель из семейства Qwen2, разработанного командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 494 млн параметров, рассчитанная на диалог и генерацию текста по запросам. Поддерживает контекст до 32 768 токенов и использует токенизатор, адаптированный к нескольким естественным языкам и языкам программирования. Модель подходит для диалоговых ассистентов, ответов на вопросы, написания и преобразования текста, а также простых задач рассуждения, математики и программирования. Небольшой размер облегчает локальный запуск, но по возможностям и надёжности она уступает более крупным моделям; результаты на сложных задачах стоит проверять. Репозиторий распространяет веса в формате safetensors. Лицензия — Apache-2.0.

RedHatAI/Qwen2-1.5B-Instruct-FP8 — квантованная версия языковой модели Qwen2-1.5B-Instruct, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования, прежде всего для англоязычного диалогового взаимодействия и создания ассистентов. Она принимает текст и генерирует текст, поддерживает сценарии чат-ботов и может развёртываться с помощью vLLM, включая OpenAI-совместимый режим сервинга. Модель содержит около 1,5 млрд параметров и использует архитектуру Qwen2. Веса и активации линейных операторов в блоках трансформера квантизованы в формат FP8 с применением симметричной поканальной? per-tensor-квантизации и статического масштабирования. Квантизация уменьшает число битов на параметр с 16 до 8, а требования к дисковому пространству и памяти GPU — примерно на 50%. В README указана длина контекста до 4096 токенов для примеров развёртывания. Для квантизации использовались AutoFP8 и 512 последовательностей из UltraChat. По данным OpenLLM Leaderboard v1, средний результат составляет 54,59 против 55,18 у неквантизованной версии, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничением является заявленная ориентация на английский язык: использование на других языках указано как выходящее за пределы назначения. Модель распространяется по лицензии Apache-2.0.