II.2Создание и понимание программного кода

mistral-7b-v0.1-layla-v1-Mistral-7B-Instruct-v0.1 — чат-модель, полученная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и l3utterfly/mistral-7b-v0.1-layla-v1. Слияние выполнено методом SLERP с настройками для слоёв self-attention и MLP; в репозитории представлены веса safetensors в формате bfloat16. Модель с архитектурой MistralForCausalLM и 7,1 млрд параметров предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов; в метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Данных о сравнительных оценках качества и специальных ограничениях применения в карточке нет.

Ministral-3-14B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Ministral-3-14B-Instruct-2512, разработанной Mistral AI и подготовленной квантизатором bartowski. Модель предназначена для запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая сценарии генерации текста и работы с изображениями согласно заявленному типу pipeline image-text-to-text. Модель имеет около 14 млрд параметров в исходной версии, а репозиторий содержит варианты от BF16 до низкобитных форматов Q3 и IQ4. Доступны версии с разным компромиссом между качеством, размером и требованиями к памяти; рекомендуемыми названы некоторые варианты Q4–Q6. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура и размер контекстного окна в README не указаны, а формат промпта рекомендуется уточнять на странице исходной модели. Основные преимущества этой версии — возможность локального запуска, широкий выбор уровней квантизации и применение imatrix-калибровки для снижения потерь качества. Ограничения связаны с тем, что низкобитные варианты требуют компромисса между качеством и потреблением памяти, а подробные сведения о возможностях, контекстном окне и ограничениях исходной модели в README отсутствуют. Репозиторий распространяется по лицензии Apache-2.0.

Ministral-3-3B-Instruct-2512-GGUF — это набор квантизованных GGUF-версий инструкционной модели Ministral-3-3B-Instruct-2512, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты, включая сценарии генерации текста и обработки изображений с текстом, на что указывает pipeline image-text-to-text. Модель имеет около 3 млрд параметров; в README также доступна полная версия BF16 размером 6,87 ГБ и варианты квантизации от Q8_0 до Q3 и IQ4. Квантизация выполнена с использованием llama.cpp и imatrix-калибровки. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура, максимальная длина контекста и точные возможности работы с изображениями в предоставленных данных не указаны. Сильной стороной набора является широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к оперативной памяти; для большинства сценариев рекомендуются Q4_K_M, Q5 и Q6. Ограничения включают возможное снижение качества на более агрессивных уровнях квантизации, отсутствие описания формата промптов и неполные сведения о характеристиках исходной модели. Модель распространяется по лицензии Apache-2.0.

Mixtral-8x7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе оригинальной модели Mixtral-8x7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и диалоговых сценариев, а GGUF-версии позволяют запускать её локально с помощью llama.cpp и совместимых приложений и библиотек, включая text-generation-webui, LM Studio, GPT4All, KoboldCpp и llama-cpp-python. Архитектура исходной модели — Mixtral с восемью экспертами по 7B параметров; конкретные характеристики контекста, языковой поддержки и модальностей в README не указаны. Репозиторий содержит варианты квантования с разной разрядностью — от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Модель текстовая и относится к pipeline text-generation. Сильной стороной является поддержка множества локальных инструментов и возможность подбирать степень квантования под доступное оборудование. Ограничения и влияние конкретных вариантов квантования на качество в README подробно не описаны; также не указаны рекомендуемые аппаратные требования и максимальная длина контекста. Модель распространяется по лицензии Apache-2.0.

Это набор файлов GGUF с разными вариантами квантования модели Qwen2.5-7B-Instruct-bf16, опубликованный featherless-ai-quants на основе mlx-community/Qwen2.5-7B-Instruct-bf16. Модель предназначена для диалоговой генерации текста и использования в чат-приложениях; доступны варианты IQ4_XS, Q2_K и Q3_K_L, а README сообщает о ещё восьми строках вариантов квантования. Веса представлены в формате GGUF с точностью BF16 и вариантами квантования. README описывает файлы и сервис хостинга Featherless AI, но не приводит сведения о контекстном окне, поддерживаемых языках или условиях лицензии; эти параметры здесь не уточняются.

MN-magnum-v2.5-18.5B-kto-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели MN-magnum-v2.5-18.5B-kto-Instruct, разработанной DavidAU и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. Она поддерживает диалоговый формат с системными и пользовательскими сообщениями. В основе лежит модель размером 18,5 млрд параметров; точная архитектура, поддерживаемые языки, модальности и размер контекстного окна в README не указаны. Доступны варианты от F16 до низкобитных квантований Q2 и IQ, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Для квантования использовались llama.cpp и imatrix с указанным набором данных; варианты Q5–Q6 отмечены как высококачественные и рекомендуемые, а Q3 и Q2 предназначены для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Лицензия в README не указана, поэтому условия использования необходимо уточнять в карточке исходной модели DavidAU/MN-magnum-v2.5-18.5B-kto-Instruct.

DeepHermes-3-Llama-3-3B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели DeepHermes-3-Llama-3-3B-Preview, разработанной NousResearch и подготовленной квантизацией bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогов и выполнения инструкций; среди заявленных сценариев — чат, reasoning, roleplaying, function calling и генерация JSON. Указана поддержка английского языка и формата prompt, совместимого с Llama 3 и ChatML-подобной структурой ролей. Модель имеет около 3 млрд параметров и работает с текстовой модальностью. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3 размером примерно от 1,9 до 6,4 ГБ, что позволяет запускать её локально через llama.cpp, LM Studio и другие совместимые проекты, в том числе на устройствах с ограниченной памятью. Более сильные стороны — компактность, широкий выбор квантизаций и пригодность для локального inference; при этом это preview-версия, а квантизация может снижать качество по сравнению с исходными весами. Размер контекстного окна и дополнительные языки в README не указаны. Лицензия обозначена как llama3.

Это GGUF-квантизация модели Nemotron-Cascade-2-30B-A3B, разработанной NVIDIA, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения и задач, где важны рассуждения; в метаданных также указано обучение с применением SFT и RL. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Известно, что модель относится к семейству Nemotron-Cascade-2 и имеет обозначение 30B-A3B, однако подробности архитектуры, фактическое число активируемых параметров, размер контекста и поддерживаемые модальности в README не указаны. Заявлен английский язык. Модель можно запускать через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты; для работы может потребоваться их обновлённая версия с поддержкой этой архитектуры. Более сильные варианты квантования обеспечивают лучшее сохранение качества, а компактные варианты снижают требования к оперативной памяти, но могут заметнее ухудшать результаты. Использование регулируется NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на условия NVIDIA. Конкретные ограничения лицензии, результаты benchmark-тестов и подробные сведения о сильных и слабых сторонах исходной модели в README не приведены.

Ornith-1.5-35B-A3B-Abliterated — вариант модели ornith-ai/Ornith-1.5-35B-A3B, подготовленный разработчиком alztrk. В модели выполнено удаление направлений отказа из активаций скрытых состояний, после чего опубликованы checkpoint Safetensors и набор динамических квантованных сборок GGUF. Модель предназначена для диалоговой генерации текста и запуска через совместимые инструменты, включая llama.cpp и Ollama. Архитектура основана на MoE с 35,8 млрд параметров, из которых около 3,1 млрд активны на токен; в ней 256 экспертов и 40 гибридных слоёв с линейным вниманием DeltaNet и полным вниманием. Родной контекст составляет 262 144 токена. В репозитории есть варианты GGUF Q3_K_M, Q4_K_M и Q5_K_M с динамической квантовкой, а также полноточные веса Safetensors. Метаданные указывают английский, турецкий и китайский языки, а также интерфейс вызова инструментов. Удаление отказов делает модель менее склонной отклонять запросы, но само по себе не гарантирует корректность ответов или безопасное использование. Квантованные варианты требуют меньше памяти, чем полноточные веса, при этом квантование может снижать точность. Лицензия репозитория — Apache-2.0.

RedHatAI/Phi-3-medium-128k-instruct-quantized.w4a16 — это квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанная Neural Magic на базе модели Microsoft. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычных ассистентских диалогов, чат-ботов и задач генерации ответов, а также для коммерческого и исследовательского использования. Модель использует архитектуру Phi-3 и поддерживает контекст размером до 128 тысяч токенов. Веса линейных операторов в трансформерных блоках квантизированы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией и размером группы 128; для квантизации применён GPTQ через библиотеку llm-compressor. Оптимизация сокращает объём хранения и требования к GPU-памяти примерно на 25% по сравнению с 16-битной версией. Указанный результат на OpenLLM Leaderboard v1 составляет 72,38 против 74,46 у неквантизированной модели. К сильным сторонам относятся большой контекст и сниженные требования к памяти, что упрощает эффективное развёртывание через vLLM или Transformers. Ограничения включают специализацию на английском языке, возможное снижение качества из-за квантизации и недопустимость использования в языках, отличных от английского, согласно README. В README указана лицензия MIT, однако в метаданных также присутствует обозначение llama2; перед использованием следует проверить применимые лицензионные условия.

Qwen2-72B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-72B-Instruct, опубликованный legraphista и основанный на модели Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальном inference через совместимые инструменты, в частности llama.cpp. В метаданных указан английский язык; сведения о поддержке других языков, мультимодальности и максимальном размере контекста не приведены. В репозитории доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий. Часть вариантов создана с использованием IMatrix-калибровки, предназначенной для более эффективного квантования, а некоторые представлены в виде разделённых файлов. Размеры файлов варьируются примерно от 29,81 до 145,42 ГБ, поэтому модель требует значительных ресурсов хранения и вычислений. Ключевая характеристика — 72 миллиарда параметров; точная архитектура и контекстное окно в README не указаны. Сильной стороной является широкий выбор уровней квантования и формат GGUF, удобный для локального запуска, а IMatrix может помогать сохранять качество при уменьшении размера модели. Ограничениями остаются высокая требовательность к памяти и производительности, а также возможная потеря качества в более агрессивных вариантах квантования. Модель распространяется по лицензии tongyi-qianwen; указана лицензия типа other со ссылкой на лицензию исходной модели Qwen2-72B-Instruct.

Qwen3-4B-Instruct-2507-4bit-DWQ-2510 — это квантизированная 4-битная версия языковой модели Qwen3-4B-Instruct-2507 в формате MLX. Модель разработана сообществом mlx-community на основе исходной модели Qwen, созданной командой Qwen, и преобразована в формат MLX с использованием mlx-lm версии 0.28.2. Модель предназначена для генерации текста и диалоговых сценариев с применением инструкционного режима. Она подходит для использования через библиотеку mlx-lm, включая обработку сообщений в формате чата и генерацию ответов по текстовым подсказкам. Известны размер исходной модели — 4 миллиарда параметров — и 4-битное квантование DWQ, позволяющее уменьшить требования к хранению и вычислительным ресурсам по сравнению с полноразмерными вариантами. Модель работает с текстом; сведения о поддерживаемых языках, размере контекстного окна, архитектурных деталях, результатах тестирования и ограничениях качества в README не указаны. Для использования требуется библиотека mlx-lm и среда, совместимая с MLX. Модель распространяется по лицензии Apache 2.0.

conmiga1 дообучил плотную языковую модель Qwen3-4B-Instruct-2507 с помощью Unsloth и библиотеки Hugging Face TRL. Модель содержит 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает текст для генерации текста; заявленная длина контекста — 262 144 токена. В карточке указаны чат-возможности и интерфейс вызова инструментов. Модель предназначена для диалоговой генерации текста и сценариев, где требуется вызывать инструменты через соответствующий интерфейс. Карточка не описывает специализацию дообучения или результаты оценки качества. Распространяется по лицензии Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

Это конверсия модели RedHatAI/Qwen3.6-35B-A3B-NVFP4 в формат GGUF, подготовленная для запуска через llama.cpp и совместимые среды. В основе лежит мультимодальная модель Qwen3.6-35B-A3B от Qwen: архитектура Mixture of Experts с 256 экспертами, из которых активируются 8 на токен, чередует линейные Mamba-подобные SSM-слои и полное внимание; зрительный энкодер основан на подходе Qwen2.5-VL. Веса линейных слоёв упакованы в NVFP4, вспомогательные параметры сохранены в BF16/F32. Модель предназначена для диалогов и генерации текста, а в комплекте с мультимодальным проектором mmproj-BF16.gguf может принимать изображения для зрительных задач. Конверсия ориентирована на llama.cpp и требует версии с поддержкой NVFP4 и соответствующего оборудования для этого режима. В приведённых измерениях NVFP4 быстрее обрабатывает длинные промпты, но медленнее генерирует токены, чем Q4_K_XL на модели того же размера. Контекст в карточке не указан. Лицензия Apache-2.0.

Qwen3.8-27B-OBLITERATED-FP8 — это FP8-квантизированная версия мультимодальной модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, подготовленная MrPewpy. Модель предназначена для генерации текста, диалоговых сценариев, работы с изображениями и текстом, а также использования через vLLM и Transformers. Лицензия — Apache-2.0. Модель содержит около 27 млрд параметров и использует гибридную архитектуру с линейным вниманием Gated-DeltaNet и полным attention. Заявлена поддержка мультимодальных задач image-text-to-text, английского языка и контекста до 262 144 токенов. Квантизация выполнена в формате FP8_DYNAMIC: веса представлены в FP8, активации квантизуются динамически, а чувствительные проекции линейного внимания сохраняются в BF16. Размер модели сокращён примерно до 28 ГБ по сравнению с 51,6 ГБ у базовой BF16-версии. Сильными сторонами являются уменьшенный объём хранения, нативная поддержка vLLM, возможность запуска на GPU NVIDIA Ampere, Hopper и Blackwell, а также заявленная оптимизация базовой модели для снижения отказов. В README приведены непроверенные результаты на MMLU, ARC-Challenge, HellaSwag, WinoGrande, GSM8K и TruthfulQA; они не гарантируют аналогичную производительность в прикладных задачах. Для запуска рекомендуется vLLM, а аппаратные требования и качество могут зависеть от используемого движка, настроек и поддержки мультимодальных функций.

Qwen3-8B-Base-SFT-R-64 — базовый чекпойнт размером 7,6 млрд параметров, подготовленный David6995 как общая основа для доменных экспертных моделей семейства Qwen3-8B. Это плотная авторегрессионная языковая модель архитектуры Qwen3ForCausalLM; репозиторий содержит полные веса BF16, конфигурацию и токенизатор в формате safetensors. Модель работает с текстом, поддерживает чатовый интерфейс и интерфейс вызова инструментов, а её родной контекст составляет 65 536 токенов. Чекпойнт предназначен для использования как общая база при создании или применении доменных экспертов Qwen3-8B и для генерации текста. Указана лицензия Apache-2.0. README не приводит сведений о конкретных доменах экспертов или оценках качества этой версии.

Sakura-SOLAR-Instruct-GGUF — квантизированная версия инструкционной языковой модели Sakura Solar Instruct, разработанной KyujinHan. Модель предназначена для генерации текста и диалогового взаимодействия по системным и пользовательским инструкциям; её можно запускать локально на CPU и GPU через llama.cpp и совместимые интерфейсы и библиотеки. Репозиторий содержит файлы в формате GGUF, включая варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Архитектура модели — SOLAR, формат GGUFv2; точный размер, число параметров и максимальная длина контекста в README не указаны. Заявлен английский язык, поддерживается только текстовая модальность. Квантизация уменьшает требования к памяти и позволяет выбирать компромисс между размером, скоростью и качеством, однако более агрессивные варианты могут сильнее терять в качестве по сравнению с исходной моделью. Для работы используется шаблон запроса с секциями System, User и Assistant. Модель и её квантизированные файлы распространяются по лицензии CC BY-NC-SA 4.0.

Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная MaziyarPanahi слиянием mistralai/Mistral-7B-Instruct-v0.1 и migtissera/Tess-XS-v1-3-yarn-128K. В README указано слияние методом SLERP; модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст. В метаданных указан контекст длиной 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Документация не приводит конкретных ограничений или результатов оценки качества.

GLM-4-32B-0414-GGUF — это квантизированная версия языковой модели GLM-4-32B-0414, разработанной THUDM, подготовленная пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Заявлена поддержка китайского и английского языков. Модель содержит 32 миллиарда параметров; точные сведения об архитектуре, размере контекста и поддерживаемых модальностях в README не указаны. Доступны варианты от BF16 до различных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Более высокие уровни квантизации обеспечивают лучшее качество, а низкие подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Для запуска требуется совместимое программное обеспечение и объём памяти, соответствующий выбранному варианту. Квантизация выполнена с использованием llama.cpp и метода imatrix; в описании также отмечено исправление токенизатора. Модель распространяется по лицензии MIT. README не содержит подробных результатов тестирования, поэтому фактические преимущества в конкретных задачах и ограничения базовой модели требуют самостоятельной проверки.

Tralalabs_Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Tralalabs/Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-FP16. Исходная модель связана с семейством Qwen3 и обучена с использованием набора данных TeichAI/claude-haiku-4.5-1700x; квантизацию выполнил bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров, поддерживает текстовый ввод и вывод, а в метаданных указан английский язык. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; размеры файлов составляют примерно от 2,36 до 8,05 ГБ. В README приведён формат шаблона чата на основе специальных токенов Qwen. Контекстное окно, точный набор поддерживаемых языков и результаты сравнительных оценок не указаны. Основное преимущество модели — выбор вариантов квантизации, позволяющий адаптировать качество и требования к памяти, причём Q6_K и Q6_K_L отмечены как варианты очень высокого качества, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает потребление памяти, но может снижать качество генерации. Для запуска требуется совместимое программное обеспечение с поддержкой данной архитектуры; для новых моделей иногда необходимо обновление используемого инструмента. Лицензия — Apache-2.0.

YOYO-AI_Qwen3-30B-A3B-Mixture-2507-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Qwen3-30B-A3B-Mixture-2507, разработанной YOYO-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. В названии указано 30B параметров и обозначение A3B Mixture, однако подробности архитектуры, число активных параметров, поддерживаемые языки, длина контекста и доступные модальности в представленном README не описаны. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, Q4 — как оптимальные по соотношению качества и размера, а Q3 — как подходящие для систем с ограниченным объёмом оперативной памяти. Сильная сторона этой версии — широкий выбор размеров файлов и возможность локального запуска на совместимом оборудовании; рекомендованным вариантом по умолчанию указан Q4_K_M. Более агрессивная квантизация уменьшает требования к памяти, но снижает качество генерации. Формат prompt не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в README не приведена.

robertgshaw2/zephyr-7b-beta-channelwise-gptq — это производная версия Zephyr-7B-β, опубликованная пользователем Robert Shaw на Hugging Face. Модель предназначена для генерации текста и диалоговых сценариев; её можно запускать через Transformers, vLLM и SGLang как conversational language model. В основе лежит Zephyr-7B-β от HuggingFaceH4 — GPT-подобная языковая модель примерно на 7 млрд параметров, дообученная на базе Mistral-7B-v0.1 с применением Direct Preference Optimization (DPO). Она ориентирована преимущественно на английский язык, работу в формате ассистента и следование инструкциям. Данная версия использует 4-битное GPTQ-квантование с channel-wise схемой, что уменьшает требования к памяти и может повысить эффективность локального запуска, но потенциально сопровождается потерей качества по сравнению с полной точностью. Карточка производной модели не содержит отдельного описания ограничений, контекстного окна или лицензии. Для исходной Zephyr-7B-β указана лицензия MIT; применимость этой лицензии к конкретной квантованной публикации следует проверять по её файлам и условиям распространения.

Virtuoso-Large-GGUF — это набор квантизированных версий языковой модели Virtuoso-Large, разработанной arcee-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Для общения используется шаблон сообщений в формате ChatML с ролями system, user и assistant. Модель доступна в формате GGUF с различными вариантами квантизации от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 29,34 до 77,26 ГБ; более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. В README не указаны точный размер исходной модели, архитектурные детали, поддерживаемые языки, длина контекста или мультимодальные возможности. Сильной стороной набора является широкий выбор вариантов для разных ограничений по памяти и производительности. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; версии с более низкой квантизацией экономичнее, но могут заметно уступать по качеству. Лицензия обозначена как qwen и связана с лицензией Qwen2.5-72B-Instruct, однако точные условия следует проверять в указанном лицензионном документе.

vishnun/codenlbert-tiny — небольшая модель классификации текста на базе BERT, дообученная разработчиком vishnun для различения фрагментов кода и естественного языка. Она рассчитана на автоматическую классификацию текстовых последовательностей, например при разборе смешанного содержимого или извлечении кода из текста и документов. Модель содержит 4,4 млн параметров, использует архитектуру BertForSequenceClassification и принимает текст с контекстом до 512 токенов. В README приведены результаты обучения: точность на проверочной выборке около 99,7%; эти показатели относятся к указанному набору данных CodevsNL и не гарантируют такое же качество на других типах текстов. Модель распространяется в формате PyTorch по лицензии MIT.

DeepSeek-V2-Lite-Chat-IMat-GGUF — это GGUF-квантизированная версия диалоговой языковой модели DeepSeek-V2-Lite-Chat, разработанной deepseek-ai. Квантизацию выполнил legraphista с использованием форка llama.cpp и метода IMatrix, предназначенного для сохранения качества при уменьшении точности весов. Исходная модель имеет формат BF16. Модель предназначена для генерации текста и диалоговых сценариев при локальном запуске через совместимые инструменты, включая llama.cpp. Доступны варианты в форматах FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизациях, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Размер файлов варьируется примерно от 6 до 31 ГБ. IMatrix применяется в ряде низко- и среднебитных вариантов, включая Q4_K, Q3_K, Q2_K и многие IQ-форматы. Сильная сторона набора — широкий выбор степеней квантизации и возможность локального использования в экосистеме GGUF. При этом квантизация снижает требования к ресурсам, но может уменьшать точность и качество генерации по сравнению с исходной моделью; степень потерь зависит от выбранного варианта. README не содержит сведений об архитектурных деталях, числе параметров, поддерживаемых языках, размере контекста и лицензии исходной модели, поэтому эти характеристики нельзя достоверно указать.

DocsGPT-7b-Mistral — языковая модель Arc53 для ответов на вопросы по документации и другим материалам, найденным системой поиска. Она дообучена методом LoRA на базе zephyr-7b-beta и использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров. Модель принимает текстовый вопрос и контекст документов, а затем генерирует ответ, ориентированный на предоставленные сведения; в README рекомендован шаблон запроса с разделами Instruction, Context и Answer. Контекстное окно составляет 32 768 токенов. Модель предназначена для RAG-сценариев, особенно для команд разработчиков и технической поддержки. В README приведены внутренний тест BACON и результаты MT-Bench, но они не гарантируют качество на конкретных данных и задачах. Модель распространяется под лицензией Apache-2.0, допускающей коммерческое использование.

Zigeng/dParallel_Dream_7B_Instruct — инструктивная языковая модель семейства Dream, разработанная исследователями xML Lab Национального университета Сингапура. Она использует подход dParallel: дистилляцию с принудительным повышением уверенности токенов, предназначенную для параллельного декодирования диффузионных языковых моделей и сокращения числа шагов генерации при сохранении качества. Модель подходит для диалоговой генерации текста и задач, где важна быстрая генерация ответов; в карточке также заявлен интерфейс вызова инструментов. Модель имеет плотную архитектуру Dream, 7,1 млрд параметров и контекст до 131 072 токенов. Репозиторий содержит веса Safetensors; лицензия — MIT. README описывает ускорение на GSM8K и MBPP для dParallel, применённого к LLaDA-8B-Instruct, но не приводит отдельные показатели для этой Dream-модели.

Модель Michelhe/everycli-minilm-ft-boosted — дообученный Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, разработанный для поиска и сопоставления текстов. Она преобразует предложения и абзацы в плотные векторы размерности 384; сходство между ними можно оценивать по cosine similarity. Архитектура состоит из BERT-энкодера с mean pooling, работает только с текстом и использует библиотеку Sentence Transformers. Модель обучена на 1 104 парах предложений с помощью MultipleNegativesRankingLoss. Примеры обучающих данных связаны с командами и задачами CLI, поэтому модель подходит для поиска команд по описанию и извлечения релевантных фрагментов в сценариях retrieval. Максимальная длина последовательности в README — 128 токенов; метаданные каталога указывают нативный контекст 512 токенов. Лицензия в предоставленных данных не указана.

Fialka 7B v2.1 — русскоязычная языковая модель от 0x7o, дообученная следовать инструкциям и вести диалог. Она предназначена для генерации ответов и текста на русском языке; карточка указывает, что обучение версии 2.1 проводилось на наборах инструкций и диалогов. Модель основана на архитектуре Llama и содержит 6,6 млрд параметров. Она принимает текстовые запросы в формате Zephyr и генерирует текст. Контекст составляет 4096 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. В карточке автор отмечает, что более новая версия Fialka V3 генерирует русский текст точнее.