II.2Создание и понимание программного кода

SKT-ST-X-0-3B-V1 — компактная языковая модель SKT AI LABS для генерации текста и диалогов на английском и хинди. Она использует архитектуру Mixtral с механизмом mixture of experts (MoE); в README заявлены 3 млрд параметров всего и около 1,1 млрд активных, тогда как метаданные указывают 1 млрд параметров. Модель работает с контекстом до 2048 токенов и распространяется в формате Safetensors. Модель предназначена для ответов на общие вопросы, логических рассуждений, решения задач, написания творческих текстов и базового программирования, включая создание и отладку скриптов Python. Метаданные отмечают поддержку чата, а автор описывает её как двуязычную модель для английского и хинди. Модель выпущена под лицензией Apache-2.0. Размер параметров расходится между README и метаданными; заявленные способности к рассуждению, знаниям и программированию приведены автором без подробных оценок качества.

Это GGUF-квантизированная версия языковой модели amoral-cogito-v1-preview-qwen-14B, разработанной soob3123. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к семейству Qwen2 и имеет размер 14 млрд параметров. Указана поддержка английского языка и текстовый режим работы; сведения о мультимодальности, максимальной длине контекста и специализированных задачах в README отсутствуют. Доступны варианты от BF16 до низкоразрядных форматов Q3 и Q4, а также Q5, Q6 и Q8. Более высокие разрядности обычно лучше сохраняют качество, тогда как компактные варианты требуют меньше оперативной памяти. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и оптимизация imatrix, направленная на сохранение качества после сжатия. Ограничения связаны с потерей качества в наиболее компактных вариантах, требованиями к памяти для крупных файлов и отсутствием подробных данных о производительности, области специализации и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Stealth Finance v3 — разговорная языковая модель семейства Mistral, опубликованная Jan. Модель предназначена для генерации текста в формате чата и запускается через Jan Desktop на macOS, Windows и Linux. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В репозитории представлены веса safetensors; указан шаблон диалога ChatML. Язык карточки и метаданных — английский. Лицензия — Apache-2.0. README не раскрывает конкретные финансовые сценарии или детали обучения, несмотря на название модели.

TitleOS Lightning-1.7B-GGUF — это квантизированная версия языковой модели Lightning-1.7B, разработанной TitleOS и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска на устройствах с ограниченными ресурсами; поддерживает английский язык и использует данные NousResearch/Hermes-3-Dataset. Исходная модель преобразована в формат GGUF с помощью llama.cpp и imatrix-квантизации. Модель имеет 1,7 млрд параметров. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, а также IQ-квантизации, с размером файлов примерно от 0,85 до 3,45 ГБ. Более высокие варианты обеспечивают лучшее качество, тогда как низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Рекомендуемые сборки включают Q6_K, Q5_K и Q4_K_M. Размер контекста, точная архитектура и дополнительные модальности в README не указаны; модель является текстовой. Запуск возможен через LM Studio, llama.cpp и другие совместимые проекты. Для работы следует использовать формат диалога с маркерами Hermes 3, указанными в README. Модель выпускается под лицензией MPL-2.0.

vicgalle-Configurable-Llama-3-8B-v0.3-GGUF — набор GGUF-квантизаций базовой текстовой генеративной модели vicgalle/Configurable-Llama-3-8B-v0.3. Квантизации подготовлены командой featherless-ai-quants. По доступным данным, модель относится к семейству Llama и имеет около 8 миллиардов параметров, однако точные сведения об архитектуре, обучении, языках и длине контекста не указаны. Модель предназначена для задач генерации текста и локального или совместимого с GGUF инференса. Репозиторий предлагает варианты Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0 размером примерно от 3 до 8,1 ГБ. Это позволяет выбирать между меньшим потреблением памяти и более высокой точностью, но README не содержит результатов бенчмарков или описания сравнительного качества вариантов. Сильными сторонами являются широкий выбор уровней квантизации и удобный формат GGUF для запуска в поддерживаемых инструментах. Ограничения включают отсутствие подробных сведений о назначении и поведении исходной модели, поддерживаемых языках, модальностях, контекстном окне, требованиях к аппаратному обеспечению и качестве генерации. Лицензия в предоставленных данных не указана.

WizardLM-13B-Uncensored-imatrix-GGUF — набор квантизированных версий модели WizardLM-13B-Uncensored, опубликованный пользователем duyntnet на основе оригинальной модели от cognitivecomputations. Это текстовая генеративная модель для создания ответов на естественном языке; указанный язык — английский, задача — text-generation. Модель имеет размер 13 млрд параметров и распространяется в формате GGUF с использованием imatrix-квантизации. Модель обучалась на подмножестве данных WizardLM, из которого удалялись ответы с выраженной alignment-составляющей и морализаторством. Поэтому она предназначена для сценариев, где требуется минимальное количество встроенных ограничений или планируется добавлять отдельное выравнивание, например с помощью RLHF LoRA. Ключевое ограничение — отсутствие встроенных защитных механизмов и guardrails, из-за чего модель может генерировать небезопасный или нежелательный контент; результаты требуют контроля пользователя. Лицензия указана как other, без дополнительных условий в представленном README.

YamshadowExperiment28-7B-GGUF — набор файлов модели в формате GGUF, подготовленный пользователем MaziyarPanahi для модели automerger/YamshadowExperiment28-7B. Исходная модель разработана automerger и связана с базовыми моделями automerger/YamShadow-7B и yam-peleg/Experiment28-7B. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, text-generation-webui, LM Studio, GPT4All и llama-cpp-python. В репозитории представлены квантизованные варианты с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Указан размер исходной модели около 7 млрд параметров; архитектура обозначена как Mistral, однако сведения о длине контекста, поддерживаемых языках и мультимодальности отсутствуют. GGUF облегчает запуск на локальном оборудовании, но более агрессивная квантизация может снижать точность и качество генерации. Лицензия модели — Apache 2.0. README не содержит результатов оценивания, подробностей обучения, точных требований к оборудованию или гарантии совместимости всех вариантов с конкретными приложениями.

MaziyarPanahi/Yamshadowexperiment28M7-7B-GGUF — набор файлов модели в формате GGUF для automerger/Yamshadowexperiment28M7-7B. Исходную модель разработал automerger, а квантизацию выполнил MaziyarPanahi. В метаданных также указана базовая модель liminerity/M7-7b и архитектурная принадлежность к Mistral. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения, поддерживающие GGUF. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между компактностью, требованиями к памяти и качеством генерации. Размер исходной модели — 7B параметров; поддерживаемые модальности, языки и размер контекстного окна в предоставленных данных не указаны. Основные преимущества — наличие нескольких уровней квантизации и широкая совместимость с локальными средами инференса, включая GPU-ускорение и OpenAI-совместимые серверные интерфейсы в некоторых клиентах. Ограничения и результаты оценки качества не приведены; в метаданных указано, что инференс на странице модели не включён. Лицензия — Apache-2.0.

Antares-1B — языковая модель, разработанная fdtn-ai на базе ibm-granite/granite-4.0-1b и дообученная для локализации уязвимостей в исходном коде. Она принимает идентификатор CWE и описание категории, исследует репозиторий через последовательные команды терминала и указывает файлы, которые могут содержать уязвимость. Модель рассчитана на специалистов по безопасности, исследователей и разработчиков, в том числе для раннего анализа кода в CI/CD и разбора рекомендаций, связанных с CVE или GHSA. Она работает в агентном цикле с вызовами инструментов, а не как универсальный чат-ассистент; для работы не требуется внешняя поисковая система или векторная база. Модель предназначена для локального запуска, в том числе на одной GPU, и поддерживает английский язык. Лицензия — Apache-2.0. Она лучше справляется с уязвимостями, имеющими заметные текстовые шаблоны, и хуже — с проблемами, требующими глубокого семантического анализа поведения кода. Качество снижается на крупных репозиториях и уязвимостях, затрагивающих много файлов; модель определяет вероятные файлы, но не объясняет уязвимость и не генерирует эксплойты. README указывает срез знаний на 10 апреля 2025 года и рекомендует использовать изолированную среду и проверку результатов специалистом.

Arctic-AWM-14B — языковая модель Snowflake AI Research, разработанная совместно с исследователями UNC-Chapel Hill. Это плотная модель семейства Qwen3 на 14 млрд параметров, дообученная с помощью агентного обучения с подкреплением на полностью синтетических средах AgentWorldModel-1K. Она предназначена для многошагового взаимодействия с инструментами через унифицированный интерфейс MCP и для задач, где агенту нужно выполнять последовательность действий в среде. Модель принимает текстовые запросы и выдаёт текстовые ответы и вызовы инструментов. Контекст составляет 40 960 токенов; карточка указывает английский язык. Лицензия — Apache-2.0.

GLM-4.6-Derestricted-GGUF — это квантизированная версия языковой модели ArliAI/GLM-4.6-Derestricted, подготовленная пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на его основе. В README также указаны характеристики исходной версии «derestricted», «abliterated» и «uncensored», однако подробности архитектуры, размера, языков и длины контекста не приведены. Модель распространяется в формате GGUF с большим набором вариантов квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4. Доступны версии разного размера и качества: от наиболее качественных Q8_0, Q6_K и Q5 до более компактных вариантов, рассчитанных на системы с ограниченным объёмом оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; для работы необходимо применять рекомендованный формат промпта с токенами [gMASK], <sop>, <|system|>, <|user|> и <|assistant|>. Сильной стороной являются разнообразие вариантов квантизации и возможность локального использования, включая запуск на CPU и Apple silicon для отдельных форматов. Ограничения включают крайне большие размеры файлов — примерно от 127 до 379 ГБ для указанных вариантов, а также отсутствие в README результатов тестирования, точных параметров модели, перечня поддерживаемых языков и данных о производительности. Лицензия — MIT.

marklkelly/bert-tiny-injection-detector — компактный бинарный классификатор текста, разработанный для обнаружения prompt injection и попыток переопределения инструкций. Модель дообучена на базе prajjwal1/bert-tiny с дистилляцией знаний от protectai/deberta-v3-small-prompt-injection-v2 и дополнительными метками. Она содержит около 4,4 млн параметров, использует архитектуру BERT для классификации последовательностей и принимает текст длиной до 128 токенов. Модель предназначена для проверки пользовательского ввода перед передачей его другой языковой модели, в том числе при развёртывании на периферийных устройствах и в средах с ограниченными ресурсами. Она выдаёт метку SAFE или INJECTION и оценку вероятности; для длинных входов в целевом сценарии применяются обрезка с сохранением начала и конца текста и настраиваемые пороги срабатывания. Репозиторий содержит экспорты ONNX, рассчитанные на запуск без Python, в том числе в Rust WASM через tract-onnx. Валидация показывает высокие результаты на использованном наборе данных, однако он сбалансирован по классам и отдельного тестового набора не было. При низкой реальной распространённости атак возрастает доля ложных блокировок; длинные входы могут потерять важные фрагменты в середине, а устойчивость к Unicode-обфускации и многоязычные атаки систематически не проверялись. Модель специализирована на инъекциях инструкций, не предназначена для общей модерации или обнаружения jailbreak и не должна быть единственным уровнем защиты. Лицензия — Apache-2.0.

BLOOM-350M — многоязычная авторегрессионная языковая модель, разработанная BigScience для исследований открытых языковых моделей и генерации текста. Её также можно дообучать для специализированных задач. Модель использует декодерную архитектуру Transformer, модифицированную на основе Megatron-LM GPT-2, с позиционными кодировками ALiBi. В ней 350 млн параметров, 24 слоя и контекст длиной 2048 токенов. Она обучалась на многоязычных данных; метаданные перечисляют языки, включая английский, французский, испанский, арабский, хинди, китайский и вьетнамский, а также код. Модель подходит для продолжения текста и экспериментов с генерацией или дообучением. Она может выдавать фактически неверные, повторяющиеся, предвзятые или оскорбительные ответы, поэтому не подходит для критически важных решений и надёжной генерации фактов. Лицензия — BigScience BLOOM RAIL 1.0 с ограничениями на использование.

BrowseSafe — специализированная модель Perplexity для защиты браузерных ИИ-агентов от prompt injection в содержимом веб-страниц. Это дообученная для классификации причинно-языковая MoE-модель семейства Qwen3, основанная на Qwen/Qwen3-30B-A3B-Instruct-2507 и обученная на BrowseSafe-Bench. Репозиторий содержит веса Safetensors; указанный в README контекст — до 16 384 токенов, а метаданные каталога сообщают о нативном контексте базовой модели до 262 144 токенов. Модель принимает HTML веб-страницы и выдаёт бинарную классификацию одним токеном: «yes» или «no», определяя наличие вредоносных инструкций. Она предназначена для проверок в цикле работы браузерного агента и обучена различать атаки и безвредные структурные элементы HTML. В README указана оценка F1 90,4% на тестовом наборе BrowseSafe-Bench; это результат на конкретном бенчмарке, а не гарантия обнаружения всех атак. Для длинных страниц README рекомендует разбивать HTML на непересекающиеся фрагменты и помечать страницу как опасную, если опасен хотя бы один фрагмент. Указана лицензия MIT.

AmberYifan/capsd-less-humaneval-opc-marin-8b-base-code_less_b8000_s0 — дообученная модель на архитектуре Llama для генерации и продолжения текста. Она основана на marin-community/marin-8b-base и обучена на наборе capsd_marin-8b-base-n80000-opc__mix_code_less_b8000_s0. Модель содержит 7,5 млрд параметров, рассчитана на контекст до 4096 токенов и использует формат Safetensors; для работы применяется библиотека Transformers. Модель предназначена для генерации текста в формате text-generation и поддерживает чатовый сценарий. Карточка не приводит подробностей об обучающих данных, оценке качества или конкретных возможностях модели. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории модели.

pfeifferj/DeepSeek-V4.1-Flash-GSQ-RCO-GGUF — сторонняя GGUF-квантизация модели DeepSeek-V4.1-Flash от DeepSeek-AI, подготовленная Josephine Pfeiffer. Релиз не является официальным продуктом IST-DASLab и не имеет его одобрения. Квантизация выполнена с использованием методов GSQ и RCO, разработанных Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для мультимодальных сценариев image-text-to-text, включая обработку текста и изображений. В комплект входят 3-битная квантизация основной части модели, DSpark-модель для speculative decoding и BF16 vision projector. Базовая архитектура включает 552 млрд параметров основной модели и 196 млрд параметров памяти Engram; общий размер файлов составляет около 426,1 ГБ, из которых основной GGUF-файл занимает 415,76 ГБ. Таблицы Engram хранятся в формате Q8_0 и рассчитаны на размещение в оперативной памяти узла. Языки и максимальный контекст модели в README не указаны; приведённые результаты MMLU-Pro получены при ограничении контекста 2048 токенами. К сильным сторонам относятся существенное уменьшение размера относительно исходного чекпойнта, неравномерное распределение точности квантования с учётом чувствительности тензоров и наличие компонентов для мультимодальности и ускоренного декодирования. В тестах указаны 61,00% на MMLU-Pro, perplexity 3,4845570141 на отложенных данных, прохождение 16 из 16 проверок IFEval и 8 из 8 задач GSM8K; при этом мультимодальность и speculative decoding отдельно не валидировались. Для запуска требуется свыше 415 ГБ памяти с дополнительным запасом под KV-кэш и буферы. В README указана лицензия MIT.

Это набор GGUF-квантизаций модели dolphin-2.9.4-gemma2-2b на базе Gemma 2, подготовленный bartowski. Исходная модель разработана cognitivecomputations. Назначение — генерация текста и диалоговое использование; модели можно запускать локально через llama.cpp и LM Studio. Доступны варианты от полноразмерного F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ3/IQ4 размером примерно от 1,39 до 5,24 ГБ. Квантизация выполнена с использованием imatrix и калибровочного набора данных; отдельные варианты применяют Q8_0 для весов эмбеддингов и выходного слоя, что может повышать качество. Формат промпта использует специальные маркеры system, user и assistant. Модель подходит для локального запуска на системах с ограниченными ресурсами: доступны варианты, ориентированные на баланс между качеством, скоростью и потреблением RAM или VRAM. При этом более сильное сжатие приводит к снижению качества, а README не содержит сведений о поддерживаемых языках, размере контекстного окна, результатах бенчмарков и дополнительных возможностях. Указана лицензия Gemma.

Elucidate — компактная языковая модель семейства Llama, опубликованная freshminttt. Это модель с плотной архитектурой для генерации текста и чат-сценариев; в метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов. Автор описывает её как преобразующий слой: большая модель задаёт факты, аудиторию, тему и последовательность смысловых шагов, а Elucidate формулирует материал более естественным голосом и в выбранном стиле. Среди примеров стилей — терпеливое техническое объяснение, обучение через вопросы и аргументированное изложение. Модель рассчитана на локальное использование в интерфейсах между LLM и людьми: для объяснений, учебных материалов, обновлений о длительных задачах и писем. README рекомендует передавать ей спецификацию, а не готовый текст для простой перефразировки; автор отмечает, что оставленные без уточнений смысловые связи модель может додумывать. По заявлению автора, для надёжного результата обычно следует сгенерировать несколько вариантов и поручить большой модели финальную проверку и редактуру. Для указанных автором fp16-весов требуется около 18 ГБ оперативной памяти. В репозитории также описана 8-битная квантизация MLX: около 8 ГБ на диске и 11 ГБ оперативной памяти; по словам автора, она работает быстрее, но может чаще галлюцинировать. Лицензия — Llama 3.1. Заявления README о результатах детекторов AI-текста являются оценками автора, а не независимой гарантией качества.

Модель JavascriptMick/functiongemma-270m-it-simple-tool-calling — дообученная с помощью TRL версия компактной текстовой модели Google FunctionGemma 270M. Она построена на архитектуре Gemma 3 для причинной генерации текста и рассчитана на диалоговые сценарии с вызовом функций и создание специализированных агентов. Модель содержит 257 млн параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Карточка показывает запуск через Transformers как генератор текста; пример передаёт вопрос пользователя и получает текстовый ответ. Лицензия и конкретные инструменты, на которые настроена модель, в предоставленных данных не описаны.

Gemma 3 12B IT Abliterated — экспериментальная модификация модели google/gemma-3-12b-it, созданная разработчиком mlabonne. Она предназначена для генерации ответов с существенно меньшей склонностью к отказам, в том числе в сценариях, где требуется более свободное следование запросу. Модель представлена в формате GGUF и относится к мультимодальному классу image-text-to-text, однако подробности о поддерживаемых языках и размере контекста в карточке не указаны. В основе лежит модель Gemma 3 с примерно 12 миллиардами параметров. Для удаления отказов применена layerwise abliteration: направление отказа вычислялось по скрытым состояниям независимо для большинства слоёв, с последующим усилением соответствующего направления. По заявлению автора, это дало коэффициент принятия запросов свыше 90% при сохранении связности ответов. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Модель носит экспериментальный характер и может иногда генерировать искажённый или грамматически повреждённый текст. Снижение числа отказов также означает потенциально меньшую встроенную безопасность, поэтому результаты требуют дополнительной проверки. Информация о конкретной схеме квантования в формате GGUF ещё не приведена. Лицензия указана как gemma.

Gemma-4-12B-it-heretic_decensored-GGUF — это экспериментальная языковая модель, разработанная prithivMLmods на базе google/gemma-4-12B-it и преобразованная с помощью инструментария Heretic. В модели применены анализ направлений отказа и целевые изменения весов, направленные на уменьшение внутренних механизмов отказа при сохранении следования инструкциям, способностей к рассуждению и общих диалоговых возможностей. Доступны файлы в формате GGUF для запуска через llama.cpp и совместимые средства инференса. Модель предназначена для исследовательских и учебных сценариев генерации текста, рассуждений и диалогового взаимодействия. Указан английский язык; README также содержит мультимодальные компоненты mmproj, однако подробные характеристики поддерживаемых модальностей не описаны. Размер модели — 12B параметров, представлены варианты BF16, F16 и квантования от Q2_K до Q8_0 объёмом примерно от 4,83 до 23,8 ГБ. В примере запуска заявлен контекст до 128000 токенов, но эта настройка приведена только для конкретной конфигурации. Сильной стороной модели является потенциально более свободная генерация за счёт ослабленных механизмов отказа при сохранении базовых возможностей исходной instruct-модели. Ограничения связаны с экспериментальным характером и возможным появлением непредсказуемого поведения или артефактов; модель может генерировать чувствительный или неограниченный контент, поэтому требует осторожного применения. Лицензия — Apache-2.0.

Ailexleon/gemma-4-31B-it-qat-uncensored-heretic-mlx-lm-4Bit — текстовая генеративная модель в формате MLX, опубликованная ailexleon. Она преобразована из llmfan46/gemma-4-31B-it-qat-q4_0-unquantized-uncensored-heretic с использованием mlx-lm версии 0.31.3 и предназначена для запуска и генерации текста на устройствах, поддерживающих MLX. Модель ориентирована на англоязычные сценарии, включая диалоговое взаимодействие и другие задачи генерации текста. Ключевые характеристики: семейство Gemma-4, размер 31B параметров, 4-битное квантование QAT и режим text-generation. В README не указаны точная архитектура, размер контекстного окна, перечень поддерживаемых языков помимо English и результаты тестирования. Вариант не предоставляет заявленных возможностей работы с изображениями; для vision-задач рекомендуется отдельная версия ailexleon/gemma-4-31B-it-qat-uncensored-heretic-mlx-vlm-4Bit. Названия uncensored, heretic и decensored относятся к заявленным тегам и происхождению модели, но количественная оценка этих свойств не приведена. Модель распространяется по лицензии Apache 2.0 с дополнительной ссылкой на лицензионные условия Gemma. Для использования требуется библиотека mlx-lm; README показывает загрузку модели через Python API.

Gemma 3 1B IT QAT GGUF — квантизированная instruction-tuned языковая модель семейства Gemma 3, разработанная Google и преобразованная в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые приложения, включая инференс на CPU с архитектурами ARM и AVX. Модель содержит около 1 миллиарда параметров и основана на QAT-весах Google. В репозитории представлены варианты квантизации от Q3 до Q8, а также BF16; основной вариант Q4_0 занимает около 0,72 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5 или Q6, обеспечивающие компромисс между размером и качеством. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальных возможностях, поэтому эти характеристики нельзя достоверно указать. Сильными сторонами являются небольшой размер, возможность локального запуска и оптимизация QAT-квантизации; варианты с более высокой точностью обеспечивают лучшее качество, а облегчённые подходят для систем с ограниченной оперативной памятью. Ограничения связаны с потерей качества при низких уровнях квантизации и меньшими возможностями компактной 1B-модели по сравнению с более крупными системами. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия лицензии.

grimjim-Llama-3-Oasis-v1-OAS-8B-GGUF — набор квантизированных файлов модели grimjim/Llama-3-Oasis-v1-OAS-8B, подготовленный featherless-ai-quants. Модель предназначена для генерации текста и поставляется в формате GGUF, совместимом с инструментами и средами, поддерживающими этот формат. Конкретные сценарии применения, сведения о дополнительном обучении и разработчике базовой модели в README не указаны. Модель относится к семейству Llama и имеет размер 8 миллиардов параметров. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размеры составляют примерно от 3,0 до 8,1 ГБ. README не содержит данных о поддерживаемых языках, длине контекста, архитектурных деталях и мультимодальности, поэтому модель следует рассматривать как текстовую. Основное преимущество набора — выбор уровней квантизации, позволяющий подобрать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством генерации. Ограничения и фактические характеристики производительности в README не описаны. Лицензия модели и условия её использования также не указаны.

inferencerlabs/Hy4-preview-MLX-Q4i — квантизированная версия языковой модели Hy4-preview, разработанной Tencent и адаптированной Inferencer Labs для формата MLX. Модель предназначена для генерации текста и локального запуска в приложениях, совместимых с MLX, прежде всего на устройствах Apple Silicon; в README указано тестирование с Inferencer app 2.3.7. Модель основана на tencent/Hy4-preview и использует квантизацию Q4i с модифицированной версией MLX. Метод Q4i описан как data-agnostic INF, настроенный на высокую общую точность при ограничении памяти 512 GiB. В README не указаны размер модели, архитектура, длина контекста, поддерживаемые языки и модальности, поэтому эти характеристики неизвестны. Для M3 Ultra заявлена скорость около 10,3 токена в секунду при генерации на 1000 токенов и использовании примерно 435,1 GiB памяти. К преимуществам относятся снижение требований к памяти по сравнению с полной моделью и сохранение высокой точности токенов по приведённым результатам конвертации другой модели — GLM 5.1; эти цифры не следует напрямую считать оценкой Hy4-preview. Ограничения включают отсутствие подробных бенчмарков именно для данной модели и данных о качестве, контексте и совместимости вне MLX. Лицензия в README не указана; условия использования базовой модели необходимо уточнять на странице tencent/Hy4-preview.

Jan-v1-4B-GGUF — это набор квантизированных версий языковой модели Jan-v1-4B, разработанной janhq. Квантизацию выполнил bartowski с использованием llama.cpp, релиз b6115, и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В набор входят варианты в формате GGUF с точностью от BF16 до различных уровней Q8, Q6, Q5, Q4, Q3, Q2 и IQ-квантизаций. Размер файлов составляет примерно от 1,67 до 8,05 ГБ; конкретные характеристики зависят от выбранного варианта. Более высокие уровни квантизации обеспечивают качество, близкое к исходному, но требуют больше памяти, тогда как низкие уровни позволяют запускать модель на устройствах с ограниченными ресурсами ценой снижения качества. README не содержит сведений об архитектуре, размере контекста, поддерживаемых языках, модальностях, назначении исходной модели или лицензии. Формат промпта также не указан.

Это конвертированные веса базовой языковой модели Llama 2 7B в формате Hugging Face Transformers. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 6,6 млрд параметров; заявленный контекст — до 2048 токенов. Репозиторий подготовлен daryl149; в README также указано, что публикация выполнена при содействии Mirage-Studio.io. Модель предназначена для генерации текста по текстовому запросу и может использоваться как основа для приложений на базе языковых моделей. Это базовая, не чат-ориентированная версия, поэтому диалоговые ответы могут требовать дополнительной настройки или подходящего шаблона запросов. Поддерживаемые в карточке языки не перечислены. Веса представлены в формате PyTorch. Лицензия — Llama 2 Community License от Meta; использование и распространение регулируются её условиями, включая требования к атрибуции и приемлемому использованию.

Apollo Raines представляет Llama-3.1-8B-Instruct-Concise-Flat — вариант Meta Llama 3.1 8B Instruct, изменённый инструментом jBlaze с помощью representation engineering. По карточке, дополнительное обучение не проводилось: в весах подавлены многословие и эмоциональная окраска, чтобы ответы были краткими, сдержанными и насыщенными информацией. Модель построена на плотной архитектуре LlamaForCausalLM; метаданные указывают 7,5 млрд параметров, контекст до 131 072 токенов и формат safetensors, а карточка — точность bf16. Модель предназначена для диалогов и генерации текста, когда предпочтителен лаконичный, нейтральный стиль. Карточка приводит примеры ответов на общие вопросы, простые вычисления и запросы на код; метаданные также отмечают интерфейс вызова инструментов. Поддержка указана для английского языка. Разработчик предупреждает, что выпущенная версия ослаблена и служит демонстрацией возможностей инструмента. Указана лицензия llama3.1.

LLAMA-3_8B_Unaligned_BETA-GGUF — это набор квантизированных версий языковой модели LLAMA-3_8B_Unaligned_BETA, разработанной SicariusSicariiStuff и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. В README указано обновление токенизатора и рекомендованный формат промптов с ролями system, user и assistant. Модель содержит около 8 миллиардов параметров и работает в текстовой модальности. Доступны исходные веса F16 и варианты квантизации от Q8_0 до Q2_K_L, включая форматы, оптимизированные для ARM-процессоров. Размер файлов составляет примерно от 3,69 до 16,07 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, тогда как Q3 и Q2 требуют меньше оперативной памяти, но заметно уступают по качеству. Для ARM-вариантов необходима соответствующая аппаратная поддержка; версии Q4_0_8_8 и Q4_0_4_8 не рекомендуются для Mac и Windows. Модель подходит для локальной генерации текста при ограниченных ресурсах и позволяет выбрать баланс между качеством и потреблением памяти. Среди ограничений — отсутствие в представленном README сведений о языках, размере контекстного окна, исходных данных обучения, результатах тестирования, точных возможностях базовой модели и лицензии. Условия использования лицензией в карточке не указаны.

ChocoLlama/Llama-3-ChocoLlama-8B-instruct — разговорная языковая модель на архитектуре Llama, разработанная Matthieu Meeus и Anthony Rathé и специально адаптированная для нидерландского языка. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; длина контекста — 8192 токена. Она дообучена на базе ChocoLlama/Llama-3-ChocoLlama-8B-base с помощью SFT и DPO на переводах наборов данных для настройки инструкций. Модель предназначена для ответов на инструкции и диалоговой генерации текста на нидерландском языке. Авторы сообщают о результатах на нескольких стандартных тестах для нидерландского языка. Для ожидаемого поведения рекомендуется использовать соответствующий шаблон чата. Обучающий набор не содержит данных на других языках, поэтому модель может заметно хуже работать с ними; данные дополнительно не фильтровали специально на предмет предвзятости или вредоносного содержания. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое.