II.2Создание и понимание программного кода

Huihui-Qwen3.5-9B-abliterated-Grimoire-DPO-i1-GGUF — квантованная версия текстовой генеративной модели Huihui-Qwen3.5-9B-abliterated-Grimoire-DPO. Базовую модель разработал nbeerbower, а GGUF-квантизацию выполнил mradermacher. Модель основана на варианте Qwen3.5 с примерно 9 млрд параметров и дополнительно обучена методом DPO на датасете schneewolflabs/Athanorlite-DPO. В карточке указана поддержка английского языка и библиотека Transformers; модальность — текстовая генерация. Модель предназначена для локального запуска задач генерации и продолжения текста в форматах GGUF. Доступны многочисленные варианты квантизации, включая IQ и Q, размером примерно от 2,8 до 5,9 ГБ в представленной части списка, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для создания собственных квантованных версий также предоставлен imatrix-файл. В README отмечается, что IQ-квантизации часто предпочтительнее сопоставимых по размеру вариантов без IQ, а Q4_K_S и Q4_K_M рассматриваются как удачный компромисс либо рекомендуемый быстрый вариант. Ограничения включают потерю качества у наиболее компактных вариантов: некоторые из них прямо помечены как имеющие низкое качество или предназначенные для ситуаций с минимальными ресурсами. Сведения о точной архитектуре, максимальном контексте, мультимодальности, системных требованиях, результатах тестирования и лицензии в карточке отсутствуют. Условия лицензирования исходной модели и квантованных файлов README не указывает.

mitkox/Huihui-Qwen3.8-27B-abliterated-Q4_K_M-GGUF — это GGUF-квантизированная версия модели Huihui-Qwen3.8-27B-abliterated, разработанная на базе исходной модели huihui-ai/Huihui-Qwen3.8-27B-abliterated и конвертированная с помощью llama.cpp через GGUF-my-repo. Модель предназначена для локального запуска задач генерации текста и диалогового вывода с использованием llama.cpp, включая работу через CLI и серверный режим. В названии указаны размер базовой модели 27B и тип квантизации Q4_K_M, однако подробные сведения об архитектуре, объёме контекста, языках и поддерживаемых модальностях в README отсутствуют. В метаданных заявлен pipeline image-text-to-text, но описание сценариев работы с изображениями не приведено. Метка abliterated указывает на модификацию ограничений исходной модели, однако её фактические сильные стороны и ограничения отдельно не описаны. Для запуска требуется llama.cpp; README приводит пример с контекстом 2048 токенов и допускает использование CPU или аппаратного ускорения, включая CUDA. Модель распространяется по лицензии Apache-2.0. Для оценки возможностей и ограничений рекомендуется обратиться к карточке исходной модели.

Huihui-Xing4.0-29B-A4B-abliterated — версия диалоговой языковой модели Xing4.0-29B-A4B, созданная Huihui-AI методом abliteration для снижения числа отказов. Это экспериментальная модификация с архитектурой Xing4.0 для генерации текста и общения; в метаданных указаны 6,5 млрд параметров и контекст до 262 144 токенов. Базовая модель предназначена для рассуждений, программирования и агентных задач с инструментами, однако README этой версии не уточняет, насколько хорошо она сохраняет эти возможности. Модель загружается через библиотеку Transformers и распространяется в формате safetensors. Ослабленная фильтрация безопасности может приводить к чувствительным, спорным или неподходящим ответам, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

OREAL-7B-GGUF — это квантованные версии языковой модели OREAL-7B, разработанной internlm и опубликованной в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Квантованием занимался bartowski с использованием llama.cpp и метода imatrix на основе набора данных internlm/OREAL-RL-Prompts. Модель предназначена для генерации текста и диалоговых сценариев; для неё указан специальный шаблон сообщений с ролями system, user и assistant. Доступно множество вариантов квантования от Q8_0 до Q2_K и IQ2_M размером примерно от 2,78 до 8,10 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; Q6_K, Q6_K_L, Q5_K_* и Q4_K_M отмечены как рекомендуемые, а низкоразрядные варианты подходят для систем с ограниченным объёмом RAM, но имеют заметно более низкое качество. README не содержит сведений об архитектуре, размере контекста, поддерживаемых языках, модальностях или конкретных результатах тестирования. Модель распространяется по лицензии Apache-2.0. Для запуска требуются llama.cpp или совместимый проект; доступные файлы не являются исходной моделью, а представляют собой её квантованные сборки.

LFM2.5-2.6B-Abliterated-GGUF — это набор GGUF-квантованных файлов модели PinoCookie/LFM2.5-2.6B-Abliterated, подготовленный и опубликованный mradermacher. Модель предназначена для генерации текста и instruct-сценариев, включая локальный запуск через совместимые с GGUF инструменты. В метаданных указан английский язык и библиотека Transformers. Размер исходной модели составляет около 2,6 млрд параметров. Доступны варианты от Q2_K до Q8_0, IQ4_XS и f16; объём файлов варьируется примерно от 1,2 до 5,5 ГБ. В README не указаны архитектура, размер контекста, точный набор поддерживаемых языков, мультимодальные возможности и результаты тестирования. Квантование позволяет выбирать компромисс между потреблением памяти, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант высокого качества, а Q8_0 — как наиболее качественный среди быстрых вариантов. Модель обозначена как abliterated, поэтому её поведение в отношении встроенных ограничений безопасности может отличаться от исходной версии; конкретные свойства и ограничения в README не описаны и требуют самостоятельной проверки. Лицензия указана как lfm1.0, с отдельным файлом лицензии LICENSE. Условия этой лицензии следует изучить перед использованием и распространением.

Это 8-битная версия диалоговой модели Llama 2 7B, подготовленная для размещённого инференса. Семейство разработала Meta; модель использует авторегрессионную архитектуру Transformer и содержит около 6,6 млрд параметров. Квантование уменьшает размер весов до уровня менее 10 ГБ, а контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена прежде всего для диалогов на английском языке: например, для ответов на вопросы и работы в роли текстового ассистента. README отмечает, что размещённый инференс может быть медленным без плана Hugging Face Pro. Модель может выдавать неточные, предвзятые или нежелательные ответы; перед применением в конкретном продукте рекомендуется провести проверку безопасности и настройку. Использование регулируется пользовательской коммерческой лицензией Meta для Llama 2; для загрузки весов требуется принять лицензию.

llama-3-8b-DUS-initialized — плотная языковая модель семейства Llama, созданная с помощью LazyMergekit на основе NousResearch/Meta-Llama-3-8B. Конфигурация использует метод passthrough и диапазоны слоёв исходной модели; в метаданных указаны 11 млрд параметров и контекст до 8192 токенов. Модель предназначена для генерации текста. Карточка не описывает специализированные сценарии или дополнительные возможности. Репозиторий содержит веса в формате safetensors; лицензия — llama3.

Llama-3-Ultron — чат-модель на архитектуре Llama, опубликованная jayasuryajsk. Это версия Llama 3 с изменённым системным промптом Ultron. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и рассчитана на контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста. Её можно использовать для ответов на запросы и ведения беседы в приложениях на базе Transformers. README не описывает отдельные специализированные задачи, языки или результаты оценки качества. Модель опубликована в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

balrogbob/llamamama — дообученная модель генерации текста на архитектуре Llama, созданная balrogbob на базе unsloth/llama-3-8b-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста по текстовому запросу. В README не описаны конкретная предметная область, стиль ответов или специализированные сценарии применения. Указана лицензия Apache-2.0.

MaziyarPanahi/mergekit-slerp-zzizhry-GGUF — это набор файлов модели в формате GGUF, созданный пользователем MaziyarPanahi на основе mergekit-community/mergekit-slerp-zzizhry. Исходную модель разработало сообщество mergekit-community; она получена слиянием моделей HuggingFaceH4/zephyr-7b-beta и Equall/Saul-Base методом SLERP. Модель предназначена для генерации текста и диалоговых сценариев. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. В карточке указана архитектурная принадлежность к семейству Mistral и размер исходной модели 7B, однако сведения о длине контекста, языках и точных характеристиках слияния отсутствуют. Лицензия в предоставленных данных не указана; перед использованием следует проверить условия лицензирования исходных моделей и репозитория.

unsloth/MiniMax-M2.7-GGUF — это версия модели MiniMax-M2.7 в формате GGUF, подготовленная Unsloth на основе базовой модели MiniMaxAI/MiniMax-M2.7. Она предназначена для локального запуска и задач генерации текста, включая диалоговые сценарии и другие применения text-generation при использовании совместимого программного обеспечения для GGUF. README не содержит достоверных сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях или размере контекста, поэтому эти характеристики нельзя указать. Ключевое преимущество — упаковка в удобный для локального инференса формат GGUF; Unsloth также заявляет применение Dynamic 2.0 для повышения точности квантования, однако конкретные варианты квантования и результаты тестов в README не приведены. Указана лицензия modified MIT; подробные условия доступны в лицензии MiniMaxAI по ссылке из карточки модели.

Ministrations-8B-v1-GGUF — набор GGUF-квантизаций базовой модели TheDrummer/Ministrations-8B-v1, подготовленный пользователем bartowski с помощью llama.cpp и метода imatrix. Модель относится к классу text-generation и предназначена для локального запуска языковой модели, в том числе через LM Studio, с использованием формата запроса <s>[INST]{prompt}[/INST]. Доступны варианты от полных F16-весов размером 16,05 ГБ до сильно сжатых Q2/Q3-квантизаций примерно от 3,5 ГБ, а также распространённые Q4, Q5, Q6 и Q8-варианты. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты подходят для систем с ограниченным объёмом памяти, но могут заметнее терять качество. Для ARM доступны специальные варианты Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4; README предупреждает не использовать их на Mac или Windows. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекстного окна, мультимодальные возможности и конкретные прикладные сценарии, поэтому эти характеристики нельзя надёжно определить. Лицензия обозначена как other, без дополнительных условий в представленном описании; перед использованием следует проверить лицензию базовой модели и ограничения её распространения.

NovoCode/Novocode7b-v2 — плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров. Согласно карточке, модель обучена с нуля на датасете /leet10k-alpaca с использованием Axolotl 0.3.0; опубликованы результаты оценки, включая показатели на AI2 Reasoning Challenge и HellaSwag. Модель предназначена для генерации текста и может применяться для ответов в стиле инструкций и решения задач, представленных в обучающих и оценочных данных. Контекст модели составляет 32 768 токенов. Репозиторий содержит веса PyTorch в формате Safetensors. Карточка не раскрывает подробности архитектурных настроек, языков обучения, состава датасета и условий оценки; приведённые результаты сами по себе не позволяют оценить качество для конкретных сценариев. Лицензия — Apache-2.0.

Это конверсия языковой модели NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16 в формат GGUF, опубликованная ijohn07 для запуска через llama.cpp. Модель предназначена для генерации текста и может использоваться в диалоговых и других сценариях работы с языковой моделью; подробности о её возможностях приведены в карточке базовой модели NVIDIA. В метаданных указаны английский, испанский, французский, немецкий, итальянский и японский языки. Репозиторий обозначает формат как GGUF BF16; название репозитория также содержит Q2_K, однако README описывает конверсию, а сведения не позволяют подтвердить отдельную квантизацию. Лицензия базовой модели обозначена как other. Для запуска описан llama.cpp.

OLMo 7B Twin 2T — авторегрессионная языковая модель на основе Transformer, разработанная Allen Institute for AI (AI2). Это базовая модель для генерации текста и дальнейшей адаптации под прикладные задачи; она обучена на корпусе Dolma с использованием 2 трлн токенов. Архитектура включает 32 слоя, размер скрытого состояния 4096 и 32 головы внимания; контекст — 2048 токенов. Модель рассчитана на английский язык и поддерживает сценарии продолжения текста и генерации ответов по текстовой подсказке. В репозитории доступны многочисленные промежуточные контрольные точки обучения; для Transformers версии 4.40.0 и новее в карточке рекомендована модель OLMo 7B Twin 2T HF. Веса и код выпущены по лицензии Apache 2.0. Как базовая языковая модель, она может выдавать фактически неверные ответы и воспроизводить предвзятые или вредоносные формулировки; результаты следует проверять, а для чувствительных сценариев предусмотреть меры безопасности.

OpenMythos — дообученная разговорная модель для генерации текста, созданная участником хакатона build-small-hackathon на базе Qwen/Qwen3.6-27B. Она предназначена для диалогов и текстовых запросов; среди датасетов для дообучения указаны подробные данные об уязвимостях CVE и отфильтрованный набор ArvixImport-Final. Модель использует архитектуру Qwen3_5ForCausalLM, содержит 22,3 млрд параметров и поддерживает контекст до 262 144 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка модели не описывает результаты оценки качества и конкретные ограничения, поэтому её специализацию на кибербезопасности или научных текстах следует считать предположительной по названиям датасетов.

Ornith-1.5-35B-A3B-uncensored-GGUF — это локальная GGUF-версия модели Ornith-1.5-35B-A3B от команды Ornith, модифицированная и конвертированная Robert Ressl. Модель использует архитектуру Mixture-of-Experts с 35 млрд параметров, из которых около 3 млрд активны при обработке запроса. Релиз предназначен для запуска через llama.cpp и включает варианты квантования Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также мультимодальный проектор mmproj в формате BF16. Заявлена поддержка контекста до 262 144 токенов, однако в данном варианте он обслуживается с длиной до 131 072 токенов. Основной заявленный язык — английский. Модель ориентирована на локальную генерацию текста, исследование безопасности, red teaming и сценарии penetration testing. В результате abliteration были существенно снижены встроенные отказы на вредоносные запросы: для базовой модели зафиксировано 586 отказов из 1120, для варианта NVFP4 — 20, а для GGUF Q4_K_M — 43 на том же наборе тестов. Это делает модель более готовой к исследовательским запросам, которые стандартная версия обычно отклоняет, но одновременно повышает риски небезопасного применения. К сильным сторонам относятся локальный запуск, несколько уровней квантования, большой контекст и сохранение мультимодального проектора. Ограничения включают зависимость качества и поведения от степени квантования: Q4_K_M чаще демонстрирует остаточные отказы и уступает менее агрессивно квантованным вариантам. MTP speculative decoding в GGUF-сборках не реализован. Модель распространяется по лицензии MIT; аблитацию, конвертацию и проверку выполнил Robert Ressl, исходная модель связана с командой Ornith.

Pirouette 7B — это языковая модель для генерации текста, созданная ddh0 на базе архитектуры Mistral и представленная в варианте GGUF. Данный репозиторий подготовлен и квантизирован TheBloke; доступны варианты с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии, предназначенные для запуска на CPU и GPU. Модель рассчитана на задачи генерации текста и взаимодействия по инструкциям. Она совместима с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Для работы используется шаблон Alpaca-System с отдельными полями системного сообщения, инструкции и ответа. Формат GGUF упрощает локальный запуск и позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. В README указано, что размер модели составляет 7B параметров, однако сведения о поддерживаемых языках, длине контекста, обучающих данных, конкретных возможностях и результатах оценки отсутствуют. Квантизация снижает требования к ресурсам, но может уменьшать точность по сравнению с исходной версией. Модель распространяется по лицензии CC BY-NC 4.0, которая предусматривает некоммерческое использование с соблюдением условий лицензии.

POLARIS-Project_Polaris-4B-Preview-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Polaris-4B-Preview, разработанной POLARIS-Project. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Модель имеет около 4 миллиардов параметров в исходной версии; доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 1,96 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к оперативной памяти. Квантизация imatrix и варианты Q5–Q6 заявлены как обеспечивающие высокое качество при меньшем размере, тогда как Q3 и некоторые низкобитные варианты экономичнее, но могут заметно уступать в качестве. Модель подходит для локального текстового вывода, экспериментов и интеграции в приложения на базе llama.cpp. Мультимодальность, архитектура исходной модели, размер контекстного окна и дополнительные языки в предоставленных данных не указаны. Шаблон чата также не задан, поэтому рекомендуемый формат prompt может потребовать проверки по карточке исходной модели. Распространение указано по лицензии Apache-2.0.

onnx-community/Qwen3-0.6B-ONNX — версия модели Qwen/Qwen3-0.6B с весами в формате ONNX, подготовленная для совместимости с библиотекой Transformers.js. Исходная модель относится к семейству Qwen3 и разработана командой Qwen; конкретные сведения о создателе конвертации в README не указаны. Модель предназначена для генерации текста и использования в сценариях диалогового ассистента, включая работу с системными и пользовательскими сообщениями. Она может запускаться через Transformers.js, в том числе в браузере с использованием WebGPU, что делает её подходящей для локальных и web-приложений без обязательной серверной инфраструктуры. В примере используется квантованный формат q4f16 и генерация до 512 новых токенов. Известен размер исходной модели — 0,6 млрд параметров. ONNX-веса ориентированы на выполнение в Transformers.js, однако архитектура, поддерживаемые языки, максимальная длина контекста и точные характеристики качества в README не указаны. К сильным сторонам относятся небольшой размер, возможность web-запуска и поддержка потоковой генерации. Ограничения включают неизвестные языковые и контекстные возможности, а также потенциальное снижение качества из-за квантования. Лицензия в предоставленных данных не указана.

aashish1904/Qwen3.5-2B-Base-GGUF — квантизированная версия базовой модели Qwen3.5-2B-Base, созданная с помощью llama.cpp и опубликованная пользователем aashish1904. Исходную модель разработала команда Qwen. Формат GGUF предназначен для локального запуска, в частности через llama.cpp и Ollama, а также для экспериментов с генерацией текста, дообучением и in-context learning. Исходная карточка указывает, что базовая модель предназначена прежде всего для исследований и разработки, а не для непосредственного диалогового использования. Модель имеет около 2 млрд параметров и представляет собой каузальную языковую модель с vision encoder, то есть поддерживает текстово-визуальное обучение и обработку мультимодальных токенов. Архитектура сочетает Gated Delta Networks и Gated Attention; модель содержит 24 слоя, скрытое измерение 2048 и контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступны варианты квантизации от Q2_K до Q8_0: более компактные варианты требуют меньше памяти, но сильнее теряют в качестве; Q4_K_M и Q5_K_M обозначены как рекомендуемые сбалансированный и высококачественный варианты соответственно. Основные преимущества — небольшой размер, широкий контекст, мультимодальная архитектура и возможность эффективного локального инференса. Ограничения включают неизбежную потерю качества при низких уровнях квантизации и базовый, а не специализированный чатовый характер исходной модели. Лицензия в предоставленном README не указана.

techwithsergiu/Qwen3.5-text-9B — производная текстовая модель семейства Qwen3.5, подготовленная автором techwithsergiu на основе Qwen/Qwen3.5-9B. Это плотная причинная языковая модель для генерации текста и диалога с архитектурой Qwen3_5ForCausalLM и 7,2 млрд параметров. Контекстное окно составляет 262 144 токена; веса текстовой части сохранены в формате bfloat16 без переобучения и изменений. Из модели удалена визуальная часть исходной мультимодальной модели, включая энкодер изображений и обработку видео. Модель предназначена главным образом как промежуточный артефакт для конвертации в GGUF или объединения с результатами LoRA-обучения на CPU; для прямого дообучения автор рекомендует отдельную 4-битную версию. Метаданные указывают возможности чата и интерфейс вызова инструментов, но модель не принимает изображения и видео. Модель распространяется по лицензии Apache-2.0. Она сохраняет текстовые веса базовой модели, однако README описывает её как промежуточный артефакт, а не как целевую модель для непосредственного обучения.

Qwen3.8-27B-GGUF — квантованное представление модели Qwen3.8-27B, разработанной командой Qwen. Модель опубликована в формате GGUF организацией ggml-org и предназначена для запуска через совместимые инструменты, включая llama.app и llama.cpp-совместимую инфраструктуру. Согласно карточке, модель относится к классу image-text-to-text, то есть предназначена для обработки изображений и текста с генерацией текстовых ответов. Указан размер базовой модели — 27B параметров. Точные сведения об архитектуре, поддерживаемых языках, размере контекста, используемых вариантах квантования и фактических мультимодальных возможностях в README отсутствуют. Формат GGUF и квантование могут упростить локальный запуск и снизить требования к памяти по сравнению с полноразмерной версией, однако конкретные компромиссы между качеством и ресурсопотреблением не описаны. Ограничения модели, результаты тестирования и рекомендуемые сценарии применения также не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Heretic-Abliterated-i1-GGUF — GGUF-квантизированная версия модели alexander2323/Qwen3.8-27B-Uncensored-Heretic-Abliterated, подготовленная и опубликованная mradermacher. Это текстовая autoregressive-модель для генерации текста, диалогов и других задач, поддерживаемых базовой моделью Qwen. В метаданных указан английский язык и библиотека Transformers. Модель основана на варианте Qwen с заявленным размером 27B параметров и модификациями Uncensored, Heretic и Abliterated, однако подробности архитектуры, длина контекста и перечень поддерживаемых языков в README не указаны. Репозиторий предоставляет множество вариантов GGUF-квантизации с разным размером от 7,2 до более чем 18 ГБ; для баланса скорости, размера и качества рекомендованы i1-Q4_K_S и i1-Q4_K_M. IQ-варианты могут быть предпочтительнее сопоставимых по размеру обычных квантизаций. Сильные стороны модели — возможность локального запуска в формате GGUF и широкий выбор уровней квантизации. К ограничениям относятся возможная потеря качества на низких уровнях квантизации, отсутствие подробных результатов оценки и неопределённость относительно безопасности ответов из-за характеристик Uncensored и Abliterated. Указанная лицензия — Apache-2.0.

jfiekdjdk/Qwen3-8B-abliterated-Q5_K_M-GGUF — это квантизированная модель для генерации текста в формате GGUF, созданная путём конвертации huihui-ai/Qwen3-8B-abliterated с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для чат-сценариев и локального запуска через llama.cpp, включая работу в режиме командной строки или сервера. Модель основана на Qwen3-8B-abliterated, однако в README не указаны подробности её архитектуры, языков, поддерживаемых модальностей и исходного контекстного окна. Из названия следует размер порядка 8B параметров и использование квантизации Q5_K_M, но точные характеристики и влияние квантизации на качество не описаны. В README также используются обозначения «abliterated» и «uncensored», однако их техническое содержание и ограничения не уточняются. Для запуска требуется llama.cpp; приведённый пример использует контекст длиной 2048 токенов, но это может быть лишь параметром запуска, а не максимальным размером контекста модели. Лицензия указана как Apache-2.0. Сильной стороной является совместимость с локальным инференсом через GGUF и llama.cpp, а ограничениями — отсутствие подробных сведений о качестве, обучающих данных, языках и результатах оценки.

Restraint-7B — диалоговая языковая модель на 7,1 млрд параметров, дообученная на базе Qwen/Qwen2.5-7B-Instruct. Она предназначена для ответов на вопросы и выбора, когда следует вызвать инструмент: на знакомые вопросы модель отвечает напрямую, а инструменты использует, когда без них не обойтись. Архитектура — плотная Qwen2ForCausalLM; доступны форматы Safetensors и GGUF. Контекст — до 32 768 токенов. Модель обучена на 450 экспертных трассах ReAct с последующим корректирующим этапом SFT. В описанной проверке на 50 заданиях она ответила правильно на 46 и не вызывала инструменты в 16 из 17 заданий, где вызов не требовался. Обучение охватывало пять симулированных инструментов: калькулятор, Wikipedia, погоду, выполнение кода и конвертер единиц. Для запуска GGUF указана совместимость с llama.cpp, Ollama и LM Studio. Лицензия — Apache-2.0. Результаты проверки ограничены небольшим набором из 50 заданий, причём задания уровней 1–3 близки к обучающим данным; результаты на живых API и перенос на реальные экосистемы инструментов не проверены. В аудите ошибок отмечены три расхождения строгой текстовой оценки с ответами, близкими по смыслу, и одна ошибка восстановления после сбоя.

Rocinante-12B-v1.1-GGUF — это набор GGUF-квантизированных версий языковой модели Rocinante-12B-v1.1, разработанной TheDrummer. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально, в том числе через LM Studio. В набор входят варианты от исходных весов F16 размером 24,50 ГБ до сильно сжатых Q2- и Q3-версий размером около 4,8–7,2 ГБ, а также более качественные Q4–Q8-варианты. Наиболее рекомендуемыми в README названы Q4_K_M, Q5_K_M, Q6_K и Q6_K_L: они обеспечивают хороший или очень высокий уровень качества при меньших требованиях к памяти. Некоторые варианты Q4_0 оптимизированы для ARM и CPU-инференса. Модель относится к текстовым, мультимодальность и поддерживаемые языки не указаны; формат prompt также не определён. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файла и требованиями к оборудованию, включая варианты для систем с ограниченным объёмом RAM. Более агрессивная квантизация снижает качество генерации, а Q4_0 отмечен как устаревший формат. Модель распространяется по лицензии other; её точные условия в README не приведены.

Sarvam-Translate — модель перевода, разработанная Sarvam AI совместно с AI4Bharat на основе дообученной Gemma 3 4B IT. Она предназначена для перевода целых документов и длинных текстов между английским и индийскими языками с учётом контекста, стиля и структуры исходного материала. Максимальная длина контекста — 8 тысяч токенов; модель работает с текстом в форматах Markdown, распознанными текстами с ошибками OCR, материалами с математическими и химическими формулами, а также с файлами кода, переводя в них только комментарии. Модель поддерживает английский и 22 официальных языка Индии, включая ассамский, бенгальский, хинди, тамильский и урду. Открытая версия поддерживает направления с английского на индийские языки и обратно; для перевода между индийскими языками README рекомендует переводить через английский. Основана на мультимодальной архитектуре Gemma 3, но заявленная задача этой версии — текстовый перевод. Распространяется по лицензии GPL-3.0.

Это текстовая генеративная модель SmolLM-135M-Instruct в формате INT4-квантизации, разработанная Neural Magic на основе исходной модели HuggingFaceTB/SmolLM-135M-Instruct. Она предназначена для англоязычного ассистентского чата, генерации текста и исследовательских или коммерческих сценариев. Модель принимает текст и возвращает текст; мультимодальность не заявлена. Ключевая оптимизация — GPTQ-квантизация весов линейных слоёв трансформерных блоков по схеме W4A16 с размером группы 64 и коэффициентом демпфирования 0,1. Переход с 16 на 4 бита уменьшает размер на диске и требования к памяти GPU примерно на 75%. В README не указаны точное число слоёв, длина контекста и дополнительные языки; заявлена поддержка английского языка, а использование на других языках относится к сценариям вне области применения. На OpenLLM Leaderboard v1 средний результат составляет 31,91 против 31,55 у неквантизированной версии, однако показатели заметно различаются по отдельным тестам. Ограничения включают англоязычную специализацию и обычные риски небольших языковых моделей, включая ограниченную точность и качество сложных ответов. Лицензия — Apache-2.0. README содержит несоответствие: идентификатор модели указывает SmolLM-1.7B, тогда как описание, название и приведённые оценки относятся к SmolLM-135M-Instruct.

Maestro-10B-GGUF — это квантизированная версия языковой модели Maestro-10B, разработанной suayptalha и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Указан английский язык, а рекомендуемый формат взаимодействия включает системный промпт, запрос пользователя и ответ ассистента. Модель содержит около 10 млрд параметров; в README не указаны её точная архитектура, размер контекста, поддерживаемые модальности, результаты тестирования или специализированные сценарии применения. Доступны варианты от F32 и F16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и более компактные Q3/Q2-варианты. Старшие варианты лучше сохраняют качество исходной модели, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. К сильным сторонам относятся широкий выбор размеров файлов и совместимость с распространённой экосистемой llama.cpp, что позволяет подбирать вариант под доступные ресурсы. Ограничения включают отсутствие в README подробных сведений о качестве, бенчмарках, контекстном окне и реальных возможностях модели, поэтому её пригодность для конкретных задач следует проверять отдельно. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в README.