II.11Кибербезопасность и приватность

Codestral-22B-v0.1-abliterated-v3-GGUF — это GGUF-квантизованная версия модели Codestral-22B-v0.1-abliterated-v3. Исходная модель размещена пользователем failspy, а квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. В карточке не указано, кто разработал исходную архитектуру Codestral. Модель предназначена прежде всего для генерации и обработки программного кода, поскольку имеет тег code и относится к задаче text-generation. Она доступна в нескольких вариантах квантизации GGUF с размером файлов примерно от 6,64 до 23,64 ГБ, что позволяет выбирать баланс между качеством и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; версии с более низкой разрядностью экономят память, но могут заметно терять в качестве. В README не указаны точная архитектура, размер контекстного окна, поддерживаемые естественные языки и дополнительные модальности, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Также предупреждается, что формат prompt не задан в исходной карточке и предложенный шаблон может быть некорректным. Модель распространяется по лицензии MNPL-0.1; в карточке приведена ссылка на её текст.

Decision-2.0-Kai-0.6B — плотная модель с 0,6 млрд параметров из семейства Decision 2.0, разработанная для vLLM Semantic Router и дообученная на базе Qwen/Qwen3-0.6B-Base. Она принимает текст или JSON и за один проход отвечает на вопросы выбора из нескольких вариантов, даёт ответ «да/нет» или оценку по шкале. Для каждого возможного ответа возвращается вероятность; модель предназначена для классификации без генерации текста. Контекст составляет 8 192 токена. В карточке сообщается о результатах на JevArena и наборе из 15 задач с разметкой людьми, а также о возможности одновременно обрабатывать несколько вопросов к одному входу. Для одного вопроса указана медианная задержка 4,9 мс на одном GPU; это результат карточки, а не гарантия производительности в других конфигурациях. Модель распространяется в формате safetensors по лицензии Apache-2.0.

apto-as/Qwen2.5-Coder-7B-Instruct-Q5_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель разработана на базе Qwen/Qwen2.5-Coder-7B-Instruct и предназначена для генерации текста и работы с программным кодом в диалоговом режиме. Модель ориентирована на задачи, связанные с написанием и обработкой кода, а также на интерактивное использование через llama.cpp в CLI или серверном режиме. Указан размер базовой модели 7B; применяется квантизация Q5_K_M. Поддерживаемый язык в карточке — английский. Формат GGUF позволяет запускать модель через llama.cpp, в том числе локально, однако конкретные архитектурные параметры и размер контекстного окна в README не указаны; в примере сервера используется контекст длиной 2048 токенов. К сильным сторонам относятся специализация на программном коде, инструктивный режим и совместимость с llama.cpp. Ограничения включают отсутствие подробных сведений о качестве, поддерживаемых языках программирования, мультимодальности и фактических требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

CISCai/Qwen3-Coder-30B-A3B-Instruct-SOTA-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и опубликованной в формате GGUF командой CISC. Модель предназначена для генерации текста и программного кода, включая чат-сценарии, написание и дополнение кода. Она поддерживает Fill-in-Middle, то есть заполнение пропущенных фрагментов исходного кода, при использовании совместимых версий llama.cpp. Модель относится к архитектуре Qwen3 MoE и имеет размер 30B в обозначении модели. Доступны варианты квантизации от IQ1_S до IQ4_NL с эффективной разрядностью примерно от 1,56 до 4,5 бит на вес. Размер файлов составляет примерно от 6,4 ГБ, а требуемый объём оперативной памяти — от 6,7 ГБ в зависимости от варианта. В метаданных указан английский язык. Базовая длина контекста исходной модели составляет 262 144 токена; для некоторых файлов доступны варианты с расширением контекста до 1 048 576 токенов с использованием YaRN. Ключевое преимущество модели — возможность локального запуска при существенно сниженном потреблении памяти, а также специализированная настройка квантования с importance matrix на данных CodeFeedback-Filtered-Instruction. Чем агрессивнее квантизация, тем меньше требования к ресурсам, но тем сильнее потери качества: варианты IQ1 и IQ2 характеризуются значительными потерями, тогда как более высокие разрядности лучше сохраняют качество. Файлы совместимы с llama.cpp начиная с версии, соответствующей 9 апреля 2025 года, и с другими интерфейсами и библиотеками на его основе. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о мультимодальности; по указанным данным это текстовая модель для работы с кодом.

Code Llama 70B Instruct — генеративная языковая модель Meta для написания и понимания кода, настроенная следовать инструкциям и вести диалог. Репозиторий содержит вариант на 70 млрд параметров в форматах PyTorch и Safetensors; архитектура — авторегрессионный трансформер. Модель принимает и генерирует текст, включая запросы на естественном языке и код. Модель предназначена для генерации кода, его дополнения и ответов на вопросы по программированию. Она рассчитана на английский язык и распространённые языки программирования; карточка отмечает поддержку диалогового режима и работы с инструкциями. Настройка проводилась с контекстом до 16 тысяч токенов; этот вариант не поддерживает контекст до 100 тысяч токенов. Модель разработана Meta и выпущена по пользовательской лицензии Meta Llama 2; условия использования определяются этой лицензией. Качество ответов и корректность сгенерированного кода могут различаться, поэтому результаты следует проверять.

CodeLlama 70B Instruct — языковая модель для генерации и обработки программного кода, разработанная Code Llama и представленная в формате GGUF компанией Second State Inc. Это квантизированная версия исходной модели codellama/CodeLlama-70b-Instruct-hf, предназначенная для сценариев программирования и диалогового следования инструкциям. Указана поддержка языка кода; другие языки и мультимодальные возможности не заявлены. Модель содержит 70 млрд параметров и использует контекст размером 8192 токена. Доступны варианты квантизации Q2_K, Q3_K, Q4 и Q5 с размером файлов примерно от 25,5 до 48,8 ГБ. Вариант Q4_K_M обозначен как рекомендуемый сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более сильная квантизация уменьшает требования к ресурсам, но может заметно снижать качество ответов. Модель может запускаться как сервис LlamaEdge версии 0.2.11 и выше, однако в README указано, что она работает только в режиме без потоковой передачи. Для использования требуется специальный шаблон prompt codellama-super-instruct. Модель распространяется по лицензии llama2; дополнительные условия лицензии в предоставленных данных не уточняются.

CodeQwen1.5-7B-GGUF — набор GGUF-квантизаций модели CodeQwen1.5-7B, разработанный Qwen и подготовленный для llama.cpp пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, а также для локального текстового вывода. В README указана поддержка английского языка и формат взаимодействия с системными, пользовательскими и ассистентскими сообщениями через специальные токены ChatML. Модель содержит около 7 миллиардов параметров, представлена в многочисленных вариантах квантизации от Q8_0 до IQ1_M и имеет размеры файлов примерно от 2,36 до 7,70 ГБ. Более высокие варианты, такие как Q6_K и Q5_K_M, обеспечивают лучшее качество, тогда как низкобитные версии требуют меньше оперативной или видеопамяти, но заметно теряют в качестве. Конкретные сведения об архитектуре, размере контекста и дополнительных модальностях в README не указаны; по описанию это текстовая, а не мультимодальная модель. Преимущество набора — возможность запуска локально на различном оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, а также с тем, что README не приводит результаты тестирования и подробные характеристики исходной модели. Указана лицензия Tongyi Qianwen Research License; исходная модель доступна в репозитории Qwen.

duyntnet/deepseek-coder-6.7b-instruct-imatrix-GGUF — набор квантованных версий модели deepseek-ai/deepseek-coder-6.7b-instruct, опубликованный пользователем или организацией duyntnet. Это инструкционно настроенная генеративная языковая модель для работы с текстом и программным кодом, включая сценарии создания и объяснения кода. В README приведён пример генерации алгоритма быстрой сортировки на Python в формате диалога. Модель имеет размер 6,7 млрд параметров и распространяется в формате GGUF с использованием imatrix-квантизации. Указан английский язык, однако дополнительные языковые возможности, длина контекста, конкретные варианты квантизации и требования к оборудованию в README не описаны. Формат предназначен для запуска совместимыми средствами инференса, но точные поддерживаемые инструменты также не указаны. К сильным сторонам относятся специализация исходной модели на задачах программирования, инструкционное обучение и наличие квантованных вариантов, потенциально уменьшающих требования к памяти. Ограничения связаны с отсутствием подробных результатов оценки, сведений о качестве на конкретных языках и задачах, контекстном окне и характеристиках отдельных файлов. Лицензия обозначена как other; её конкретные условия в README не приведены.

DeepSeek-Coder-V2-Lite-Instruct-FP8 — это квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанная Neural Magic. Модель принимает текст и генерирует текст; она предназначена для коммерческого и исследовательского использования, прежде всего для англоязычного ассистентского диалога и задач генерации кода. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP8, что примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Используется симметричная поэлементно-тензорная квантизация, при этом экспертные шлюзы сохраняют исходную точность. Модель оптимизирована для инференса через vLLM версии 0.5.2 и новее; в документации указан максимальный контекст 4096 токенов. Входная и выходная модальности — текст, основной заявленный язык — английский. Модель сохраняет близкую к исходной точность при меньших требованиях к ресурсам: на HumanEval+ указано 79,60 балла против 79,33 у неквантизированной версии, а базовый pass@1 составляет 79,3 против 80,8. Ограничения включают специализацию на английском языке и недопустимость использования на других языках согласно описанию модели; качество также может зависеть от особенностей FP8-квантизации и используемого движка. Модель распространяется по лицензии deepseek-license, условия которой определены в лицензии DeepSeek.

DeepSeek-Coder-V2-Lite-Instruct-IMat-GGUF — это набор GGUF-квантизованных версий модели DeepSeek-Coder-V2-Lite-Instruct, подготовленный legraphista с использованием llama.cpp. Исходная модель имеет формат BF16, а представленные варианты включают BF16, FP16 и уровни квантизации от Q8_0 до 1-битных форматов. Для ряда вариантов применена IMatrix-квантизация на основе указанного калибровочного набора данных. Модель предназначена для генерации текста и, прежде всего, для задач программирования и диалогового использования в совместимых средах, включая llama.cpp. Доступны файлы размером примерно от 6,43 до 31,42 ГБ; конкретный объём зависит от выбранного формата. GGUF-варианты позволяют выбирать компромисс между качеством, требованиями к памяти и скоростью работы, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях или размере контекста. Лицензия указана как deepseek-license; дополнительные условия находятся в файле LICENSE. README не приводит подробностей о сравнительных преимуществах, известных ограничениях или результатах оценки, поэтому качество и пригодность конкретного варианта следует оценивать с учётом выбранного уровня квантизации и используемой аппаратной конфигурации.

Llama-3.1-8B-Instruct_Causal-Tracer — вариант Llama-3.1-8B-Instruct, созданный Apollo Raines с помощью инструмента jBlaze для изменения поведения модели через правку весов. Дополнительное обучение или дообучение не проводилось. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров по метаданным; карточка указывает формат safetensors и контекст до 131 072 токенов. Модель предназначена для генерации текста и диалога с акцентом на отслеживание потоков данных от источника к получателю, причинно-следственных цепочек и происхождения информации в системах. Она принимает текст и генерирует текст; в метаданных также указаны интерфейс вызова инструментов и поддержка английского языка. Автор описывает выпущенную версию как демонстрационную и намеренно ослабленную. Лицензия — Llama 3.1; применимость её условий следует проверять перед использованием.

Lumma-Fev-4B — плотная модель принятия решений на 4 млрд параметров от FrontiersMind. Она принимает документ-состояние и набор типизированных вопросов, после чего за один проход выдаёт распределение вероятностей по вариантам каждого вопроса. Модель не генерирует текст: она поддерживает вопросы типа «да/нет», выбор из вариантов и оценку по упорядоченной шкале. Модель предназначена для классификации и структурированного извлечения решений из текста или JSON: например, для независимой оценки нескольких свойств документа и маршрутизации записей по заранее заданным категориям. Вопросы обрабатываются независимо друг от друга. Модель опубликована в формате safetensors для Transformers; лицензия — Apache-2.0. Вероятности и confidence являются оценками модели, поэтому перед использованием их для автоматического принятия решений следует проверить калибровку на размеченных данных своей задачи. Карточка приводит результаты бенчмарков по типизированным решениям, новостям и эмоциям, но не сообщает длину контекста.

Qwen3.6-27B-MTP-pi-tune-GGUF — производная модель от Qwen3.6-27B, разработанная bytkim. Это 27-миллиардная dense-модель, дообученная методом 4-bit QLoRA SFT для агентного программирования без отдельного этапа рассуждений. Модель упакована в формат GGUF, совместимый с llama.cpp, и ориентирована на локальный запуск. Модель предназначена для coding-agent сценариев, включая генерацию и редактирование кода, DevOps-задачи, работу с инструментами, function calling и взаимодействие с терминалом. Режим no-thinking рассчитан на прямые ответы, вызовы инструментов и структурированный вывод с меньшей задержкой. Multi-Token Prediction поддерживает speculative decoding, потенциально ускоряя генерацию длинного кода, рассуждений и подготовку вызовов инструментов. В описании также заявлена мультимодальная совместимость с изображениями и текстом, нативный контекст 256k токенов и максимальный контекст до 1M токенов. Сильными сторонами являются ориентация на локальные агентные циклы, интеграция с экосистемой llama.cpp, низколатентный прямой режим и поддержка MTP-декодирования. Ограничение модели — отсутствие специально обученного длинного внутреннего рассуждения: для задач, требующих сложного reasoning, автор рекомендует отдельную reasoning-версию. Эффективность MTP зависит от поддержки со стороны используемого runtime, а приведённая оценка на Terminal-Bench 2.0 составляет pass@1 28,09, поэтому её не следует считать универсальным показателем качества. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-full-Uncensored — текстовая генеративная модель, опубликованная 0xSojalSec и производная от Qwen/Qwen3.8-27B. Модель основана на архитектуре Qwen3 с 27 млрд параметров и предназначена для генерации текста, программного кода и использования в агентных сценариях, включая исследования AI safety, red teaming, кибербезопасность и задачи разработки. Доступны форматы GGUF, safetensors и MLX; поддерживаемые языки и размер контекстного окна в README не указаны. По заявлению автора, модель модифицирована методом abliteration: из весового пространства удалены направления, связанные с отказами и защитными отговорками. Версия V3 сочетает итеративное уточнение и целевую обработку данных. Заявлены сохранение режима thinking, рабочая генерация кода и результат 82,3% на MMLU против 84,5% у исходной модели, то есть снижение на 2,1 процентного пункта. Для генерации рекомендуются температура 0, repetition_penalty 1,15 и не менее 2048 новых токенов; системный промпт лучше не использовать. Ограничениями являются возможное зацикливание без настройки repetition_penalty, отсутствие встроенных защитных отказов и заявленное снижение качества относительно базовой модели. Приведённые оценки основаны на тестах автора и могут не отражать результаты независимой проверки. Модель распространяется по лицензии Apache-2.0. Поскольку защитные механизмы были намеренно ослаблены или удалены, её применение требует дополнительной оценки рисков, особенно в публичных и агентных системах.

Qwen3.8-Flash-Next-Uncensored-NVFP4 — квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и опубликованной OrcaRouter. Это мультимодальная Mixture-of-Experts-модель для работы с текстом и изображениями, рассуждений, вызова инструментов, функционального вызова, исследовательского red-teaming и анализа механизмов отказа моделей. Модель представляет preview-архитектуры Qwen4 и поддерживает английский и китайский языки. Архитектура включает 512 экспертов, из которых для каждого запроса активируются 10 маршрутизируемых и 1 общий эксперт, Gated DeltaNet linear attention, Qwen Sparse Attention, HyperConnections и PLE n-gram embeddings. Экспертные веса сжаты в NVFP4 с точностью 4 бита, attention и общие экспертные веса — в FP8, а отдельные компоненты, включая эмбеддинги, vision tower и нормализации, сохранены в bf16. Размер хранения сокращён примерно с 330 ГБ в bf16 до 178 ГБ; KV-кэш во время работы остаётся в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении полноточных путей в важных компонентах, а также встроенная поддержка vision, reasoning и tool calling. Ограничения включают необходимость GPU с архитектурой Blackwell и FP4 tensor cores; Hopper и более старые GPU не поддерживаются. Для запуска нужны свежие версии vLLM с архитектурой qwen4_exp и compressed-tensors NVFP4, а мультимодальный режим зависит от поддержки vision-стека Qwen. Из модели удалена значительная часть safety alignment методом abliteration, поэтому она может выполнять вредоносные или незаконные запросы, от которых исходная модель отказалась бы. Модель предназначена только для легитимных исследований; перед практическим развёртыванием необходимы собственные фильтры безопасности и модерация. Лицензия — Apache 2.0, унаследованная от базовой модели.

BERT large cased — предварительно обученная языковая модель семейства BERT, выпущенная Google. Она обучена на английских текстах BookCorpus и Wikipedia с помощью masked language modeling и предсказания следующего предложения. Модель различает регистр букв, использует WordPiece с словарём на 30 000 токенов и поддерживает контекст до 512 токенов. В конфигурации 24 слоя, скрытое представление размерности 1024 и 16 голов внимания; метаданные каталога указывают 432,3 млн параметров. Основное применение исходной модели — заполнение замаскированных слов и получение контекстных представлений для последующей настройки на классификацию последовательностей и токенов или ответы на вопросы. Она рассчитана на задачи, где анализируется полный входной текст, и не предназначена для свободной генерации текста. Обучающие данные ограничены английским BookCorpus и английской Wikipedia, а предсказания могут отражать смещения данных. Лицензия — Apache-2.0.

Jazari-4B-SFT-TR — модель на 4 млрд параметров семейства Qwen3.5, разработанная автором репозитория mahsum и адаптированная для турецкого языка. Она прошла продолженное предобучение на турецких текстах и дообучение с учителем на 73 182 примерах из 13 категорий. Модель предназначена для диалогов, классификации, анализа системных журналов и формирования структурированных ответов; автор сообщает о применении в мониторинге Linux и поддержке интерфейса вызова инструментов. В тестах автора модель показала хорошую связность на турецком и стабильное создание JSON для задач классификации при структурированном запросе и temperature=0. Скорость и потребление памяти в карточке указаны как результаты конкретных конфигураций и не гарантируют такие же показатели в других средах. Известные ограничения включают чрезмерную уверенность, слабую точность на специализированных категориях без дополнительного обучения, ненадёжный перевод с турецкого на английский и более низкий результат по математике, чем у базовой модели. Лицензия — Apache-2.0.

jina-embeddings-v5-text-nano-classification — компактная мультиязычная модель эмбеддингов, разработанная Jina AI для задач классификации текста. Она входит в семейство jina-embeddings-v5-text и создана на основе jinaai/jina-embeddings-v5-text-nano с применением дистилляции и контрастивного обучения, ориентированного на конкретную задачу. Модель содержит 239 млн параметров, поддерживает последовательности длиной до 8192 токенов и формирует эмбеддинги размерностью 768. Используется pooling по последнему токену; доступны матрёшечные размерности 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством, размером вектора и скоростью обработки. Модель предназначена прежде всего для классификации и может применяться в многоязычных сценариях анализа текста. Для работы доступны интеграции с sentence-transformers, vLLM и специальной веткой llama.cpp для формата GGUF; заявлена поддержка Transformers и Elastic Inference Service. Конкретный перечень языков и подробные результаты оценки в карточке не указаны. Модель распространяется по лицензии CC BY-NC 4.0, поэтому её использование ограничено некоммерческими целями.

Magicoder-S-DS-6.7B — языковая модель для генерации кода, разработанная Юйсяном Вэем, Чжэ Вангом, Цзя-вэем Лю, Ифэном Дином и Линмином Чжаном. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, дообученная на базе deepseek-coder-6.7b-base. Она принимает текстовые инструкции и генерирует текст, прежде всего исходный код; контекст составляет 16 384 токена. Модель предназначена для задач программирования и обучена на наборах Magicoder-OSS-Instruct-75K и Magicoder-Evol-Instruct-110K. Она ориентирована на разнообразные и реалистичные инструкции по коду, но может ошибаться и хуже справляться с задачами вне программирования. Лицензия указана как DeepSeek; перед использованием следует учитывать её условия и условия OpenAI для синтетических обучающих данных.

Qwen2.5-Coder-32B-GGUF — квантованная в формате GGUF версия базовой модели Qwen2.5-Coder-32B, разработанной командой Qwen. Квантование подготовил bartowski на основе llama.cpp. Модель предназначена прежде всего для генерации и автодополнения исходного кода, а также других сценариев текстовой генерации, связанных с программированием; это базовая модель, поэтому она не ориентирована на диалоговый режим и instruct-задачи. Модель имеет 32 миллиарда параметров и обучена на 5,5 триллиона токенов. Заявлена поддержка контекста до 128 тысяч токенов с настройками RoPE и коэффициентом YaRN 4.0 при исходной длине контекста 32 тысячи токенов. В метаданных указан английский язык. Формат GGUF и использование llama.cpp упрощают применение совместимых локальных средств инференса, однако конкретные требования к памяти и производительность зависят от выбранного уровня квантования и оборудования. К сильным сторонам относятся специализация на коде, большой размер модели и расширенный контекст. Ограничения включают базовый, а не инструкционно настроенный характер, возможное снижение точности из-за квантования и риск генерации ошибочного или небезопасного кода. Модель распространяется по лицензии Apache 2.0.

ThomasBaruzier/Qwen2.5-Coder-3B-Instruct-GGUF — набор GGUF-квантизаций инструкционно дообученной модели Qwen2.5-Coder-3B-Instruct. Исходную модель разработала команда Qwen, а данный репозиторий содержит варианты, подготовленные с использованием llama.cpp и метода imatrix с калибровочным файлом Bartowski. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования и чат-сценариев. Это текстовая модель с архитектурой и характеристиками базовой Qwen2.5-Coder-3B; в README указано около 3 миллиардов параметров, поддерживается английский язык, а заявленный тип конвейера — text-generation. Модель ориентирована на локальный запуск в формате GGUF, причём доступны варианты квантизации от IQ1_S до Q5_K_M с размером примерно от 754 МБ до 2121 МБ. Разные варианты позволяют выбирать компромисс между требованиями к памяти и качеством; в приведённых измерениях более крупные квантизации обычно показывают меньшую perplexity и более высокую точность. Сильными сторонами являются компактный размер, возможность локального использования через llama.cpp и наличие большого выбора квантизаций для устройств с разными ресурсами. Ограничения включают потери качества, зависящие от степени квантизации, неизвестные в README размер контекста и набор поддерживаемых языков помимо английского, а также отсутствие сведений о мультимодальности. Модель распространяется по лицензии qwen-research; точные условия следует уточнять в лицензии исходной Qwen/Qwen2.5-Coder-3B-Instruct.

Qwen2.5-Coder-7B-Instruct-abliterated-GGUF — набор GGUF-квантизаций модели Qwen2.5-Coder-7B-Instruct-abliterated. Базовая модель опубликована huihui-ai, а квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Это текстовая модель генерации с поддержкой диалогового формата prompt и специализацией на задачах программирования и следовании инструкциям. Модель предназначена для локального запуска в приложениях и средах, совместимых с GGUF, включая LM Studio. Доступны варианты от F16 до Q3 и различных Q4–Q8-квантизаций размером примерно от 4,09 до 15,24 ГБ. Более крупные варианты обычно сохраняют лучшее качество, а компактные требуют меньше оперативной памяти; для ARM предусмотрены отдельные варианты, некоторые из которых требуют поддержки sve или i8mm и не рекомендуются для Mac или Windows. В README указана поддержка английского языка и текстовая модальность; сведения о размере контекста и точной архитектуре не приведены. К ключевым ограничениям относятся возможная потеря качества при сильной квантизации и зависимость совместимости от аппаратной платформы. Модель имеет статус abliterated/uncensored, поэтому поведение в отношении ограничений безопасности может отличаться от исходной instruct-модели. Указана лицензия Apache-2.0.

sillykiwi опубликовал слитую с помощью merge-lora модель на основе RevEng-24-25/Qwen2.5-Coder-7B-Instruct-Ghidra-v2 и семейства Qwen2.5-Coder. Это причинная языковая модель с архитектурой Qwen2ForCausalLM, предназначенная для генерации кода и диалоговой работы с запросами о коде; README также указывает на возможности рассуждения и исправления ошибок в коде. Модель содержит около 7,1 млрд параметров по метаданным, использует формат safetensors и рассчитана на контекст 32 768 токенов. README описывает базовую серию Qwen2.5-Coder-7B-Instruct как модель с RoPE, SwiGLU, RMSNorm и групповым вниманием; для базовой модели приведена длина контекста 131 072 токена с настройкой YaRN для длинных входов. Эти характеристики относятся к описанию базовой модели и не подтверждают, что у данной публикации контекст превышает 32 768 токенов. Модель подходит для помощи при написании, анализе и отладке кода. Лицензия — Apache-2.0; README отмечает, что для базового семейства рекомендуются актуальные версии Transformers, а масштабирование контекста может ухудшить работу на коротких входах.

bartowski/codegeex4-all-9b-GGUF — это набор GGUF-квантизаций модели CodeGeeX4-ALL-9B, разработанной THUDM. Модель предназначена для генерации текста и, судя по названию и исходной модели, ориентирована прежде всего на работу с программным кодом и связанными текстовыми задачами. В README явно указана поддержка китайского и английского языков. Модель содержит около 9 млрд параметров в исходном варианте и подготовлена для запуска через llama.cpp. Доступны варианты квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 3,61 до 9,99 ГБ. Более высокие разрядности обеспечивают лучшее качество, тогда как низкоразрядные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы используется специальный формат промпта с маркерами системного, пользовательского и ассистентского сообщений. Размер контекста, дополнительные модальности и точная архитектура в README не указаны. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска через llama.cpp и наличие вариантов с высоким качеством, включая Q6_K и Q6_K_L. Ограничения связаны с потерями качества при низкой разрядности, а также с отсутствием в предоставленных данных подробных результатов тестирования, характеристик контекстного окна и описания ограничений исходной модели. Лицензия указана как специальная CodeGeeX4; подробные условия следует уточнять в файле LICENSE исходной модели THUDM/codegeex4-all-9b.

Code Llama 70B Instruct — большая авторегрессионная языковая модель семейства Llama, разработанная Meta и представленная в формате Transformers в неофициальном репозитории Hugging Face. Версия содержит 68,7 млрд параметров и предназначена для генерации и понимания кода, выполнения инструкций и диалога с помощником по программированию. Модель принимает текст и генерирует текст. Она подходит для написания и дополнения кода, объяснения программных решений и ответов на вопросы по программированию на естественном языке. Контекст модели в этом репозитории — 4096 токенов; карточка указывает, что эта версия не поддерживает контекст до 100 тысяч токенов. Модель обучалась на английском языке и соответствующих языках программирования. Модель доступна по лицензии Meta Llama 2. Она была дообучена для следования инструкциям; в карточке отмечено, что это статичная модель, обученная на офлайн-данных. Репозиторий содержит веса в форматах PyTorch и Safetensors.

Codestral-22B-v0.1-IMat-GGUF — GGUF-квантизированная версия Codestral-22B-v0.1, разработанного Mistral AI и подготовленная legraphista. Модель предназначена для генерации и работы с программным кодом, включая сценарии автодополнения и Fill In the Middle (FIM); в этой сборке исправлены отсутствующие FIM-токены. Указанный pipeline относится к генерации текста, а заявленный язык — code. Модель основана на версии размером 22B параметров с исходным форматом BF16 и преобразована с использованием llama.cpp. Доступны варианты GGUF от BF16 и FP16 до Q2_K, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера; размеры файлов варьируются примерно от 8,27 до 44,5 ГБ. Формат GGUF подходит для запуска в совместимом программном обеспечении, включая llama.cpp. Сильными сторонами являются специализация на коде, поддержка FIM и широкий выбор уровней квантизации для компромисса между качеством и требованиями к памяти. Ограничения включают отсутствие в предоставленных данных сведений о конкретной архитектуре, размере контекста, перечне естественных языков, результатах бенчмарков и характеристиках производительности; качество также зависит от выбранного варианта квантизации и оборудования. Лицензия указана как MNPL-0.1; условия следует уточнять в тексте лицензии Mistral AI.

DeepSeek-Coder-V2-Base — базовая языковая модель для кода, разработанная DeepSeek. Это продолженное предобучение промежуточного чекпойнта DeepSeek-V2 на дополнительных 6 триллионах токенов; модель использует архитектуру Mixture-of-Experts семейства DeepSeek-V2. Для данного репозитория в метаданных указаны 18,1 млрд параметров, а контекст составляет до 163 840 токенов. Модель предназначена для генерации и продолжения кода, вставки кода в заданный фрагмент, а также для задач программирования и математических рассуждений. README заявляет поддержку 338 языков программирования и сохранение возможностей для общих языковых задач; её можно запускать через Transformers и vLLM. Это базовая, а не instruct-версия, поэтому README не описывает её как специально настроенную для следования пользовательским инструкциям. В README указана лицензия, но её тип в доступных данных не раскрыт; перед использованием следует проверить условия лицензирования в репозитории. Для запуска полной BF16-версии README приводит требование 8 GPU с 80 ГБ памяти каждая.

JackOD-9B-Coder-MTP-GGUF — текстовая модель для генерации кода, разработанная ManniX-ITA. Это GGUF-квантизации модели JackOD-9B-Coder, созданной как объединение нескольких моделей на общей базе Qwen/Qwen3.5-9B: DeltaCoder-9B, Qwopus3.5-9B-coder и Ornith-1.5-9B. Модель ориентирована на многошаговую агентную разработку, продолжение задач между несколькими ходами диалога и работу с инструментами до завершения задачи. Поддерживает английский язык и предназначена прежде всего для программирования, рассуждений и сценариев tool-calling. Модель имеет архитектуру Qwen3.5, около 9,65 млрд параметров, формат GGUF и MTP-компонент, унаследованный от базовой модели. Доступны многочисленные варианты квантизации, включая F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные IQ- и K-варианты; квантизации K и IQ откалиброваны с помощью imatrix. Несмотря на наличие унаследованных метаданных vision, модель не содержит vision tower и является текстовой. В предоставленных оценках она показывает сильные результаты на задачах генерации кода, включая LiveCodeBench v6, однако сведения о производительности в агентном harness основаны на небольшом числе запусков и не являются полноценной статистикой. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Llama3.2-3B-Enigma-GGUF — квантизированная версия модели Llama3.2-3B-Enigma, созданная QuantFactory с использованием llama.cpp. Исходная модель разработана ValiantLabs на базе Meta Llama 3.2 3B Instruct и выпущена 30 сентября 2024 года. Модель предназначена для генерации текста, диалоговых сценариев и прежде всего для задач программирования: написания, объяснения и обработки кода. Она использует формат промптов Llama 3.2 Instruct, поддерживает чат-взаимодействие и обучалась на синтетических данных для code-instruct из набора Tachibana, дополненных общими диалоговыми данными из Supernova. В README указан английский язык; другие языки и размер контекстного окна не заявлены. Ключевые характеристики — архитектура Llama, около 3 млрд параметров, текстовая модальность и формат GGUF, подходящий для запуска через llama.cpp и совместимые инструменты. Сильными сторонами являются специализация на инструкциях по программированию и улучшенные общие диалоговые возможности при относительно небольшом размере. Ограничения включают отсутствие заявленных мультимодальных возможностей и недостаточно подробные сведения о конкретном варианте квантизации, контекстном окне и производительности. Модель распространяется по лицензии llama3.2.

Llama3-ChatQA-2-8B — диалоговая языковая модель NVIDIA на архитектуре LLaMA 3 с 7,5 млрд параметров. Модель создана на базе Llama 3: контекст расширен с 8K до 128K токенов продолжением обучения, после чего проведено трёхэтапное дообучение по инструкциям. Контрольные точки преобразованы из формата Megatron-LM в формат Hugging Face PyTorch. Модель предназначена для ответов на вопросы по документам и найденному контексту, генерации ответов в диалоге и сценариев RAG. Она оптимизирована для использования предоставленного контекста; модель может обработать документ целиком, если он помещается в контекстное окно. В карточке приведена рекомендация явно сообщать, когда ответ не найден в контексте. Модель поддерживает английский язык и контекст до 128K токенов. Она принимает текст и генерирует текст. Лицензия в предоставленных материалах не указана.