II.2Создание и понимание программного кода

ApolloRaines/Gemma-4-12B-it-Jbliterated — языковая модель для генерации текста, созданная ApolloRaines на базе google/gemma-4-12b-it-qat-q4_0-unquantized от Google. Она предназначена для диалогов и других задач генерации текста, где требуется более прямой ответ без выраженного отказа и уклонения. Модель ориентирована на англоязычные сценарии; заявленный pipeline — text-generation. Модель использует архитектуру Gemma 4 Unified и содержит 12 млрд параметров. Выпуск выполнен как редактирование весов без дополнительного переобучения: применён фреймворк jBlaze precision neural surgery, исходный тип данных — bfloat16. Доступны версии GGUF, включая BF16, Q8_0, Q6_K, Q5_K_M и рекомендуемую для видеокарт с 8–12 ГБ памяти Q4_K_M. Для GGUF требуется llama.cpp версии b10176 или новее; заявлена поддержка контекста до 8192 токенов в примере запуска. Согласно собственным измерениям авторов, показатель MMLU сохранился на уровне базовой модели — 78,42%, а доля прямых ответов на отложенном наборе выросла примерно с 1% до 89%. При этом версия v1 может классифицировать запросы с точки зрения безопасности во внутреннем процессе рассуждения и иногда не выдавать ответ; авторы рекомендуют новую версию v2. Данные о мультимодальности и иных языках, кроме английского, не указаны. Модель распространяется на условиях Gemma Terms of Use; README также указывает лицензию Apache 2.0.

Это GGUF-квантизированная версия модели llmfan46/gemma-4-26B-A4B-it-uncensored-heretic, разработанная независимым автором llmfan46 на основе google/gemma-4-26B-A4B-it. Модель создана с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) для уменьшения отказов и ограничений в ответах при сохранении близкого к исходной модели поведения. В карточке указана конфигурация 26B-A4B и мультимодальный pipeline image-text-to-text, однако точные сведения об архитектуре, поддерживаемых языках и максимальной длине контекста не приведены. Модель предназначена для генерации текста и ответов на запросы, а также, согласно заявленному pipeline, для сценариев, связанных с обработкой изображений и текста. По данным автора, в тесте PIQA она показала точность 91,73% против 92,06% у исходной модели, а в MMLU — 80,81% против 82,48%. При этом число отказов в используемом тесте снизилось до 11 из 100 против 100 из 100 у оригинала, а KL-дивергенция составила 0,0468. Это указывает на более свободное поведение, но также на некоторое ухудшение качества в отдельных тестах и на отсутствие стандартных ограничений безопасности. Доступны варианты GGUF в форматах BF16, Q8_0, Q6_K, Q5_K_M и Q5_K_S, различающиеся соотношением качества, размера и требований к ресурсам; автор рекомендует Q8_0 как почти неотличимый от полной точности. Модель распространяется по лицензии Apache 2.0. Поскольку это модификация исходной Gemma с уменьшенными отказами, при использовании следует самостоятельно оценивать надежность ответов, безопасность и соответствие требованиям конкретного сценария.

OBLITERATUS/gemma-4-E4B-it-OBLITERATED — модифицированная версия Google Gemma 4 E4B Instruct, созданная проектом OBLITERATUS. Модель предназначена для генерации текста и диалогового использования, а также может поддерживать работу с изображениями и аудио при применении специального vision/audio-проектора. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio и других совместимых инструментов, а также веса Safetensors для Transformers. Модель содержит около 4 млрд параметров и основана на архитектуре Gemma 4. В версии v3 сохранены все 720 тензоров, исправлена проблема с общими K/V-весами в слоях 24–41, а модификации затронули 21 из 42 слоёв. Основное изменение — удаление поведения, связанного с отказами и защитными ограничениями, с заявленной частотой жёстких отказов 0%. При этом модель сохраняет ограничения исходной компактной модели: возможны отклонение от темы, повторяющиеся или вырожденные ответы, а также редкие ответы на другом языке. Для снижения повторов рекомендуется использовать repeat_penalty 1.1 и системный промпт на английском языке. Для запуска требуются актуальные версии совместимых инструментов: например, Ollama 0.20+, llama.cpp начиная со сборки b8665, а для LM Studio, koboldcpp и text-generation-webui — свежие версии с поддержкой архитектуры gemma4. Контекстное окно, точный список поддерживаемых языков и другие характеристики в README не указаны. Лицензия — Apache 2.0.

GLM-5.3-Flash-EXL3-Q4 — производная квантованная версия языковой модели GLM-5.3-Flash-BF16, разработанной Z.AI. Конвертацию и проверку выполнил проект Dione с использованием ExLlamaV3. Модель предназначена для генерации текста и запуска GLM-5.3-Flash в формате selective EXL3, включая сценарии локального инференса на системах с несколькими GPU. Поддержка полноценного серверного запуска, проверки конечной точки, генерации ответов, vision и MTP для этой сборки ещё не подтверждена. Модель имеет архитектуру mixture-of-experts: 45 языковых слоёв, из которых 3 плотных и 42 маршрутизируемых MoE-слоя с 288 экспертами, top-8 routing и одним общим экспертом. Квантованы только gate/up/down-проекции маршрутизируемых экспертов в слоях 3–44 с представлением EXL3 Q4 и эффективной точностью 4,0 bpw; основные компоненты, включая attention, routers, shared experts, embeddings, LM head, нормы, vision и MTP, сохранены в исходной точности BF16. Артефакт занимает 187,45 ГБ и рассчитан на tensor parallel size 4. Сведения о поддерживаемых языках и максимальном контексте в README не указаны. Преимущество модели — существенное уменьшение размера экспертных весов при сохранении большей части исходной точности: на тесте Wikitext-2 прирост perplexity относительно BF16 составил 2,38%, а согласие top-1 — 91,70%. Ограничения связаны с нестандартным форматом checkpoint glm53-selective-exl3-tp4-v1: требуется совместимый loader для selective EXL3 и нельзя рассчитывать на стандартный Transformers или произвольный EXL3 runtime. Модель распространяется по лицензии MIT как производная от исходной модели Z.AI.

GLM-5-UD-Q4_K_XL-layers — пакет слоёв модели семейства GLM, подготовленный Mesh LLM для распределённого вывода на кластере локальных компьютеров. Он создан на основе unsloth/GLM-5-GGUF и сохраняет исходное распределение GGUF, разбитое на артефакты по слоям. Указанный вариант — UD-Q4_K_XL; формат исходных весов — GGUF, а пакет предназначен для запуска через библиотеку Mesh LLM. Модель используют для локального чат-вывода, в том числе когда полный файл слишком велик для одного компьютера: слои можно распределить между несколькими узлами. Mesh LLM предоставляет совместимый с OpenAI интерфейс чата и дополнений. В метаданных для модели указана задача text-generation и возможность chat. Пакет ориентирован на текстовый ввод и генерацию текста. Языки, размер модели и длина контекста в предоставленных сведениях не описаны. За сведениями об архитектуре, шаблоне чата, рекомендациях по настройке и лицензии README отсылает к исходной карточке unsloth/GLM-5-GGUF; условия лицензии здесь не приведены.

Это квантизированная GGUF-версия Gemma 3n E4B Instruct, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста, а также, согласно указанным тегам, для сценариев автоматического распознавания и перевода речи и преобразования аудио или видео в текст. Доступен запуск, в частности, через LM Studio и другие проекты на базе llama.cpp. В README указано, что модель имеет размер E4B и представлена в нескольких вариантах квантизации от Q2 до Q8, с размером файлов примерно от 3 до 7,35 ГБ. Более качественными и рекомендуемыми названы варианты Q5–Q8, а варианты Q3 и ниже подходят для систем с ограниченным объёмом оперативной памяти, но снижают качество. Мультимодальность, поддерживаемые языки и размер контекста в предоставленных данных не уточнены. Формат промпта требует проверки по исходной карточке модели, поскольку шаблон чата в README не задан явно. Модель удобна для локального запуска на совместимом оборудовании благодаря выбору уровней квантизации, однако качество зависит от выбранного варианта, а низкие уровни могут заметно уступать исходной модели. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует учитывать отдельно.

mradermacher/gpt-oss-20b-offload-i1-GGUF — квантизированная версия модели gpt-oss-20b-offload, разработанной myselfsaurabh и квантизированной mradermacher. Модель относится к causal language model с архитектурой mixture-of-experts и предназначена для генерации и обработки текста на английском языке. Распространяется в формате GGUF и ориентирована на запуск с распределением нагрузки между CPU и GPU, в том числе в средах вроде Colab. Размер исходной модели заявлен как 20B параметров, однако точные сведения о контекстном окне и мультимодальности отсутствуют. Репозиторий содержит варианты квантизации i1 с разными типами и размерами, примерно от 12,1 до 22,3 ГБ, включая IQ- и Q-варианты. Это позволяет выбирать компромисс между скоростью, занимаемой памятью и качеством; среди рекомендуемых указаны i1-Q4_K_S и i1-Q4_K_M, тогда как наиболее агрессивные варианты могут заметно снижать качество. Модель подходит для локального текстового вывода при ограниченных ресурсах, но README не содержит результатов бенчмарков или подробной оценки качества. Указана лицензия MIT.

Huihui-Qwen3.5-27B-abliterated-Athanorlite-ORPO-i1-GGUF — это квантизированная в формате GGUF версия модели Huihui-Qwen3.5-27B-abliterated-Athanorlite-ORPO. Базовую модель разработал nbeerbower, а квантизацию выполнил mradermacher. Для обучения или дообучения указана выборка schneewolflabs/Athanorlite-DPO; также модель связана с методом ORPO. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, поддерживающих GGUF. В README она обозначена как vision model, поэтому для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Заявлен английский язык. Размер модели составляет 27B параметров согласно идентификатору и названию базовой модели, однако сведения о длине контекста, точной архитектуре и полном наборе поддерживаемых модальностей не приведены. Доступно множество вариантов квантизации с размерами примерно от 7,2 до 16,6 ГБ и выше. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; в README вариант i1-Q4_K_M отмечен как рекомендуемый по сочетанию скорости и качества, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Ограничения включают возможное снижение качества из-за сильной квантизации, неполные сведения о производительности и отсутствие заявленных оценок. Лицензия в представленном README не указана, поэтому условия использования необходимо уточнять в репозитории базовой модели и связанных материалов.

K2-Horizon-MoVA-36B-A4B-Apex-Quant GGUF — это набор из трёх квантованных профилей модели K2-Horizon-MoVA-36B-A4B, опубликованный vincespeed на базе моделей IFM. Архитектура представляет собой MoE с механизмом MoVA (Mixture-of-Value Attention): всего около 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Модель предназначена для генерации текста и рассчитана на контекст до 524 288 токенов в режиме обучения, при этом практический диапазон зависит от доступной памяти для KV-кэша. В репозитории доступны профили i-quality размером 23,8 ГБ и 5,47 BPW, i-balanced размером 26,2 ГБ и 6,02 BPW, а также i-compact размером 17,6 ГБ и 4,04 BPW. Первый ориентирован на максимальное качество, второй сохраняет более высокую точность маршрутизируемых экспертов, а третий предназначен для развёртывания при ограниченных ресурсах. Квантование выполнено с использованием Apex-Quant — MoE-ориентированной смешанной точности, учитывающей важность различных групп слоёв. Основные ограничения связаны с совместимостью: для корректной работы требуется специальная ветка llama.cpp от MBZUAI-IFM с дополнительными исправлениями. Стандартная upstream-версия llama.cpp может не загрузить модель или выдавать повторяющиеся и некорректные токены; для Windows также требуется исправление обработки регулярного выражения токенизатора. В README не указаны языки обучения, результаты тестирования или прикладные преимущества по сравнению с исходной моделью. Модель и производные файлы распространяются по лицензии Apache-2.0.

Kanana 1.5 2.1B Base — базовая авторегрессионная языковая модель семейства Kanana, разработанная Kakao. Она предназначена для генерации текста и может служить основой для дообучения под диалоговые и прикладные задачи. В README отмечены улучшения семейства Kanana 1.5 в программировании, математике и вызове функций, а также более естественные диалоги после дообучения; эти характеристики не следует считать отдельной оценкой именно базовой версии. Модель построена на плотной архитектуре Llama и содержит 1,9 млрд параметров. Она принимает текст, поддерживает английский и корейский языки и имеет нативный контекст до 32 768 токенов; README также упоминает расширение до 128K с YaRN. Весовой формат — safetensors, библиотека — Transformers. Модель распространяется по лицензии Apache 2.0. Данные пользователей Kakao, согласно карточке, не использовались для предобучения или постобучения.

Leanstral-1.5-119B-A6B-NVFP4 — это общественный квантованный вариант модели Mistral AI Leanstral-1.5-119B-A6B, подготовленный пользователем sahilchachra. Модель предназначена для генерации текста и обработки изображений в мультимодальных сценариях, включая диалоговые приложения, работу с инструментами и задачи, поддерживаемые базовой моделью. Артефакт не связан официально с Mistral AI и создан на основе общественной конвертации модели в BF16. Архитектура объединяет текстовый бэкенд DeepSeek-V3 с MLA-вниманием и MoE-структурой, включающей 128 маршрутизируемых экспертов, 4 активных эксперта на токен и одного общего эксперта, а также визуальный энкодер Pixtral. Для языковых линейных слоёв и MoE-экспертов используется NVFP4 W4A4 с 4-битными весами; визуальный модуль, мультимодальный проектор, маршрутизатор, lm_head и эмбеддинги сохранены в полной точности. Поддерживаются текст и изображения, а токенизатором служит Tekken с форматом диалогов Mistral. Основное преимущество модели — существенное снижение точности хранения весов и ориентация на NVIDIA GPU класса Blackwell с аппаратной поддержкой FP4. При этом полноценная генерация на одной B200 ещё не подтверждена: зафиксированы проблемы совместимости с vLLM 0.23, Transformers деквантует NVFP4 в BF16, а визуальный путь не прошёл runtime-проверку. Масштабирование RoPE является приблизительным, поэтому работа с контекстом длиннее 8 тысяч токенов не гарантируется. Модель доступна на условиях лицензии other; применяются лицензия и условия исходной модели Mistral AI.

LiquidAI_LFM2-8B-A1B-GGUF — это набор квантизированных версий языковой модели LFM2-8B-A1B, разработанной LiquidAI и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от полноточного BF16 до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ3/IQ4 с размером файлов примерно от 3,3 до 16,7 ГБ. Квантизация выполнена с использованием imatrix, что призвано сохранить высокое качество при снижении требований к памяти. В README не указаны архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности, поэтому эти характеристики нельзя достоверно оценить. Сильная сторона набора — широкий выбор вариантов для различного объёма оперативной памяти: версии Q6 и Q5 позиционируются как почти не уступающие по качеству исходной модели, а Q4 — как сбалансированные по размеру и качеству. Более низкие квантизации экономят память, но могут заметно терять в качестве; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в представленном README не указана.

Llama2 7B Guanaco QLoRA — языковая модель на базе Llama 2, созданная Mikael и преобразованная в формат GGUF пользователем TheBloke. Модель предназначена для диалоговой генерации текста и запуска локального вывода через llama.cpp и совместимые графические интерфейсы и библиотеки. В карточке также указана классификационная метка text-classification, однако подробное описание сценариев классификации отсутствует. Модель содержит около 7 млрд параметров и представляет собой вариант Guanaco, полученный с использованием QLoRA; исходная версия доступна в формате FP16. Поддерживается английский язык. Поставляемые файлы имеют формат GGUFv2 и доступны с различными уровнями квантования от 2 до 8 бит, что позволяет выбирать компромисс между размером, требованиями к памяти и качеством. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию; совместимость заявлена с llama.cpp начиная с указанной версии, а также с рядом сторонних приложений. Сильной стороной модели является возможность локального запуска на CPU и GPU благодаря квантованным GGUF-файлам и широкой экосистеме совместимых инструментов. Ограничения включают отсутствие данных о размере контекста, результатах оценки, мультимодальности и точных требованиях к аппаратному обеспечению; заявлена только поддержка английского языка. Лицензия указана как llama2, но подробные условия в README не приведены.

Apollo Raines создал эту поведенчески модифицированную версию Llama-3.1-8B-Instruct с помощью инструмента jBlaze. Модель предназначена для диалогов и генерации текста с усиленным акцентом на фактическую точность, осторожность в выводах и точность численных ответов; примеры также показывают решение простых математических и программных задач и отказ от некоторых потенциально опасных запросов. В основе лежит плотная архитектура LlamaForCausalLM с 7,5 млрд параметров по метаданным, веса опубликованы в формате safetensors. Указанное контекстное окно — 131 072 токена. README заявляет, что изменения внесены непосредственно в веса без дополнительного обучения, однако метаданные классифицируют связь с базовой моделью как finetune. Для языка карточки указан английский. Модель распространяется по лицензии Llama 3.1. Автор описывает выпуск как демонстрационную версию с намеренно ограниченной выраженностью возможностей. В карточке заявлено, что известных проблем не наблюдалось, но это не является независимой оценкой качества; усиление осторожности может приводить к отказам на отдельных запросах.

Llama-Salad-8x8B-GGUF — это набор GGUF-квантизаций текстовой языковой модели Llama-Salad-8x8B, опубликованный и квантизированный пользователем bartowski. Исходная модель разработана HiroseKoichi. Модель предназначена для генерации текста и локального запуска через llama.cpp или совместимые инструменты инференса. В метаданных указаны архитектура MoE и семейство Llama 3; точное число параметров, размер контекста и список поддерживаемых языков не приведены. Модель работает с текстовой модальностью и использует формат промпта Llama 3 с системными, пользовательскими и ассистентскими сообщениями. Доступно множество вариантов квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 14,33 до 50,47 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной или видеопамяти, но заметно уступают по качеству; Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые. Ключевое преимущество — возможность подобрать компромисс между качеством, скоростью и требованиями к памяти для локального использования. Ограничения включают снижение качества при низких уровнях квантизации и отсутствие в README подробных данных о результатах тестирования, производительности и безопасностных свойствах; модель помечена тегами nsfw и not-for-all-audiences. Лицензия указана как llama3. Квантизации выполнены с использованием llama.cpp release b3086 и метода imatrix.

CobraMamba/mamba-gpt-3b-v4 — авторская дообученная языковая модель семейства Llama, созданная на основе openlm-research/open_llama_3b_v2. Она содержит 3,3 млрд параметров и предназначена для генерации текста, диалогов и ответов на запросы; обучение включало наборы Stanford Alpaca, Open Assistant, LIMA, CodeAlpaca, GPT-4 Generated Data и UltraChat. Модель принимает текст и выдаёт текст, поддерживает английский и многоязычные запросы; родной контекст составляет 2048 токенов. В карточке приведены результаты тестирования на MMLU, ARC и HellaSwag, однако заявленное превосходство над более крупными моделями следует считать утверждением разработчика, а не независимой оценкой. Модель может давать ошибочные или нерелевантные ответы и воспроизводить предвзятое либо оскорбительное содержание. Для использования опубликована лицензия Apache-2.0.

mlx-community/MiniMax-M2.1-4bit — это квантованная 4-битная версия модели MiniMax-M2.1, разработанная сообществом mlx-community и преобразованная из исходной модели MiniMaxAI/MiniMax-M2.1 в формат MLX с использованием mlx-lm 0.29.1. Модель предназначена для генерации текста и локального запуска в экосистеме MLX, например через библиотеку mlx-lm с поддержкой chat template. README не содержит сведений о точном размере модели, архитектуре, поддерживаемых языках, длине контекста или мультимодальных возможностях. Ключевое преимущество версии — 4-битное представление, потенциально снижающее требования к памяти при запуске, однако характеристики качества и совместимости относительно исходной модели не указаны. Модель распространяется по лицензии modified MIT; подробные условия доступны по ссылке на лицензию MiniMax-M2.1.

MixTAO-7Bx2-MoE-v8.1-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный MaziyarPanahi на основе оригинальной модели zhengr/MixTAO-7Bx2-MoE-v8.1, разработанной zhengr. Модель относится к архитектуре Mixture-of-Experts (MoE) и предназначена для локального запуска и генерации текста. Ключевая особенность репозитория — наличие квантованных вариантов с разрядностью от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. README не содержит сведений о точном числе параметров, контекстном окне, поддерживаемых языках, модальностях или результатах оценки качества. К сильным сторонам относятся разнообразие уровней квантования и возможность запуска через широкий набор локальных инструментов, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством. Ограничения включают возможные потери качества из-за квантования и отсутствие подробной информации о характеристиках исходной модели. Указана лицензия Apache-2.0.

Kimi-Linear-48B-A3B-Instruct-GGUF — набор GGUF-квантизаций модели Kimi-Linear-48B-A3B-Instruct, разработанной moonshotai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с llama.cpp, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 размером 98,29 ГБ до компактных IQ4_XS размером 26,46 ГБ и Q3/Q4-квантизаций. Наиболее качественными считаются BF16, Q8_0, Q6_K_L, Q6_K и варианты Q5; Q4 обеспечивают компромисс между качеством и требованиями к памяти, а Q3 экономят ресурсы ценой заметного снижения качества. Квантизация выполнена с использованием imatrix и llama.cpp. Из README не указаны поддерживаемые языки, размер контекста, точная архитектура, модальности и рекомендуемый формат запросов. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий адаптировать запуск к доступной оперативной памяти и вычислительным ресурсам. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов, возможным снижением качества при агрессивной квантизации и отсутствием в README сведений о языковых возможностях, контекстном окне и результатах оценки. Указана лицензия MIT; конкретные условия использования базовой модели следует дополнительно проверять на странице moonshotai/Kimi-Linear-48B-A3B-Instruct.

neo-3-3B-A400M-Base — базовая языковая модель семейства neo-3, разработанная авторами проекта neo. Она предназначена для генерации текста и служит основой для последующего дообучения под диалоговые, кодовые и рассуждательные сценарии. В карточке заявлена архитектура Mixtral MoE; веса опубликованы в формате Safetensors. Метаданные указывают 134,5 млн параметров и контекст до 32 768 токенов. README отдельно приводит 380 млн активных параметров для версии 3B-A400M. Модель предварительно обучена на корпусах, включающих Википедию, синтетические данные, математику и код. README сообщает о 1,2 трлн обучающих токенов и приводит результаты сравнительных тестов, где модель показывает разные результаты на общих и математических задачах. Указана лицензия MIT. Это базовая, а не готовая instruct-модель; опубликованные версии instruct/thinking на момент карточки ожидались отдельно.

Neural-una-cybertron-7b-imatrix-GGUF — набор GGUF-квантизаций модели Neural-una-cybertron-7b, связанной с базовой моделью fblgit/una-cybertron-7b-v2-bf16. Модель дополнительно дообучена методом Direct Preference Optimization (DPO) на датасете Intel/orca_dpo_pairs; при разработке также использовалась процедура, вдохновлённая NeuralHermes-2.5-Mistral-7B. Автор набора квантизаций в README явно не указан. Модель предназначена для генерации текста и диалогового использования через совместимые клиенты, включая llama.cpp, KoboldCPP, text-generation-webui, LM Studio и другие интерфейсы. Указан английский язык и текстовая модальность. Архитектура, точное число параметров базовой модели, размер контекста и перечень доступных вариантов квантизации в README не раскрыты. Для общения предусмотрен шаблон ChatML. К ключевым характеристикам относятся дообучение LoRA с последующим применением DPO; обучение проводилось на GPU Nvidia A100-SXM4-40GB около 1 часа 10 минут. Квантизация в формате GGUF облегчает локальный запуск и снижает требования к ресурсам по сравнению с полноразмерной моделью, однако конкретные компромиссы между качеством и размером зависят от выбранного варианта. Лицензия обозначена как other, без дополнительных условий в представленном README, поэтому применимость модели в конкретных проектах требует проверки исходных условий лицензирования.

OpenCrystal-15B-L3-v2-GGUF — это набор GGUF-квантизаций языковой модели OpenCrystal-15B-L3-v2, разработанной Darkknight535 и сконвертированной и квантизированной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через совместимые приложения, включая LM Studio. Доступны варианты от полноразмерных весов F16 объёмом около 30 ГБ до более компактных форматов Q2–Q8 и IQ. Версии с более высокой точностью обеспечивают качество, близкое к исходной модели, а варианты с меньшим размером рассчитаны на системы с ограниченными ресурсами; отдельные Q4_0-варианты оптимизированы для ARM и CPU-инференса. Модель относится к классу примерно 15-миллиардных параметров и использует текстовую модальность. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, обучающих данных или результатах бенчмарков. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и скоростью локального запуска, включая рекомендуемые варианты Q4–Q6. Ограничения зависят от выбранного уровня квантизации: компактные варианты могут заметно терять качество, а высокоточные требуют значительного объёма памяти. Лицензия в предоставленном README не указана, поэтому условия использования необходимо уточнить в карточке исходной модели.

balrogbob/open_llama_3b_v2-python-instruct-0.1.2 — языковая модель семейства Llama, разработанная balrogbob и дообученная на базе balrogbob/open_llama_3b_v2-python-instruct-0.1_4bit. Модель содержит 3,3 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и выполнения инструкций на английском языке. Её обучали с использованием Unsloth и библиотеки Hugging Face TRL. Репозиторий распространяется по лицензии Apache-2.0.

Модель balrogbob/open_llama_3b_v2-python-instruct-0.1.3 — дообученная разработчиком balrogbob версия Llama для генерации текста и выполнения инструкций на английском языке. Она создана на основе balrogbob/open_llama_3b_v2-python-instruct-0.1.2 с использованием Unsloth и библиотеки TRL. Модель имеет плотную архитектуру LlamaForCausalLM и 3,3 млрд параметров, принимает текст и генерирует текст. Длина контекста составляет 8192 токена. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не уточняет специализацию этого обновления относительно базовой версии, поэтому его отдельные преимущества и ограничения определить нельзя.

Это квантизированная версия языковой модели Phi-3-mini-4K-instruct-cpo-simpo в формате GGUF. Исходную модель разработал Syed-Hasan-8503, а файлы GGUF подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы с инструкциями, включая локальные чат-сценарии и другие задачи text generation. Модель использует контекст размером 4K токенов; её точный размер, архитектура, поддерживаемые языки и модальности в README не указаны. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством. Формат GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что упрощает локальный запуск с возможным GPU-ускорением. README не содержит сведений о лицензии, результатах тестирования, сильных сторонах и ограничениях исходной модели. Поэтому качество, область языковой применимости и практические требования к оборудованию следует оценивать отдельно.

Qwen2-0.5B-Instruct-MLX — инструкционно дообученная языковая модель из семейства Qwen2, разработанного командой Qwen. Это MLX-квантизированная версия модели Qwen2-0.5B-Instruct, предназначенная для генерации текста и диалогового взаимодействия, включая ответы на вопросы, краткие объяснения и работу в формате чат-ассистента. Модель относится к классу decoder-only языковых моделей и поддерживает применение chat template. Архитектура основана на Transformer с активацией SwiGLU, смещениями в attention QKV и group query attention. Размер модели — 0,5 млрд параметров. Токенизатор улучшен для работы с несколькими естественными языками и исходным кодом, однако в карточке явно указан только английский язык. Модель обучалась на большом объёме данных, а затем проходила supervised fine-tuning и direct preference optimization. Конкретный размер контекста и перечень поддерживаемых языков не указаны. К сильным сторонам относятся небольшой размер, инструкционное выравнивание, поддержка диалогового формата и возможность запуска через MLX. Ограничения связаны с компактным масштабом модели и отсутствием в карточке подробных результатов тестирования, точных характеристик квантования и сведений о качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B_Uncencored-GGUF — это GGUF-квантизированная версия модели SicariusSicariiStuff/Qwen2.5-14B_Uncencored, подготовленная пользователем bartowski с применением llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, с использованием указанного шаблона промпта в формате ChatML. Заявленный язык — английский. Модель относится к семейству Qwen2.5 и имеет размер 14B параметров. В репозитории представлены варианты от полноразмерного F16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих аппаратных инструкций. Сведения о поддерживаемых модальностях, максимальной длине контекста и точной архитектуре в README не указаны. Сильной стороной является широкий выбор квантизаций, включая варианты с высоким качеством и версии для устройств с ограниченными ресурсами. Ограничения зависят от выбранного варианта: более сильная квантизация уменьшает размер, но может снижать качество генерации; низкокачественные варианты прямо не рекомендуются. Модель обозначена как uncensored и имеет тег not-for-all-audiences, поэтому её поведение и результаты могут требовать дополнительного контроля. Указанная лицензия — Apache-2.0.

Qwen3-4B-Thinking-2507-MLX-8bit — это 8-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507, предназначенная для генерации текста и задач, требующих рассуждений. Исходную модель разработала команда Qwen, а MLX-квантизацию подготовила команда LM Studio с использованием mlx_lm. Модель оптимизирована для запуска на устройствах Apple Silicon через MLX, поэтому подходит для локального использования в сценариях генерации текста и экспериментирования с компактными reasoning-моделями. Она основана на архитектуре Qwen3-4B-Thinking-2507 и имеет размер 4 млрд параметров; сведения о поддерживаемых языках, длине контекста и дополнительных модальностях в README не указаны. Формат 8-bit снижает требования к памяти по сравнению с полноразмерной версией, однако конкретные показатели производительности и качества не приведены. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что README не содержит подробностей о сильных сторонах исходной модели, результатах оценки или известных ограничениях; как и другие языковые модели, она может генерировать неточную или неподходящую информацию.

Qwen3.8-27B-abliterated-MTP-GGUF — это GGUF-квантизация модели hotdogs/Qwen3.8-27B-abliterated, созданной на основе Qwen/Qwen3.8-27B. Разработчик описывает исходную модель как training-free abliterated-сборку с удалёнными отказами. Модель предназначена для генерации текста и локального запуска через llama.cpp; сохранённая MTP-голова позволяет использовать self-speculative decoding с параметром --spec-type draft-mtp. Модель содержит около 27 млрд параметров и доступна в вариантах от BF16 до квантизаций Q6_K-mixed, Q4_K_M-mixed и IQ4_NL-mixed. В смешанных вариантах эмбеддинги и выходные тензоры имеют тип q8_0, а остальные слои используют базовую точность; эти сборки откалиброваны с imatrix и рассчитаны на компромисс между размером и качеством. Заявлены языки English, Chinese и Thai. Поддержка контекстной длины и фактическая мультимодальность в предоставленных данных не указаны, хотя в метаданных присутствует тег image-text-to-text. Сильные стороны модели — несколько вариантов размера, близость наиболее качественных квантизаций к эталону f16 и поддержка MTP в основных mixed-сборках. Ограничения включают статус testing/development, отсутствие калибровки imatrix у ранней версии Q4_K_M, возможное ухудшение качества на низких разрядностях и отсутствие MTP у custom IQ2_M/IQ3_M-сборок. Модель распространяется по лицензии Apache-2.0.

Это квантованная GGUF-версия языковой модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем ubergarm с использованием imatrix-квантизации. Модель предназначена для генерации текста и диалоговых сценариев; запуск ориентирован на ik_llama.cpp. Указанная версия содержит MTP IQ4_KS-квантизацию размером около 15,75 ГиБ и использует 4,731 бит на вес. Для работы также предусмотрен мультимодальный проектор mmproj, однако конкретный набор поддерживаемых модальностей и языков в README не описан. Модель рассчитана на локальный инференс с экономией памяти и заявленной высокой эффективностью по показателю perplexity для своего объёма памяти. В примере запуска используется контекст до 131 072 токенов, CUDA и speculative decoding через MTP с параметром n_max=4. Для запуска требуется специальная ветка ik_llama.cpp; совместимость с основной версией llama.cpp, LM Studio и KoboldCPP зависит от конкретного варианта квантизации. README не приводит результаты прикладных тестов, перечень языков, точные архитектурные характеристики базовой модели или системные требования. Модель распространяется по лицензии Apache-2.0. Ограничения связаны с потерями точности, неизбежными при квантизации, зависимостью от специального программного обеспечения и необходимостью подбора аппаратной конфигурации для эффективной работы.