II.2Создание и понимание программного кода

Это GGUF-квантизированная версия языковой модели ContextPilot-14B, разработанной Tencent и подготовленной пользователем bartowski с помощью llama.cpp. Модель относится к классу text-generation, поддерживает только текстовый ввод и содержит около 15 млрд параметров. Для квантизации использовался метод imatrix; доступны варианты от BF16 до низкобитных форматов Q2 и Q3, а также Q4–Q8. ContextPilot-14B предназначена для генерации текста, задач управления контекстом, использования инструментов и агентских сценариев. Для работы следует применять указанный шаблон промпта с ролями system, user и assistant. Спекулятивное декодирование не поддерживается. Сильная сторона семейства — широкий выбор квантизаций, позволяющий найти компромисс между качеством, размером файла и требованиями к памяти; автор рекомендует Q4_K_M как сбалансированный вариант. Более низкие квантизации экономят память, но снижают качество, а некоторые форматы отмечены как устаревшие или не рекомендуемые. Языки, размер контекстного окна и точные архитектурные характеристики в README не указаны. Распространение заявлено по лицензии other; конкретные условия лицензии в README не приведены.

Tess-3-Mistral-Nemo-GGUF — набор GGUF-квантизаций текстовой генеративной модели Tess-3-Mistral-Nemo, опубликованный и сквантизированный пользователем bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана migtissera. Формат GGUF предназначен для локального запуска, в том числе через llama.cpp и LM Studio. Модель предназначена для генерации текста в диалоговом формате с системными инструкциями и пользовательскими запросами. В репозитории представлены варианты от исходных весов F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также вариантов IQ. Размер файлов составляет примерно от 4,14 до 49 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, тогда как младшие варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для некоторых вариантов применена схема с весами embeddings и output, сохранёнными в Q8_0, что, согласно описанию, может улучшать качество, хотя эффект зависит от сценария. Конкретные архитектурные параметры, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

GLM-Z1-9B-0414-GGUF — это квантизированная версия языковой модели GLM-Z1-9B-0414, разработанной THUDM и подготовленной к публикации в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Заявлена поддержка китайского и английского языков. Модель содержит около 9 миллиардов параметров; точная архитектура и размер контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантизация выполнена с использованием llama.cpp и метода imatrix; также отмечено исправление токенизатора. Сильной стороной модели является возможность локального запуска на широком спектре конфигураций с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают возможное снижение качества у низкобитных вариантов, отсутствие сведений о результатах оценки, точной архитектуре и контекстном окне, а также необходимость соблюдать указанный формат промпта. Модель распространяется по лицензии MIT.

Tower+ 9B — многоязычная языковая модель Unbabel на архитектуре Gemma 2 с 9 млрд параметров. Она создана на основе google/gemma-2-9b и прошла непрерывное предварительное обучение, настройку на следование инструкциям и оптимизацию предпочтений. Модель принимает текст и генерирует текст; контекстное окно составляет 8192 токена. Модель предназначена прежде всего для многоязычных задач, особенно машинного перевода. Она также подходит для выполнения инструкций на разных языках, включая задачи на рассуждение и код, а также для создания синтетических многоязычных данных. В карточке заявлена поддержка 22 языков, включая русский, английский, немецкий, французский, испанский, китайский, японский, хинди и украинский. Модель распространяется в формате Safetensors и доступна через Transformers. Лицензия в метаданных — CC-BY-NC-SA-4.0; README указывает CC-BY-NC-4.0, поэтому условия следует сверить с актуальной лицензией репозитория. Авторы отмечают высокую эффективность в переводе, но не приводят количественных оценок в предоставленной карточке.

YamshadowInex12_YamshadowT3q — слитая модель для генерации текста, созданная MaziyarPanahi на основе automerger/YamshadowInex12-7B и automerger/YamshadowT3q-7B. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации продолжений и ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

SERA-8B-GGUF — это набор GGUF-квантизированных версий языковой модели SERA-8B, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет размер 8B параметров и поддерживает текстовый ввод и вывод. Доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми обозначены, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты с более высоким качеством; размеры файлов находятся примерно в диапазоне от 3,37 до 16,39 ГБ. Для диалогового использования README указывает шаблон промпта с ролями system, user и assistant. Сильная сторона набора — возможность запускать SERA-8B на локальном оборудовании с разными ограничениями по памяти, сохраняя приемлемое качество при средних и высоких уровнях квантизации. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а для недавно поддерживаемых архитектур может потребоваться обновление используемого программного обеспечения. Языки, размер контекстного окна и специализированные возможности исходной модели в README не указаны. Распространение заявлено по лицензии Apache-2.0.

AlloyingotneoyExperiment24-7B — автоматически объединённая Maxime Labonne методом SLERP плотная языковая модель семейства Mistral с 7,1 млрд параметров. В слиянии участвуют nlpguy/AlloyIngotNeoY и yam-peleg/Experiment24-7B; конфигурация задаёт разное смешивание слоёв self-attention и MLP, а результат сохранён в формате safetensors с точностью bfloat16. Модель предназначена для генерации текста и может применяться в сценариях, поддерживаемых исходными моделями. Контекстное окно — до 32 768 токенов. В карточке нет сведений о целевых языках или специализированной области применения, поэтому её следует рассматривать как модель общего назначения. Лицензия — Apache-2.0.

MaziyarPanahi/calme-2.4-llama3-70b-GGUF — это набор файлов модели в формате GGUF для модели MaziyarPanahi/calme-2.4-llama3-70b. Модель разработана и квантована MaziyarPanahi, а GGUF поддерживается экосистемой llama.cpp. По назначению это текстовая generative-модель на базе Llama 3 для локального запуска и генерации текста. В README указано, что доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Формат совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и другими инструментами. Поддерживаются сценарии локального использования, включая запуск через графические интерфейсы, серверы и OpenAI-совместимые API. Из предоставленных данных не указаны точная архитектура исходной модели, размер контекста, поддерживаемые языки, результаты оценки, системные требования и ограничения качества. Лицензия в README не указана; условия использования следует уточнять в карточке исходной модели и репозитории. Split-файлы объединять вручную не требуется: совместимые библиотеки могут загрузить их автоматически по первому файлу.

ChatAllInOne-Yi-34B-200K-V1-GGUF — квантизированная GGUF-версия текстовой генеративной модели ChatAllInOne-Yi-34B-200K-V1, разработанной DrNicefellow. Квантизацию выполнила Second State Inc.; базовая модель указана как DrNicefellow/ChatAllInOne-Yi-34B-200K-V1. Модель предназначена для диалоговой генерации текста и запуска в совместимых средах, включая LlamaEdge. Для взаимодействия используется шаблон vicuna-1.1-chat с ролями USER и ASSISTANT. В основе лежит модель класса Yi с 34 млрд параметров; заявленное название содержит указание на контекст до 200K, однако в README для запуска через LlamaEdge указан размер контекста 7168, поэтому фактический поддерживаемый контекст зависит от конфигурации и среды выполнения. Модель работает только с текстом; сведения о языках не приведены. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 12,8 до 36,5 ГБ. Q4_K_M обозначен как рекомендуемый сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества. Главное преимущество — возможность запускать крупную 34B-модель в квантизированном формате с выбором компромисса между размером файла, требованиями к ресурсам и качеством. Низкобитные варианты заметно экономят память, но сопровождаются существенной потерей качества; для практического использования README рекомендует Q4_K_M или более точные варианты Q5. Модель распространяется по лицензии yi-license; ссылка на текст лицензии приведена в README.

Experiment28T3q_ShadowExperiment29 — объединённая модель семейства Mistral, созданная на основе automerger/Experiment28T3q-7B и automerger/ShadowExperiment29-7B. Она предназначена для генерации текста и может использоваться в сценариях, где требуется получать текстовые ответы или продолжения по текстовому запросу. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors. Модель распространяется по лицензии Apache-2.0. В доступных данных не описаны её языковое покрытие и специальные области применения.

ApolloRaines/Gemma-4-12B-it-Jbliterated-v2 — языковая модель для генерации текста, разработанная ApolloRaines на основе Gemma-4-12B-it-Jbliterated. Это объединённая самодостаточная версия с целевым дообучением (SFT), направленным на снижение скрытых циклов самопроверки безопасности в reasoning-трассах и повышение вероятности завершённого ответа. Модель предназначена для диалоговых сценариев, генерации текста и локального запуска через Transformers или в формате GGUF. Модель имеет размер 12B параметров, использует архитектуру Gemma 4 Unified и тип данных bfloat16. Поддерживаемый язык, указанный в карточке, — английский. Модель работает с текстовой модальностью; размер контекстного окна в README не указан. Доступны варианты GGUF с квантованием Q8_0 и Q4_K_M, причём Q4_K_M рекомендован для видеокарт с 8–12 ГБ памяти. Для GGUF требуется свежая версия llama.cpp из ветки master. По сравнению с исходной версией v1 модель снизила частоту safety-классификации в reasoning-канале с 81,2% до 35,0%, а долю полных ответов повысила с 61,2% до 78,8% на указанном наборе из 80 тестовых запросов. При этом показатель MMLU снизился на 0,88 процентного пункта — до 77,72%. Ограничения включают сохраняющиеся спирали без ответа примерно на 21% самых сложных запросов, оценивание на одном обучающем запуске и возможное неполное выявление замаскированной safety-классификации используемым регулярным выражением. Использование модели регулируется Gemma Terms of Use, то есть лицензией Google для Gemma.

Gemma 4 26B A4B it GGUF — это квантизированный набор файлов модели google/gemma-4-26B-A4B-it, подготовленный пользователем giladgd в формате GGUF для запуска через node-llama-cpp и llama.cpp. Модель относится к классу conversational и имеет тег image-text-to-text, что указывает на поддержку сценариев диалогового взаимодействия и обработки текста совместно с изображениями. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16 размером от 10,6 до 50,5 ГБ. README не содержит сведений о точной архитектуре, максимальной длине контекста, поддерживаемых языках, результатах оценки или конкретных ограничениях качества. Квантование уменьшает требования к хранению и памяти по сравнению с полноформатной версией, однако более компактные варианты могут уступать ей по качеству. Модель предназначена для локального использования в приложениях и чат-сценариях через node-llama-cpp или llama.cpp; доступны CLI и программный интерфейс на TypeScript. Лицензия указана как Apache-2.0, при этом для Gemma приведена отдельная ссылка на условия лицензии Google.

Gemma 4 E2B CoreAI — текстовая decoder-модель, экспортированная пользователем mlboydaisuke из базовой модели google/gemma-4-E2B-it для запуска через Apple Core AI на устройствах с iOS 27 и macOS 27. Модель предназначена для локальной генерации текста, диалоговых сценариев, суммаризации и офлайн-ассистентов; интеграция возможна через CoreAIKit и Swift. Поддерживаются GPU и Neural Engine Apple, включая iPhone и Mac, без обязательной отправки данных на сервер. Опубликованы квантизированные варианты с int4 и int8, включая конфигурации с пользовательскими Metal-ядрами для GPU и отдельные варианты для Neural Engine. Размер загружаемого комплекта составляет около 4,9 ГБ, а заявленная скорость декодирования достигает 22 токенов/с на iPhone 17 Pro и 56,6–59 токенов/с на M4 Max в Release-сборке; показатели зависят от платформы и конфигурации. В README не указаны языки, размер контекстного окна и точные архитектурные параметры. Модель рассчитана на экосистему Apple, требует iOS 27 или macOS 27 и может нуждаться в повышенном лимите памяти на iPhone. Лицензия указана как Apache-2.0, при этом для Gemma приведена отдельная ссылка на условия Google.

Это пакет слоёв GGUF для GLM-4.7-Flash-REAP-23B-A3B в варианте UD-Q4_K_XL, подготовленный Mesh LLM на основе unsloth/GLM-4.7-Flash-REAP-23B-A3B-GGUF. Вместо единого файла веса модели распределены по артефактам слоёв для запуска через Mesh LLM. Пакет предназначен для локального диалогового вывода, в том числе на нескольких машинах, когда модель целиком не помещается на одном узле. Mesh LLM может предоставлять совместимый с OpenAI интерфейс чата и completions. Метаданные классифицируют модель как text-generation с возможностью chat; исходная карточка также указывает GGUF и распределённый формат поставки. Это производный пакет с квантизацией Q4_K_XL; лицензия, число параметров, поддерживаемые языки и длина контекста в предоставленных материалах не описаны. Для этих сведений и рекомендаций по шаблону чата README отсылает к карточке исходной модели.

MLX-совместимая 4-битная квантизованная версия GLM-5.3, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-5.3-BF16 с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что она комфортно помещается в такой конфигурации. Поддерживаемые языки — английский и китайский. Ключевое преимущество версии — стандартная 4-битная квантизация, которую авторы описывают как стабильную и быструю по сравнению с некоторыми альтернативными рецептами квантизации, склонными к избыточному обдумыванию и повторному пересмотру решений. Для работы используется библиотека MLX и пакет mlx-lm. Архитектура, точный размер модели, длина контекста, дополнительные модальности и результаты benchmark в README не указаны. Лицензия обозначена как other с названием glm-5.3; конкретные условия необходимо уточнять в лицензии исходной модели.

GreenNode-mini-7B-v1olet-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и GreenNode-mini-7B-v1olet методом SLERP. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель опубликована в формате Safetensors под лицензией Apache-2.0. README описывает конфигурацию слияния, но не уточняет языковой охват и специализированные области применения; пригодность для конкретных задач следует проверять отдельно.

Это GGUF-квантизация модели grimjim/Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge, подготовленная featherless-ai-quants. Модель относится к семейству Llama 3 Instruct, предназначена для генерации текста и использования в диалоговых и других текстовых сценариях. Из README следует, что базовая модель имеет размер 8B параметров, однако сведения об архитектуре, языках, размере контекста и исходном разработчике не указаны. Репозиторий предоставляет несколько вариантов квантизации GGUF: от Q2_K и Q3_K до Q8_0, а также IQ4_XS. Они различаются размером файлов — примерно от 3 до 8 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Конкретные показатели производительности и качества в README не приведены, поэтому сильные стороны модели можно оценить только как практическую доступность различных уровней квантизации; возможное снижение качества при более агрессивной квантизации остается ограничением. Лицензия и условия использования в README не указаны. Сведения о поддерживаемых модальностях ограничены текстовой генерацией; данные о работе с изображениями, аудио или другими типами входов отсутствуют.

K2-Horizon-7B-Uno MLX 4-bit — 8-миллиардная плотная авторегрессионная языковая модель для генерации текста и диалогов, опубликованная hermitdave. Она основана на IFM/K2-Horizon-7B-Uno, модели Institute of Foundation Models, и описана как языковая модель с дополнением на основе диффузии. В этой версии адаптер LoRA объединён с базовыми весами, после чего модель равномерно квантована до 4 бит и преобразована в формат MLX для запуска на Apple Silicon. Модель предназначена для генерации ответов и пошаговых рассуждений в диалоговом режиме. Заявленная длина контекста — 524 288 токенов. Для работы с MLX используется библиотека mlx-lm; README также указывает, что для K2-Horizon в oMLX требуется версия 0.6.4 или новее с соответствующим патчем. Модель распространяется по лицензии Apache 2.0. Квантование до 4 бит может влиять на точность по сравнению с исходными весами; независимые оценки качества в предоставленных материалах отсутствуют.

Kimi-K2-Instruct-4bit — это 4-битная версия модели Kimi-K2-Instruct, преобразованная сообществом mlx-community в формат MLX из исходной модели moonshotai/Kimi-K2-Instruct. Конвертация выполнена с использованием mlx-lm версии 0.26.0. Модель предназначена для генерации текста в сценариях, поддерживаемых библиотекой mlx-lm, включая диалоговое взаимодействие и выполнение инструкций. README указывает текстовую генерацию и использование chat template, однако сведения об архитектуре, числе параметров, поддерживаемых языках, длине контекста и дополнительных модальностях не приведены. Основная особенность модели — 4-битное представление, рассчитанное на запуск в экосистеме MLX. Это может снизить требования к памяти по сравнению с полноразмерной версией, но README не содержит результатов оценки качества, производительности или подробностей ограничений квантования. Лицензия указана как modified-MIT; условия её модифицированного варианта следует проверить в сопроводительных материалах модели.

Llama 2 70B Orca 200k — языковая модель для генерации текста и выполнения инструкций, созданная ddobokki на базе Llama 2 70B. Репозиторий TheBloke содержит её квантованные версии в формате GGUF; исходная модель доступна в формате PyTorch fp16. Модель ориентирована на англоязычные сценарии общения, ответов на запросы и других задач text-generation. Модель имеет архитектуру Llama и 70 миллиардов параметров. Вариант GGUF предназначен для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти и сохранением качества, однако README не приводит точных характеристик контекстного окна, результатов тестирования или производительности. К сильным сторонам относятся большой размер модели, instruction-tuned назначение, поддержка локального CPU+GPU-инференса и широкий выбор уровней квантования. Ограничения включают высокие требования к ресурсам для 70B-модели, возможное снижение качества из-за квантования и отсутствие заявленных мультимодальных возможностей; указана только поддержка языка English. Использование регулируется лицензией Llama 2.

Это вариант диалоговой модели Llama 2 7B Chat от Meta, подготовленный arnavgrg: веса после загрузки с 4-битной квантизацией NF4 в bitsandbytes были преобразованы обратно в FP16. Модель использует плотную архитектуру Llama и предназначена для генерации текста в формате чата; её можно загружать через Transformers. Контекст модели составляет 4096 токенов, размер — около 6,6 млрд параметров. Преобразование NF4 с потерями снижает качество относительно официальной базовой модели. Лицензия репозитория — Apache-2.0.

TheBloke/Llama-2-7B-GPTQ — квантизированная версия языковой модели Llama 2 7B, разработанной Meta и основанной на meta-llama/Llama-2-7b-hf. Репозиторий подготовлен TheBloke и предназначен для генерации текста на английском языке. Модель использует архитектуру Llama и содержит 7 миллиардов параметров. Представлены варианты GPTQ-квантизации в основном с разрядностью 4 бита, размером примерно 3,90–4,28 ГБ и длиной последовательности 4096 токенов. Доступны конфигурации с разными group size и Act Order: варианты с меньшим group size обеспечивают более высокое качество, но требуют больше видеопамяти. Некоторые файлы совместимы с ExLlama и рассчитаны на инференс на GPU. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с полной моделью и наличие нескольких вариантов квантизации для выбора между качеством и эффективностью. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от совместимого программного обеспечения и преимущественной ориентацией на GPU-инференс. Модель распространяется по лицензии Llama 2.

Llama-3-8B-Instruct-MopeyMule-IMat-GGUF — это квантизированная GGUF-версия инструкционной языковой модели failspy/Llama-3-8B-Instruct-MopeyMule. Модель подготовлена пользователем legraphista с помощью llama.cpp версии b3056 и предназначена для текстовой генерации и диалогового применения в совместимых инструментах, включая llama.cpp. В README указана поддержка английского языка. Модель основана на архитектуре Llama 3 с 8 млрд параметров; исходный тип данных — BF16. Доступны варианты от BF16 и F16 до Q1–Q8, включая квантизации с применением IMatrix, рассчитанные на снижение требований к памяти при локальном запуске. Для некоторых вариантов доступны файлы размером примерно от 3,18 до 16,07 ГБ. Мультимодальность и размер контекста в предоставленных данных не указаны. Основные преимущества — широкий выбор уровней квантизации, формат GGUF и применение IMatrix для ряда низкоразрядных вариантов, что может облегчать запуск на устройствах с ограниченными ресурсами. Ограничения включают отсутствие сведений о результатах тестирования, точных характеристиках контекста и качестве на конкретных задачах, а также возможное снижение точности при использовании сильной квантизации. Лицензия указана как llama3 с общей категорией other; перед использованием следует проверить условия лицензии исходной модели.

MaziyarPanahi/Llama-3-8B-Instruct-v0.4-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-v0.4. Модель разработана и квантована MaziyarPanahi и предназначена для генерации текста и диалоговых сценариев на основе инструкций. Модель относится к семейству Llama 3 и имеет размер 8B параметров, что указано в её названии. Доступны варианты квантования с разрядностью от 2 до 8 бит, поэтому можно выбирать баланс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается llama.cpp и рядом локальных инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие решения. К сильным сторонам относятся локальный запуск, широкий выбор уровней квантования и совместимость с популярной экосистемой GGUF. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, результатах оценки, системных требованиях или лицензии, поэтому эти характеристики нельзя достоверно определить по представленным данным.

Llama-3-Instruct-8B-SPPO-Iter3-IMat-GGUF — это GGUF-квантизированная версия языковой модели UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3. Модель подготовлена пользователем legraphista с использованием llama.cpp и методов IMatrix; исходный формат весов — BF16. В качестве данных для исходной модели указана коллекция openbmb/UltraFeedback. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая работу через совместимые с llama.cpp локальные приложения. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, а также ряд IQ-квантизаций. Размер файлов варьируется примерно от 3,18 до 16,07 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Для ряда вариантов с более сильным сжатием применена IMatrix, призванная уменьшить потери качества при квантовании. Сильной стороной модели является возможность локального запуска в формате GGUF и широкий выбор уровней квантования, включая варианты, оптимизированные для ограниченных ресурсов. Ограничения включают потенциальное снижение качества при использовании низкобитных вариантов; конкретные характеристики контекстного окна, архитектуры, мультимодальности и производительности в README не указаны. Лицензия — Apache 2.0.

Llama 3 Tulu V2 8B — языковая модель-помощник от AllenAI, дообученная на базе meta-llama/Meta-Llama-3-8B на смеси общедоступных, синтетических и созданных людьми инструкций и диалогов. Модель с плотной архитектурой Llama содержит 7,5 млрд параметров и предназначена для генерации ответов в диалогах и выполнения разнообразных инструкций; основной язык — английский. Указанный родной размер контекста — 8129 токенов. Модель подходит для прототипирования англоязычных помощников, ответов на вопросы, объяснений и других задач генерации текста. В карточке приведены результаты сравнительных тестов, однако они не гарантируют качество для конкретного сценария. Модель не прошла этап выравнивания RLHF и не использует фильтрацию ответов во время работы, поэтому может выдавать небезопасный или проблемный контент. Лицензия репозитория — Apache 2.0; карточка также отмечает лицензию Meta Llama 3 для базовой модели.

bartowski/magnum-v3-27b-kto-GGUF — это набор GGUF-квантизированных версий языковой модели anthracite-org/magnum-v3-27b-kto. Квантизация выполнена bartowski с использованием llama.cpp, версии b3715, и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые приложения, включая LM Studio. Для взаимодействия рекомендуется шаблон сообщений ChatML с ролями system, user и assistant. Модель имеет 27 миллиардов параметров; README не указывает точную базовую архитектуру, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от F16 до Q2_K, включая Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и другие форматы. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; низкоразрядные варианты уменьшают требования к памяти за счёт снижения качества. Для ARM-процессоров предусмотрены специальные варианты Q4_0 с требованиями к поддержке SVE или i8mm. Сильной стороной набора является широкий выбор размеров файлов и уровней квантизации, позволяющий адаптировать запуск под доступную оперативную память; варианты Q6_K_L, Q6_K, Q5_K и Q4_K отмечены как рекомендуемые. Ограничения включают значительные требования к памяти для полноразмерных вариантов и возможное ухудшение качества у низкоразрядных форматов. Лицензия в README не указана.

MaziyarPanahi/mergekit-slerp-kxeioog-GGUF — это набор квантизованных моделей в формате GGUF для текстовой генерации. Исходная модель создана сообществом mergekit-community, а данный вариант подготовлен и квантизован MaziyarPanahi. Модель mergekit-slerp-kxeioog связана с объединением моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и arcee-ai/sec-mistral-7b-instruct-1.6-epoch; в описании также указана архитектурная принадлежность к семейству Mistral и размер порядка 7 миллиардов параметров. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки, такие как llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и GPT4All. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Поддерживается формат GGUF, ориентированный на эффективный запуск моделей, в том числе с аппаратным ускорением. К сильным сторонам относятся широкий выбор уровней квантизации и совместимость с популярной экосистемой локального инференса. Ограничения, точная длина контекста, перечень поддерживаемых языков, результаты оценивания и особенности качества в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в исходных репозиториях и карточках базовых моделей.

RemySkye/MiniCPM5-1B-i1-GGUF — это набор квантизированных версий языковой модели openbmb/MiniCPM5-1B, опубликованный в формате GGUF. Квантизация выполнена с помощью llama.cpp и Importance Matrix (imatrix). Модель предназначена для генерации текста, работы с длинным контекстом и сценариев с вызовом инструментов, включая локальное и периферийное развертывание на устройствах с ограниченными ресурсами. В репозитории доступны 26 файлов: базовые варианты BF16, FP16 и FP32, а также 23 уровня квантизации, включая IQ1_S, IQ2_XXS, Q4_K_M и Q8_0. Модель содержит около 1 млрд параметров и заявлена для работы с английским языком. Точные характеристики контекстного окна и поддерживаемых модальностей в README не указаны; по представленным данным это текстовая модель. Основные преимущества — широкий выбор форматов и уровней квантизации, возможность локального запуска и адаптация к разным ограничениям по памяти. Ограничение состоит в том, что квантизация ниже 4 бит может приводить к неприемлемому снижению качества, особенно для модели такого небольшого размера. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-8bit — языковая модель для генерации текста, разработанная openbmb и преобразованная сообществом mlx-community в формат MLX. Исходная модель — openbmb/MiniCPM5-2B; конвертация выполнена с помощью mlx-lm версии 0.31.3 с 8-битным квантованием и размером группы 64. Модель предназначена для текстовой генерации на устройствах и периферийных системах, включая локальные сценарии и edge AI. Заявлены поддержка английского и китайского языков, работы с длинным контекстом и вызова инструментов. Она может использоваться через библиотеку mlx-lm для загрузки модели, применения chat-шаблона и генерации ответов. Точные сведения об архитектуре, размере контекста и дополнительных возможностях в README не указаны. К сильным сторонам относятся компактный размер исходной модели 2B, 8-битное представление для более эффективного локального запуска и интеграция с MLX. Ограничения включают отсутствие заявленной мультимодальности и неполные сведения о производительности, точной длине контекста и качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.