II.2Создание и понимание программного кода

TinyLlama 1.1B Chat v0.2 GGUF — это квантованные файлы чат-модели TinyLlama 1.1B Chat v0.2 в формате GGUF. Модель создана PY007 на основе оригинальной модели TinyLlama; исходный проект связан с репозиторием TinyLlama. В карточке указаны обучающие наборы Cerebras SlimPajama-627B, BigCode StarCoderData и OpenAssistant OASST Top1 2023-08-25. Заявленный язык — английский. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. GGUF содержит метаданные и поддержку специальных токенов, а модель рассчитана на использование с чат-шаблоном TinyLlama. Размер модели — 1,1 млрд параметров; архитектура, длина контекста и точные варианты квантования в предоставленных данных не указаны. К сильным сторонам относятся небольшой размер, локальный запуск и широкая совместимость с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами. Ограничения включают ориентацию на английский язык, неизвестные в карточке характеристики качества и необходимость изменить режим RoPE в llama.cpp с mode 0 на mode 2; без этого совместимость может быть нарушена. Файлы распространяются по лицензии Apache-2.0.

TinyLlama-1.1B-Chat-v0.6 — компактная чатовая языковая модель проекта TinyLlama, разработанная как модель семейства Llama с архитектурой и токенизатором, совместимыми с Llama 2. Модель содержит 1,1 млрд параметров и предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель дообучена на базе TinyLlama-1.1B-intermediate-step-955k-2T по рецепту обучения, использованному для Zephyr. Сначала применялся вариант датасета UltraChat с синтетическими диалогами, затем выполнено выравнивание методом DPO на датасете UltraFeedback, содержащем 64 тысячи промптов и ранжированные GPT-4 варианты ответов. Модель поддерживает чатовый шаблон и может использоваться в приложениях, где важны небольшой объём памяти и ограниченные вычислительные ресурсы. К сильным сторонам относятся компактный размер, совместимость с экосистемой открытых проектов для Llama и адаптация к диалоговым сценариям. Ограничениями являются небольшой по современным меркам размер модели, английская языковая специализация и отсутствие заявленной поддержки других модальностей или расширенного контекста в предоставленных данных; поэтому её возможности и качество могут уступать более крупным моделям в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Tulu V2.5 DPO 13B StackExchange 60k — англоязычная чат-модель от Allen Institute for AI (AI2), созданная для диалогов с помощником и генерации текста. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров и контекстом до 4096 токенов; она принимает текст и выдаёт текст. Модель дообучена методом DPO на случайной подвыборке из 60 тысяч пар предпочтений StackExchange, начиная с Tulu 2; в основе — allenai/tulu-2-13b, дообученная на инструкциях Llama 2. Её можно использовать для ответов на вопросы, помощи с инструкциями и ведения англоязычных диалогов. Для лучшего качества следует соблюдать шаблон сообщений, встроенный в токенизатор. Модель распространяется по лицензии Apache 2.0. В карточке отмечено, что в ходе RLHF модель не обучали выдавать безопасные ответы и не применяли фильтрацию ответов во время использования; она может генерировать проблемный контент, особенно по соответствующему запросу.

Venomia-1.1-m7-Mistral-7B-Instruct-v0.2-slerp-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi. Модель основана на MaziyarPanahi/Venomia-1.1-m7-Mistral-7B-Instruct-v0.2-slerp, которая, согласно идентификатору и тегам, связана с Mistral-7B-Instruct-v0.2. В README не приведено отдельное описание архитектуры исходной модели, но указан размер 7B и назначение для генерации текста и диалоговых сценариев. Основной сценарий использования — локальный запуск текстовой генерации и conversational-приложений через llama.cpp и совместимые инструменты, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python, Candle и другие клиенты. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством ответов. Формат GGUF удобен для локального инференса, в том числе с аппаратным ускорением, но конкретные требования к памяти, производительность и контекстное окно в README не указаны. К сильным сторонам относятся поддержка множества уровней квантизации, совместимость с распространёнными локальными средами и возможность запуска без полного исходного набора весов. Модель предназначена только для текстовой модальности; поддерживаемые языки и специальные ограничения качества не указаны. В метаданных заявлена лицензия Apache-2.0.

Salesforce/xLAM-8x7b-r — большая языковая модель серии xLAM от Salesforce для агентских сценариев и вызова функций. Модель построена на архитектуре Mixtral с разреженной экспертной структурой (MoE); в README для этой версии указано 46,7 млрд параметров, а метаданные каталога указывают 7,1 млрд. Контекст составляет 32 768 токенов. Модель принимает текст и генерирует текст, в том числе структурированные вызовы инструментов в формате JSON. Модель предназначена для интерпретации намерений пользователя, планирования шагов и взаимодействия с инструментами в составе AI-агентов, а также для многошаговых диалогов с вызовом функций. Для лучших результатов README рекомендует использовать формат prompt и вспомогательные функции проекта. Карточка позиционирует выпуск как исследовательский; лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения.

YamshadowInex12_Experiment28Neuralsirkrishna — слитая автором модели MaziyarPanahi языковая модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она объединяет модели automerger/YamshadowInex12-7B и automerger/Experiment28Neuralsirkrishna-7B. Модель предназначена для генерации текста; метаданные указывают контекст до 32 768 токенов. Карточка не описывает специализацию, целевые языки или результаты оценки качества, поэтому модель можно охарактеризовать только как генеративную модель общего назначения. Файлы весов представлены в формате safetensors. Лицензия — Apache-2.0. README и метаданные не содержат сведений о специальных ограничениях или проверках качества.

MaziyarPanahi/YamshadowInex12_T3qT3qm7 — слитая модель семейства Mistral с архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Она создана объединением automerger/YamshadowInex12-7B и automerger/T3qT3qm7-7B. Модель предназначена для генерации текста по текстовому запросу. Контекстное окно составляет до 32 768 токенов; веса доступны в формате Safetensors. Данных о специализации на конкретных языках или предметных областях нет. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях или результатах оценки качества.

YamshadowStrangemerges_32_Experiment26Experiment30 — объединённая методом слияния модель Mistral с 7,1 млрд параметров, разработанная MaziyarPanahi на основе automerger/YamshadowStrangemerges_32-7B и automerger/Experiment26Experiment30-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель представлена в формате safetensors и распространяется по лицензии Apache-2.0. Данных о специализированных областях применения и языках в карточке нет.

YamT3qm7xp_Experiment27Yam — объединённая текстовая генеративная модель на архитектуре Mistral, разработанная на основе automerger/YamT3qm7xp-7B и automerger/Experiment27Yam-7B. В репозитории указаны веса в формате Safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста. Карточка не описывает специальные сценарии применения, языки, методы объединения моделей или сравнительные результаты. Лицензия — Apache-2.0.

AM-Thinking-v1-GGUF — это квантизированная версия языковой модели AM-Thinking-v1, разработанной командой a-m-team и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В README она обозначена как text-generation-модель, однако подробные сведения о её архитектуре, числе параметров, поддерживаемых языках и размере контекста не указаны. Доступно множество вариантов квантования — от BF16 и Q8_0 до Q2_K_L, включая форматы Q6_K, Q5_K и Q4_K. Размер файлов составляет примерно от 13 до 66 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше памяти. В README рекомендуются, в частности, Q6_K_L, Q6_K, Q5_K и Q4_K_M. Ключевое ограничение — возможная потеря качества при низких уровнях квантования, а также отсутствие подробных данных о сильных сторонах модели и результатах тестирования. Для работы используется формат prompt с ролями system, user и assistant. Квантизация выполнена с помощью llama.cpp с использованием imatrix. Модель распространяется по лицензии Apache-2.0.

bartowski/arcee-lite-GGUF — это набор квантизированных вариантов языковой модели arcee-lite, разработанной arcee-ai и преобразованной в формат GGUF с использованием llama.cpp. Квантизация выполнена bartowski методом imatrix; модель предназначена для генерации текста и локального запуска, в частности через LM Studio и совместимые инструменты llama.cpp. Доступны варианты от исходных весов F32 размером 7,11 ГБ до компактных IQ3_M размером 0,88 ГБ. Представлены F32, Q8_0, Q6_K_L, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации; для ряда вариантов эмбеддинги и выходные веса сохранены в Q8_0. README рекомендует несколько вариантов Q- и IQ-квантизации, при этом более компактные версии требуют меньше RAM или VRAM, но могут снижать качество. Архитектура, число параметров, поддерживаемые языки и размер контекста в предоставленных данных не указаны. Модель подходит для локальной текстовой генерации при ограниченных ресурсах, а выбор файла позволяет балансировать качество, скорость и потребление памяти. Ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием подробных сведений о возможностях исходной модели. Указана лицензия Apache-2.0; для диалогового использования в README приведён шаблон prompt с ролями system, user и assistant.

Chronos-33B — языковая модель для диалогов, ролевых сценариев и написания историй. Карточка описывает её как версию модели на базе LLaMA, дообученную на человеческих запросах; разработчик Chronos в предоставленных данных не назван. Модель использует авторегрессионную архитектуру Transformer семейства LLaMA, содержит 32,3 млрд параметров и имеет контекст длиной 2048 токенов. Репозиторий содержит веса PyTorch/Hugging Face в формате Safetensors; README также ссылается на отдельные варианты GGML и GPTQ. Модель подходит для диалогов и ролевых игр, генерации связного длинного текста, а также простых задач рассуждения и программирования. Для работы автор рекомендует формат запросов Alpaca с секциями Instruction и Response. Карточка не перечисляет языки специально для Chronos; базовая LLaMA обучалась преимущественно на английском и включала данные ещё на 19 языках, в том числе русском, поэтому качество может различаться между языками. Указана лицензия other, а README описывает её как специальную лицензию LLaMA с некоммерческими условиями. Модель может выдавать неверную, оскорбительную или предвзятую информацию; ответы требуют проверки, а коммерческое использование ограничено условиями лицензии.

Это набор BF16-квантов в формате GGUF для DeepNemotron-3.5-Lightning-Beta-BF16, подготовленный mradermacher. Репозиторий включает imatrix-файл для создания собственных квантов и варианты GGUF, в том числе i1-IQ1_S и i1-IQ1_M; приведённые размеры этих вариантов — около 18 ГБ. Модель предназначена для генерации текста в диалоговом режиме. Для работы с GGUF может потребоваться объединить части файлов, если выбранный квант разделён на несколько частей. В метаданных указана производная связь с базовой моделью vcruz305/DeepNemotron-3.5-Lightning-Beta-BF16, датасет r0b0tlab/deepseek-v4-pro-0813-agentic и английский язык. README описывает варианты квантования, но не приводит подробные оценки качества или ограничений. Лицензия обозначена как other, поэтому условия использования следует сверять с карточками модели и базовой модели.

domestic-yak-8B-instruct — инструктивная языковая модель на архитектуре Llama, разработанная командой LVSTCK как дообученная версия domestic-yak-8B. Модель содержит 7,5 млрд параметров и использует формат Safetensors; она предназначена для генерации текста и диалоговых ответов на македонском языке. Контекстное окно составляет 131 072 токена. Модель дообучена методом supervised fine-tuning в течение трёх эпох на македонских инструктивных данных. В описании набора указано около 100 тысяч примеров с вопросами и ответами, диалогами, рассуждениями, эссе и кодом; метаданные также перечисляют наборы LVSTCK/sft-mk, LVSTCK/Open-Platypus-MK и LVSTCK/ultrachat-sft-mk. Подходящие сценарии — чат-боты, виртуальные помощники и ответы на пользовательские запросы на македонском языке. Репозиторий лицензирован по llama3.1. Заявления README о сравнительных результатах приведены без доступных здесь подробностей оценки, поэтому их следует считать утверждениями авторов.

FoFoNet-SuperMayo-MBX-slerp — слитая модель для генерации текста, созданная fterry с помощью LazyMergekit из fterry/FoFoNet-SuperMBX-slerp и kaitchup/Mayonnaise-4in1-022. Это плотная Mistral-архитектура с 7,1 млрд параметров и контекстом до 32 768 токенов; веса опубликованы в формате Safetensors и имеют точность bfloat16. Модель предназначена для генерации текста. Карточка описывает слияние методом SLERP и настройки смешивания слоёв внимания и MLP, но не приводит отдельных сценариев применения или сведений о языках. Лицензия в предоставленных данных не указана.

Devloop4545/functiongemma-270m-it-simple-tool-calling — дообученная с помощью TRL модель Google FunctionGemma для генерации текста. Она предназначена для простых сценариев вызова инструментов и функций, а также диалогового взаимодействия; в карточке приведён пример генерации ответа на вопрос пользователя. Модель построена на плотной текстовой архитектуре Gemma 3 и содержит 257 млн параметров. Родительская модель — google/functiongemma-270m-it. Модель принимает текст и генерирует текст; максимальная длина контекста составляет 32 768 токенов. Она подходит для создания компактных специализированных агентов, которым нужно выбирать или вызывать функции. Сведений о поддерживаемых естественных языках и лицензии в предоставленных данных нет.

FuseChat-Llama-3.2-1B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели FuseChat-Llama-3.2-1B-Instruct, разработанной FuseAI и подготовленной квантизатором bartowski. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio, и предназначена для генерации текста и диалогового взаимодействия по заданному шаблону промпта. Модель основана на Llama 3.2 с размером около 1 млрд параметров и поддерживает текстовый ввод и вывод. Доступны варианты от F32 и F16 до различных квантований Q8, Q6, Q5, Q4, Q3 и IQ4, размером примерно от 0,74 до 4,95 ГБ. Квантизация выполнена с использованием imatrix; варианты различаются балансом между качеством, требованиями к памяти и скоростью инференса. Для большинства сценариев README рекомендует Q4_K_M, а варианты Q5 и Q6 ориентированы на более высокое качество. Сильной стороной модели являются небольшой размер и возможность локального запуска на совместимом оборудовании, включая CPU и некоторые ARM-платформы. Ограничения зависят от выбранного варианта квантования: более компактные версии могут уступать в качестве, а специальные ARM-варианты требуют определённых аппаратных возможностей и не рекомендуются для Mac. Сведения о лицензии, языках, максимальном контексте и дополнительных модальностях в README не указаны.

gemma-2-2b-IMat-GGUF — это набор GGUF-квантизованных версий языковой модели Gemma 2 2B, разработанной Google и преобразованной с помощью llama.cpp. Исходная модель имеет формат FP32, а квантизация выполнена quantizer-ом legraphista с использованием llama.cpp версии b3496. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Доступны варианты с точностью от F32, BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций. Размер файлов составляет примерно от 1,18 до 10,46 ГБ. Для вариантов с низкой разрядностью, включая Q4_K, Q3_K, Q2_K и IQ-семейство, применена IMatrix-квантизация; для других вариантов указана статическая квантизация. Это позволяет выбирать компромисс между размером файла, требованиями к памяти и потенциальным качеством генерации. Модель подходит для локальных сценариев генерации текста, экспериментов и развертывания на устройствах с ограниченными ресурсами, однако README не содержит сведений о языках, длине контекста, конкретной архитектуре слоёв или результатах оценки качества. К ограничениям относятся возможная потеря качества в более агрессивно квантизованных вариантах и необходимость использовать совместимый GGUF-движок. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; в карточке указана лицензия gemma.

mlx-community/gemma-4-31B-it-uncensored-heretic-4bit — квантизированная 4-битная версия модели Gemma 4 с 31 млрд параметров, опубликованная сообществом mlx-community. В качестве базовой модели указана llmfan46/gemma-4-31B-it-uncensored-heretic; исходное семейство Gemma разработано Google, однако README не уточняет авторство модификаций uncensored/heretic. Модель предназначена для генерации текста в диалоговом формате и, согласно pipeline_tag, для задач image-text-to-text, то есть может использовать текстовые и, вероятно, визуальные входные данные. README показывает использование через mlx-lm на Apple MLX с поддержкой chat template. Языки, размер контекстного окна и точные сведения об архитектуре в предоставленных данных не указаны. Ключевая особенность — 4-битная квантизация, снижающая требования к памяти и подходящая для локального запуска на совместимом оборудовании, при этом возможна потеря качества по сравнению с полноразмерной версией. Названия uncensored, heretic и abliterated указывают на нестандартно модифицированную модель, но README не описывает методы модификации, поведение, ограничения безопасности или результаты оценки. Модель распространяется по лицензии Apache-2.0; для Gemma также может действовать специальная лицензия Google, ссылка на которую приведена в README.

inferencerlabs/GLM-5.2-MLX-Q4i — квантизированная версия модели GLM-5.2, разработанной организацией Z.ai (zai-org) и адаптированной для выполнения через MLX. В карточке модель представлена пользователем или организацией inferencerlabs; точное авторство квантизации в README не уточняется. Модель предназначена для генерации текста и локального инференса на устройствах Apple с использованием MLX. Указан формат квантизации Q4.8-INF, основанный на методе INF и настроенный для высокой общей точности при ограничении памяти 512 GiB. Тестирование проводилось на системе с M3 Ultra и 512 GiB памяти: заявлена скорость около 15,8 токена в секунду при генерации примерно 1000 токенов, а потребление памяти составило около 417 GiB. README не содержит достоверных сведений о числе параметров, архитектуре, размере контекста, поддерживаемых языках и мультимодальности. К сильным сторонам относятся возможность локального запуска в экосистеме MLX и заявленная высокая точность квантизации. Приведённые метрики perplexity, точности токенов и missed divergence относятся к конвертации GLM 5.1, поэтому их нельзя напрямую считать результатами для GLM 5.2. Ограничениями являются очень высокие требования к оперативной памяти и отсутствие подробных данных о возможностях модели. Лицензия в README не указана.

Edens-Gate/GnX — диалоговая языковая модель, созданная дообучением Delta-Vector/Holland-4B. Модель построена на плотной архитектуре Llama и содержит 3,9 млрд параметров; для запуска используются веса Safetensors и библиотека Transformers. Заявленное контекстное окно — 131 072 токена. Модель предназначена для генерации текста в диалоговом формате. В README указана оценка Loss 0,1388 на наборе для оценки, но сведения о датасете, сценариях обучения и результатах практического применения не приведены. Распространяется по лицензии AGPL-3.0.

Guanaco 7B Uncensored — языковая conversational-модель, разработанная Fredithefish на базе архитектуры Llama и представленная в формате GGUF. Репозиторий содержит квантизированные версии модели, подготовленные TheBloke, с вариантами точности от 2 до 8 бит для запуска на CPU и GPU. Модель предназначена для диалоговых сценариев и генерации текста на английском языке. Она может использоваться локально через llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие совместимые инструменты. Для запросов применяется шаблон с ролями Human и Assistant. Размер модели — 7B параметров; сведения о размере контекстного окна и поддержке других модальностей в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, возможность локального запуска на различных конфигурациях и совместимость с многочисленными клиентами и библиотеками. При этом слово Uncensored указывает на отсутствие ориентации на строгие защитные ограничения, поэтому ответы могут быть нежелательными или небезопасными; качество и требования к ресурсам зависят от выбранной квантизации. Указана лицензия Apache-2.0, однако из-за основы на Llama 2 также применяются условия лицензии Meta Llama 2, поэтому модель следует рассматривать как распространяемую на условиях обеих лицензий.

Hathor_Tahsin-L3-8B-v0.85-GGUF — набор GGUF-квантизаций языковой модели Hathor_Tahsin-L3-8B-v0.85, разработанной Nitral-AI. Квантизации подготовлены пользователем bartowski с использованием llama.cpp версии b3356 и метода imatrix. Модель предназначена для генерации текста и запуска в совместимых приложениях на базе llama.cpp, включая сценарии локального использования при ограниченных ресурсах оперативной памяти. Модель относится к классу текстовых генеративных моделей, имеет размер 8 миллиардов параметров и поддерживает английский язык. Формат GGUF представлен вариантами от полноразмерных F32 до компактных IQ2 и Q2/Q3-квантизаций; размеры файлов составляют примерно от 2,61 до 32,13 ГБ. Более высокие уровни квантования, включая Q5 и Q6, обеспечивают качество, близкое к исходному, тогда как Q2 и Q3 экономят память за счёт заметного снижения качества. В README не указаны архитектурные детали, размер контекста, мультимодальные возможности, результаты тестирования или дополнительные языки. Сильными сторонами являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных для разных объёмов памяти. Ограничения зависят от выбранной квантизации: компактные варианты могут давать менее качественные ответы, а высококачественные требуют значительных ресурсов. Модель использует специальный формат промпта в стиле Llama 3 с системными, пользовательскими и ассистентскими сообщениями. Лицензия указана как other, без дополнительных условий в представленном README.

huihui-ai_Qwen3-14B-abliterated-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-14B-abliterated, подготовленный пользователем bartowski на основе модели huihui-ai. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель содержит около 14 миллиардов параметров; в README не указаны точная архитектура Qwen3, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Квантизация выполнена с использованием imatrix и llama.cpp версии b5284. Для чата приведён шаблон с ролями system, user и assistant, однако автор предупреждает, что он может быть неточным. К сильным сторонам относятся широкий выбор форматов для локального запуска и возможность подобрать конфигурацию под доступную оперативную память; варианты Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество. При этом модель имеет значительно сниженные фильтры безопасности и может генерировать чувствительный, спорный или неподходящий контент, поэтому требует контроля и ручной проверки результатов и не рекомендуется для незащищённых публичных или высокорисковых сценариев. Указана лицензия Apache-2.0.

MaziyarPanahi/KAI-7B-Instruct-v0.1-Mistral-7B-Instruct-v0.2-slerp-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi. Модель основана на объединении KAI-7B-Instruct-v0.1 и Mistral-7B-Instruct-v0.2 с использованием метода slerp и предназначена для генерации текста и диалоговых сценариев с инструкциями. Модель относится к классу 7B и поддерживает несколько вариантов квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. README не содержит достоверных сведений о поддерживаемых языках, размере контекста, мультимодальности или результатах сравнительных тестов. Основное преимущество — возможность выбрать баланс между размером файла, требованиями к памяти и качеством генерации, а также запускать модель локально на широком наборе платформ. Более агрессивное квантование может снижать качество по сравнению с полноразмерными весами; конкретные характеристики зависят от выбранного варианта GGUF. Модель распространяется по лицензии Apache-2.0.

Ko-Gemma-2-9B-IT — корейская диалоговая языковая модель семейства Gemma 2, разработанная авторами репозитория rtzr/ko-gemma-2-9b-it на основе Google Gemma 2 9B. Это плотная decoder-only модель с 9 млрд параметров, дообученная методом Supervised Fine-Tuning на отобранных данных и Direct Preference Optimization с человеческими предпочтениями. В обучающих данных использовались Orca-Math и dpo-mix-7k; часть примеров переводилась, а повторения после перевода сокращались предобработкой на основе N-грамм. Модель принимает текстовые запросы, документы и инструкции, а генерирует ответы и краткие изложения на корейском языке. Она предназначена для диалога, ответов на вопросы, суммаризации, рассуждений, написания текстов и кода. Контекст модели — до 8192 токенов; для запуска через Transformers требуется версия не ниже 4.42.3. В README приведены внутренние результаты оценки LogicKor, но они не являются независимой публичной оценкой. Модель распространяется в формате Safetensors по лицензии Gemma. Её языковая настройка ориентирована на корейский, поэтому качество для других языков не следует считать гарантированным; качество также зависит от запроса и вычислительных ресурсов.

bartowski/L3-Luna-8B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели L3-Luna-8B, исходно разработанной Casual-Autopsy. Квантизации выполнены пользователем bartowski с помощью llama.cpp версии b3787 и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от полноразмерных F16 весов размером 16,07 ГБ до сильно сжатых IQ2_M и Q2_K размером около 3 ГБ, а также форматы Q8_0, Q6_K, Q5_K, Q4_K и Q3_K. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти. Для некоторых вариантов предусмотрена оптимизация под ARM-процессоры. В README не указаны архитектура базовой модели, поддерживаемые языки, размер контекстного окна, мультимодальные возможности, результаты тестирования или лицензия. Рекомендуемый формат промпта использует специальные токены сообщений system, user и assistant, совместимые с шаблоном Llama 3. Качество и требования к памяти зависят от выбранного варианта квантизации; низкобитные варианты заметно уступают старшим по качеству, хотя некоторые из них описаны как пригодные для использования.

LFM2.5-2.6B-CoreAI — это версия языковой модели LiquidAI LFM2.5-2.6B, конвертированная в формат Apple Core AI (.aimodel) пользователем mlboydaisuke. Модель предназначена для локальной генерации текста на устройствах под управлением iOS 27 и macOS 27, включая сценарии офлайн-инференса на GPU или Neural Engine через runtime Core AI. Проект не связан официально с Apple или LiquidAI. Модель имеет гибридную архитектуру из 30 слоёв: 22 short-conv mixer-слоя и 8 слоёв внимания GQA, со скрытым размером 2048, MLP-размером 10 752, 32 query- и 8 key/value-головами, а также словарём на 128 000 токенов. Рекуррентное сканирование отсутствует; граф декодирования рассчитан на движок coreai-pipelined и использует состояние свёртки фиксированной формы. Это reasoning-модель: генерация начинается с этапа рассуждений, поэтому ей требуется достаточный лимит токенов, а короткий лимит может завершить ответ посреди рассуждения. Доступны варианты с квантованием int8 и int4. Для int8hu заявлены размер 3,4 ГБ и скорость декодирования до 116,7 токена в секунду, для int4lin — 2,0 ГБ и до 139,2 токена в секунду на M4 Max; опубликованные показатели относятся к macOS 27 и не являются результатами для iPhone. В README отмечено отсутствие наблюдаемого ухудшения качества в ограниченной проверке int4, однако полноценного бенчмарка по этим данным нет. Основные ограничения — требование iOS 27/macOS 27, отсутствие измерений на iPhone и заметный объём fp16-эмбеддингов. Модель распространяется по лицензии LFM Open License v1.0, унаследованной от исходной LiquidAI LFM2.5-2.6B.

Карточка модели Neko-Institute-of-Science/LLaMA-30B-HF на Hugging Face совпадает с карточкой Neko-Institute-of-Science/LLaMA-7B-HF, поэтому описание составлено по ней. LLaMA-7B-HF — преобразованная в формат Transformers версия языковой модели LLaMA, опубликованная Neko Institute of Science. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров; она предназначена для генерации текста. Контекст модели составляет 2048 токенов. Репозиторий содержит веса PyTorch и Safetensors. Для использования требуется соблюдать специальную лицензию и условия, изложенные в файле LICENSE. README также предупреждает, что в упомянутой торрент-копии устарели tokenizer_config.json и special_tokens_map.json; эти файлы следует заменить версиями из карточки модели.

ausboss/llama-30b-supercot — текстовая генеративная модель на базе LLaMA объёмом 32,3 млрд параметров, созданная объединением весов huggyllama/llama-30b и SuperCOT-LoRA от kaiokendev. Она предназначена для ответов на инструкции и запросы в формате LangChain: запрос оформляется как инструкция, дополнительный контекст и ожидаемый ответ. Модель использует архитектуру LlamaForCausalLM и поддерживает контекст до 2048 токенов. Модель подходит для локальных экспериментов с генерацией ответов и пошаговыми рассуждениями. В README описаны загрузка через Oobabooga и совместимость LoRA с 4-битными моделями LLaMA на 7B, 13B и 30B параметров. Качество чувствительно к формулировке запроса и размеру модели, поэтому ответы могут заметно меняться при изменении шаблона. Репозиторий не сообщает условия лицензии.