II.2Создание и понимание программного кода

SpirinEgor разработал Mamba-1.4B-ru — предобученную языковую модель для генерации текста на архитектуре Mamba. Она содержит около 1,34 млрд параметров по README; в метаданных Hugging Face указано 1,7 млрд. Модель обучалась более чем на 1 трлн токенов, преимущественно на русском и английском тексте, а также на коде и многоязычных данных. Размер словаря — 32 768 токенов; длина обучающих последовательностей составляла 2048 токенов. Модель предназначена для продолжения текста и генерации ответов на русском и английском языках. Это базовая предобученная модель без дообучения на следование инструкциям, поэтому для диалоговых сценариев может потребоваться дополнительная настройка. По README, результаты на английском слабее, чем на русском, а качество может уступать моделям с 7 млрд параметров. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели TroyDoesAI/MermaidSolar_LASER на Hugging Face совпадает с карточкой TroyDoesAI/MermaidSolar, поэтому описание составлено по ней. MermaidSolar — языковая модель TroyDoesAI на архитектуре Llama, обученная на базе Solar 10.7B Base Model с тем же набором данных, что и MermaidMistral, MermaidLLama и MermaidStable3B. В метаданных указано 10,6 млрд параметров, контекст 4096 токенов и формат safetensors; модель предназначена для генерации Mermaid-диаграмм по текстовому контексту. В описанном автором сценарии запросы оформляются так, чтобы ответ содержал заголовок «Response:» и блок Mermaid. Автор сообщает, что при обучении использовал 800 вручную составленных примеров с разнообразными пограничными случаями. Лицензия — CC BY-NC-SA 4.0; она требует указания авторства и распространения производных материалов на тех же условиях, а также запрещает коммерческое использование.

MermaidStable3B — языковая модель TroyDoesAI для создания диаграмм Mermaid по исходному коду и текстовым описаниям. Она основана на архитектуре StableLM Epoch, содержит 2,7 млрд параметров и имеет контекст до 16 384 токенов. Модель принимает текст и генерирует текстовую разметку диаграмм Mermaid; в карточке описаны сценарии для кода, историй, планирования проектов, обучения Python и игрового дизайна. Модель дообучена на базе stable-code-3b, использует формат весов safetensors и, согласно README, лучше работает с инструкциями в формате Alpaca. Указанная лицензия CC BY-NC 4.0 разрешает использование с соблюдением её условий, включая ограничения на коммерческое применение. Это proof of concept; README не приводит количественных оценок качества, поэтому надёжность диаграмм для конкретных задач следует проверять отдельно.

MaziyarPanahi/mistral-7b-sft-beta-GGUF — это набор файлов модели в формате GGUF для HuggingFaceH4/mistral-7b-sft-beta. Исходную модель разработала команда HuggingFaceH4, а квантованные файлы подготовил MaziyarPanahi. Модель основана на Mistral-7B-v0.1 и предназначена для генерации текста, включая локальный запуск и чат-сценарии с помощью совместимых приложений и библиотек, таких как llama.cpp, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Mistral и содержит около 7 миллиардов параметров. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. В README явно указан английский язык; другие языки, размер контекста и дополнительные модальности не описаны. Формат GGUF ориентирован на эффективный запуск через llama.cpp и совместимые интерфейсы, в том числе с GPU-ускорением. Сильными сторонами являются поддержка широкого набора локальных инструментов, разные уровни квантования и возможность запуска на более ограниченных по ресурсам устройствах. Ограничения включают потенциальную потерю качества при использовании более агрессивного квантования, а также отсутствие в предоставленных данных подробных оценок качества, характеристик контекста и рекомендаций по аппаратным требованиям. Для модели указана лицензия Apache-2.0; в метаданных также присутствует ссылка на MIT для базовой модели.

Это GGUF-квантизированная версия модели Qwen3-8B-abliterated, разработанной mlabonne и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В README указано, что квантизация выполнена с использованием llama.cpp версии b5415 и метода imatrix. Модель относится к семейству Qwen3 и содержит 8 миллиардов параметров; доступна в форматах от BF16 до различных вариантов 2–8-битной квантизации. Размер файлов составляет примерно от 3,9 до 16,39 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, а компактные квантизации подходят для систем с ограниченными ресурсами. Для работы рекомендуется использовать шаблон промпта ChatML с ролями system, user и assistant. README не указывает поддерживаемые языки, длину контекста, мультимодальные возможности, результаты оценивания или ограничения, связанные с abliteration, поэтому эти характеристики нельзя достоверно описать. Модель распространяется по лицензии Apache-2.0.

mzbac/Phi-3-mini-4k-instruct-function-calling — дообученная модель семейства Phi-3, подготовленная mzbac для вызова функций. Она предназначена для диалоговых сценариев, где модель генерирует текст и формирует запросы к функциям в формате, использованном при дообучении. Модель имеет плотную архитектуру Phi3ForCausalLM, содержит 3,7 млрд параметров и рассчитана на контекст до 4096 токенов. Карточка указывает на обучение с помощью MLX-LM и набор данных mzbac/function-calling-phi-3-format-v1.1. Репозиторий содержит веса safetensors; лицензия в доступных данных не указана.

hb-dev/Qwen3-1.7B-ONNX — это версия модели Qwen3-1.7B с весами в формате ONNX, подготовленная для совместимости с библиотекой Transformers.js. Репозиторий содержит производные веса базовой модели Qwen/Qwen3-1.7B; разработчик базовой модели — Qwen, а сборку ONNX-версии опубликовал пользователь или организация hb-dev. Модель предназначена для запуска Qwen3-1.7B в средах, поддерживающих Transformers.js, включая веб-приложения и потенциальные сценарии WebML. Известно, что она относится к языковым моделям и имеет размер 1,7 млрд параметров; дополнительные сведения об архитектуре, модальностях, поддерживаемых языках и размере контекста в предоставленном README не указаны. ONNX-формат повышает совместимость с веб-инструментами, однако конкретные требования к ресурсам и показатели производительности не приведены. README не содержит сведений о лицензии этой версии модели. Условия использования следует уточнять по лицензии базовой модели Qwen/Qwen3-1.7B и правилам данного репозитория.

Это пакет слоёв GGUF для модели Qwen3-30B-A3B-Instruct-2507-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска. Он основан на unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF: исходное распределение весов разделено на артефакты по слоям, которые можно использовать на локальном кластере Mesh LLM. Пакет рассчитан на локальный приватный вывод и обслуживание чата на нескольких машинах, когда исходную GGUF-модель трудно разместить на одном узле; Mesh LLM также предоставляет локальный API, совместимый с OpenAI Chat Completions. Модель относится к семейству Qwen3 и поддерживает генерацию текста в формате диалога. Вариант квантования — UD-Q4_K_XL; репозиторий содержит пакет слоёв для распределённого инференса, а не обычный единый файл модели. Для запуска требуется Mesh LLM и доступные машины кластера. Подробности об архитектуре, контекстном окне и лицензии следует сверять с карточкой исходной модели; README этого пакета отсылает к ней и не приводит эти условия.

Qwen3.6-35B-A3B-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и представленной в формате GGUF организацией ggml-org. Модель предназначена для запуска через совместимые инструменты, включая llama.app; в карточке она классифицирована как image-text-to-text, что указывает на поддержку сценариев преобразования изображений и текста в текст, однако подробности о реализованных модальностях не приведены. Известно, что исходная модель связана с Qwen/Qwen3.6-35B-A3B и z-lab/Qwen3.6-35B-A3B-DFlash. Обозначение 35B-A3B указывает на заявленные размеры модели, но архитектура, фактическая схема активации параметров, контекстное окно, языки и варианты квантизации в README не описаны. Сильными сторонами являются формат GGUF и возможность локального запуска через совместимую инфраструктуру; ограничения включают отсутствие подробных характеристик, оценок качества и требований к ресурсам. Модель распространяется по лицензии Apache-2.0 и автоматически преобразована с использованием инструментария ggml-org/convert.

Qwen3.8-27B-Uncensored-GGUF — общественная GGUF-квантизация модели JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная пользователем bowmanslayer. Артефакт предназначен для локального запуска через llama.cpp и совместимые инструменты. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена для генерации текста, локальных чат-сценариев и других задач вывода, поддерживаемых llama.cpp. Основные веса доступны в вариантах от Q3_K_M до Q8_0; размер Q4_K_M составляет 15,4 GiB, а IQ4_XS — 14,0 GiB. Указана гибридная архитектура с 64 слоями: 16 слоёв используют полноценное внимание, а 48 — Gated DeltaNet linear attention, что уменьшает объём KV-кэша и позволяет работать с большим контекстом. На одной RTX 3090 заявлен максимальный контекст до 111 872 токенов для Q4_K_M и до 133 632 для IQ4_XS, однако фактические значения зависят от квантизации, оборудования и настроек. Возможности vision предоставляются отдельным файлом mmproj и позволяют обрабатывать изображения; для сложного OCR и подсчёта мелких объектов специализированные модели Qwen3-VL могут быть лучше. Дополнительный файл MTP поддерживает speculative decoding и, по заявлению автора, ускоряет генерацию на CUDA примерно на 36%; требуется llama.cpp версии b10502 или новее. Модель имеет удалённое safety alignment и может выполнять запросы, от которых исходная модель отказывается, поэтому её нельзя безопасно предоставлять третьим лицам без собственного защитного слоя. Доступна по лицензии Apache-2.0.

keXjos/Qwen3.8-9B-Distill-mlx-5Bit — это 5-битная версия модели empero-ai/Qwen3.8-9B-Distill, конвертированная в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на устройствах, поддерживающих MLX; в README приведён пример использования через библиотеку mlx-lm. Заявленный язык — английский. Модель связана со сценариями рассуждений, дистилляции, supervised fine-tuning и function calling, однако подробные сведения об архитектуре, точном количестве параметров, размере контекста и поддерживаемых модальностях не указаны. Ключевое преимущество версии — 5-битное представление и адаптация к MLX, что может быть удобно для ресурсоэффективного локального вывода. Ограничения и результаты тестирования в README не приведены. Распространение указано по лицензии Apache 2.0.

Qwen3.8-9B-Function-Calling-xLAM-Unsloth — дообученная модель ermiaazarkhalili на базе empero-ai/Qwen3.8-9B. Модель с архитектурой Qwen3_5ForConditionalGeneration содержит 9,7 млрд параметров и была supervised fine-tuned на наборе Salesforce/xlam-function-calling-60k для следования инструкциям и вызова инструментов. LoRA-адаптеры объединены с базовыми весами. Модель предназначена для диалоговых сценариев, где по запросу пользователя нужно сформировать вызов функции или инструмента. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка приводит только значения training loss; оценка качества на downstream-бенчмарках не проводилась.

StationPC/Qwen3-8B-RKNN3-RK1828 — текстовая генеративная модель, опубликованная пользователем StationPC на Hugging Face. Это адаптация Qwen3-8B, разработанной командой Qwen компании Alibaba, в формате GGUF с архитектурой qwen3. Модель предназначена для генерации текста и диалоговых сценариев; заявленная карточка относит её к задачам text-generation и conversational. Исходная Qwen3-8B — каузальная языковая модель примерно на 8,2 млрд параметров с 36 слоями и grouped-query attention: 32 attention heads для запросов и 8 для ключей и значений. Для исходной модели указана нативная длина контекста 32 768 токенов и поддержка более 100 языков и диалектов, а также режимов рассуждения и обычного диалога, задач программирования, математики, следования инструкциям и работы с инструментами. Для конкретной RKNN3-версии не подтверждены собственные языковые характеристики, контекст, точный размер, метод квантования и результаты тестирования. Главное назначение версии StationPC — локальный запуск совместимой текстовой модели в формате GGUF через поддерживаемые инструменты инференса. Ограничения включают отсутствие опубликованной содержательной model card, неподтверждённые характеристики преобразования и неизвестное влияние формата и квантования на качество и производительность; мультимодальность не заявлена. Для репозитория указана лицензия Apache 2.0.

agentionai/Qwen3.8-Flash-Next-AP-GGUF — набор квантизированных GGUF-вариантов базовой модели Qwen/Qwen3.8-Flash-Next, подготовленный AgentionAI. Модель предназначена для генерации текста и запуска через совместимые с mainline llama.cpp инструменты, включая локальный инференс при ограниченном объёме видеопамяти. Для работы с изображениями доступен отдельный vision projector mmproj-F16.gguf. Доступны варианты AP-Q5_K_XL, AP-Q5_K_M, AP-Q4_K_XL, AP-Q4_K_M, AP-IQ4_XS, AP-IQ3_XXS и AP-IQ2_S с эффективной разрядностью примерно от 3,69 до 5,46 бит на вес. Объём требуемой VRAM составляет около 49,21–76,75 GiB в зависимости от варианта. Архитектура включает таблицу n-грамм размером 51,2 млрд параметров, которую можно выгружать в системную RAM; это снижает требования к VRAM, но требует дополнительной оперативной памяти. Для сбалансированного качества и размера рекомендуется AP-Q4_K_XL, а AP-IQ2_S предназначен для систем с минимальным доступным объёмом VRAM. К сильным сторонам относятся оптимизация точности на каждый гигабайт VRAM, измеренные различия между вариантами на отложенном корпусе и совместимость со стандартными типами GGUF без отдельного форка llama.cpp. Ограничения включают высокие аппаратные требования, зависимость качества от выбранного уровня квантизации и отсутствие в README сведений о языках и максимальном контексте. Лицензия указана как qwen-community-1.0; модель распространяется по лицензии other, а файл условий доступен в репозитории.

AtomicChat/Qwen3.8-Flash-Next-GGUF — квантованная версия модели Qwen3.8-Flash-Next, основанная на оригинальных весах Qwen и подготовленная командой AtomicChat. Модель предназначена для локальной генерации текста и мультимодальных сценариев с обработкой изображений через llama.cpp. Это первый открытый релиз весов архитектуры, лежащей в основе Qwen4. Модель содержит около 177 млрд параметров; примерно 51 млрд из них представлены таблицей n-грамм, а не обычными весами. Доступны сборки GGUF с квантованием от 3,84 до 5,00 бит на вес, причём вариант AD-4.27bpw-Q4_K_M заявлен как оптимальный по соотношению качества и размера. Для него требуется около 92,9 ГБ на SSD и 54,5 ГБ памяти без учёта таблицы n-грамм. В README указан контекст до 32768 токенов, поддержка изображений и скорость около 36 токенов в секунду при генерации на Apple M5 Max; языки явно не перечислены. Сильные стороны модели — возможность локального запуска крупной 176–177B-модели на системах с ограниченной оперативной памятью за счёт размещения таблицы n-грамм на SSD, а также сохранение близкого к более тяжёлой 5-битной сборке качества у варианта AD-4.27bpw. Ограничения включают очень большой объём файлов, необходимость совместимой сборки llama.cpp с поддержкой этой архитектуры и специальные параметры запуска, включая mmap и отключение автоматической подгонки размещения. Для Apple Silicon таблица должна находиться в отдельном GGUF-шарде. Лицензия указана как qwen-community-1.0; ссылка ведёт на лицензию базовой модели Qwen/Qwen3.8-Flash-Next. Дополнительные условия использования в README не раскрыты.

RWKV-4 14B — авторегрессионная языковая модель семейства RWKV, разработанная BlinkDL и обученная на корпусе The Pile. Версия содержит 14 млрд параметров; в карточке указана конфигурация из 40 слоёв и размерности скрытого представления 5120. Основная задача — генерация текста на английском языке, включая продолжение текста и ответы на инструкции в подходящем формате. В README также упомянута версия с длиной контекста 8192 токена и чат-вариант Raven, однако эти сведения не подтверждают, что данный репозиторий содержит именно Raven или вариант с таким контекстом. Модель подходит для экспериментов и приложений, которым нужна англоязычная генерация текста, а также для оценки языковых моделей. README приводит результаты на Pile loss, LAMBADA, PIQA, Story Cloze, HellaSwag и WinoGrande. Указана лицензия Apache-2.0. Ограничения: модель обучена на английском корпусе The Pile, поэтому её не следует считать многоязычной; результаты и описание не гарантируют надёжность фактических ответов или пригодность кода для выполнения.

Sharathhebbar24/SSH_355M — дообученная модель генерации текста на архитектуре GPT-2, созданная на основе gpt2-medium. Она предсказывает продолжение текста по входному фрагменту и предназначена для генерации ответов и связного текста. В метаданных указаны контекст 1024 токена и формат весов safetensors. При дообучении использовались наборы инструкций и примеров по общим вопросам, математике, медицинским терминам, SQL и программированию, а также наборы предпочтений. Это указывает на широкий круг сценариев генерации, но само по себе не подтверждает специализированную точность в этих областях. README приводит результаты нескольких тестов Open LLM Leaderboard. Модель принимает текст и выдаёт текст. Она унаследовала от GPT-2 ориентацию на английский язык; более широкий языковой охват карточкой не подтверждён. Лицензия — Apache-2.0. Контекст ограничен 1024 токенами, поэтому модель не подходит для обработки длинных документов.

NidAll/supergemma4-e4b-abliterated-Q4_K_M-GGUF — это версия модели supergemma4-e4b-abliterated, разработанной Jiunsong и преобразованной пользователем или организацией NidAll в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы с инструкциями; в метаданных также заявлена поддержка вызова инструментов и структурированного вывода. Модель рассчитана на запуск через llama.cpp, включая режим командной строки и серверный режим, что позволяет использовать её локально на совместимом оборудовании. Доступен файл с квантизацией Q4_K_M, поэтому вариант ориентирован на более экономичное использование памяти по сравнению с полноточными версиями. В README не указаны точный размер модели, архитектура, поддерживаемые языки, модальности и максимальная длина контекста; значение 2048 приведено только как пример параметра запуска. Сильными сторонами являются компактный GGUF-формат, совместимость с llama.cpp и заявленные возможности instruction tuning, tool calling и structured output. Ограничения и качество исходной модели в этой карточке подробно не описаны, поэтому для оценки производительности следует обращаться к карточке базовой модели Jiunsong/supergemma4-e4b-abliterated. Указана лицензия gemma.

Thespis-CurtainCall-8x7b-v0.3 — диалоговая модель cgato на архитектуре Mixtral с разреженной смесью экспертов (MoE), опубликованная в формате PyTorch. Автор описывает её как свою первую версию на Mixtral и указывает, что модель обучалась на наборах Dolphin, UltraChat, Capybara, Augmental, ToxicQA, Magiccoder-Evol-Instruct-110k, Yahoo Answers, OpenOrca, Airoboros 3.1, а также данных по физическому рассуждению и теории разума. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации диалоговых ответов и инструкций; автор приводит шаблоны Ooba и SillyTavern и отмечает, что для Mixtral стоит подбирать сравнительно высокую температуру генерации. В обучающих данных есть кодовые задания, вопросы и ответы, токсичные запросы, рассуждения и ролевые диалоги, поэтому модель может быть полезна для чат-ботов, творческого письма и экспериментов с инструкционной генерацией. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка не приводит оценок качества или подробных ограничений; это личный эксперимент автора.

TinyQwex-4x620M-MoE — языковая модель с архитектурой Mixture of Experts на базе семейства Mixtral, опубликованная автором Isotonic и собранная с помощью LazyMergekit из четырёх копий Qwen/Qwen1.5-0.5B. Эксперты настроены на маршрутизацию запросов о рассуждениях, программировании, написании историй и выполнении инструкций. Модель предназначена для генерации текста и диалогового общения. В репозитории указано 463,9 млн параметров и контекст длиной до 32 768 токенов; доступны веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не приводит оценок качества, результатов сравнений или подробностей о языковом покрытии. Указанные специализации экспертов описывают конфигурацию, но не подтверждают преимущество в соответствующих задачах.

Это GGUF-квантизация модели QwQ-32B-Snowdrop-v0, разработанной trashpanda-org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В репозитории представлены варианты от полного BF16 до различных квантований Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 14,39 до 65,53 ГБ; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а варианты Q3 подходят для систем с ограниченным объёмом оперативной памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp release b4867. Рекомендуемый формат prompt использует специальные токены ролей system, user и assistant. Сильными сторонами являются широкий выбор квантований, возможность локального запуска и сохранение высокого качества у вариантов Q6 и Q5. Ограничения включают значительные требования к памяти даже у компактных файлов, а также потенциальную потерю качества при использовании низкоразрядных вариантов. В README не указаны архитектурные детали, поддерживаемые языки, размер контекста и лицензия модели или квантизированных файлов.

winter-frost-2 — дообученная языковая модель, созданная INEZA AIME BRUNO на основе Qwen/Qwen2.5-7B-Instruct. Это объединённый чекпойнт: веса LoRA уже включены в веса базовой модели, поэтому отдельная загрузка адаптера не требуется. Модель имеет плотную архитектуру Qwen2 и около 7,1 млрд параметров; она доступна в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, генерации текста и кода, а также структурированных ответов. Дообучение методом QLoRA проведено на примерно 690 примерах: общих инструкциях, примерах кода на Python и примерах, связанных с идентичностью модели. Оно может закреплять узкие поведенческие особенности, например ответ о создателе, но не ожидается, что оно заметно улучшит общие способности к рассуждению, программированию или знания по сравнению с базовой моделью. В README приведены способы запуска в Google Colab и локально; для быстрой работы на GPU рекомендуется не менее 16 ГБ видеопамяти, также возможен медленный запуск на CPU. Лицензия в предоставленных данных не описана.

xLAM-8x7b-r-GGUF — это GGUF-квантизированная версия языковой модели xLAM-8x7b-r, разработанной Salesforce и подготовленной для распространения пользователем bartowski. Модель ориентирована на text-generation, function calling, использование инструментов и создание LLM-агентов. Обучение связано с датасетом Salesforce/xlam-function-calling-60k; заявленный язык — английский. Модель основана на архитектуре, обозначенной в карточке тегом mistral, и имеет конфигурацию 8x7B; точные сведения о числе активируемых параметров и размере контекста не указаны. Доступны варианты от F16 до сильно сжатых квантов GGUF, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3/Q2, с размером файлов примерно от 17 до 93 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; некоторые варианты оптимизированы для ARM и CPU-инференса. Сильная сторона модели — специализация на вызове функций и взаимодействии с внешними инструментами, а также широкий выбор квантов для компромисса между качеством и требованиями к памяти. Ограничения включают заявленную ориентацию на английский язык, отсутствие данных о мультимодальности и контекстном окне, а также снижение качества у малобитных вариантов. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование; для доступа к репозиторию требуется подтверждение согласия с лицензией.

DevQuasar-7/cognitivecomputations.Dolphin3.0-Llama3.1-8B-GGUF — квантизированная версия модели cognitivecomputations/Dolphin3.0-Llama3.1-8B, предназначенная для генерации текста. README не указывает точный вариант квантования, размер файлов, поддерживаемые языки, длину контекста или особенности архитектуры; из идентификатора и базовой модели можно заключить только принадлежность к семейству Llama 3.1 с размером 8B параметров. Модель разработана и опубликована пользователем или организацией DevQuasar-7 на базе модели cognitivecomputations. Версия в формате GGUF ориентирована на локальный запуск в совместимом программном обеспечении, однако конкретные сценарии применения, сильные стороны и ограничения в README не описаны. Информация о лицензии и условиях использования также отсутствует, поэтому их необходимо уточнить по документации базовой модели и репозитория.

DevQuasar/deepseek-ai.DeepSeek-V3.2-GGUF — это квантизированная версия модели DeepSeek-V3.2, разработанной командой deepseek-ai и опубликованной в формате GGUF сообществом DevQuasar. Модель предназначена для генерации текста и совместима со сценариями, поддерживающими этот формат. Ключевые характеристики архитектуры, размер, набор поддерживаемых языков, длина контекста и конкретные варианты квантизации в предоставленном README не указаны. Поэтому нельзя достоверно оценить её производительность, требования к ресурсам, сильные стороны и ограничения по сравнению с исходной моделью. Условия лицензирования также не приведены; перед использованием необходимо проверить лицензию базовой модели DeepSeek-V3.2 и условия распространения данной квантизированной версии.

mlx-community/DeepSeek-R1-Distill-Qwen-1.5B-4bit — версия модели, разработанная сообществом mlx-community и преобразованная из deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B в формат MLX с использованием mlx-lm 0.21.1. Модель предназначена для локального запуска и генерации текста в экосистеме MLX; для работы рекомендуется библиотека mlx-lm и соответствующий chat template токенизатора. Ключевая характеристика модели — 4-битное представление весов, уменьшающее требования к памяти по сравнению с полноформатной версией. Размер исходной модели составляет 1,5 млрд параметров согласно её идентификатору. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, целевых сценариях, результатах оценки, ограничениях качества или лицензии, поэтому эти параметры нельзя достоверно описать.

HenryJJ/dolphin-2.6-mistral-7b-dpo-orca-v1 — авторегрессионная языковая модель, дообученная HenryJJ методом DPO на базе cognitivecomputations/dolphin-2.6-mistral-7b с использованием набора Intel/orca_dpo_pairs. Модель предназначена для диалогов и генерации ответов в формате ChatML; заявленный язык — английский. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Нативная длина контекста по метаданным составляет 32 768 токенов; README сообщает, что обучение проводилось с окном контекста 1 024 токена. В репозитории указаны веса Safetensors. Лицензия — Apache-2.0.

Это набор квантованных моделей в формате GGUF для Gemma 2 2B IT, разработанной Google. Репозиторий подготовлен MaziyarPanahi и содержит варианты квантования от 2 до 8 бит на основе исходной модели google/gemma-2-2b-it. Модель предназначена для генерации текста и локального использования в приложениях, поддерживающих GGUF. Она может применяться через llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие совместимые инструменты, включая серверы с OpenAI-совместимым API. Формат GGUF и квантование позволяют выбирать компромисс между размером файлов, требованиями к ресурсам и качеством вывода. Из README известны архитектура семейства Gemma 2 и размер исходной модели — 2 млрд параметров. Сведения о поддерживаемых языках, размере контекста, конкретных характеристиках отдельных квантованных вариантов, результатах тестирования и ограничениях исходной модели не указаны. Лицензия в README также не указана; условия использования следует уточнять в документации Google для Gemma.

DiTy/gemma-2-9b-it-function-calling-GGUF — дообученная модель на базе Google Gemma 2 9B Instruct, созданная для вызова функций и инструментов в диалогах. Она обучена на англоязычном наборе DiTy/function-calling с разметкой, выполненной людьми, и может выбирать подходящую функцию, формировать вызов и продолжать диалог после получения результата функции. Модель относится к плотной архитектуре Gemma2ForCausalLM, содержит 9 млрд параметров и поддерживает контекст до 8192 токенов. Для работы с инструментами рекомендуется использовать chat template модели и передавать историю диалога и описания функций в ожидаемом формате. Доступны веса safetensors и GGUF в формате F16. Модель ориентирована на англоязычные запросы и сценарии, где языковая модель должна взаимодействовать с внешними функциями, например вызывать API или инструменты приложения. Это генеративная модель, поэтому ей нужен внешний код для выполнения вызовов и передачи результатов обратно в диалог; README приводит оценку validation loss, но не описывает гарантии точности в прикладных условиях. Лицензия — Apache-2.0.

Это пакет Gemma 4 26B A4B IT в формате GGUF, подготовленный Mesh LLM для распределённого инференса. Он содержит веса варианта UD-Q4_K_M, разбитые на артефакты по слоям для запуска модели на кластере из нескольких локальных машин. Модель предназначена для генерации текста и диалогов через Mesh LLM, включая локальную подачу запросов через совместимый с OpenAI API. Такое разбиение позволяет распределять вычисления и память между узлами, когда полного файла GGUF не помещается на одном компьютере. Пакет основан на unsloth/gemma-4-26B-A4B-it-GGUF; сведения об архитектуре, контекстном окне, языках и лицензии следует сверять с карточкой исходной модели.