II.2Создание и понимание программного кода

Nemotron-Terminal-14B — модель NVIDIA для автономного взаимодействия с терминалом. Это дообученная на корпусе Nemotron-Terminal-Corpus плотная языковая модель семейства Qwen3 с 14 млрд параметров, представленная в формате safetensors и предназначенная для работы через библиотеку Transformers. Модель планирует и выполняет задачи в командной строке, формируя структурированный JSON с анализом состояния терминала, планом, командами и признаком завершения задачи. В README приведён результат 20,2% на Terminal-Bench 2.0 для варианта 14B; для воспроизводимости оценки рекомендована оболочка Terminus 2. Метаданные указывают контекст 40 960 токенов и английский язык. Модель рассчитана на текстовый ввод и выдаёт текст с командами для терминала; для их выполнения требуется внешняя среда или оболочка. Указана лицензия «other», поэтому конкретные условия использования следует сверить с лицензией в репозитории.

Open-Instruct Baize 13B — языковая модель на архитектуре LLaMA, дообученная исследователями Allen Institute for AI на датасете Baize для следования инструкциям и генерации текста. Это diff-модель: для её использования нужны исходные веса совместимой LLaMA-модели в формате Hugging Face и применение разницы весов согласно инструкциям карточки. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов. Она предназначена для ответов на вопросы и выполнения инструкций; в карточке также приведены результаты оценок по тестам на знания, рассуждение, вопросы и генерацию кода. Модель обучена следовать заданному формату запросов, поэтому его соблюдение влияет на качество генерации. Модель создана в рамках исследования настройки инструкций на открытых ресурсах. Она распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; перед использованием следует учитывать условия обеих лицензий. README не приводит сведений о конкретных ограничениях качества за пределами опубликованных результатов тестирования.

Это GGUF-квантизация модели Qwen3.8-27B-Uncensored, разработанной orcarouter и подготовленной пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска в совместимых инструментах, включая llama.cpp. Модель поддерживает работу с текстом и изображениями при использовании отдельного файла mmproj, а также speculative decoding через MTP. Она ориентирована на рассуждения, function calling, vision-language-сценарии, red teaming и другие задачи генерации и анализа контента. Заявлены английский и китайский языки. README не указывает размер контекстного окна и конкретную архитектуру базовой модели. Доступны варианты от BF16 до различных уровней квантования GGUF. Q6 и Q5 позиционируются как варианты очень высокого или высокого качества, а Q4_K_M — как сбалансированный вариант по размеру и качеству; менее точные варианты требуют меньше оперативной памяти. К ограничениям относятся необходимость значительных аппаратных ресурсов для крупных файлов, зависимость мультимодального режима от mmproj и отсутствие в README подробных результатов оценки качества. Указанная лицензия — Apache-2.0.

TheRains/Qwen2.5-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с использованием llama.cpp и предназначена для локального запуска через llama.cpp в задачах генерации текста и диалогового взаимодействия. Модель имеет 32 миллиарда параметров в варианте квантизации Q4_K_M. В карточке указана поддержка английского языка и текстовая модальность; сведения о размере контекстного окна и других языках отсутствуют. Модель можно использовать через llama-cli или llama-server, в том числе на совместимом CPU и GPU-оборудовании при соответствующей сборке llama.cpp. Основные преимущества — локальное выполнение, совместимость с экосистемой llama.cpp и уменьшенные требования к памяти по сравнению с полноразмерной версией. Ограничения связаны с квантизацией, а также с отсутствием в карточке подробных данных о качестве, производительности и поддерживаемых сценариях. Лицензия — Apache-2.0.

MLX-версия модели Qwen3-14B, разработанной командой Qwen и преобразованной сообществом mlx-community из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может применяться в сценариях диалогового взаимодействия и других задачах, требующих текстовой генерации, включая локальный запуск через библиотеку MLX. Модель имеет размер 14 миллиардов параметров и представлена в 8-битном формате квантования. Она работает с текстовой модальностью; поддержка конкретных языков и размер контекстного окна в предоставленных данных не указаны. Для использования предусмотрена библиотека mlx-lm и чат-шаблон токенизатора, если он доступен. К сильным сторонам относятся адаптация к экосистеме MLX и уменьшенный объём хранения и требования к памяти благодаря 8-битному представлению. Ограничения включают зависимость от MLX и отсутствие в README подробных данных о результатах оценки, языковых возможностях и контексте. Модель распространяется по лицензии Apache-2.0.

stefancosma/Qwen3-14B-Instruct-Q4_K_M-GGUF — это квантованная версия языковой модели OpenPipe/Qwen3-14B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и проекта GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp в режиме командной строки или серверном режиме. Модель содержит около 14 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей точности. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или специализированные сценарии применения. Для работы требуется совместимое окружение llama.cpp; поддерживаются запуск через CLI и сервер, а также аппаратные варианты сборки, включая CUDA для GPU Nvidia. Модель распространяется по лицензии Apache 2.0. Подробные характеристики и ограничения исходной модели следует уточнять в карточке OpenPipe/Qwen3-14B-Instruct.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Qwen3-235B-A22B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия текстовой instruct-модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и предназначено для оптимизированного запуска на компьютерах с Apple Silicon. Модель распространяется как community-модель LM Studio и основана на оригинальной модели Qwen/Qwen3-235B-A22B-Instruct-2507. Модель предназначена для генерации текста и выполнения инструкций, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектуре, модальностях и конкретных сценариях применения. Квантование снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество ответов; кроме того, вариант ориентирован прежде всего на экосистему Apple Silicon. Модель предоставляется по лицензии Apache-2.0. Как и другие генеративные модели, она может создавать неточные, вредные или вводящие в заблуждение материалы, поэтому результаты требуют проверки.

lmstudio-community/Qwen3-32B-MLX-8bit — языковая модель для генерации текста, представленная сообществом lmstudio-community и созданная на основе Qwen/Qwen3-32B. Модель преобразована в формат MLX с использованием mlx-lm версии 0.24.0 и предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm с поддержкой чат-шаблона, если он задан в токенизаторе. Ключевые характеристики модели — размер базовой модели 32B параметров, 8-битное представление и специализация на текстовой генерации. Формат MLX ориентирован на использование в совместимой среде, однако README не содержит сведений о поддерживаемых языках, длине контекста, архитектуре, мультимодальности, производительности и ограничениях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Thinking-2507-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный пользователем MaziyarPanahi на основе исходной модели Qwen3-4B-Thinking-2507 от команды Qwen. Модель предназначена для локального запуска и интеграции с совместимыми приложениями и библиотеками, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие инструменты экосистемы GGUF. Известно, что представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. Модель относится к классу текстовых генеративных моделей; сведения о количестве параметров, архитектуре исходной модели, поддерживаемых языках и размере контекста в README не указаны. Формат GGUF поддерживает запуск с использованием CPU и GPU, однако фактическая производительность зависит от выбранного варианта квантования и оборудования. README не содержит сведений о лицензии. Ограничения, связанные с качеством ответов и потерями точности при квантовании, могут зависеть от конкретного файла и конфигурации запуска.

Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GPTQ-int4 — квантизированная версия модели Jackrong/Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, основанная на Qwen3.5-35B-A3B. Модель предназначена для генерации текста, задач рассуждения и мультимодального понимания изображений с текстом. Указанные языки — английский и китайский. Это MoE-модель с 35 млрд общих параметров, из которых около 3 млрд активируются для каждого токена; используется 256 экспертов, 8 из которых активны одновременно. Квантование выполнено методом GPTQ в формате INT4 W4A16 с размером группы 128. Vision encoder и MTP-модуль сохранены без квантизации, поэтому модель поддерживает анализ изображений, хотя исходное дообучение было сосредоточено на текстовых задачах рассуждения. Для запуска в INT4 требуется примерно 22 ГБ видеопамяти; в примере конфигурации указан контекст до 4096 токенов. Сильные стороны модели — снижение требований к памяти благодаря INT4-квантизации, сохранение мультимодальных возможностей и высокая вычислительная эффективность MoE-архитектуры. Ограничения включают возможную потерю качества из-за квантизации и отсутствие подробных данных о фактических результатах, тренировочном наборе и полном наборе поддерживаемых возможностей. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-GGUF — это общественная квантованная сборка базовой модели Qwen/Qwen3.8-27B, подготовленная сообществом bowmanslayer для запуска через llama.cpp. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена прежде всего для генерации текста, локального инференса и сценариев, где важны большой контекст и работа на одной видеокарте. Лицензия артефакта — Apache-2.0. Основные веса представлены в формате GGUF с importance-matrix-квантизацией, доступны варианты от Q3_K_M до Q8_0. В зависимости от варианта требуется примерно от 14 до 26,6 ГиБ памяти; для одной видеокарты на 24 ГиБ автор рекомендует Q4_K_M для скорости или Q6_K для качества, а для 16 ГиБ — IQ4_XS. Модель имеет гибридную архитектуру: из 64 слоёв только 16 используют полноценное attention, остальные 48 используют Gated DeltaNet, благодаря чему снижается расход KV-кэша и поддерживается контекст до примерно 111 872 токенов для Q4_K_M на RTX 3090. Точные характеристики исходной модели, включая языки и число параметров, в README дополнительно не раскрыты, однако название указывает на класс 27B. Мультимодальный режим с изображениями поддерживается через отдельный файл mmproj размером около 0,9 ГиБ; он позволяет, например, описывать изображения, но специализированные Qwen3-VL-модели должны быть лучше для плотного OCR и подсчёта небольших объектов. Также доступен отдельный MTP-файл для speculative decoding, который на CUDA в приведённом тесте увеличивал скорость генерации до 36 процентов при определённой настройке. Ограничения включают компромисс между качеством, скоростью и объёмом памяти при выборе квантизации, заметное замедление IQ4_XS по сравнению с Q4_K_M и слабую эффективность MTP на Vulkan. Для работы требуются совместимые сборки llama.cpp; режим draft-mtp поддерживается начиная со сборки b10502.

Plana-Chan/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный Plana-Chan для запуска в llama.cpp и совместимых средах. Модель предназначена для генерации текста, диалоговых и прикладных сценариев, где требуется локальный запуск, а также для обработки изображений при использовании совместимого vision runtime и отдельного vision-проектора. Поддерживаются английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Сохранена MTP-head для speculative decoding, доступны варианты с объединённой draft-моделью и отдельными target/draft-файлами. Представлены квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер основных файлов составляет примерно от 10,6 до 29 ГБ. Для изображений предоставляется mmproj в формате F16. Ключевая особенность — существенно сниженное поведение отказа, полученное методом abliteration без дообучения и дополнительных данных; полностью отказы не устранены. Возможны компромиссы квантизации, особенно у IQ2_M, а эффективность speculative decoding зависит от acceptance rate draft-head. README не приводит полных сведений о целевых бенчмарках и фактических требованиях к оборудованию. Распространение указано по лицензии Apache-2.0.

taurusduan/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантования. Модель предназначена для генерации текста, задач с длинным контекстом и мультимодальных сценариев, включая обработку изображений, и может использоваться через llama.cpp или Unsloth Desktop. В README не указано точное назначение данного варианта квантования или его конкретные уровни квантования. Это причинная языковая модель с vision encoder и архитектурой, включающей Hybrid Attention с Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts, Gated Residual и n-gram embedding. Всего заявлено 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов, из которых активируются 10 маршрутизируемых и один общий, поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддержка языков и точные характеристики GGUF-файлов в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженного внимания и MoE, ориентация на длинный контекст, мультимодальность и возможность ускорения инференса с помощью MTP. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README результатов бенчмарков и подробностей о качестве конкретной квантованной сборки. Лицензия указана как qwen-community-1.0; ссылка на текст лицензии ведёт к файлу LICENSE.

Qwen3-235B-A22B-Instruct-2507-GGUF — это квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет архитектуру и размер исходной версии Qwen3-235B-A22B-Instruct-2507; в названии указаны 235 млрд параметров и конфигурация A22B. Представлены варианты GGUF с разными уровнями квантизации — от Q2 до Q8_0 — размером примерно от 93 до 250 ГБ для указанных файлов. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, включая рекомендации Q6_K, Q5_K_M, Q5_K_S и Q4_K_M для разных компромиссов между качеством и требованиями к памяти. Ограничениями выступают очень крупный размер модели и высокие аппаратные требования; при низких уровнях квантизации качество снижается. Лицензия в предоставленных данных не указана.

Stable LM 2 1.6B — базовая авторегрессионная языковая модель Stability AI для генерации текста и дальнейшей адаптации под прикладные задачи. Она построена на декодерном трансформере, близком к архитектуре LLaMA, и содержит 1,644 млрд параметров; модель обучена на 2 трлн токенов разнообразных многоязычных и программных данных. В метаданных указаны английский, немецкий, испанский, французский, итальянский, нидерландский и португальский языки; карточка отдельно называет английский. Контекст составляет 4096 токенов. Модель подходит как основа для дообучения, а также для генерации и продолжения текста. Она использует токенизатор Arcade100k на основе tiktoken cl100k_base и распространяется в формате safetensors. Это базовая, не настроенная на диалог модель: её ответы могут быть ненадёжными, небезопасными или отражать неподходящее содержимое обучающих данных, поэтому перед применением требуется оценка и адаптация. Лицензия — Stability AI Community License; для коммерческого использования необходимо обратиться к условиям коммерческой лицензии Stability AI.

Это квантованная версия модели supergemma4-e4b-abliterated, основанной на Jiunsong/supergemma4-e4b-abliterated. Квантование выполнил mradermacher; набор файлов опубликован в формате GGUF. Модель предназначена для генерации текста по инструкциям, включая сценарии с tool-calling и structured output, а также поддерживает обработку изображений как vision-модель. В README указано, что модель ориентирована на английский язык и использует экосистему Transformers. Доступны варианты квантования i1 с разными типами и размерами примерно от 4,5 до 6,3 ГБ; среди рекомендуемых отмечены i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Конкретные архитектурные параметры, число параметров и размер контекста не указаны. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Основные преимущества — широкий выбор GGUF-квантов, возможность локального запуска при ограниченных ресурсах и поддержка текстовых, визуальных, инструментальных и структурированных сценариев. Качество зависит от выбранного типа квантования: варианты с более низким размером могут уступать по качеству, а IQ-кванты в README часто рекомендуются вместо сопоставимых обычных вариантов. Модель распространяется по лицензии Gemma.

tFINE-850m-24x24-v0.5-instruct-L1 — языковая модель семейства T5, опубликованная pszemraj. Это дообучение модели pszemraj/tFINE-850m-24x24-v0.4-flan_aug на англоязычном наборе инструкций infinity-instruct-7m-T2T_en. Модель содержит 401,7 млн параметров и предназначена для генерации текста в ответ на инструкции: например, для подготовки объяснений и ответов на вопросы. Для запуска автор приводит пример с библиотекой Transformers и задачей text2text-generation. В карточке приведены результаты оценки по loss и метрикам ROUGE, а также результаты отдельных тестов на понимание прочитанного и вопросы с вариантами ответа. Они не гарантируют качество для всех запросов; модель компактнее многих крупных генеративных моделей, поэтому сложные задания могут требовать проверки результата. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-34B-Chat-GGUF — это набор GGUF-квантизаций чат-модели Yi-1.5-34B-Chat, разработанной организацией 01.AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b2854 с использованием метода imatrix и набора данных Kalomaze. Модель предназначена для генерации текста в диалоговом формате и локального запуска через совместимые инструменты, включая llama.cpp. Модель содержит около 34 миллиардов параметров; README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или дополнительные модальности, поэтому подтверждённые характеристики ограничиваются текстовой генерацией. Доступны варианты от Q8_0 до IQ1_S размером примерно от 7,49 до 36,54 ГБ. Квантизации Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-варианты отмечены как рекомендуемые за сочетание качества и экономии памяти, тогда как самые компактные варианты обеспечивают существенно более низкое качество. Сильная сторона набора — широкий выбор уровней квантизации, позволяющий адаптировать модель к доступному объёму памяти; наиболее качественные варианты близки к исходной модели, а некоторые компактные варианты сохраняют приемлемую работоспособность при ограниченных ресурсах. Ограничения связаны с потерями качества при сильной квантизации и необходимостью использовать корректный шаблон промпта Yi-1.5-34B-Chat. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-16K-GGUF — это набор квантованных GGUF-версий диалоговой языковой модели Yi-1.5-9B-Chat-16K, разработанной 01.ai и квантованной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов в локальных приложениях, включая сценарии, совместимые с LlamaEdge. Для работы используется шаблон prompt типа chatml, а заявленный размер контекста составляет 16 384 токена. Доступны варианты квантования от Q2_K до Q8_0, а также версия f16; размеры файлов варьируются примерно от 3,35 до 17,7 ГБ. В README не указаны поддерживаемые языки, модальности и подробности архитектуры базовой модели. Основное преимущество набора — выбор между меньшим размером и сохранением качества: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Низкобитные версии занимают меньше места, но могут заметно терять в качестве. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое программное окружение, например llama.cpp или LlamaEdge; в README указано, что поддержка LlamaEdge на момент публикации ожидается.

code-daemon-relation-v1 — модель классификации отношений от автора faxenoff для построения графов знаний по документации. Она принимает фрагмент текста с двумя отмеченными сущностями и за один проход относит их к одному из четырёх классов: отсутствует связь, семантическое сходство, замещение или противоречие, зависимость. Модель предназначена для пакетного извлечения связей из документации, кода и комментариев к нему. В основе лежит энкодер XLM-RoBERTa на базе hotchpotch/mMiniLMv2-L12-H384; модель содержит около 124,3 млн параметров и поддерживает контекст до 514 токенов. Классификационная голова объединяет представления двух маркеров сущностей, поэтому учитывает их порядок. Заявлена поддержка многих языков; доступны веса Safetensors и форматы ONNX и Core ML, а карточка также описывает варианты запуска через TensorRT и OpenVINO. На указанном отложенном наборе модель показала macro-F1 0,60; качество зависит от класса, а границы отношений могут быть неоднозначны. Для извлечения связей README рекомендует задавать порог уверенности и проверять результаты; оба маркера должны сохраняться в контекстном окне. Лицензия — MIT.

Dans-PersonalityEngine-V1.2.0-24b — дообученная PocketDoc модель семейства Mistral на базе mistralai/Mistral-Small-24B-Base-2501. Это плотная языковая модель с 23,4 млрд параметров, рассчитанная на генерацию текста; она принимает текст и выдаёт текст. Модель обучалась на инструкциях в одном и нескольких ходах, использовании инструментов, ролевых сценариях, текстовых приключениях и совместном написании. В карточке заявлены также анализ тональности и суммаризация как задачи для конвейеров. Модель предназначена прежде всего для ролевого общения, соавторства и продолжения историй, а также для диалоговых инструкций, генерации кода и задач общего назначения. Она поддерживает контекст до 32 768 токенов и ориентирована на английский язык. Для диалогов рекомендуется формат ChatML с ролями system, user и assistant. Автор предупреждает о возможных проблемах с автоматической вставкой начального токена BOS: в некоторых бэкендах его отсутствие может приводить к несвязным ответам или повторению пользовательского текста; в таком случае рекомендуется попробовать добавить <s> в начало контекста. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Flash-8bit — это 8-битная версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.31.3. Исходная модель разработана deepseek-ai. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm; README показывает использование диалогового шаблона и генерацию ответа по текстовому prompt. Из указанных характеристик известны формат MLX, 8-битное представление весов и текстовая модальность. Размер модели, архитектура, поддерживаемые языки и длина контекста в README не указаны. К преимуществам относятся адаптация к экосистеме MLX и уменьшенное по сравнению с полноточным представлением потребление памяти, однако ограничения качества, производительности и совместимости отдельно не описаны. Модель распространяется по лицензии MIT.

DeepSeek-R1-0528-Qwen3-8B-MLX-8bit — это 8-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и библиотеки MLX, созданной командой Apple Machine Learning Research. Модель предназначена для генерации текста и оптимизирована для работы на устройствах с Apple Silicon. Ключевая характеристика модели — 8-битное представление весов в формате MLX, что делает её адаптированной для локального запуска в экосистеме Apple. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности, результатах тестирования или специализированных сценариях применения. К ограничениям относятся возможные неточности, вредное или неуместное содержание, характерные для генерирующих моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Llama-8B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Llama-8B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана DeepSeek, а данный репозиторий предоставляет варианты весов для локального запуска и инференса, в том числе через LM Studio. Модель предназначена для генерации текста и поддерживает сценарии локального использования, включая диалоговое взаимодействие и задачи рассуждения, предусмотренные базовой моделью. Доступны варианты от F32 и F16 до низкоразрядных Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер модели составляет 8 миллиардов параметров; формат GGUF ориентирован на работу с llama.cpp. В README также указан шаблон промпта, содержащий системное сообщение, запрос пользователя и ответ ассистента. Сильной стороной набора является широкий выбор квантизаций: варианты Q6 и Q5 обеспечивают высокое качество при заметно меньшем размере, а Q4 и Q3 подходят для устройств с ограниченными ресурсами. Более компактные варианты экономят память, но могут снижать качество генерации. Данные о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности и лицензии в README не указаны.

DeepSeek-V4-Flash-0731-RAZOR-156B-A13B-E128of256 — производная модель семейства DeepSeek-V4 от DeepSeek-AI, созданная методом RAZOR без градиентного дообучения. Метод сокращает число маршрутизируемых экспертов в каждом из 43 MoE-слоёв с 256 до 128; внимания, общие эксперты, эмбеддинги и выходная голова сохранены. В карточке указано 156 млрд параметров, включая упаковку весов экспертов в 4 бита, и около 13 млрд активных параметров на токен. Модель предназначена для генерации текста. Для диалоговых запросов кодирование промптов выполняется официальной реализацией DeepSeek-V4, поскольку Jinja-шаблона чата нет. Заявленное контекстное окно — 1 048 576 токенов; репозиторий использует Transformers и содержит веса safetensors в формате FP8, при этом эксперты хранятся в MXFP4. Сокращение экспертов уменьшает модель при сохранении исходных весов оставшихся экспертов и не требует восстановительного обучения. Лицензия — MIT. Обрезка с потерями может менять разнообразие ответов, форматирование и поведение при завершении генерации; конечный корпус калибровки не характеризует поведение на далёких от него областях. Перед применением следует оценить качество на собственных задачах.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

Gemma-2-9b-it-WPO-HB-GGUF — это GGUF-квантизация инструкционной языковой модели gemma-2-9b-it-WPO-HB, разработанной wzhouad и подготовленной в формате GGUF пользователем bartowski. Модель основана на Gemma 2 с примерно 9 млрд параметров и предназначена для генерации текста и диалогового использования в совместимых средах, включая llama.cpp и LM Studio. В описании также указано, что исходная модель обучалась на датасете wzhouad/gemma-2-ultrafeedback-hybrid. Доступны варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций, размер файлов составляет примерно от 4 до 18,49 ГБ. Квантизация выполнена с использованием imatrix и специального набора данных, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4; Q3 и Q2 экономят память, но заметно уступают по качеству. Отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций SVE или i8mm. Модель подходит для локального запуска, чат-ботов и других задач текстовой генерации при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Ограничения включают неизбежную потерю качества при сильной квантизации, отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и конкретных условиях лицензирования. Формат prompt должен соответствовать шаблону Gemma с системными, пользовательскими и модельными turn-маркерами.

pytorch/gemma-3-12b-it-AWQ-INT4 — это квантизированная версия instruction-tuned языковой модели google/gemma-3-12b-it, разработанная pytorch. Модель предназначена для диалогового взаимодействия, генерации и обработки текста, включая ответы на вопросы, краткие объяснения и другие сценарии использования через chat completions или библиотеку Transformers. В README явно указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Модель содержит 12 миллиардов параметров и использует квантизацию AWQ-INT4 с группой размера 128 для весов линейных слоёв. Квантизация снижает требования к памяти по сравнению с исходной версией bfloat16 и рассчитана на запуск с PyTorch, torchao, Transformers и vLLM. В примере генерации поддерживается режим рассуждений, который можно включать или отключать через chat template. Для работы с vLLM требуется nightly-версия vLLM и torchao; из-за известных проблем совместимости рекомендуется отключать compile cache. По данным README, на ограниченной калибровке из 30 примеров задачи mmlu_philosophy модель показала точность 76,85% против 75,56% у gemma-3-12b-it-INT4 и 79,10% у базовой версии bfloat16. Эти результаты нельзя считать полноценной оценкой общих возможностей модели. В рецепте квантизации указано, что AWQ на данный момент работает только на H100 INT4, поэтому аппаратная совместимость может быть ограничена. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.