II.4Отладка, тестирование и качество ПО

EmbeddingGemma — мультиязычная модель эмбеддингов Google DeepMind на 302,8 млн параметров, основанная на текстовой архитектуре Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы для поиска, извлечения информации, оценки семантического сходства, классификации и кластеризации. Модель обучена на данных более чем на 100 языках и рассчитана на запуск в условиях ограниченных ресурсов, включая мобильные устройства и настольные компьютеры. Модель принимает текст длиной до 2048 токенов и выдаёт вектор размерности 768; с помощью Matryoshka Representation Learning его можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Веса предназначены для использования с Sentence Transformers и реализацией Gemma 3 в Transformers. Модель подходит для поиска документов и кода по запросам, а также для подбора текстов по смыслу. Качество может снижаться при неоднозначных формулировках, сарказме и тонких языковых нюансах; результаты также зависят от охвата и возможных смещений обучающих данных. Лицензия — Gemma; применяются условия использования и политика запрещённого использования Gemma.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

Gemma-3-12b-it-GGUF — квантизированная GGUF-версия мультимодальной модели Gemma 3 12B Instruct, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалогов, генерации и анализа текста, а также обработки изображений с использованием соответствующего мультимодального проектора. Модель содержит 12 миллиардов параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размеры файлов составляют примерно от 4,77 до 23,5 ГБ. Для обработки изображений требуется файл gemma-3-12b-it-mmproj-f16.gguf, изображения необходимо нормализовать до разрешения 896×896, при этом каждое изображение кодируется в 256 токенов. README не указывает поддерживаемые языки. Основные преимущества — большой контекст, поддержка текста и изображений и возможность локального запуска через LlamaEdge. Качество и требования к ресурсам зависят от выбранной квантизации: малые варианты экономичнее, но могут заметно терять в качестве, тогда как Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Модель распространяется по лицензии Gemma.

unsloth/gemma-3n-E2B-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3n E2B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Gemma — семейство лёгких открытых моделей Google, созданных с использованием исследований и технологий Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и генерации текста, включая запуск на устройствах с ограниченными ресурсами. Gemma 3n использует технологию выборочной активации параметров, благодаря чему обеспечивает эффективный размер около 2B параметров при меньших требованиях к ресурсам по сравнению с полноразмерной моделью. Максимальный контекст составляет 32K токенов. Семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио, а обучение проводилось на данных более чем для 140 языков, однако для данной GGUF-версии в README указана текущая поддержка только текстового ввода. Выходом служит сгенерированный текст. К сильным сторонам относятся компактность, пригодность для локального запуска и сниженные требования к памяти, а также открытые веса инструкционной версии. Ограничения этой карточки — отсутствие точных сведений о размере конкретного GGUF-файла, варианте квантования, производительности и качестве на отдельных языках; мультимодальные возможности для данной версии заявлены как недоступные. Использование регулируется лицензией Gemma и соответствующими условиями Google.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

unsloth/GLM-4.6V-GGUF — GGUF-версия мультимодальной модели GLM-4.6V из семейства GLM-V. Исходную модель разработала команда Z.ai, а данный вариант подготовлен Unsloth с использованием формата GGUF и методов квантования Unsloth Dynamic 2.0. Модель предназначена для облачных и высокопроизводительных кластерных сценариев, а также для задач мультимодальных агентов. GLM-4.6V поддерживает обработку изображений и текста, включая документы, скриншоты, страницы с таблицами, графиками и сложной разметкой. Она рассчитана на контекст до 128 тысяч токенов, поддерживает китайский и английский языки и имеет заявленный размер 106 млрд параметров. Ключевые возможности включают визуальное понимание, мультимодальный Function Calling, интерливинг изображений и текста, анализ длинных и многодокументных материалов, а также восстановление интерфейсов по скриншотам с генерацией и редактированием HTML/CSS. Сильными сторонами являются сочетание визуального восприятия с выполнением действий через инструменты, работа с насыщенными документами и заявленная конкурентоспособность на мультимодальных бенчмарках. Ограничения связаны с очень крупным размером модели и высокими требованиями к вычислительным ресурсам; конкретные требования к памяти и характеристики квантования в предоставленных данных не указаны. Модель распространяется по лицензии MIT.

Gemma 4 26B A4B it GGUF — квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач, а также сценариев image-text-to-text, согласно указанному pipeline tag. Модель распространяется в формате GGUF с вариантами точности от BF16 до Q3 и IQ3/IQ4, поэтому подходит для запуска на системах с разным объёмом памяти. Размер файлов составляет примерно от 12,55 до 50,51 ГБ. В README приведён специальный chat template и указана совместимость с llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и LoLLMs. Варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как рекомендуемый баланс качества и размера; более сильное сжатие экономит память, но снижает качество. Языки, точное устройство архитектуры, максимальная длина контекста и подробные характеристики мультимодальности в представленном README не указаны. Модель распространяется по лицензии Apache 2.0; для базовой Gemma также приведена отдельная ссылка на условия лицензии Google.

Snowball GLM 5.3 RLVR SFT — диалоговая MoE-модель семейства Grug, разработанная open-athena. Это дообученный чекпойнт open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.21: модель обучали с учётом только ответов ассистента на 5 000 диалогах GLM 5.3 RLVR, используя последовательности длиной 32 768 токенов и 136 шагов оптимизации. Модель предназначена для генерации текста в диалоге, рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 262 144 токенов и имеет 2,8 млрд параметров; формат весов — safetensors. Лицензия — OpenMDW 1.1, унаследованная от базовой модели.

Hermes 2 Pro на Mistral 7B — диалоговая языковая модель, разработанная Nous Research совместно с Interstellarninja и Fireworks.AI. Это дообученная плотная модель Mistral с 7,1 млрд параметров; она использует формат ChatML и контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для вызова функций и формирования структурированных ответов в JSON. Авторы сообщают о точности 90% в собственной оценке вызова функций и 84% в оценке JSON-вывода. Она подходит для ассистентов, которым нужно передавать вызовы инструментам и возвращать ответы по заданной схеме. Модель принимает текст и генерирует текст, включая представления вызовов инструментов и JSON. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты оценок приведены авторами модели; качество ответов и корректность вызовов инструментов следует проверять в целевом приложении.

Llama-3_1-Nemotron-51B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Llama-3_1-Nemotron-51B-Instruct, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp и LM Studio. Указан английский язык. Модель имеет 51 млрд параметров и доступна в форматах от F16 до различных вариантов 3-, 4-, 5-, 6- и 8-битного квантования. Размер файлов варьируется примерно от 23,49 до 103,01 ГБ. Квантизация выполнена с использованием imatrix; в карточке также отмечено исправление RoPE. Для работы следует использовать указанный шаблон инструкций с системным, пользовательским и ассистентским сообщениями. Контекст модели, архитектурные детали исходной версии и дополнительные модальности в README не указаны; по имеющимся данным это текстовая модель. Сильными сторонами являются широкий выбор вариантов квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также поддержка llama.cpp и LM Studio. Более компактные варианты экономят память, но могут уступать полноразмерной версии по качеству. Для использования применяются условия NVIDIA Open Model License; конкретные ограничения следует проверять в тексте лицензии по указанной ссылке.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1-GGUF — набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1. Модель разработана и квантизирована MaziyarPanahi, относится к семейству Llama 3 и предназначена для генерации текста и выполнения инструкций. В названии указаны 70 миллиардов параметров и контекст до 32 тысяч токенов; сведения о поддерживаемых языках и точной архитектуре в README не приведены. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов для локального запуска, включая сценарии с GPU-ускорением и OpenAI-совместимым API. README не содержит результатов оценивания, подробного описания сильных и слабых сторон, а также информации о лицензии, поэтому эти характеристики нельзя определить по предоставленным данным.

MANGO1.5-Qwen3.5-9B — двуязычная текстовая модель CMKL University, дообученная на базе Qwen/Qwen3.5-9B. Это плотная модель семейства Qwen3.5 с 9 млрд параметров; опубликованный чекпойнт содержит LoRA-адаптер, объединённый с базовыми весами, и распространяется в формате Safetensors. Модель обучена методом supervised fine-tuning на корпусе из 5 млн англо- и тайскоязычных инструкций; это первый этап постобучения. Модель предназначена для диалога и выполнения инструкций на тайском и английском языках, включая ответы на вопросы, рассуждения, краткое изложение, перевод, математику, программирование и творческие задачи. Она принимает и генерирует текст. Хотя базовая архитектура поддерживает мультимодальный ввод, эта версия обучалась только на текстовых данных, поэтому улучшенную работу с изображениями предполагать не следует. Авторы отмечают, что модель не прошла отдельный этап DPO или RLHF и не сертифицирована для безопасного применения в производстве. Оценка охватывает ограниченное число моделей; возможны галлюцинации и чувствительность к формулировкам запросов, а качество по отдельным предметным областям и перенос между языками проверены неравномерно. Лицензия — Apache 2.0, унаследованная от базовой модели.

Это общественная квантованная версия Meta-Llama-3.1-70B-Instruct, разработанной Meta AI и подготовленной сообществом hugging-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в качестве инструкционного чат-ассистента. Она поддерживает текстовый ввод и вывод и ориентирована на многоязычное применение. Модель содержит 70 миллиардов параметров и использует архитектуру Llama 3.1. Версия преобразована из FP16 в INT4 с помощью AutoAWQ: применяется GEMM-квантизация с нулевой точкой и размером группы 128. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для загрузки контрольной точки требуется около 35 GiB видеопамяти без учёта KV-кэша и CUDA-графов, поэтому фактические требования выше. README не указывает размер контекста исходной модели. К сильным сторонам относятся существенно сниженные требования к памяти по сравнению с FP16-версией и совместимость с Transformers, AutoAWQ и Text Generation Inference, включая оптимизацию инференса с Marlin kernels. Ограничения связаны с потерями точности, возможными для INT4-квантизации, значительными требованиями к видеопамяти и отсутствием заявленной поддержки мультимодальных входов. Модель распространяется по лицензии Llama 3.1.

Meta-Llama-3.1-8B-Instruct-abliterated-IMat-GGUF — это GGUF-сборка инструкционной языковой модели mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная и квантованная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, поддерживающих формат GGUF и llama.cpp. Доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ4. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Размер базовой модели составляет 8B параметров, исходный тип данных — BF16. В README не указаны точный размер контекста, перечень поддерживаемых языков и мультимодальные возможности; по представленным данным это текстовая модель без заявленной поддержки изображений или других модальностей. Сильными сторонами сборки являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных по соотношению качества и потребления памяти. Ограничения включают потенциальную потерю качества в низкобитных вариантах, зависимость производительности от оборудования и совместимость с llama.cpp или другим ПО, поддерживающим GGUF. Основа модели обозначена как abliterated и uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены; это следует учитывать при использовании. Указанная лицензия — Llama 3.1.

Mistral 7B Instruct v0.1 в формате GGUF — языковая модель для генерации текста и выполнения инструкций, разработанная Mistral AI и преобразованная в квантизированные файлы TheBloke. Модель предназначена для диалоговых приложений, локального запуска и других сценариев, где требуется обработка текстовых запросов с использованием совместимых библиотек и пользовательских интерфейсов. Модель относится к семейству Mistral и содержит 7 миллиардов параметров. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Поддерживаются llama.cpp и ряд сторонних инструментов, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python. Для форматирования запросов используется шаблон <s>[INST] {prompt} [/INST]. К сильным сторонам относятся компактность квантизированных вариантов, возможность локального запуска и широкая совместимость с экосистемой GGUF. Ограничения включают максимальную длину последовательности 4096 токенов для указанных файлов, а также возможное снижение качества при использовании более агрессивной квантизации. Поддерживаются только текстовые сценарии; сведения о языках обучения в README не указаны. Модель распространяется по лицензии Apache 2.0.

mistral-7b-openhermes-sft — дообученная методом supervised fine-tuning модель семейства Mistral, разработанная CorticalStack на базе unsloth/mistral-7b-bnb-4bit с использованием набора данных teknium/openhermes. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-Instruct-2409 — инструкционная плотная языковая модель на 22 млрд параметров, опубликованная Unsloth как дообученная версия Mistral-Small-Instruct-2409 от Mistral AI. Она предназначена для диалогов, следования инструкциям, генерации текста и вызова функций в приложениях на базе языковых моделей. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и интерфейс вызова функций. Для запуска README рекомендует vLLM и mistral-inference; для работы на одном GPU указано требование не менее 44 ГБ видеопамяти. В метаданных лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

NeuralKybalion-7B-slerp — объединённая модель, созданная с помощью LazyMergekit из NousResearch/Hermes-2-Pro-Mistral-7B и liminerity/M7-7b. Это плотная авторегрессионная языковая модель семейства Mistral с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Веса опубликованы в формате safetensors. Модель предназначена для генерации текста и может использоваться в сценариях, подходящих для объединённых исходных моделей, включая диалоги, выполнение инструкций, вызов функций и генерацию JSON. В README указано слияние методом slerp с настройками для слоёв внимания и MLP. Информация о лицензии в предоставленных данных отсутствует.

NousResearch Nous-Hermes-2-Mistral-7B-DPO — диалоговая языковая модель на базе Mistral-7B-v0.1, дообученная методом DPO. Предварительный чекпойнт OpenHermes-2.5-Mistral-7B обучался на миллионе инструкций и диалогов, преимущественно на синтетических данных высокого качества; разработчик сообщает об улучшении результатов на нескольких бенчмарках после DPO. Модель предназначена для генерации ответов на инструкции и многошагового общения. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML, включая системные сообщения и несколько ходов беседы. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Качество ответов зависит от формулировки запроса; результаты на приведённых бенчмарках не гарантируют точность фактических утверждений или пригодность для конкретного сценария.

MaziyarPanahi выпустил эту диалоговую модель как слияние Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-neural-chat-7b-v3-1-7B методом SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на диалог и генерацию текста по инструкциям; заявленная длина контекста — до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и создания текстов по запросу. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специализированной предметной области или ограничениях качества.

Phi-3.5-mini-instruct-IMat-GGUF — это GGUF-квантизованная версия модели microsoft/Phi-3.5-mini-instruct, подготовленная legraphista с использованием llama.cpp b3608. Модель предназначена для генерации текста в формате инструкций, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций размером примерно от 1,42 до 7,64 ГБ. Для многих вариантов с низкой разрядностью применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели; файлы предоставляются в формате GGUF и подходят для использования с совместимыми инструментами, включая llama.cpp. Точная архитектура, число параметров и размер контекста в README не указаны. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, скоростью и требованиями к памяти, а также наличие IMatrix для ряда компактных вариантов. Ограничения связаны с возможной потерей качества при агрессивной квантизации и отсутствием сведений о целевых метриках и производительности. Модель распространяется по лицензии MIT; исходная модель принадлежит Microsoft.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

bartowski/Qwen2.5-14B-Instruct-1M-GGUF — это набор GGUF-квантизированных версий языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговой генерации текста и других задач text-generation, включая локальное использование через llama.cpp и LM Studio. В README явно указан английский язык; формат взаимодействия предусматривает системные, пользовательские и ассистентские сообщения. Модель содержит 14B параметров и поддерживает контекст размером до 1M токенов согласно идентификатору и названию базовой модели. Доступны варианты от F32 и F16 до Q8_0, Q6, Q5, Q4, Q3 и Q2 с размерами файлов примерно от 6,5 до 59 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты используют legacy-форматы или оптимизации для CPU и Apple Silicon. Конкретные требования к оборудованию и производительность в README не указаны. Распространение выполняется по лицензии Apache 2.0. Для использования необходимо учитывать значительный объём модели и выбрать подходящий уровень квантизации в зависимости от доступной памяти и требований к качеству.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

MLX-версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen и конвертированной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.3. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций в приложениях на базе mlx-lm. Из README известно, что модель представлена в 4-битном формате квантования и распространяется как text-generation-модель. Архитектура, общее число параметров, число активных параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Преимущество версии заключается в адаптации для экосистемы MLX; ограничением является отсутствие подробных сведений о характеристиках, качестве и производительности. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; приведённый пример ориентирован на запуск через Python и применение chat template токенизатора.