II.2Создание и понимание программного кода

sskimtop/Qwen3-0.6B-JSON-SFT — компактная модель генерации текста на базе семейства Qwen3, дообученная в формате supervised fine-tuning для задач, связанных с формированием JSON. Модель содержит около 507,9 млн параметров и предназначена для запуска через библиотеку Transformers.

Qwen3.8-27B-Ridge-GGUF — квантизированная GGUF-версия официальной модели Qwen3.8-27B, разработанная Empero. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других совместимых средах, включая задачи генерации текста, рассуждений и работы с изображениями. Модель использует гибридную архитектуру из 64 слоёв: на каждые три слоя Gated-DeltaNet приходится один слой полноценного внимания, а также сохраняет встроенную MTP-голову для ускорения генерации. Основной файл имеет квантизацию Ridge с эффективностью 3,69 бит на параметр и размером 11,73 GiB. Поддерживаются английский и китайский языки. Для обработки изображений требуется отдельный BF16-файл mmproj размером около 0,87 GiB. Заявлены нативное контекстное окно 262 тысячи токенов и расширение YaRN до 1 миллиона токенов, однако такие режимы существенно увеличивают требования к памяти. Сильная сторона сборки — специальное распределение точности, учитывающее чувствительность состояния Gated-DeltaNet: соответствующий путь хранится в Q8_0, а микшеры — в Q4_K. По измерениям из карточки, perplexity на Wiki-подобном наборе составляет 7,82 против 7,15 у BF16-версии. Ограничения связаны с потерями качества квантизации, большими затратами памяти при длинном контексте и необходимостью отдельного vision-проектора для изображений. Лицензия — Apache-2.0.

nvidia/Qwen3-8B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми входами и генерирует текстовые последовательности, поддерживает контекст длиной до 131K токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс. Поддерживается TensorRT-LLM; модель оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и предпочтительно используется в Linux. Сильной стороной модели является готовая предварительная квантизация для развертывания и потенциально более эффективный инференс на совместимом оборудовании по сравнению с CPU-сценариями. Ограничения включают зависимость от экосистемы NVIDIA и TensorRT-LLM, а также отсутствие в README подробных сведений о языках, результатах оценки качества и характеристиках исходного обучения. Для калибровки использовался датасет cnn_dailymail; наборы данных обучения и тестирования не раскрыты. Модель распространяется по лицензии Apache 2.0 и заявлена как пригодная для коммерческого и некоммерческого использования.

Qwen3-VL-235B-A22B-Instruct — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте Mixture-of-Experts с инструктивной настройкой. Она принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания видео, пространственных рассуждений и взаимодействия с графическими интерфейсами. В карточке заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длинных документов и видео, а также OCR на 32 языках. Среди описанных возможностей — локализация событий по временным меткам, анализ объектов и их взаимного расположения, решение задач STEM и генерация кода интерфейсов по изображениям или видео. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое качество может зависеть от языка, сложности изображения или видео и характера задачи; приведённый README не содержит конкретных численных результатов бенчмарков.

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL в варианте с режимом рассуждений, представленная в репозитории Unsloth как набор весов с исправлениями шаблона чата. Она принимает текст и изображения и предназначена для диалога, визуального анализа и ответов на вопросы по изображениям; карточка также описывает распознавание текста, понимание видео, пространственные рассуждения и взаимодействие с инструментами. Архитектура — Qwen3 VL MoE для условной генерации; веса опубликованы в формате safetensors, лицензия Apache-2.0. В README заявлены контекст 256K с возможностью расширения до 1M, поддержка OCR на 32 языках, анализ длительных видео, распознавание элементов интерфейса и генерация кода или схем по визуальным примерам. Эти возможности перечислены для семейства Qwen3-VL; подробные результаты тестирования именно этого набора весов в карточке не приведены. Для запуска с llama.cpp README рекомендует параметр --jinja.

cyankiwi/Qwen3-VL-4B-Instruct-AWQ-8bit — 8-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она подходит для описания изображений, визуального вопросно-ответного взаимодействия, OCR, анализа документов, STEM-задач, генерации кода и разметки интерфейсов по визуальным примерам. Модель использует плотную архитектуру размером 4B параметров и поддерживает контекст до 256K токенов с возможностью расширения до 1M. Среди заявленных архитектурных компонентов — Interleaved-MRoPE для временных и пространственных координат, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Указана поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и изображений, распознавание объектов и документов, пространственное и временное рассуждение, работа с длинным контекстом и сценарии визуального агента. Ограничения включают уменьшенную точность, возможные потери качества и совместимость, связанные с 8-битной AWQ-квантизацией, а также отсутствие в README подробных количественных результатов, полного списка языков и требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

tarif2108 разработал дообученную текстовую модель на базе google/gemma-3-270m-it для извлечения структурированных данных и формирования JSON без разговорных вступлений. Модель содержит 257 млн параметров, использует плотную архитектуру Gemma 3 и рассчитана на контекст до 32 768 токенов. В карточке заявлена настройка для function calling и строгого вывода JSON; приведённая оценка на тестовом наборе из 100 запросов показывает 90% синтаксически корректных JSON-ответов и 21% точного совпадения со схемой. Модель подходит для преобразования текстовых запросов и описаний в JSON, а также для извлечения аргументов структурированных вызовов функций. README сообщает о меньшей задержке и более высокой точности форматирования относительно базовой модели, однако эти результаты получены на небольшом тестовом наборе и не гарантируют качество на других данных. Доступны веса safetensors и GGUF F16. Лицензия — Gemma; перед использованием следует соблюдать её условия.

primitive-ai/K2-Horizon-MoVA-36B-A4B-NVFP4 — это квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, подготовленная командой Primitive AI. Модель предназначена для генерации текста, рассуждений и сценариев с вызовом инструментов; поддерживает использование через Transformers и vLLM. Архитектура — MoE с 36B параметров и 4B активируемых параметров. Модель имеет контекст до 32 768 токенов и рассчитана на запуск на одной видеокарте без tensor parallelism. Языки и мультимодальные возможности в README не указаны. Веса 13 500 маршрутизируемых экспертных проекций представлены в формате NVFP4, остальные компоненты сохранены в BF16. Размер модели составляет 36,74 ГБ — примерно вдвое меньше BF16-версии и на 24% меньше официальной FP8-версии. По приведённым измерениям, уровень знаний и способность воздерживаться от неподходящих вызовов инструментов сопоставимы с BF16 и FP8, а пропускная способность при высокой конкуренции выше официальной FP8-версии. Слабее всего пострадала точность аргументов при выполняемых вызовах инструментов: она ниже FP8 примерно на 3,1 процентного пункта. Сборка совместима с GPU архитектур Ampere и Blackwell, включая проверенный запуск на NVIDIA A100 40 ГБ, и предназначена для компактного локального или серверного развертывания. Для работы требуется версия vLLM из main или nightly с поддержкой K2-Horizon; стабильные релизы до 0.28.1rc1.dev388 эту поддержку не содержат. Режим рассуждений выбирается на уровне сервера. Модель распространяется по лицензии Apache-2.0.

MetaMath-Cybertron-Starling-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая языковая модель, созданная на основе mistralai/Mistral-7B-Instruct-v0.2 и Q-bert/MetaMath-Cybertron-Starling. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0.

win10/Mistral-Nemo-Instruct-2407-20b — текстовая разговорная модель на архитектуре Mistral, созданная с помощью mergekit методом passthrough на основе unsloth/Mistral-Nemo-Instruct-2407. В метаданных указаны 23 млрд параметров и контекст до 1 024 000 токенов. Модель предназначена для генерации текста в диалогах и поддерживает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; репозиторий содержит веса в формате safetensors и рассчитан на работу с Transformers. Данные подтверждают английскую маркировку семейства, но не задают перечень естественных языков модели. Лицензия в предоставленных источниках не указана.

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

Это набор GGUF-квантизаций модели Mistral-Small-3.2-24B-Instruct-2506, первоначально разработанной Mistral AI и модифицированной независимым автором llmfan46. Модель обработана методикой Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA), чтобы снизить количество отказов и ограничений при сохранении исходных возможностей. Заявлены 2 отказа из 100 против 98 из 100 у оригинальной версии, при KL-дивергенции 0,0369. Модель предназначена для диалогов, выполнения инструкций, генерации текста и function calling. Она поддерживает мультимодальный сценарий image-text-to-text: для работы с изображениями требуется отдельный Vision Projector, совместимый с GGUF. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели — 24 миллиарда параметров; сведения о длине контекста и точной архитектуре в карточке не приведены. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M с разным соотношением качества, размера и требований к памяти. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Основное преимущество — более свободная генерация и сохранение близкого к оригиналу поведения; ограничениями являются возможное снижение качества из-за квантизации, необходимость Vision Projector для изображений и уменьшенные встроенные механизмы отказа, что повышает риски при использовании без дополнительного контроля безопасности. Лицензия — Apache 2.0.

neural-chat-7b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi объединением Mistral-7B-Instruct-v0.2 и Intel/neural-chat-7b-v3-2 методом SLERP. Это плотная архитектура Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и выдаёт текст; её контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, следования текстовым инструкциям и генерации текста общего назначения. В метаданных указана лицензия Apache-2.0. Данных о специальных ограничениях качества или целевых областях применения в предоставленной карточке нет.

Это GGUF-квантизированная версия языковой модели Nemotron-H-8B-Reasoning-128K, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель относится к классу reasoning-моделей, имеет около 8 миллиардов параметров и заявленный контекст до 128K токенов. Доступны варианты от полного BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Более высокие варианты, включая Q6_K_L и Q6_K, обеспечивают качество, близкое к исходному, а Q4-варианты предлагают более компактный запуск. Сильными сторонами являются большой контекст, возможность локального использования и широкий выбор квантизаций для разного оборудования. Ограничения связаны с потерями качества при более агрессивной квантизации; точный формат промптов, поддерживаемые языки, архитектурные детали и официальная лицензия в представленном README не указаны.

OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp методом SLERP. Модель содержит 7,1 млрд параметров, предназначена для генерации текста и ответов на инструкции в формате диалога. Контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст; в метаданных отмечена возможность чата. Репозиторий содержит веса в формате Safetensors, а конфигурация слияния указывает тип данных bfloat16. Лицензия — Apache 2.0. Подходит для диалоговых приложений и выполнения текстовых инструкций; конкретные языки, оценка качества и ограничения в предоставленных данных не описаны.

QuantFactory/Phi-3-mini-4k-instruct-GGUF — квантизированная версия модели Phi-3-Mini-4K-Instruct, разработанной Microsoft и преобразованной в формат GGUF с использованием llama.cpp. Модель содержит около 3,8 млрд параметров и предназначена для генерации текста и выполнения инструкций на английском языке в приложениях общего назначения. Модель ориентирована на сценарии с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также на задачи, требующие рассуждений, особенно в математике и логике. Она подходит для диалоговых систем, генеративных функций и исследовательских проектов. Контекст ограничен 4096 токенами; поддерживается текстовая модальность. Послеобучение включало supervised fine-tuning и direct preference optimization, направленные на улучшение следования инструкциям, безопасности, структурированного вывода и многошагового диалога. Сильными сторонами являются компактный размер, возможность локального запуска благодаря квантизации, хорошее качество рассуждений среди моделей с менее чем 13 млрд параметров и улучшенное следование инструкциям. Ограничения включают поддержку преимущественно английского языка, короткое контекстное окно и типичные для языковых моделей риски ошибок, смещений и небезопасных ответов; модель требует отдельной проверки перед применением в критически важных сценариях. Модель распространяется по лицензии MIT.

Карточка модели junie626/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen3-0.6B-GGUF — компактная языковая модель семейства Qwen3, разработанная Alibaba Cloud и представителями команды Qwen. Это causal language model с предварительным обучением и последующей настройкой, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, а также интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для Q и 8 для KV. Длина контекста заявлена до 32 768 токенов. Представлена в формате GGUF с квантизацией q8_0, что делает её подходящей для локального запуска через llama.cpp и Ollama при ограниченных вычислительных ресурсах. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач и рассуждений и non-thinking для более быстрых ответов и обычного диалога. Сильными сторонами являются компактность, поддержка многоязычных сценариев, диалоговые возможности, следование инструкциям и пригодность для локального использования. Ограничения включают небольшой по современным меркам размер, возможное снижение качества на сложных задачах по сравнению с более крупными моделями, а также необходимость подбора параметров генерации; README отдельно предупреждает о повторениях при жадном декодировании в thinking mode. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях: диалоговых системах, подготовке и преобразовании текстов, ответах на вопросы и других задачах, поддерживаемых исходной instruct-моделью. README не содержит сведений о точной архитектуре, числе активируемых параметров, размере контекста, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя достоверно уточнить. Ключевое преимущество модели — 8-битное представление, ориентированное на более эффективный запуск на Apple Silicon по сравнению с полноразмерной версией. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

Vontra Qwen3.8-Flash-Next-MLX-oQ4 — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах Apple Silicon. Конверсия выполнена Vontra напрямую из официального BF16-чекпойнта и предназначена для мультимодальных сценариев, включая обработку текста и изображений, генерацию ответов и работу с vision-language задачами через совместимые MLX-VLM или oMLX. Модель использует архитектуру qwen4_exp: разреженную mixture-of-experts с 125 млрд параметров в общей сложности и примерно 6 млрд активных параметров, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав также входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram-эмбеддинги объёмом 51 млрд параметров. Контекст — до 262 144 токенов; используются 24 attention heads и 2 KV heads, размер скрытого состояния — 2560. Модель поставляется в формате MLX safetensors с oQ4 mixed-precision-квантизацией: базовые веса представлены в 4 битах, отдельные чувствительные слои защищены точностью 5/8 бит. Размер весов — около 111,69 ГБ. Сильные стороны модели — поддержка текста и изображений, большое контекстное окно, сниженное активное число параметров благодаря sparse MoE и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации около 27–30 токенов в секунду после загрузки. Для работы требуется runtime с явной поддержкой архитектуры qwen4_exp; старые версии MLX-VLM могут быть несовместимы. Опциональная MTP-голова не включена, а Qwen3.8 27B MTP-drafter использовать нельзя из-за несовместимых скрытых размеров. Это неофициальная общественная конверсия Vontra. Модель распространяется по лицензии Qwen Community License 1.0.

Qwen3-VL-2B-Instruct-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, представленная Unsloth на основе Qwen/Qwen3-VL-2B-Instruct. Репозиторий содержит GGUF-версию весов с исправлениями chat template от Unsloth и предназначен для локального запуска и интеграции с совместимыми инструментами. Модель рассчитана на обработку текста и изображений, а семейство Qwen3-VL также поддерживает понимание видео. Она предназначена для визуального диалога, распознавания и анализа содержимого изображений, OCR, пространственного рассуждения, STEM-задач, генерации кода и взаимодействия с графическими интерфейсами. Указан размер 2B параметров; архитектура описана как мультимодальная, с компонентами Interleaved-MRoPE, DeepStack и выравниванием текста с временными метками. Для семейства заявлен контекст до 256K токенов с возможностью расширения до 1M, но применимость этих характеристик именно к данной GGUF-сборке README не уточняет. Сильные стороны модели — сочетание компактного размера, визуального и текстового понимания, расширенного OCR для 32 языков, анализа пространственных отношений и видео, а также возможности локального развертывания в GGUF-формате. Ограничения включают меньший размер по сравнению с более крупными вариантами семейства и зависимость производительности от выбранного уровня квантования и используемого программного обеспечения; конкретные параметры квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Sparse-Llama-3.1-8B-2of4-GGUF — квантизированная версия разреженной текстовой модели Sparse-Llama-3.1-8B-2of4, созданная QuantFactory с использованием llama.cpp. Базовая архитектура — Llama-3.1-8B; исходную разреженную модель разработала Neural Magic на основе Meta Llama 3.1 8B. Модель принимает текст и генерирует текст. Модель предназначена для задач генерации текста и общего языкового моделирования, включая понимание языка, ответы на вопросы, рассуждения и работу с текстовыми запросами. Ключевая оптимизация — разреженность 2:4: в каждой группе из четырёх весов сохраняются два, а два удаляются. Для восстановления качества после pruning использовались обучение с дистилляцией знаний на 13 млрд токенов, SparseGPT и подход SquareHead. Формат GGUF ориентирован на запуск через llama.cpp; в исходной карточке также указана возможность эффективного развертывания через vLLM. По данным OpenLLM, средняя оценка составляет 62,16 против 63,19 у плотной Llama-3.1-8B, что соответствует 98,37% восстановления точности. На Mosaic Eval Gauntlet средняя оценка равна 53,85 против 55,34, или 97,3% восстановления. Основное преимущество — снижение избыточности модели при сохранении большей части качества исходной версии; ограничениями являются возможное ухудшение результатов на отдельных задачах и отсутствие в предоставленных данных сведений о поддерживаемых языках, длине контекста, точных параметрах квантизации и требованиях к оборудованию. Лицензия указана как llama3.1.

SuperQwen3.8-27b-abliterated-GGUF — это квантованные версии мультимодальной модели SuperQwen3.8-27b-abliterated, разработанной Jiunsong и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста по текстовым и визуальным входным данным, рассуждений, вызова инструментов и работы с длинным контекстом. Заявлена поддержка английского и корейского языков, а также контекста до 262 тысяч токенов. Модель имеет размер 27 млрд параметров; архитектура в README подробно не описана. Для обработки изображений требуется дополнительный мультимодальный компонент mmproj. Доступны варианты квантования от Q2_K до Q8_0 и IQ4_XS с размером файлов примерно от 11 до 29,1 ГБ, а также версии с плавающей точностью F16. Более лёгкие варианты экономят память, но могут снижать качество; Q6_K отмечен как вариант очень хорошего качества, а Q4_K_S и Q4_K_M — как быстрые рекомендуемые варианты. К сильным сторонам относятся мультимодальность, поддержка длинного контекста, рассуждений и вызова инструментов, а также широкий выбор уровней квантования для локального запуска. Ограничения включают зависимость визуальных сценариев от отдельного mmproj-компонента и возможное ухудшение качества при агрессивном квантовании. Модель распространяется по лицензии Apache-2.0.

Agents-A1 — агентная модель от InternScience, созданная для длительных многошаговых задач в поиске, инженерии, научных исследованиях, следовании инструкциям и работе с инструментами. В карточке указана архитектура Mixture-of-Experts и размер 35 млрд параметров; модель распространяется в формате Safetensors и поддерживает диалог и интерфейс вызова инструментов. Для запуска подходят Transformers, vLLM и SGLang. Модель предназначена для разбиения сложных запросов на шаги, планирования, использования внешних инструментов и адаптации по промежуточным результатам. Разработчики сообщают о трёхэтапном обучении: широкая supervised fine-tuning, обучение доменных моделей-учителей и многодоменная дистилляция с учётом различий между задачами. В карточке приведены сильные результаты на агентных, научных и инструкционных бенчмарках; они отражают оценку авторов и зависят от сценария и настроек. Веса опубликованы по лицензии Apache-2.0. Карточка не сообщает поддерживаемые естественные языки или длину контекста; описание стандартного варианта упоминает контекст 262K, но подробности конфигурации приведены не полностью. Тег метаданных указывает на генерацию текста; изображение упоминается среди тегов VLM, однако README не описывает визуальный ввод для этой конкретной модели.

Allura-forge Llama-3.3-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Llama-3.3-8B-Instruct, разработанной allura-forge. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, работу с системными инструкциями и выполнение задач в формате чат-ассистента. Модель представлена в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты от BF16 до Q3 и IQ-квантизаций с размером файлов примерно от 4 до 16 ГБ. Квантизация выполнена bartowski с использованием imatrix и llama.cpp; рекомендованы варианты Q4_K_M, Q5 и Q6 для баланса качества и требований к памяти. Используемый шаблон запросов соответствует формату Llama 3.3 с ролями system, user и assistant. Это текстовая модель: сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Более сильные квантизации обеспечивают качество, близкое к исходной модели, но требуют больше оперативной или видеопамяти; компактные варианты подходят для устройств с ограниченными ресурсами и могут заметнее терять в качестве. Лицензия указана как llama3.3.

BAAI_AREX-Turbo-GGUF — это квантизированная версия модели AREX-Turbo, разработанной BAAI и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2/Q3/IQ-квантизаций. Размер файлов составляет примерно от 2,2 до 8,4 ГБ в зависимости от варианта. Модель предназначена для сценариев агентного использования, глубокого исследования, рассуждений и работы с инструментами. В карточке она также отмечена как long-context и dense; pipeline обозначен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах, архитектуре, числе параметров и максимальной длине контекста не приведены. Указан английский язык. Для работы предлагается шаблон промпта в стиле Qwen с отдельным блоком рассуждений. Сильной стороной модели является широкий выбор квантизаций: варианты Q6_K и Q6_K_L позиционируются как близкие к исходному качеству, Q4_K_M — как сбалансированный вариант для большинства сценариев, а компактные версии подходят для систем с ограниченной оперативной памятью. При этом снижение разрядности может ухудшать качество ответов, особенно у низкобитных вариантов. Модель распространяется по лицензии Apache-2.0 и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты.

Chocolatine-14B-Instruct-DPO-v1.3 — диалоговая языковая модель на 14,1 млрд параметров, разработанная Jonathan Pacifico на основе Microsoft Phi-4. Модель дообучена методом DPO на наборе jpacifico/french-orca-dpo-pairs-revised; автор сообщает об улучшении результатов на французском языке и в целом относительно базовой модели. Она предназначена для генерации текста и ведения диалогов на французском и английском языках, а также может применяться для задач рассуждения, математики и программирования, поддерживаемых базовой Phi-4. Модель использует плотную архитектуру семейства Phi-3 и принимает контекст до 16 384 токенов. В README приведены результаты на OpenLLM Leaderboard и MT-Bench-French, но они зависят от методики оценки и не гарантируют качество в конкретном сценарии. У модели нет механизма модерации. Лицензия — MIT.

EMMA-500 — многоязычная языковая модель MaLA-LM на архитектуре Llama 2 7B, дообученная продолжительным предварительным обучением для улучшения представления языков с ограниченными ресурсами. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; базовый контекст составляет 4096 токенов. В карточке заявлена поддержка 546 языков, включая языки, для которых в обучающих данных было более 100 тысяч токенов. Модель предназначена для многоязычной генерации и может применяться для машинного перевода, классификации текста, логического вывода на естественном языке, ответов на вопросы по тексту, генерации кода и рассуждений на основе здравого смысла. Обучение продолжалось на корпусе MaLA, который, согласно карточке, охватывает более 500 языков и содержит 74 млрд токенов из разных областей. В карточке сообщается об улучшении результатов на многоязычных задачах и бенчмарках относительно других моделей на основе Llama 2. Для низкоресурсных языков отмечено снижение разнообразия генераций. Модель распространяется по лицензии Llama 2; перед использованием следует соблюдать её условия.

granite-4.2-8b-MLX-8bit — 8-битная квантованная версия модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, «thinking» и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель имеет 8 миллиардов параметров в исходной версии; конкретное значение контекстного окна и сведения о мультимодальности не указаны. Ключевые преимущества — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и возможное появление неточного, вредного или неподходящего контента. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Hermes-3-Llama-3.1-405B-GGUF — это квантизированная версия текстовой генеративной модели Hermes-3-Llama-3.1-405B, разработанной NousResearch и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогов, генерации текста, ролевых сценариев, следования инструкциям, работы с ChatML, function calling и вывода в формате JSON. Указана поддержка английского языка и текстовая модальность. Модель основана на архитектуре Llama 3.1 и содержит 405 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_L, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 93,5 до 431,24 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют значительно больше оперативной или видеопамяти; низкие уровни позволяют экономить ресурсы ценой снижения качества. Квантизации созданы с использованием llama.cpp и imatrix, запуск рекомендуется через LM Studio. Сильными сторонами являются большой размер модели, поддержка инструкций, диалогового формата, function calling и JSON mode, а также широкий выбор вариантов квантизации. Ограничениями выступают исключительно текстовая специализация, заявленная языковая поддержка английского языка и очень высокие требования к памяти даже у компактных вариантов. Контекстное окно в представленном README не указано. Модель распространяется по лицензии llama3.