II.3Рефакторинг, миграция и модернизация

empero-ai/Qwen3.8-9B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это дистилляция крупной Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Указан английский язык; поддерживаемые модальности и размер контекста в карточке не уточняются. Модель имеет гибридную архитектуру Qwen3.5 с тремя слоями Gated DeltaNet на каждый слой полной attention-механики и ориентирована на reasoning-сценарии. В карточке приведены варианты от Q4_K_M размером 5,780 GB до BF16 размером 18,407 GB; рекомендуемым считается Q4_K_M как оптимальный баланс качества и объёма. Для работы требуется современная сборка llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. Модель использует встроенный шаблон чата и формирует рассуждения в блоках <think>, которые при необходимости следует удалять из пользовательского вывода. По заявленным оценкам исходной модели, дистилляция заметно улучшает результат на MMLU по сравнению с базовой Qwen3.5-9B, однако немного уступает ей на GSM8K. К ограничениям относятся необходимость совместимого рантайма, потребность в дополнительной памяти под KV-кэш при длинном контексте и отсутствие в этой карточке подробных бенчмарков и рекомендаций по применению. Веса распространяются по лицензии Apache-2.0.

Qwen3-Swallow-30B-A3B-SFT-v0.2 — двуязычная языковая модель Swallow LLM, разработанная на основе Qwen3. Это вариант семейства Qwen3-Swallow с архитектурой MoE и supervised fine-tuning; в карточке указано 2,6 млрд параметров, а контекстное окно составляет до 40 960 токенов по метаданным. Модель рассчитана прежде всего на японский и английский языки. Модель предназначена для диалоговой генерации текста, японско-английского перевода, решения математических задач и программирования. Разработчики сообщают об улучшении японского языка и сохранении или повышении STEM-навыков благодаря этапам CPT и SFT; версия SFT ориентирована на рассуждения по умолчанию. Для наиболее воспроизводимого запуска рекомендован vLLM, а README советует ограничивать контекст 32 768 токенами или меньше. Модель не обучалась специально для вызова инструментов, а переключение режима рассуждений не поддерживается. Авторы также предупреждают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Alcoft/Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированный вариант языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и сценариев, требующих рассуждений, включая работу с локальными приложениями и системами, поддерживающими формат GGUF. В репозитории представлены варианты квантизации от Q2_K до Q8_K с размером файлов примерно от 1,38 до 3,99 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и близкие к ним конфигурации: они обеспечивают приемлемое или высокое качество при меньших требованиях к памяти. Самые лёгкие варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. Некоторые варианты используют повышенную точность Q8_0 или F16 для выходных и embedding-слоёв. Модель относится к text-generation и предоставляет только текстовую модальность. Данные о точной архитектуре, размере контекста и поддерживаемых языках в представленном README не указаны. Основные ограничения связаны с потерей качества при сильной квантизации и зависимостью результата от выбранного варианта. Указана лицензия Apache-2.0.

Sky-T1-32B-Flash-GGUF — GGUF-квантизированная версия текстовой генеративной модели Sky-T1-32B-Flash, разработанной NovaSky-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель имеет 32 миллиарда параметров и ориентирована на работу с английским языком. В репозитории доступны варианты от BF16 и Q8_0 до низкобитных Q2_K и IQ2_M, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и близкие к ним; более компактные версии подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Ключевые сведения об архитектуре, размере контекста, мультимодальности и специализированных возможностях в README не указаны. Модель является текстовой, поэтому данные о поддержке изображений или других модальностей отсутствуют. Для использования требуются совместимое ПО и значительные вычислительные ресурсы, особенно для BF16 и высококачественных квантизаций. Распространяется по лицензии Apache-2.0.

SmolLM3-3B-Base — базовая языковая модель HuggingFaceTB, обученная предсказывать продолжение текста. Это плотный decoder-only Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель опубликована в форматах Safetensors и ONNX. По карточке, предобучение проводилось на 11,2 трлн токенов из веб-текстов, кода, математики и материалов для рассуждений. Это базовая версия семейства; instruct-модель опубликована отдельно. Модель предназначена для генерации и продолжения текста, а также может служить основой для адаптации под прикладные задачи. Она обучалась на английском, французском, испанском, немецком, итальянском и португальском языках; в меньшем объёме также использовались арабский, китайский и русский. Контекст конфигурации — 65 536 токенов; README описывает расширение до 128k токенов с YaRN. Карточка приводит результаты тестирования на задачах рассуждения, математики, кода и многоязычного понимания, но они не гарантируют точность ответов в практическом использовании. Разработчик предупреждает, что текст может содержать фактические ошибки, логические несоответствия и предубеждения из обучающих данных; важную информацию следует проверять. Модель распространяется по лицензии Apache-2.0.

supergemma4-e4b-abliterated-GGUF — это квантованное распространение модели Jiunsong/supergemma4-e4b-abliterated, подготовленное mradermacher в формате GGUF. Модель относится к семейству Gemma, ориентирована на генерацию текста и instruction-tuned-сценарии, а также заявляет поддержку tool calling и структурированного вывода. В метаданных указан английский язык. Модель предназначена для локального запуска и интеграции с совместимыми средами инференса, включая инструменты для работы с GGUF и vLLM. Доступны варианты квантования Q2_K, Q3_K, IQ4_XS, Q4_K, Q5_K, Q6_K, Q8_0 и f16 размером примерно от 4,5 до 15,2 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант высокого качества, а Q8_0 — как наиболее качественный среди быстрых вариантов. Ключевое преимущество — широкий выбор квантований, позволяющий адаптировать требования к памяти, скорости и качеству. Более агрессивные варианты могут снижать качество генерации; для Q3_K_M это указано отдельно. Размер контекста, точная архитектура, количество параметров, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как gemma.

Tiger-Gemma-9B-v1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Tiger-Gemma-9B-v1, разработанной TheDrummer и подготовленной для распространения пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix, применяющего калибровочный датасет для сохранения качества при уменьшении размера весов. Модель предназначена для локального запуска и генерации текста через совместимые инструменты, включая llama.cpp. Доступны варианты от F32 размером около 36,97 ГБ до низкоразрядных Q2 и IQ2 размером около 3,43–4,03 ГБ; также представлены промежуточные варианты Q3–Q8 и IQ. Более крупные квантизации обычно обеспечивают более высокое качество, а компактные подходят для систем с ограниченным объёмом оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS. Известно, что это модель класса Gemma с примерно 9 млрд параметров и поддержкой текстового ввода и вывода. Для диалогов требуется специальный формат prompt с маркерами начала и конца хода пользователя и модели. Системный prompt модель не поддерживает. Языки, размер контекстного окна и дополнительные архитектурные характеристики в предоставленных данных не указаны. Лицензия исходной модели и условия использования данной сборки также не указаны, поэтому перед применением необходимо проверить их отдельно.

Карточка модели ganesh714/arq_m1_chairs на Hugging Face совпадает с карточкой ganesh714/arq_m1_chairs_think_Q7b_C, поэтому описание составлено по ней. Модель ganesh714/arq_m1_chairs_think_Q7b_C — дообученная языковая модель семейства Qwen2 на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Она построена на архитектуре Qwen2ForCausalLM и содержит 7,1 млрд параметров; модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. В README указано, что обучение выполнялось с Unsloth и библиотекой TRL. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0. В карточке нет подробностей о специализации дообучения или оценках качества, поэтому пригодность для конкретных задач следует проверять на собственных примерах.

Это GGUF-квантизированная версия conversational-модели datagemma-rig-27b-it, исходно разработанной Google. Релиз подготовлен пользователем legraphista с применением llama.cpp и предназначен для локального запуска и генерации текста в диалоговых сценариях. В основе лежит модель размером 27 млрд параметров в формате BF16; исходная карточка указывает текстовую генерацию, но не сообщает поддерживаемые языки и размер контекстного окна. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая форматы IQ. Квантизация позволяет выбирать компромисс между качеством, размером файла и требованиями к памяти: размеры файлов варьируются примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, рассчитанная на сохранение качества при уменьшенной точности; BF16, FP16, Q8_0 и Q6_K используют статические варианты без IMatrix. Модель предназначена для работы через llama.cpp и совместимые инструменты, однако конкретные системные требования и показатели качества в README не указаны. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется принять условия лицензии. Ограничения, связанные с безопасностью, точностью ответов и конкретными сценариями применения исходной модели, в представленных данных не описаны.

Dumpling-Qwen2.5-32B-GGUF — это квантованные файлы языковой модели Dumpling-Qwen2.5-32B, подготовленные пользователем bartowski на базе модели nbeerbower. Модель предназначена для генерации текста и локального запуска через llama.cpp, в частности в LM Studio. Она может использоваться для диалогов, написания и преобразования текстов, ответов на вопросы и других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит 32 миллиарда параметров и распространяется в формате GGUF с вариантами от BF16 до низкобитных квантований Q2–Q8 и IQ. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Для квантования применялась imatrix с использованием llama.cpp. В README не указаны точный контекст, перечень поддерживаемых языков и мультимодальные возможности; по заявленному pipeline_tag это текстовая, а не мультимодальная модель. Для работы рекомендуется использовать соответствующий шаблон prompt с маркерами Qwen. Сильной стороной является широкий выбор квантований, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию. Более компактные варианты экономят память, но могут заметно снижать качество. Модель лицензирована по Apache-2.0.

bartowski/gemma-1.1-7b-it-GGUF — это набор GGUF-квантизованных версий языковой модели Gemma 1.1 7B IT, разработанной Google и подготовленной для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и выполнение инструкций в текстовом формате. Модель содержит около 7 миллиардов параметров и является текстовой, без заявленной поддержки изображений или других модальностей. Доступны варианты квантизации от Q8_0 до Q2_K с размером файлов примерно от 3,48 до 9,07 ГБ. Более качественные варианты требуют больше памяти; в README рекомендован Q6_K, а низкоразрядные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Сведения о размере контекста и поддерживаемых языках не указаны. Преимущество этого набора — возможность локального запуска в формате GGUF с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения связаны с потерями качества при агрессивной квантизации, а также с тем, что README не содержит подробных оценок, перечня языков и характеристик производительности. Использование регулируется лицензией Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

GLM-5.2-DQ4plus-q8 — это конвертированная в формат MLX и смешанно квантованная версия языковой модели GLM-5.2, разработанной Z.ai (zai-org) и опубликованной сообществом mlx-community. Модель предназначена для генерации текста и локального запуска на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; для использования рекомендуется библиотека mlx-lm. Ключевая особенность — смешанная квантизация: большинство тензоров сохраняется в 8-битном формате, тензоры up и gate экспертных слоёв квантуются до 4 бит, а down-тензоры — до 5 и 6 бит в зависимости от блока. Такой подход призван сохранить качество при меньшем потреблении памяти и оставить место для контекстного окна. В README не указаны точный размер модели, архитектура GLM-5.2, поддерживаемые языки, модальности и длина контекста; заявленные характеристики применимы прежде всего к MLX-окружению Apple Silicon. Модель ориентирована на пользователей, которым нужен локальный запуск крупной языковой модели на совместимом Mac. Её сильная сторона — компромисс между качеством и требованиями к памяти благодаря преимущественно 8-битным весам и более экономной квантизации экспертных тензоров. Ограничения связаны с привязкой к MLX и оборудованию Apple Silicon, а также с возможными потерями качества из-за квантизации. Модель распространяется по лицензии MIT.

MaziyarPanahi/gpt-oss-20b-Derestricted-GGUF — это набор файлов модели в формате GGUF для ArliAI/gpt-oss-20b-Derestricted. Исходную модель разработала ArliAI, а конвертацию и публикацию GGUF-файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Сведения об архитектуре, размере контекста, поддерживаемых языках и мультимодальности в README не указаны. Лицензия также не указана, поэтому условия использования по этим данным определить нельзя.

Hathor_Gamma-L3-8B-0.6-GGUF — квантизированная версия языковой модели Hathor_Gamma-L3-8B-0.6, разработанной Nitral-AI. Файлы в формате GGUF подготовлены пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; в README указан английский язык и шаблон запросов в формате, совместимом с Llama 3. Модель содержит около 8 миллиардов параметров и доступна в нескольких вариантах квантования от Q8 до Q2 и IQ2/IQ3/IQ4. Размер файлов составляет примерно от 2,75 до 9,52 ГБ. Старшие варианты квантования обеспечивают очень высокое качество при повышенных требованиях к памяти, тогда как младшие позволяют запускать модель на устройствах с ограниченным объёмом RAM, но заметно снижают качество. Некоторые варианты используют f16 для весов эмбеддингов и выходного слоя и отмечены как экспериментальные. Эта сборка удобна для локального запуска через llama.cpp и совместимые инструменты. README не содержит сведений о длине контекста, мультимодальности, данных обучения, результатах тестирования или точных архитектурных особенностях. Лицензия указана как other, без дополнительных условий в представленном описании, поэтому перед использованием следует проверить лицензию исходной модели Nitral-AI.

Hermes-2-Theta-Llama-3-8B-IMat-GGUF — это квантованная версия языковой модели NousResearch/Hermes-2-Theta-Llama-3-8B, подготовленная пользователем legraphista с помощью llama.cpp. Модель основана на Llama 3 и дообучена на наборе teknium/OpenHermes-2.5. Она предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q2_K и IQ3 до Q8_0, а также в форматах FP16 и BF16. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели. В README указан английский язык, однако сведения о длине контекста и мультимодальности отсутствуют; по представленным данным модель является текстовой. Основные преимущества — широкий выбор размеров файлов, возможность локального использования и наличие низкобитных вариантов, снижающих требования к памяти. Качество зависит от выбранного уровня квантования: более компактные варианты экономичнее, но могут сильнее уступать исходной модели. Лицензия — Apache-2.0.

immersyn2026 выпустил чат-модель immersyn-mini-v1, дообученную на базе unsloth/qwen2.5-coder-3b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, предназначенная для генерации текста в диалоге; в метаданных также заявлен интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает специализированную область применения или результаты оценки качества.

Infinity-Instruct-7M-Gen-Llama3_1-70B-GGUF — это GGUF-квантизированная версия генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-70B, разработанной BAAI и подготовленной квантизацией пользователем bartowski. Модель основана на Llama 3.1 с 70 миллиардами параметров и предназначена для генерации текста и выполнения инструкций на английском языке. Модель подходит для диалоговых сценариев, обработки инструкций и других задач text generation. Она использует архитектуру Llama 3.1 и запускается через llama.cpp, в том числе в LM Studio. В репозитории доступны варианты квантизации от Q8_0 до Q2_K, включая рекомендуемые Q4, Q5 и Q6; размер файлов составляет примерно от 27 до 75 ГБ. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Сильная сторона модели — большой размер и широкий выбор вариантов квантизации, позволяющий выбирать между качеством и требованиями к памяти. Более высокие варианты обеспечивают качество, близкое к исходной модели, а низкобитные подходят для систем с ограниченным объёмом RAM, но заметно снижают качество. Мультимодальность и размер контекстного окна в README не указаны. Лицензия обозначена как llama3.1; исходная модель обучена на датасете BAAI/Infinity-Instruct.

Mungert/Jan-v2-VL-high-GGUF — это GGUF-квантизированная версия мультимодальной модели Jan-v2-VL-high, разработанной командой Jan на базе Qwen/Qwen3-VL-8B-Thinking. Модель содержит около 8 млрд параметров, обрабатывает текст и изображения и предназначена прежде всего для многошаговых задач в реальных программных средах, включая управление браузерами и настольными приложениями. Она может использовать скриншоты, вызовы инструментов и промежуточное состояние для выполнения длинных последовательностей действий с минимальным накоплением ошибок. Вариант high ориентирован на более глубокое рассуждение и допускает большее время обработки по сравнению с вариантами low и med. GGUF-файлы подготовлены с использованием llama.cpp; автор применяет избирательное повышение точности отдельных важных слоёв сверх стандартной конфигурации IMatrix, что должно улучшать точность при заданном уровне квантования, но увеличивает размер файла. Модель поддерживает сценарии локального запуска через Jan App и llama.cpp; для исходной модели также указана интеграция с vLLM. В качестве сильных сторон заявлены стабильное выполнение длинных цепочек действий, визуальное заземление и сохранение качества на стандартных текстовых и визуальных задачах относительно базовой Qwen3-VL-8B-Thinking. Ограничениями являются повышенные требования к задержке и размеру файла у варианта high, а также отсутствие в карточке точных сведений о размере контекста, конкретных поддерживаемых языках помимо заявленного английского и системных требованиях. Указана лицензия Apache 2.0.

Arch-Function-Chat-7B-GGUF — квантизированная GGUF-версия модели Arch-Function-Chat-7B, разработанной katanemo и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и чат-сценариев, включая задачи, связанные с function calling, и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Это языковая модель размером 7B параметров с поддержкой английского языка. В репозитории представлены варианты от исходных BF16-весов до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, объёмом примерно от 3,55 до 15,24 ГБ. Для работы следует использовать указанный формат prompt с ролями system, user и assistant. Более качественные варианты требуют больше оперативной памяти, тогда как низкобитные версии экономичнее, но заметно уступают в качестве. Модель ориентирована на локальный запуск и предоставляет широкий выбор компромиссов между качеством, размером и скоростью инференса; в README рекомендуются варианты Q6_K_L, Q6_K, Q5 и Q4_K_M. Архитектура, размер контекстного окна, мультимодальность и дополнительные языки не указаны. Распространение осуществляется по лицензии katanemo-research; подробные условия приведены в LICENSE исходной модели.

bartowski/L3.1-MS-Astoria-70b-v2-GGUF — это набор GGUF-квантизированных версий текстовой генеративной модели Steelskull/L3.1-MS-Astoria-70b-v2. Квантизация выполнена bartowski с помощью llama.cpp b3930 и метода imatrix. Модель предназначена для локального запуска задач генерации текста, диалогов и других сценариев текстового вывода; рекомендуется использовать её через LM Studio или совместимые инструменты на базе llama.cpp. Доступны варианты квантизации от IQ1_M до Q8_0 размером примерно от 16,75 до 74,98 ГБ. Более высокие уровни квантизации обычно лучше сохраняют качество, но требуют больше оперативной памяти; Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые, тогда как самые низкие уровни имеют заметно более низкое качество. Для некоторых вариантов применена квантизация весов эмбеддингов и выходного слоя в Q8_0. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекста, мультимодальности, результатах оценки или лицензии исходной модели. Формат приглашений использует специальные токены Llama 3.1 и задаёт даты отсечения знаний и текущую дату, однако это не заменяет официальное описание возможностей модели.

RedHatAI/Llama-3.2-1B-FP8 — это FP8-квантизированная версия базовой языковой модели Llama 3.2 1B. Репозиторий опубликован Red Hat AI, а исходная модель разработана Meta. Это авторегрессионная текстовая модель для генерации текста и кода; она не является мультимодальной и не относится к instruction-tuned версии. Модель содержит около 1,23 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention: 16 слоёв, 32 attention heads и 8 key-value heads. В конфигурации репозитория указано контекстное окно до 131 072 токенов. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. FP8-представление весов и активаций предназначено для снижения требований к памяти и ускорения инференса на совместимом оборудовании. Сильными сторонами являются небольшой размер, возможность локального развертывания и повышенная эффективность по сравнению с полноточной версией. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями, возможные потери качества из-за квантизации и отсутствие в карточке репозитория собственных подробных оценок качества или описания ограничений. Для исходной Llama 3.2 указана Llama 3.2 Community License — специальная коммерческая лицензия Meta; условия применения производной FP8-модели следует проверять по лицензии базовой модели и файлам репозитория.

QuantFactory/Llama-3-8B-WizardLM-196K-GGUF — это квантизированная версия модели Llama-3-8B-WizardLM-196K, созданная QuantFactory с использованием llama.cpp. Исходная модель основана на Meta Llama 3 8B и дообучена с применением Axolotl на наборе данных Leon-Leee/Wizardlm_Evol_Instruct_v2_196K_backuped. Модель предназначена для генерации текста и выполнения инструкций в сценариях, совместимых с causal language model. Архитектура модели — LlamaForCausalLM, размер — около 8 миллиардов параметров. В конфигурации обучения использовалась максимальная длина последовательности 8192 токена, однако точный поддерживаемый контекст квантизированной версии в README не указан. Данные о языках и мультимодальности отсутствуют; по описанию это текстовая, а не мультимодальная модель. Среди характеристик указаны дообучение в течение двух эпох и итоговая validation loss 0.6077, но результаты независимых тестов не приведены. Квантизация в формате GGUF может снизить требования к памяти и упростить локальный запуск через совместимые инструменты llama.cpp, однако конкретный уровень квантизации, размер файлов и требования к оборудованию не указаны. Ограничениями являются отсутствие подробных сведений о языковой специализации, фактическом размере контекста, точности на прикладных бенчмарках и возможных рисках поведения. Лицензия обозначена как llama3; условия её применения следует уточнять по лицензии исходной модели Meta Llama 3.

LlongOrca 13B 16K — большая языковая модель Open-Orca, представленная в формате GGUF и квантованная TheBloke. Она основана на архитектуре Llama и предназначена для генерации текста, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. В описании указана поддержка английского языка, а исходный набор данных — OpenOrca. Модель имеет 13 млрд параметров и контекстное окно до 16K токенов. GGUF поддерживает метаданные, специальные токены и расширяемость; доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Модель совместима с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами для CPU+GPU-инференса. Для диалогов указан шаблон ChatML. К сильным сторонам относятся увеличенный контекст и возможность локального запуска на широком спектре аппаратных конфигураций благодаря квантованным версиям. Ограничения включают зависимость качества и требований к памяти от выбранного уровня квантования, а также отсутствие в README подробных результатов тестирования и характеристик мультиязычности. Для использования заявлена лицензия llama2; поскольку модель основана на Llama 2, также применяются условия лицензии Meta Llama 2. Вопросы о взаимодействии этих лицензий рекомендуется уточнять в репозитории исходной модели.

Это объединённая методом TIES модель семейства Llama 3.2, созданная с помощью mergekit на базе meta-llama/Llama-3.2-1B. В объединение вошли инструкция-настроенные и специализированные варианты Llama 3.2 1B, в том числе модели для медицинских вопросов, математики, программирования, SQL, commonsense QA и китайского языка. Модель содержит 1,2 млрд параметров и предназначена для генерации текста; заявленная длина контекста — 131 072 токена. Модель может быть полезна для диалогов и ответов на вопросы, включая медицинские, математические и общеобразовательные запросы, а также для генерации SQL и кода. Состав объединения предполагает широкий набор навыков, но карточка не приводит оценок качества или сравнительных тестов. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Mistral-Small-22B-ArliAI-RPMax-v1.1-GGUF — это квантизированная версия текстовой генеративной модели ArliAI/Mistral-Small-22B-ArliAI-RPMax-v1.1. Исходную модель разработала ArliAI, а сборку в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая llama.cpp и LM Studio. Модель относится к семейству Mistral и содержит около 22 миллиардов параметров. Доступны версии от F16 до разных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ4_XS, что позволяет выбирать между качеством генерации, потреблением памяти и скоростью инференса. Размер файлов варьируется примерно от 11,7 до 44,5 ГБ. Для некоторых вариантов предусмотрена оптимизация под ARM, включая требования к поддержке sve или i8mm. Рекомендуемый формат prompt — <s> [INST] запрос [/INST]. Сильной стороной сборки является широкий выбор квантизаций, включая варианты с высоким качеством и уменьшенным потреблением памяти, что упрощает локальное развертывание. Ограничения и дополнительные характеристики исходной модели, включая поддерживаемые языки, размер контекста, точную архитектуру, мультимодальность и результаты тестирования, в README не указаны. Модель распространяется по лицензии MRL-0.1; в метаданных она обозначена как license: other.

Negentropy-claude-opus-4.7-9B — экспериментальная модель рассуждений на 9 млрд параметров от Jackrong, созданная при участии Kyle Hessling. Она основана на Qwen3.5-9B, дообученной с помощью Unsloth на реконструированных цепочках рассуждений: авторы описывают метод Trace Inversion, который восстанавливает промежуточные шаги из кратких сводок рассуждений Claude Opus 4.7. Модель предназначена для сложных логических задач, математики, программирования, многошагового следования инструкциям и генерации данных с цепочками рассуждений для более компактных моделей. В метаданных указаны возможности чата и анализа изображений; README преимущественно описывает текстовые сценарии. Поддерживаемые языки по метаданным — английский, китайский, корейский, японский и русский. Модель распространяется под лицензией Apache-2.0. README предупреждает о более низкой скорости по сравнению с версией 4B, потребности примерно в 8–12 ГБ видеопамяти в зависимости от квантизации и возможности фактических ошибок при убедительно выглядящих рассуждениях.

Это набор GGUF-квантизаций модели nyun-llama3-62B, опубликованный bartowski на основе оригинальной модели nyunai/nyun-llama3-62B. Квантизация выполнена с использованием llama.cpp версии b3070 и метода imatrix. Модель предназначена для локального запуска задач генерации текста через совместимые с llama.cpp средства инференса. В набор входят варианты с разным уровнем квантования: от Q8_0 размером 65,88 ГБ до IQ1_M размером 14,77 ГБ. В README не указаны точные архитектурные характеристики, поддерживаемые языки, размер контекста и модальности; по назначению это текстовая модель. Варианты Q5_K_M, Q4_K_M и IQ4_XS отмечены как рекомендуемые благодаря балансу качества и размера, тогда как самые компактные варианты обеспечивают меньшее качество. I-квантизации могут быть выгоднее по производительности на cuBLAS и rocBLAS, но несовместимы с Vulkan; выбор файла зависит от доступных RAM и VRAM. Шаблон чата в карточке не задан, поэтому приведённый формат может быть некорректен и требует проверки по оригинальной карточке модели. Лицензия в README не указана.

Samll/olmo3-7b-think-thinkprune-b4000 — дообученная диалоговая модель семейства OLMo 3, созданная для экспериментов с эффективным обучением рассуждениям. Модель основана на allenai/Olmo-3-7B-Think и связана с работой «Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability». Это плотная авторегрессионная языковая модель с 6,9 млрд параметров, рассчитанная на контекст до 65 536 токенов; веса доступны в формате safetensors для Transformers. Модель предназначена для генерации текста в диалоге и задач, где требуется рассуждение, включая математику и программирование. Карточка указывает на использование ThinkPrune и GRPO, однако не приводит подробностей обучения или сравнительных оценок качества. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

OpenOrca-Platypus2-13B-imatrix-GGUF — набор imatrix-квантизированных версий модели OpenOrca-Platypus2-13B, разработанной на основе объединения garage-bAInd/Platypus2-13B и Open-Orca/OpenOrcaxOpenChat-Preview2-13B. Модель предназначена для генерации текста и выполнения инструкций; в карточке указано, что она относится к текстовым моделям и поддерживает английский язык. Это 13-миллиардная модель в формате GGUF, ориентированная на запуск средствами, совместимыми с GGUF. Для базовой версии Platypus2-13B указан шаблон запросов с секциями «### Instruction» и «### Response»; для варианта OpenChat рекомендуется шаблон OpenChat Llama2 V1. Дополнительные сведения об архитектуре, размере контекста, поддерживаемых модальностях и практических характеристиках не приведены. В карточке не указаны конкретные преимущества, ограничения производительности или требования к оборудованию. Лицензия обозначена как other, без подробного описания условий использования, поэтому перед применением необходимо ознакомиться с лицензиями исходных моделей и условиями распространения данной сборки.

mlx-community/Qwen2.5-32B-Instruct-8bit — конверсия в формат MLX модели Qwen/Qwen2.5-32B-Instruct, выполненная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная модель семейства Qwen2.5 с 32 млрд параметров, предназначенная для диалоговой генерации текста и работы с интерфейсом вызова инструментов. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Карточка указывает английский язык, а базовая модель Qwen2.5 поддерживает более широкий контекст, но для этой версии следует ориентироваться на значение из её метаданных. Модель распространяется по лицензии Apache-2.0.