II.3Рефакторинг, миграция и модернизация

mlx-community/gpt-oss-20b-MXFP4-Q4 — языковая модель для генерации текста, разработанная сообществом mlx-community и конвертированная из openai/gpt-oss-20b в формат MLX с использованием mlx-lm 0.27.0. Она предназначена для сценариев текстовой генерации и запуска в экосистеме MLX, включая использование через библиотеку mlx-lm. Модель относится к pipeline text-generation и имеет вариант квантования MXFP4-Q4. В README не указаны точные сведения об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста, поэтому эти характеристики нельзя достоверно описать. Для работы требуется библиотека mlx-lm; приведённый пример предусматривает поддержку chat template при её наличии. Ограничения производительности и качества в README не раскрыты. Лицензия — Apache-2.0.

HuggingFaceTB_SmolLM3-3B-GGUF — это набор GGUF-квантизированных версий языковой модели SmolLM3-3B, разработанной HuggingFaceTB и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах на базе llama.cpp. Указана поддержка английского, французского, испанского, итальянского, португальского, китайского, арабского и русского языков. Размер исходной модели составляет около 3 миллиардов параметров; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций объёмом примерно от 1,37 до 6,16 ГБ. Основное преимущество набора — возможность выбрать баланс между качеством, потреблением памяти и скоростью локального вывода: варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий размер по умолчанию для большинства сценариев. Более компактные варианты удобны для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. В README не указаны архитектурные детали, длина контекста, мультимодальные возможности и результаты независимого тестирования. Также отмечено, что формат чата ранее требовал исправления, поэтому совместимость шаблона приглашений следует проверять для конкретного клиента. Модель распространяется по лицензии Apache 2.0.

DevQuasar/huihui-ai.GLM-4-32B-0414-abliterated-GGUF — это квантованная версия модели huihui-ai/GLM-4-32B-0414-abliterated, опубликованная проектом DevQuasar. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется локальный запуск квантованной языковой модели. Из README известно, что исходная модель относится к семейству GLM-4 и имеет размер 32B параметров. Формат GGUF указывает на подготовку к использованию в совместимых средах локального инференса, однако конкретный тип квантования, требования к памяти, размер контекста, поддерживаемые языки и модальности в предоставленных данных не указаны. Также отсутствуют сведения о результатах тестирования, сильных сторонах и ограничениях модели. Лицензия и точные условия использования в README не указаны; перед применением необходимо проверить их для исходной и квантованной моделей.

Huihui-Qwen3.6-35B-A3B-Claude-4.6-Opus-abliterated-i1-GGUF — это GGUF-квантизация модели Huihui-Qwen3.6-35B-A3B-Claude-4.6-Opus-abliterated, разработанной huihui-ai и подготовленной в виде квантованных файлов пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой; заявленный размер — 35B параметров при 3B активных параметров. Репозиторий содержит варианты i1-квантизации с размерами примерно от 7,6 до 20 ГБ, а также imatrix-файл для самостоятельного создания квантовок. Модель предназначена для генерации текста, диалоговых сценариев и задач, связанных с рассуждениями. В описании также заявлена поддержка изображений и текста, поэтому она может применяться в мультимодальных сценариях при наличии совместимых mmproj-файлов. Указанный язык — английский. Модель совместима с экосистемой Transformers и инструментами инференса, включая text-generation-inference и vLLM; формат GGUF ориентирован на локальный запуск средствами, поддерживающими этот формат. Сильной стороной являются различные уровни квантизации, позволяющие выбирать между размером файла, скоростью и качеством. При этом низкобитные варианты могут заметно уступать по качеству: в README отдельные сборки обозначены как имеющие низкое качество или предназначенные для случаев острой нехватки ресурсов. Точный размер контекстного окна и результаты бенчмарков не указаны. Обозначения abliterated и uncensored указывают на отсутствие или ослабление части стандартных ограничений безопасности, поэтому поведение модели и пригодность для чувствительных задач следует проверять отдельно. Указанная лицензия — Apache-2.0.

informatiker-Qwen2-7B-Instruct-abliterated-GGUF — это набор GGUF-квантизаций модели informatiker/Qwen2-7B-Instruct-abliterated. В README указано, что квантизации подготовлены командой featherless-ai-quants; исходная модель основана на Qwen2-7B-Instruct. Модель предназначена для генерации текста и использования в сценариях, поддерживающих формат GGUF. Доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размер файлов составляет примерно от 2,9 до 7,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Архитектура, точный размер контекста, поддерживаемые языки и модальности в README не указаны; по назначению это текстовая, а не мультимодальная модель. Основное преимущество набора — возможность локального или совместимого с GGUF запуска с выбором степени квантизации. Более компактные варианты требуют меньше памяти, но потенциально сильнее уступают исходной модели по качеству; README не содержит результатов бенчмарков или подробностей о характеристиках abliteration. Лицензия модели и условия использования в предоставленных данных не указаны.

Это GGUF-квантизированная версия языковой модели OREAL-32B, разработанной internlm и опубликованной в виде квантований пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В качестве исходной модели указана internlm/OREAL-32B, а для квантования использован llama.cpp b4688 с методом imatrix и набором данных internlm/OREAL-RL-Prompts. Модель имеет размер 32B параметров; в README не указаны её архитектурные детали, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты GGUF с квантованием от Q8_0 до Q2_K и IQ2/IQ3/IQ4, размером примерно от 11 до 35 ГБ. Более высокие уровни квантования обеспечивают лучшее качество, но требуют больше памяти; варианты Q4_K_M, Q5, Q6 и Q8_0 описаны как качественные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Основные преимущества — возможность локального запуска, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с распространёнными инструментами llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и значительными требованиями к памяти для крупных вариантов. Лицензия указана как Apache-2.0.

K2 Think V2 — открытая модель с 70,5 млрд параметров для рассуждений, разработанная командой IFM и основанная на дообученной модели K2-V2-Instruct. Это плотная авторегрессионная модель семейства Llama для генерации текста и диалогов, с акцентом на сложные математические задачи и сильными результатами на конкурсных бенчмарках. Модель также показывает результаты на задачах программирования. В README указана длина контекста 131 072 токена с расширением вдвое через YaRN; метаданные каталога указывают нативный контекст 262 144 токена. Шаблон чата унаследован от K2-V2-Instruct, по умолчанию задан высокий уровень рассуждений; режимы low и medium доступны, но не проверялись. Карточка сообщает о хороших агрегированных результатах оценки безопасности, однако отмечает потенциал улучшения в обработке чувствительных персональных данных. Лицензия Apache-2.0; условия использования запрещают незаконное и вредоносное применение и предоставляют модель без гарантий.

MLX-версия модели Kimi-K2.5, разработанной Moonshot AI и опубликованной в исходном виде как moonshotai/Kimi-K2.5. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.30.5 с небольшими изменениями. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе с применением chat template для диалоговых сценариев. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях или размере контекста, поэтому эти характеристики нельзя достоверно указать. Также не описаны конкретные сильные стороны, ограничения производительности или требования к оборудованию; из данных следует лишь, что модель адаптирована для экосистемы MLX. Указана лицензия modified-MIT, обозначенная как other в метаданных. Условия использования следует уточнять по тексту лицензии исходной модели и конвертированной версии.

Spell Blade — дообученная на базе Llama 2 диалоговая модель от sequelbox, предназначенная для общения и задач общего назначения с усиленными техническими возможностями. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров; для диалогов обучалась преимущественно на данных в формате INST. Модель принимает текст и генерирует текст. Заявленный контекст — 4096 токенов. В репозитории представлены веса в формате Safetensors, лицензия — Apache 2.0. Автор описывает её как пригодную для использования без дополнительной настройки, но отмечает, что дальнейшее дообучение может улучшить пользовательский опыт. Модель обозначена как устаревшая и предложена главным образом для справки; для общего применения автор рекомендует Llama 3.

giux78/llama3-8B-usenet-merged — текстовая генеративная модель на архитектуре Llama, опубликованная пользователем giux78 на Hugging Face. По названию репозитория она связана с Usenet и представляет собой объединённую модель, однако карточка не раскрывает состав объединения, разработчика исходных моделей или точное назначение для конкретных тематик. Модель содержит около 7,5 млрд параметров, использует библиотеку Transformers и формат safetensors; заявленный контекст — 8192 токена. Предусмотрен диалоговый режим. Модель принимает текстовые запросы и генерирует текст, в том числе ответы в формате чата. Карточка не сообщает поддерживаемые языки, оценку качества, обучающие данные или конкретные ограничения. Лицензия в карточке не указана.

Lumimaid-Magnum-12B-GGUF — набор квантизированных моделей в формате GGUF, созданный bartowski на основе Undi95/Lumimaid-Magnum-12B. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Указанный шаблон запросов: <s> [INST] {prompt}[/INST]. В набор входят варианты с точностью от F16 до Q2_K, размером примерно от 5,3 до 24,5 ГБ. Квантизация выполнена с использованием llama.cpp версии b3825 и метода imatrix; доступны варианты, оптимизированные для ARM-процессоров. Основные достоинства — широкий выбор компромиссов между размером, качеством и требованиями к памяти, при этом варианты Q5 и Q6 отмечены как высококачественные и рекомендуемые. Более сильная квантизация снижает качество, а конкретные языки, размер контекста, архитектура исходной модели и мультимодальные возможности в README не указаны. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в карточке исходной модели Undi95/Lumimaid-Magnum-12B и для конкретного файла.

MiniCPM-2B-dpo-fp32 — текстовая авторегрессионная модель семейства MiniCPM, разработанная ModelBest и лабораторией обработки естественного языка Университета Цинхуа. Это версия MiniCPM-2B, обученная с учётом человеческих предпочтений методом DPO; в README для семейства указано 2,4 млрд параметров без эмбеддингов, а в метаданных репозитория — 2,7 млрд параметров. Модель принимает текст и генерирует текст, поддерживает диалог и рассчитана на контекст до 4096 токенов. Модель предназначена для диалоговых ответов и генерации текста общего назначения, включая задачи на китайском языке, математику и программирование. Разработчики сообщают о результатах DPO-версии на MTBench, однако отдельно отмечают, что качество генерации в Hugging Face может уступать vLLM. Репозиторий содержит веса PyTorch в формате fp32; README указывает на академическое исследование и ограниченное коммерческое использование. Более точные условия лицензии в предоставленных данных не приведены.

QuantFactory/Mistral-7B-Instruct-RDPO-GGUF — квантизированная версия модели princeton-nlp/Mistral-7B-Instruct-RDPO, созданная с использованием llama.cpp. Исходная модель связана с исследовательской работой SimPO: Simple Preference Optimization with a Reference-Free Reward, опубликованной Princeton NLP; подробности представлены в репозитории проекта SimPO. Модель предназначена для генерации текста и использования в сценариях инструкционного следования, где требуется применять предпочтения, полученные в ходе оптимизации без эталонной reward-модели. В README указаны библиотека Transformers и задача text-generation. Базовая архитектура — Mistral с 7 миллиардами параметров; формат GGUF и квантизация предназначены для более компактного хранения и запуска через совместимые инструменты, включая llama.cpp. В доступных данных не указаны поддерживаемые языки, размер контекста, конкретный метод и уровень квантизации, результаты тестирования, аппаратные требования и ограничения качества. Лицензия также не указана, поэтому условия использования следует уточнять в исходном репозитории или карточке базовой модели.

TheBloke/Mistral-7B-OpenOrca-GGUF — это набор квантованных файлов модели Mistral 7B OpenOrca в формате GGUFv2. Исходную модель разработала OpenOrca, а квантование и публикацию GGUF-версии выполнил TheBloke. Модель относится к архитектуре Mistral, предназначена для генерации текста и диалоговых сценариев на английском языке и использует шаблон запросов ChatML с ролями system, user и assistant. Модель содержит около 7 миллиардов параметров. В репозитории представлены варианты квантования от 2 до 8 бит, включая методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством вывода. Формат подходит для локального запуска на CPU и GPU через llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другие совместимые приложения и библиотеки. Максимальный размер контекста и поддерживаемые модальности в README не указаны; по имеющимся данным модель является текстовой. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. Ограничения включают англоязычную специализацию, возможную потерю качества при низкобитном квантовании и отсутствие заявленных характеристик контекстного окна, бенчмарков и гарантий точности. Указанная лицензия — Apache-2.0.

bartowski/moxin-llm-7b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели moxin-llm-7b, разработанной moxin-org. Квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Модель содержит около 7 миллиардов параметров и поставляется в вариантах от F16 до низкобитных Q2 и IQ2/IQ3/IQ4-квантизаций. Размер файлов составляет примерно от 2,79 до 16,23 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к оперативной памяти. Для некоторых вариантов эмбеддинги и выходные веса квантизированы в Q8_0. Наиболее качественными считаются F16, Q8_0, Q6_K_L, Q6_K, Q5 и Q4_K-варианты; низкобитные версии экономят память, но могут заметно уступать в качестве. В README не указаны архитектура базовой модели, поддерживаемые языки, размер контекстного окна и специальный формат промпта; его рекомендуется уточнить на странице исходной модели. Модель поддерживает только текстовую модальность. Для набора указана лицензия Apache-2.0.

gkraker04/Nanbeige4.2-3B-GGUF — это набор квантованных версий компактной языковой модели Nanbeige4.2-3B, разработанной Nanbeige. Модель предназначена для генерации текста, агентских сценариев и задач, требующих многошагового рассуждения. Она построена на архитектуре Looped Transformer, поддерживает английский и китайский языки и распространяется в формате GGUF для запуска в совместимых средах, включая llama.cpp с поддержкой архитектуры Nanbeige. Репозиторий содержит варианты квантования от Q8_0 до Q2_K и IQ-семейства размером примерно от 1,36 до 4,13 ГБ; исходная версия bf16 занимает 7,77 ГБ. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 2,40 ГБ. Квантование выполнено с использованием importance matrix, что помогает сохранять качество при уменьшении размера. Для Q4_K_M заявлены близкие к bf16 показатели perplexity, однако результаты зависят от типа квантования: при сильном уменьшении разрядности заметно ухудшаются многошаговое рассуждение и точность. Модель подходит для локального запуска на устройствах с ограниченными ресурсами, генерации текста, программирования и экспериментальных агентских приложений. Точные характеристики контекстного окна, сведения о мультимодальности и подробные ограничения исходной модели в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. Репозиторий распространяется по лицензии Apache 2.0.

DevQuasar/NousResearch.Hermes-4-405B-GGUF — квантизированная версия языковой модели NousResearch/Hermes-4-405B, опубликованная DevQuasar. Модель предназначена для генерации текста и, вероятно, может применяться в задачах диалога, написания и обработки текстов, однако README не содержит подробного описания поддерживаемых сценариев. Известно, что модель относится к классу text-generation и распространяется в формате GGUF. Сведения об архитектуре, количестве параметров, доступных уровнях квантизации, модальностях, языках, размере контекста, производительности и ограничениях в README не приведены. Условия лицензирования также не указаны; для уточнения следует обратиться к исходной модели NousResearch/Hermes-4-405B и материалам публикации DevQuasar.

RedHatAI/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-FP8 — квантизированная языковая модель для генерации текста и диалоговых сценариев, разработанная RedHatAI на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 от NVIDIA. Модель принимает текст и возвращает текст, поддерживает использование в conversational-приложениях и может разворачиваться с помощью Transformers и vLLM. Архитектура модели обозначена как NemotronHForCausalLM. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 по статической схеме с использованием LLM Compressor и калибровочных примеров UltraChat. Такое сжатие уменьшает требования к GPU-памяти и дисковому пространству примерно на 50% по сравнению с BF16 и может примерно вдвое повысить пропускную способность матричных умножений на оборудовании с поддержкой FP8. В идентификаторе указаны 30B параметров и конфигурация A3B, однако другие характеристики, включая языки и максимальную длину контекста, в README не приведены. Сильными сторонами модели являются сниженные требования к ресурсам и оптимизация для быстрого инференса на совместимом оборудовании. Ограничения связаны с тем, что FP8-квантизация может зависеть от аппаратной и программной поддержки, а README не содержит результатов оценки качества, подробностей о поддерживаемых языках и условий лицензирования. Данные о лицензии отсутствуют.

Это GGUF-квантизация модели openai/gpt-oss-120b, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие проекты на его основе. README не указывает точный формат промптов и не содержит сведений о поддерживаемых языках или максимальном контексте; для них рекомендуется обращаться к странице исходной модели. Основной рекомендуемый файл — gpt-oss-120b-MXFP4_MOE.gguf размером 63,39 ГБ. Архитектура использует MoE-компоненты, а feed-forward networks сохранены в специальном формате MXFP4, поскольку, согласно описанию, они плохо ведут себя при других вариантах квантизации. Также доступны варианты BF16, Q6_K, Q4_K и другие, однако их выигрыш в размере минимален. Модель является текстовой и не заявлена как мультимодальная. Сильная сторона сборки — возможность локального запуска крупной модели в экосистеме llama.cpp при сохранении FFN в рекомендованном формате MXFP4_MOE. Ограничения включают очень большой размер файлов, необходимость совместимого оборудования и программного обеспечения, а также отсутствие в README сведений о производительности, лицензии, языках и контекстном окне. Условия лицензирования в предоставленных данных не указаны.

orca_mini_v2_13b — языковая модель Pankaj Mathur, созданная в сотрудничестве с Eric Hartford на основе LLaMA-13B. Это плотная авторегрессионная модель с 12,9 млрд параметров, предназначенная для генерации текста и выполнения инструкций. Для обучения использованы наборы WizardLM, Alpaca и Dolly-V2, подготовленные с подходами из исследовательской работы Orca; в README также отмечено улучшение генерации кода по сравнению с предыдущей версией orca_mini_13b. Модель рассчитана на текстовые запросы и ответы на английском языке; максимальная длина контекста составляет 2048 токенов. Автор публикует результаты оценивания на наборах задач ARC и HellaSwag и указывает на uncensored-настройку. Модель распространяется в форматах PyTorch и safetensors по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.

Это набор GGUF-квантизованных версий текстовой генеративной модели OwenArli/Meta-Llama-3-8B-Instruct-Dolfin-v0.1. Квантизацию выполнила организация featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется запуск инструкционной языковой модели в формате GGUF. В основе лежит Meta-Llama-3-8B-Instruct-Dolfin-v0.1; заявленный размер исходной модели — 8 миллиардов параметров. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекста, обучающих данных и результатах тестирования. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Сильной стороной набора является широкий выбор квантизаций для локального или иного совместимого запуска GGUF-моделей. Ограничения, связанные с конкретной потерей качества, производительностью и совместимостью вариантов, в README не описаны. Лицензия и условия использования также не указаны; их следует уточнить по базовой модели и репозиторию.

Карточка модели mt1234/PATHFINDER-32B на Hugging Face совпадает с карточкой mt1234/PATHFINDER-120STEPS, поэтому описание составлено по ней. PATHFINDER-120STEPS — дообученная модель mt1234 на базе unsloth/qwen2.5-coder-32b-instruct-bnb-4bit. Это плотная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В метаданных заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; её контекстное окно составляет 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется по лицензии Apache-2.0.

geoffmunn/Qwen3-1.7B-f16 — общественная конверсия языковой модели Qwen3-1.7B от Geoff Munn для локального запуска. Репозиторий содержит GGUF-вариант в формате F16 и ориентирован на использование с llama.cpp и совместимыми приложениями. Модель насчитывает 1,7 млрд параметров и предназначена для генерации текста, диалогов, рассуждений, следования инструкциям и написания кода. Компактный размер модели подходит для локальных помощников, лёгких агентных систем, учебных проектов и прототипирования, когда важны скорость и работа без подключения к облаку. README также описывает варианты квантования семейства и сравнивает их качество, размер и скорость; эти показатели относятся к указанным вариантам квантования, а не обязательно к файлу F16 в этом репозитории. В метаданных указан английский язык, а базовая модель описана как многоязычная. Это конверсия базовой модели, а не самостоятельная разработка автора репозитория. Лицензия — Apache-2.0. Небольшой размер ограничивает возможности по сравнению с более крупными моделями; результаты квантованных вариантов могут зависеть от разрядности и использования imatrix.

lmstudio-community/Qwen3-32B-MLX-4bit — это 4-битная версия модели Qwen3-32B, разработанной Qwen и преобразованной сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска в экосистеме MLX; README не содержит сведений о конкретных прикладных сценариях, поддерживаемых языках, архитектуре, размере контекста или доступных модальностях помимо текста. Ключевая характеристика модели — 32B в названии и 4-битное квантование, что ориентировано на более эффективное использование памяти при локальном запуске, однако README не приводит измерений производительности, качества или требований к оборудованию. Использование предполагается через библиотеку mlx-lm с применением чат-шаблона токенизатора, если он доступен. Модель распространяется по лицензии Apache 2.0; ограничения и известные недостатки отдельно не указаны.

bartowski/TheSkullery_L3.3-exp-unnamed-model-70b-v0.5-GGUF — это набор GGUF-квантизаций текстовой генеративной модели TheSkullery/L3.3-exp-unnamed-model-70b-v0.5, разработанной TheSkullery. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70B параметров и относится к семейству Llama 3.3; в карточке указана лицензия llama3.3. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и IQ4_XS. Они позволяют выбирать между качеством генерации и требованиями к памяти: размер файлов составляет примерно от 30,91 до 74,98 ГБ. Варианты Q4_1 и Q4_0 отмечены как устаревшие форматы, но могут иметь преимущества в отдельных сценариях на Apple Silicon или ARM/AVX-системах. Сильной стороной являются высокое качество старших квантов и возможность локального запуска на широком спектре совместимого оборудования. Ограничения — значительные требования к оперативной или видеопамяти даже у компактных вариантов, а также потенциальная потеря качества при использовании низкобитных квантов. В README не указаны точный размер контекста, поддерживаемые языки, мультимодальные возможности, конкретная архитектура слоёв и результаты бенчмарков, поэтому эти характеристики нельзя достоверно определить.

yam-jom-7B-slerp — объединённая языковая модель, созданная с помощью LazyMergekit из eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO-v2 и yam-peleg/Experiment26-7B. В основе лежит архитектура MistralForCausalLM с плотной архитектурой и 7,1 млрд параметров; для объединения применён метод SLERP, веса сохранены в формате safetensors. Модель предназначена для генерации текста. Контекст составляет до 32 768 токенов. В карточке приведены результаты Open LLM Leaderboard, включая среднюю оценку 76,45, однако подробности остальных метрик здесь не представлены. Язык модели в карточке не указан. Модель распространяется по лицензии Apache-2.0.

Yi 34B 200K DARE Merge v5 - GGUF — квантизированная версия языковой модели Yi, созданная на основе модели brucethemoose/Yi-34B-200K-DARE-merge-v5. Квантизацию и публикацию GGUF-файлов выполнил TheBloke. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель имеет архитектуру Yi и размер 34 млрд параметров. Указан английский язык; поддерживаемая модальность — текст. Вариант поставляется в формате GGUFv2 с несколькими уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Для взаимодействия рекомендуется шаблон Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. README не указывает точный размер контекстного окна, поэтому заявленные 200K в названии нельзя однозначно трактовать как подтверждённый контекст модели. Сильные стороны модели — большой размер, наличие различных уровней квантизации и поддержка локального запуска на CPU и GPU через llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. Ограничениями являются потребность в значительных вычислительных ресурсах для крупных вариантов квантизации, возможная потеря качества при более агрессивном сжатии и отсутствие подробных данных о качестве, обучающих данных и целевых бенчмарках. Лицензия обозначена как yi-license; условия следует уточнять в лицензии исходной модели Yi.

Qwen2.5-7B-Instruct-GGUF — инструкционная языковая модель, разработанная командой Qwen. Это GGUF-версия модели Qwen2.5-7B-Instruct, предназначенная для диалоговых приложений, генерации текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Модель использует архитектуру causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и механизм GQA с 28 головами Q и 4 головами KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Сильные стороны модели — улучшенные следование инструкциям, кодирование, математика, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов не поддерживается напрямую: для такого расширения README рекомендует использовать не-GGUF версии, а текущая конфигурация с YARN поддерживается только в vLLM. Модель распространяется по лицензии Apache-2.0.

Bolt Instruct 32B — англоязычная причинно-следственная языковая модель с настройкой на выполнение инструкций от AI Squared, основанная на объединении моделей Allen Institute for AI OLMo. Вариант 32B предназначен для диалогов, рассуждений и генерации высокого качества; карточка указывает OLMo-3.1-32B-Instruct среди базовых моделей и описывает обучение семейства методом SFT, а для моделей 7B и 32B — с применением QLoRA. Модель подходит для чат-ассистентов и корпоративных сценариев: генерации структурированных ответов, извлечения сведений из документов, суммаризации, RAG и помощи с кодом. Она принимает текст и генерирует текст, поддерживает контекст до 65 536 токенов. В метаданных указана лицензия other; конкретные условия использования следует сверить с карточкой лицензии репозитория. Модель может галлюцинировать без опоры на источники, а качество зависит от размера варианта. Для задач с высокими последствиями требуется проверка человеком.

Gemma 4 12B Unified — мультимодальная модель с открытыми весами, разработанная Google DeepMind и относящаяся к семейству Gemma 4. Она принимает текст, изображения, видео и аудио, а выдаёт текст; для аудио предусмотрены распознавание речи и перевод речи в текст. Единая архитектура позволяет обрабатывать аудио и изображения без отдельных энкодеров, что подходит для локального запуска на потребительских устройствах. Модель имеет плотную архитектуру и гибридное внимание, сочетающее локальные скользящие окна с глобальным вниманием; заявленное окно контекста для версии 12B — до 256 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, вызова инструментов, а также понимания изображений, видео и аудио. Среди визуальных сценариев — извлечение текста из документов, OCR, разбор PDF, диаграмм и экранных интерфейсов; для аудио доступны транскрипция и перевод речи в текст. Семейство поддерживает более 35 языков в обычном использовании и обучалось на более чем 140 языках, но README не перечисляет конкретные языки этой версии. Модель распространяется по лицензии Apache 2.0. Как и другие генеративные модели, она может давать ошибочные ответы; README также указывает, что приведённые сценарии использования не являются исчерпывающими.