II.3Рефакторинг, миграция и модернизация

Open-Instruct Open Assistant 13B — языковая модель на архитектуре LLaMA, дообученная AllenAI на данных OpenAssistant/oasst1 для выполнения инструкций и генерации текста. Это модельный diff, поэтому для её использования нужна исходная модель LLaMA в формате Hugging Face; карточка приводит лицензию AI model license вместе с исходной лицензией LLaMA. Модель содержит 12,9 млрд параметров, принимает текст и рассчитана на контекст до 2048 токенов. Она предназначена для диалоговых ответов и выполнения пользовательских инструкций на английском языке; в карточке также приведены результаты тестов на рассуждения, математические задачи, вопросы и ответы и генерацию кода. Качество генерации зависит от соблюдения обученного формата ввода, включая завершающий перевод строки. Показатели на бенчмарках отражают результаты эксперимента из указанной исследовательской работы и не гарантируют качество в прикладных сценариях.

Guile/orcarouter_Qwen3.8-27B-Uncensored-GGUF — это квантованная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная bartowski в формате GGUF для запуска через llama.cpp. Модель содержит около 28 млрд параметров и предназначена для генерации текста, рассуждений, function calling, задач red teaming и работы с изображениями при использовании дополнительного файла mmproj. Заявлена поддержка английского и китайского языков. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и imatrix-квантизацию. Доступны варианты от BF16 размером 54,66 ГБ до более компактных конфигураций Q3–Q8; вариант Q4_K_M размером 17,77 ГБ указан как сбалансированный по качеству и требованиям к памяти. README не содержит сведений об архитектуре слоёв, размере контекстного окна, точных мультимодальных ограничениях и результатах бенчмарков, поэтому эти характеристики оценить нельзя. Для работы требуются совместимые версии llama.cpp и, при обработке изображений, файл mmproj. Преимуществами являются большой размер модели, поддержка текста и изображений, рассуждений, function calling и speculative decoding, а также широкий выбор уровней квантизации для различного объёма доступной памяти. Ограничения включают высокие требования к памяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и отсутствие в README подробных данных о безопасности и фактической производительности. Указанная лицензия — Apache-2.0.

Phi-3-mini-4k-instruct-bnb-4bit — инструкционная языковая модель семейства Phi, разработанная Microsoft AI и командой Phi и опубликованная в 4-битном формате квантования через Unsloth. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для дообучения на собственных наборах данных с использованием Transformers и инструментов Unsloth. Из доступных данных известно, что модель работает с английским языком и имеет контекстное окно на 4K токенов. Суффикс bnb-4bit указывает на 4-битное представление, ориентированное на снижение требований к памяти и запуск на более доступном оборудовании. README также указывает на поддержку дообучения и последующего экспорта в форматы GGUF и vLLM, однако точный размер модели, архитектура и результаты оценки для этой конкретной версии не приведены. Сильными сторонами являются компактное квантованное представление и пригодность для локального запуска и экспериментов с дообучением. Ограничения включают заявленную языковую специализацию на английском, ограничение контекста 4K токенами и возможные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии MIT.

MaziyarPanahi/phi-4-GGUF — это набор квантизированных файлов модели microsoft/phi-4 в формате GGUF. Исходную модель разработала Microsoft, а квантизированные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых инструментах и библиотеках, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие приложения с поддержкой GGUF. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, в том числе с ускорением на GPU, однако конкретные архитектурные характеристики, размер модели, длина контекста, поддерживаемые языки и модальности в README не указаны. Основные преимущества — возможность локального использования и широкий выбор уровней квантизации. Ограничения связаны с потенциальной потерей качества по сравнению с исходной моделью при использовании низкой разрядности, а также с тем, что совместимость и производительность зависят от выбранного клиента и аппаратного обеспечения. Лицензия в предоставленных данных не указана.

mlx-community/Qwen3-235B-A22B-4bit — это 4-битная версия модели Qwen3-235B-A22B, преобразованная в формат MLX сообществом mlx-community с использованием mlx-lm 0.24.0. Исходную модель разработала команда Qwen; README указывает базовую модель Qwen/Qwen3-235B-A22B. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm, в том числе в диалоговом режиме с применением chat template. Указаны общий размер 235B параметров и обозначение A22B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в README не приведены. Ключевое преимущество этой версии — 4-битное представление и адаптация к MLX, что ориентировано на запуск в совместимой MLX-среде; ограничения производительности, качества и требований к оборудованию не описаны. Модель распространяется по лицензии Apache-2.0.

Mercor дообучила Qwen3.6-35B-A3B методом постобучения с подкреплением на готовых наборах данных APEX-Agents. Это мультимодальная модель семейства Qwen3.5 MoE для диалогов и анализа изображений; заявленная карточка Hugging Face задача — image-text-to-text. Модель доступна в формате Safetensors и рассчитана на применение через Transformers. Постобучение ориентировано на агентные сценарии и задачи, связанные с профессиональной работой со знаниями. Базовая модель описана как модель с 35 млрд параметров для диалогов, агентного программирования и анализа изображений; данных о длине контекста и поддерживаемых языках в предоставленных источниках нет. Модель распространяется по лицензии Apache-2.0.

LibertAIDAI/Qwen3.6-35B-A3B-NVFP4-GGUF — это GGUF-квантизация мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen и адаптированной LibertAI для работы с llama.cpp. Модель предназначена для генерации текста, рассуждений и обработки изображений и видео совместно с vision-проектором mmproj. Заявленный язык — английский. Модель использует гибридную архитектуру attention и SSM с механизмом Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активируются на каждом токене; предусмотрено 40 слоёв и 256 экспертов, из которых активны 8. Маршрутизируемые экспертные FFN-тензоры представлены в формате NVFP4, а attention, shared experts, SSM-блоки linear_attn и embeddings используют обычные варианты GGUF-квантизации. Доступны варианты с Q4_K_M, Q8_0 и BF16 для неэкспертных тензоров; для мультимодального ввода требуется отдельный vision-проектор F16 размером около 861 МБ. Основное преимущество NVFP4-варианта — уменьшенный размер и высокая скорость на NVIDIA Blackwell, особенно для версии Q4_K_M; на RTX 5090 она показала до 223 токенов в секунду при генерации. При этом для этой MoE-модели стандартный GGUF Q4_K_M в некоторых сценариях пакетной обработки быстрее NVFP4-варианта, поэтому выигрыш NVFP4 зависит от оборудования и режима работы. На старых GPU поддержка NVFP4 работает через альтернативные kernels и не даёт заявленного преимущества Blackwell. Контекст модели в README не указан. Распространение выполняется по лицензии Apache 2.0. Для запуска необходимы llama.cpp и соответствующий GGUF-файл; мультимодальный режим дополнительно требует vision-проектор.

Qwen3.6-35B-A3B-Q5_K_M-GGUF — это квантованная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в средах с высокой нагрузкой на CPU, включая сценарии использования через llama.cpp. Вариант использует квантование Q5_K_M, обеспечивающее компромисс между качеством и размером файла. Базовая модель имеет архитектуру Mixture-of-Experts и обозначение 35B-A3B, однако в README не приведены подробности о числе экспертов, активных параметрах, размере контекста, поддерживаемых языках и точных модальностях. Метаданные указывают на сценарий image-text-to-text, но дополнительных сведений о работе с изображениями нет. Сильная сторона этой версии — баланс качества и требований к ресурсам по сравнению с менее или более сильно квантованными вариантами. Ограничения связаны с потерями качества, характерными для квантования, а также с отсутствием в README данных о производительности, совместимости и рекомендуемых ресурсах. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-50 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B для генерации текста. Модель разработана RedHatAI и построена на архитектуре Qwen3_5MoeForCausalLM с экспертной архитектурой MoE. Она принимает текст и генерирует текст, предназначена для задач вывода больших языковых моделей и развертывания через vLLM. В модели применена смешанная квантизация NVFP4/FP4: веса и активации линейных слоёв MoE-экспертов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Также заявлено REAP-сокращение экспертов на 50%, что уменьшает размер на диске и потребление GPU-памяти квантизированных слоёв примерно на 75% с дополнительным выигрышем за счёт разреженности. Модель рассчитана на инференс с vLLM, включая tensor parallelism и expert parallelism. Размер модели, длина контекста, поддерживаемые языки и точные модальные возможности в README не указаны. Основные преимущества — существенное снижение требований к памяти и объёму хранения при сохранении исходной архитектуры и готовность к эффективному инференсу на поддерживаемом оборудовании. Ограничения связаны с потерями качества, возможными для агрессивной квантизации и pruning; README сообщает о сравнительной оценке, но не приводит её результаты. Также имеется несогласованность: в названии и описании указано 50% REAP Pruning, а в разделе создания модели — 25%. Лицензия в README не указана.

Max73333/Qwen3.8-27B-GPTQ-Int4-V100 — это 4-битная GPTQ-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для текстовой генерации и запуска на видеокартах NVIDIA Tesla V100 с compute capability 7.0 (sm_70). Веса используют 4-битное представление, group size 128, симметричное квантование и параметры desc_act=false. Модель предназначена прежде всего для инференса через Transformers или совместимую сборку vLLM; мультимодальные возможности для этой версии не заявлены и не проверялись. Языки и точный размер контекста в README не указаны, однако конфигурация тестировалась с максимальной длиной контекста 4096 токенов. Архитектура текстового режима внутри vLLM связана с классами семейства Qwen3.5. Главное преимущество сборки — возможность практического запуска крупной модели на Volta, где некоторые AWQ и compressed-tensors ядра требуют более новой архитектуры GPU. На одной NVIDIA Tesla V100-SXM2 32 ГБ в протестированной конфигурации заявлена установившаяся скорость около 37–40 токенов в секунду после прогрева. При этом первый запуск контейнера и первый запрос могут занимать значительно больше времени, а производительность зависит от версий CUDA, PyTorch, Triton и vLLM. Для vLLM использовалась пропатченная сборка из исходников с поддержкой sm_70; совместимость со стандартными релизами не гарантируется. Более длинный контекст, конкурентная генерация и режимы 8192–32768 токенов требуют отдельной проверки из-за ограничений памяти KV-кэша. Лицензия модели — Apache-2.0.

Frozenlock/Qwen3.8-27B-int4-AutoRound — это мультимодальная квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем или организацией Frozenlock. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска и обслуживания через vLLM, включая сценарии генерации текста, работы с изображениями и инструментами. Модель использует квантование INT4 по схеме W4A16 с размером группы 128 и симметричным представлением, выполненное с помощью AutoRound 0.14.2 и упаковки auto_gptq. Квантованы основные языковые блоки и слои MTP, тогда как 96 тензоров GDN-линейного внимания in_proj_a и in_proj_b, а также vision tower и эмбеддинги сохранены в bf16. Размер весов составляет около 18 ГБ. Поддерживаются мультимодальные входные данные, вызов инструментов и спекулятивное декодирование MTP; заявленный нативный контекст — 262 144 токена, а базовая модель поддерживает расширение YaRN до 1 миллиона токенов. Ключевое преимущество сборки — совместимость квантованной MTP-головы со спекулятивным декодированием в vLLM, что в измерениях README почти удваивало скорость декодирования, хотя коэффициент принятия черновых токенов зависит от типа текста и составлял примерно 41–67%. Компактные веса также позволяют оставить больше памяти под KV-кэш, однако для эффективной работы требуются совместимые версии vLLM и Marlin W4A16, а мультимодальность, поддерживаемые языки и точные показатели качества отдельно не описаны. Производительность зависит от GPU, настроек KV-кэша, длины контекста и режима tensor parallelism.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие встроенного отказного поведения. Заявлена поддержка английского, китайского и других языков. Для изображений и видео используется отдельный vision projector в формате BF16. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный MTP/NextN, а дополнительный профиль HauhauCS FastMTP предназначен для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизированные варианты от Q8_K_P до IQ2_M. Сильные стороны модели — широкий набор текстовых, мультимодальных, reasoning- и agentic-сценариев, большой контекст и варианты оптимизированного квантования K_P, рассчитанные на сохранение качества при уменьшенном размере. Ограничения включают потенциальные риски uncensored-поведения, отсутствие отказов на опасные запросы и необходимость отдельного vision projector для изображений и видео. В README не приведены независимые результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

Atomic-Germ/Qwen3.8-9B-Distill-GGUF — это набор квантованных версий языковой модели Qwen3.8-9B, разработанной компанией Empero. Модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B и предназначена для генерации текста и решения задач рассуждения. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых сред. Заявлен английский язык. Модель использует гибридную архитектуру Qwen3.5-класса: на каждые слои полной attention приходятся три слоя Gated DeltaNet. Указан размер 9B параметров; контекстное окно в README не сообщается. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 5,780 до 18,407 GB. В качестве сильных сторон заявлены улучшенные результаты на MMLU по сравнению с базовой Qwen3.5-9B и поддержка локального запуска на видеокартах с 8–16 GB памяти в зависимости от квантования. Ограничением является необходимость свежей сборки llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; при длинном контексте дополнительные ресурсы потребляет KV-кэш. Модель генерирует рассуждения в блоках <think>, которые при необходимости следует скрывать от конечных пользователей. Веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen.

Qwen3.8-9B-Distill-uncensored-heretic-GGUF — GGUF-квантизированная версия модели Qwen3.8-9B-Distill, подготовленная пользователем petruhonk на базе empero-ai/Qwen3.8-9B-Distill. Модель подвергнута «abliteration» с помощью Heretic v1.4.0 для снижения числа отказов при ответах на запросы, которые исходная модель отклоняет. Она предназначена для генерации текста, диалоговых приложений, агентских сценариев и функционального вызова инструментов через llama.cpp. Модель содержит 9 млрд параметров, 33 блока и сохранённую MTP-голову для speculative decoding с режимом draft-mtp. В репозитории опубликованы только текстовые веса в формате GGUF, предположительно с квантизацией Q8_0; для запуска с мультимодальными возможностями необходим отдельный файл mmproj. Исходная архитектура поддерживает изображения и видео, однако данный репозиторий не содержит соответствующих компонентов. Встроенный шаблон чата поддерживает tools и <tool_call>, а пример запуска рассчитан на контекст до 32768 токенов. К сильным сторонам относятся сохранённая MTP-голова, совместимость со speculative decoding и существенно меньшее число отказов по сравнению с исходной моделью: 6 из 100 против 100 из 100 в указанном тесте. Ограничения включают неполную мультимодальную поставку, зависимость качества и потребления памяти от выбранной квантизации, а также возможные изменения поведения из-за abliteration; показатель KL-дивергенции относительно исходной модели составляет 0,0306. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next ROCmFP4-FAST imatrix GGUF — квантизированная GGUF-версия модели Qwen3.8-Flash-Next, разработанная и опубликованная Agention. Модель предназначена для генерации текста, агентских сценариев, работы с длинными контекстами и обработки изображений при подключении собственного vision-модуля. Языки в README не указаны. Модель содержит около 180 млрд параметров, использует квантизацию ROCmFP4 с эффективностью 4,23 bpw и занимает примерно 87,06 GiB. Поддерживается контекст до 262 144 токенов, а vision tower поставляется отдельно в формате F16. Также доступна speculative decoding через собственную MTP-голову; заявлена скорость генерации до 40 токенов в секунду на Strix Halo, хотя результат зависит от содержимого. Квантизация imatrix откалибрована на 1540 фрагментах данных, а заявленная потеря по perplexity относительно неквантизированной версии составляет около 2,48%. Ключевое преимущество — возможность полностью разместить веса, таблицу n-gram и вычисления на GPU с unified memory без CPU fallback, что особенно полезно для длинных запросов и повторного чтения большого контекста. Основные ограничения — очень высокие требования к памяти и специализированному оборудованию, а также необходимость использовать форк llama.cpp с поддержкой ROCmFPx и соответствующими оптимизациями. Для vision и speculative decoding требуются дополнительные файлы и настройки. Лицензия указана как qwen-community-1.0.

Qwen3-Next-80B-A3B-Instruct-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Квантование в формате MLX подготовлено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и работы в инструкционных сценариях, включая диалоговое взаимодействие и выполнение текстовых запросов. В README указаны размер исходной модели 80B и обозначение A3B, однако подробности архитектуры, контекстного окна, поддерживаемых языков и модальностей не приведены. Формат MLX и 4-битное квантование ориентированы на более эффективное локальное выполнение при ограниченных ресурсах по сравнению с полноразмерной версией. К сильным сторонам относятся локальный запуск на Apple Silicon и сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества по сравнению с исходной моделью и отсутствие в предоставленных данных подробных сведений о производительности, языковой поддержке и безопасных сценариях применения. Модель распространяется по лицензии Apache-2.0.

bartowski/Qwen_Qwen3-14B-GGUF — набор GGUF-квантизаций базовой языковой модели Qwen3-14B, разработанной командой Qwen. Квантизации выполнены bartowski с использованием llama.cpp версии b5200 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Доступны варианты от исходных весов BF16 размером 29,54 ГБ до сильно сжатых форматов объёмом около 5,32 ГБ, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, Q3- и Q2-варианты. Более крупные квантизации обычно обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но заметно уступают по качеству. Для диалогового режима в README указан шаблон с ролями system, user и assistant. README не содержит сведений об архитектурных деталях, поддерживаемых языках, длине контекста, мультимодальности или лицензии. Условия использования необходимо уточнять по документации исходной модели Qwen/Qwen3-14B и репозиторию квантизаций.

bartowski/Qwen_Qwen3.6-27B-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-27B, разработанной Qwen и опубликованной в формате, совместимом с llama.cpp. Квантизации подготовлены bartowski с использованием imatrix и предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В метаданных указано назначение image-text-to-text, однако подробные сведения о поддержке изображений в README отсутствуют. Модель имеет 27 млрд параметров и доступна в вариантах от BF16 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 13,5 до 54,7 ГБ; варианты с более высокой точностью обычно сохраняют лучшее качество, а низкобитные версии требуют меньше оперативной памяти. Для некоторых конфигураций заявлена поддержка MTP-слоёв через параметр draft-mtp в llama.cpp. Формат prompt использует специальные маркеры ролей system, user и assistant с секцией рассуждений think. Модель подходит для локальной генерации текста и мультимодальных сценариев, если соответствующая поддержка реализована используемым инструментом, однако языки, размер контекста, архитектурные детали исходной модели и конкретные возможности работы с изображениями в предоставленных данных не указаны. Сильные стороны — широкий выбор квантизаций, возможность запуска на различном оборудовании и заявленное высокое качество вариантов Q5–Q8; ограничения связаны с ростом потерь качества у низкобитных вариантов и значительными требованиями к памяти. Указана лицензия Apache-2.0.

RWKV7-G1i-1.5B-20260805 — базовая предварительно обученная языковая модель архитектуры RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчуном Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Модель содержит 1,5 млрд параметров и использует рекуррентную архитектуру без attention: состояние фиксированного размера и вычисления на каждый генерируемый токен постоянны, при этом обучение допускает параллелизацию. Для работы применяется формат flash-linear attention и токенизатор RWKV World с размером словаря 65 536 токенов. Модель предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для генерации текста, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат промпта, но сам по себе не означает, что модель является безопасным или согласованным ассистентом. Метаданные каталога указывают контекст 2048 токенов и поддержку английского, китайского, японского, корейского, французского, арабского, испанского и португальского языков. Лицензия — Apache-2.0.

RWKV-7 «Goose» — базовая авторегрессионная языковая модель, выпущенная BlinkDL в формате Transformers. Это плотная модель архитектуры RWKV-7 с классом Rwkv7ForCausalLM; в метаданных указан размер 7,8 млрд параметров. В отличие от архитектур с attention, она использует рекуррентное состояние постоянного размера, поэтому объём состояния не растёт как KV-кэш, а вычисления при генерации масштабируются линейно по числу токенов. Обучение при этом допускает параллелизацию. Модель предварительно обучена на веб-текстах, коде, синтетических, инструкционных, разговорных и рассуждательных данных. Её можно использовать для генерации продолжений, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат запросов, но сам по себе не означает, что модель является безопасным или выровненным ассистентом. В карточке заявлена поддержка нескольких языков, включая русский, английский и китайский. Контекстное окно в предоставленных данных не описано. В комплект входят интеграция с Transformers, токенизатор RWKV World и шаблон многоходового чата с поддержкой префикса рассуждений и формата вызова инструментов. Для тонкой настройки описана поддержка SFT и LoRA; ускоренный инференс на TileLang зависит от GPU, типа данных и формы входа, с возможностью отката на PyTorch. Лицензия — Apache-2.0. Карточка не заявляет оценок безопасности, предвзятости, токсичности или фактической точности; спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.

Soulfate24/Spark-X2.5-4B-ASHQ1-Remix-GGUF — квантизированная версия Spark-X2.5-4B в формате GGUF, подготовленная в рамках набора ASHQ1-Remix. В README описана активационно-ориентированная квантизация с параметрами, основанными на измерениях; указана поддержка линии AutoRound с ограничениями насыщения. Модель предназначена для генерации текста и диалогового использования. Базовая Spark-X2.5-4B — компактная многоязычная языковая модель для диалога, кода, рассуждений, перевода и агентных задач. Метаданные указывают базовую модель XHToken/Spark-X2.5-4B и лицензию Apache-2.0. Данных о размере контекста и конкретных языках этой версии в предоставленных материалах нет.

Yuan2-2B-Februa-hf — компактная языковая модель IEIT System из семейства Yuan 2.0, представленная в архитектуре YuanForCausalLM с плотной структурой и примерно 1,9 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в карточке заявлено контекстное окно 8192 токена. Модель опирается на Yuan 1.0 и обучалась на расширенном наборе предварительно обучающих и инструкционных данных. Разработчик описывает её применение для понимания языка, математики, рассуждений, кода и общих знаний; в README приведены оценки на GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA для версий Yuan 2.0. Доступны веса PyTorch и указана лицензия other; README сообщает о коммерческом использовании по условиям лицензии Yuan 2.0 и Apache 2.0 для исходного кода репозитория. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям. README также возлагает на пользователя ответственность за соблюдение условий лицензии и требований безопасности при развёртывании.

Карточка модели LCM-Lab/1.2steps300_full_streaming_64k_qwen3-8b_wfrozen на Hugging Face совпадает с карточкой LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen, поэтому описание составлено по ней. LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen — дообученная плотная языковая модель семейства Qwen3 на базе Qwen/Qwen3-4B, опубликованная LCM-Lab. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса Safetensors, модель содержит около 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. README озаглавлен «Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers», что указывает на связь модели с исследованием адаптивной разреженности внимания при работе трансформеров. Лицензия — Apache-2.0. Карточка не раскрывает конкретные результаты тестирования или подробные ограничения качества.

Это GGUF-квантизованная версия языковой модели AI21-Jamba2-Mini, разработанной AI21 Labs и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README не указаны точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, с размером файлов примерно от 21 до 103 ГБ; выбор варианта позволяет балансировать качество и требования к памяти. Для работы используется заданный формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильной стороной является широкий выбор квантованных вариантов: старшие варианты обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Некоторые форматы требуют актуальной версии программного обеспечения с поддержкой модели. Лицензия — Apache 2.0.

mrcuddle подготовил объединённую диалоговую языковую модель на базе Llama 3 8B. Веса NousResearch/Hermes-2-Pro-Llama-3-8B и jondurbin/bagel-8b-v1.0 объединены методом SLERP с помощью mergekit; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель работает через Transformers, сохранена в формате safetensors, поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалоговых ответов. Её можно использовать для общения с ассистентом, ответов на вопросы, написания текстов и кода, а также выполнения разнообразных текстовых инструкций. Метаданные указывают на возможность чата, однако README не приводит оценок качества или результатов тестирования. Сведения о лицензии в предоставленных источниках отсутствуют.

Carnice-V3-27b-Pollard — это квантизированная версия модели Carnice-V3, разработанной kai-os и подготовленной PollardWeights с использованием метода Pollard Weights. Модель предназначена для диалоговых и универсальных задач генерации текста, а также поддерживает мультимодальные сценарии с изображениями при подключении отдельного визуального проектора. Она распространяется в формате GGUF и совместима с llama.cpp, ik_llama.cpp, Ollama, LM Studio и другими совместимыми приложениями. Модель содержит около 27,4 млрд параметров и использует архитектуру qwen3_5. В карточке указана поддержка английского языка; базовая модель заявлена как текстовая, а обработка изображений доступна через проектор mmproj-Carnice-V3-BF16.gguf, который необходимо загрузить отдельно. Основной вариант PollardMix IQ3_S занимает 12,08 ГБ вместо примерно 54,72 ГБ в формате f16; также доступны варианты IQ4_XS и Q6_K с большим размером и потенциально более высокой точностью. Распределение битов выполняется по чувствительности отдельных слоёв, а не равномерно. Для IQ3_S указаны perplexity 7,88 и производительность около 6,9 токена в секунду, однако скорость зависит от оборудования. Сильной стороной модели является существенное снижение требований к памяти при сохранении единого набора весов и совместимости со стандартной экосистемой GGUF. Ограничения включают потерю точности из-за квантизации, зависимость производительности от оборудования и необходимость ik_llama.cpp для некоторых вариантов Trellis; для мультимодального режима требуется отдельный BF16-проектор. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Это квантизированная GGUF-версия модели GLM-4.7-REAP-218B-A32B, разработанной Cerebras и полученной из GLM-4.7 с использованием метода REAP. В исходной модели было равномерно удалено 40% экспертов, что указывает на разреженную MoE-архитектуру. Квантизацию выполнил bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и может использоваться в локальных инструментах, поддерживающих формат GGUF, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В README указан английский язык. Приведён шаблон промпта с системными, пользовательскими и ассистентскими ролями, а также маркером рассуждений. Размер доступных файлов зависит от метода квантизации: примерно от 88 до 232 ГБ; рекомендуются варианты Q4_K_M, Q5_K_M и Q6_K. Сильными сторонами являются широкий выбор уровней квантизации и возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Более сильные варианты сохраняют высокое качество, а низкоразрядные подходят для систем с ограниченной RAM, но имеют заметно худшее качество. Точные параметры архитектуры, размер контекста и мультимодальные возможности в README не указаны. В метаданных указана лицензия MIT.

DeepSeek-R1-Distill-Llama-8B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Llama-8B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана DeepSeek, а данный репозиторий предоставляет варианты весов для локального запуска и инференса, в том числе через LM Studio. Модель предназначена для генерации текста и поддерживает сценарии локального использования, включая диалоговое взаимодействие и задачи рассуждения, предусмотренные базовой моделью. Доступны варианты от F32 и F16 до низкоразрядных Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер модели составляет 8 миллиардов параметров; формат GGUF ориентирован на работу с llama.cpp. В README также указан шаблон промпта, содержащий системное сообщение, запрос пользователя и ответ ассистента. Сильной стороной набора является широкий выбор квантизаций: варианты Q6 и Q5 обеспечивают высокое качество при заметно меньшем размере, а Q4 и Q3 подходят для устройств с ограниченными ресурсами. Более компактные варианты экономят память, но могут снижать качество генерации. Данные о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности и лицензии в README не указаны.

bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF — набор GGUF-квантизированных версий модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от BF16 до низкобитных Q3 и IQ3, а также Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Версии с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; варианты Q4 и Q5 предлагают компромисс между качеством и потреблением ресурсов, а Q3 рассчитаны на системы с ограниченным объёмом памяти. Квантизация выполнена с использованием imatrix и llama.cpp release b4514. Это текстовая модель, однако README не содержит достоверных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре исходной модели, результатах оценки или специализированных сценариях применения. Лицензия в предоставленных данных также не указана. Для работы следует использовать рекомендованный формат prompt с системным сообщением, запросом пользователя и ответом ассистента.