II.3Рефакторинг, миграция и модернизация

BenevolenceMessiah/Qwen2.5-72B-Instruct-abliterated-2x-TIES-v1.0 — объединённая модель на базе семейства Qwen2.5, созданная с помощью mergekit методом TIES. В качестве базовой использована huihui-ai/Qwen2.5-72B-Instruct-abliterated; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель предназначена для диалогов и генерации текста. Это плотная причинно-языковая архитектура Qwen2 с 71,5 млрд параметров и контекстом до 32 768 токенов; работает через Transformers и распространяется в формате safetensors. Метаданные указывают интерфейс вызова инструментов, однако README не описывает его поведение и надёжность. Изменённое поведение отказов унаследовано от базовой abliterated-модели согласно описанию каталога. README не сообщает результатов оценки качества или конкретных ограничений. Лицензия в предоставленных данных не указана.

RobinsonLabs Qwen3.5-REAP-212B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, производной от OpenMOSE/Qwen3.5-REAP-212B-A17B. Базовая модель получена сокращением числа экспертов Qwen3.5-397B-A17B-A17B на 48% методом REAP и содержит 212 млрд параметров всего, из которых около 17 млрд активны. Публикацию подготовила RobinsonLabs. Модель предназначена для генерации текста и локального запуска через совместимое ПО, включая llama.cpp. Архитектура qwen35moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, 267 экспертов MoE и размер скрытого состояния 4096. Представлен только текстовый путь, без vision mmproj; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы, связанные со взрослым и творческим контентом. При этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальным противоправным действиям. Доступны imatrix-взвешенные варианты от Q5_K_M размером около 150 ГБ до IQ2_XXS размером около 56 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ограничения включают очень большой объём файлов, зависимость качества от выбранной квантизации и маркировку not-for-all-audiences. Лицензия Apache-2.0 унаследована от базовой модели.

Qwen3.5-397B-A17B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-397B-A17B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Исходная модель разработана командой Qwen; конкретные сведения о внутренней архитектуре, языках и размере контекста в представленном README не указаны. Модель имеет заявленный pipeline image-text-to-text, поэтому предназначена для задач генерации текста с обработкой текстово-графических входов, однако подробности поддерживаемых модальностей не приведены. Доступны варианты квантования от Q8_0 до Q3 и IQ-серий, с размером файлов примерно от 188 до 429 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска подходят llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Также заявлена поддержка MTP-слоёв в новых версиях llama.cpp с параметром draft-mtp. Большой размер модели предъявляет крайне высокие требования к памяти и вычислительным ресурсам. Распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, точных характеристик архитектуры, языкового охвата, длины контекста или подробного описания ограничений исходной модели.

AI-Sweden-Models-Llama-3-8B-GGUF — набор GGUF-квантизированных версий языковой модели AI-Sweden-Models/Llama-3-8B. Файлы подготовлены и опубликованы командой featherless-ai-quants на базе модели, разработанной AI-Sweden-Models. Модель предназначена для генерации текста и локального или ресурсоограниченного запуска совместимых Llama-моделей. В репозитории доступны варианты квантования Q2_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_0 и IQ4_XS с размером файлов примерно от 3 до 8 ГБ. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с менее сжатыми вариантами. Формат GGUF ориентирован на использование в совместимом локальном программном обеспечении; конкретные языки, размер контекста, архитектурные детали, результаты оценки и мультимодальные возможности в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять у исходной модели AI-Sweden-Models/Llama-3-8B и автора квантований.

ARIA 70B V2 — это большая языковая модель в формате GGUF, разработанная Faradaylab и квантизированная TheBloke. Репозиторий содержит варианты модели для запуска через llama.cpp и совместимые интерфейсы и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp, Faraday.dev, ctransformers и llama-cpp-python. Исходная модель доступна в формате PyTorch FP16, а также существуют варианты AWQ и GPTQ. Модель основана на архитектуре Llama и предназначена для генерации текста, диалоговых сценариев, ролевого общения, образовательных задач и, согласно метаданным, работы с кодом. Заявлены английский и французский языки. Для общения используется шаблон Llama-2-Chat с системными инструкциями о полезных, безопасных и непредвзятых ответах. Размер модели — 70B параметров; сведения о длине контекста и поддержке дополнительных модальностей в README не указаны. Ключевое преимущество этой версии — поддержка нескольких уровней 2-, 3-, 4-, 5-, 6- и 8-битного квантования, позволяющая запускать модель с использованием CPU и GPU и выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают высокие аппаратные требования для 70B-модели, возможное снижение качества из-за квантования и отсутствие подтверждённых характеристик производительности. Указанная лицензия — llama2.

ChatAllInOne-Yi-34B-200K-V1-GGUF — квантизированная GGUF-версия текстовой генеративной модели ChatAllInOne-Yi-34B-200K-V1, разработанной DrNicefellow. Квантизацию выполнила Second State Inc.; базовая модель указана как DrNicefellow/ChatAllInOne-Yi-34B-200K-V1. Модель предназначена для диалоговой генерации текста и запуска в совместимых средах, включая LlamaEdge. Для взаимодействия используется шаблон vicuna-1.1-chat с ролями USER и ASSISTANT. В основе лежит модель класса Yi с 34 млрд параметров; заявленное название содержит указание на контекст до 200K, однако в README для запуска через LlamaEdge указан размер контекста 7168, поэтому фактический поддерживаемый контекст зависит от конфигурации и среды выполнения. Модель работает только с текстом; сведения о языках не приведены. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 12,8 до 36,5 ГБ. Q4_K_M обозначен как рекомендуемый сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества. Главное преимущество — возможность запускать крупную 34B-модель в квантизированном формате с выбором компромисса между размером файла, требованиями к ресурсам и качеством. Низкобитные варианты заметно экономят память, но сопровождаются существенной потерей качества; для практического использования README рекомендует Q4_K_M или более точные варианты Q5. Модель распространяется по лицензии yi-license; ссылка на текст лицензии приведена в README.

DevQuasar-7/cognitivecomputations.Dolphin3.0-Llama3.1-8B-GGUF — квантизированная версия модели cognitivecomputations/Dolphin3.0-Llama3.1-8B, предназначенная для генерации текста. README не указывает точный вариант квантования, размер файлов, поддерживаемые языки, длину контекста или особенности архитектуры; из идентификатора и базовой модели можно заключить только принадлежность к семейству Llama 3.1 с размером 8B параметров. Модель разработана и опубликована пользователем или организацией DevQuasar-7 на базе модели cognitivecomputations. Версия в формате GGUF ориентирована на локальный запуск в совместимом программном обеспечении, однако конкретные сценарии применения, сильные стороны и ограничения в README не описаны. Информация о лицензии и условиях использования также отсутствует, поэтому их необходимо уточнить по документации базовой модели и репозитория.

DeepSeek-R1-Distill-Qwen-14B-heretic — текстовая генеративная модель, созданная на основе DeepSeek-R1-Distill-Qwen-14B компанией или автором репозитория saidutta69 с использованием Heretic версии 1.4.0. Это вариант с подавленным поведением отказа, полученный направленной абляцией и изменением весов в выходных проекциях attention и down-прекциях MLP, без дообучения. Модель предназначена для разработчиков, которым нужны диалоги, генерация текста и рассуждения без встроенных отказов базовой модели. Модель имеет примерно 14,8 млрд параметров, поддерживает текстовую модальность и ориентирована на английский язык. Доступны полноточные веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Для запуска рекомендуются GPU с 16–24 ГБ памяти; квантованные версии подходят для потребительского оборудования, CPU и Apple Silicon. Модель совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM, SGLang и Transformers. Размер контекста в README не указан. Главное преимущество — сохранение знаний и навыков следования инструкциям базовой модели при уменьшении количества отказов, а также широкий выбор квантований для локального запуска. При этом это не улучшенная по возможностям версия DeepSeek-R1-Distill-Qwen-14B, а модификация с удалёнными защитными ограничениями. Отсутствие дополнительной фильтрации означает повышенный риск небезопасной генерации, поэтому ответственность за применение и развёртывание лежит на пользователе. Модель распространяется по лицензии deepseek-research-license, унаследованной от базовой модели.

DeepSeek-R1-Distill-Qwen-7B-Uncensored-Reasoner-GGUF — это GGUF-версия дистиллированной 7-миллиардной модели рассуждений на базе Qwen, подготовленная h34v7 на основе модели nicoboss/DeepSeek-R1-Distill-Qwen-7B-Uncensored-Reasoner. Модель ориентирована на локальный запуск и генерацию ответов общего назначения с акцентом на рассуждения; README отдельно указывает возможность запуска на Android-устройствах с Snapdragon 8 Gen 2, Snapdragon 8 Gen 3 или Snapdragon Elite через Ollama и Termux. Для работы рекомендуется не менее 8,4 ГБ оперативной памяти, при этом на менее производительных устройствах возможна более низкая скорость. Ключевые сведения об архитектуре, точном размере файла, формате квантования, максимальном контексте, поддерживаемых языках и модальностях в README не приведены; по имеющимся данным, это текстовая языковая модель. В описании заявлена «uncensored»-настройка, однако её фактическое поведение и качество не подтверждены отдельными тестами. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731-OptiQ-2bit — это 2-битная mixed-precision-квантизация базовой модели DeepSeek-V4-Flash-0731, подготовленная сообществом mlx-community с помощью MLX-native toolkit mlx-optiq. Модель предназначена для локального запуска и генерации текста на компьютерах Apple Silicon без PyTorch и облачных сервисов, включая задачи следования длинным спецификациям, рассуждений по текстовым правилам и генерации программного кода. Модель использует разреженную архитектуру Mixture-of-Experts с 304 млрд параметров, 43 слоями и 256 маршрутизируемыми экспертами, из которых для каждого токена активны 6. Контекстное окно составляет 1 048 576 токенов. Маршрутизируемые эксперты квантизированы до 2 бит, attention — до 6 бит, shared expert, embeddings и LM head — до 8 бит, MTP head — до 3 бит; итоговое значение составляет 2,43 bits per weight. Размер на диске — около 92,5 ГБ, а при работе маршрутизируемые эксперты потоково считываются с SSD, поэтому в памяти находится примерно 6,5 ГБ. На Mac с M3 Max заявлена скорость около 2,5 токена в секунду. Сильная сторона модели — возможность запустить чрезвычайно крупную MoE-модель на потребительском Apple Silicon с объёмом оперативной памяти от 16 ГБ. Она демонстрировала способность следовать длинной спецификации и создавать работоспособный одностраничный HTML-код. Ограничения связаны с экстремальной 2-битной квантизацией: она приводит к потере точности, а скорость зависит от производительности SSD. Показатели по стандартному набору бенчмарков для этой версии не опубликованы, поэтому для задач, где критична точность, рекомендуется использовать веса bf16 или более высокобитную квантизацию. Модель распространяется по лицензии MIT.

DPOpenHermes 7B GGUF — квантизированная версия языковой модели DPOpenHermes 7B, разработанной Open Access AI Collective и подготовленной в формате GGUF компанией TheBloke. Модель основана на архитектуре Mistral, предназначена для генерации текста и диалоговых сценариев, а также может использоваться локально через llama.cpp и совместимые интерфейсы и библиотеки. Указан английский язык; поддерживается шаблон диалога ChatML с системными и пользовательскими сообщениями. Модель имеет 7 миллиардов параметров. Доступны варианты GGUFv2 с квантованием от 2 до 8 бит, включая CPU+GPU-инференс, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Контекстное окно, точные требования к ресурсам и показатели качества в README не указаны. Модель обучалась с использованием наборов teknium/openhermes, argilla/ultrafeedback-binarized-preferences и Intel/orca_dpo_pairs. Сильными сторонами являются открытый формат, возможность локального запуска и широкий выбор уровней квантования. Ограничениями выступают преимущественно англоязычная специализация, отсутствие заявленных мультимодальных возможностей и неполная информация о производительности и контекстном окне. Лицензия — Apache-2.0.

FineLlama-3.1-8B-GGUF — это набор GGUF-квантизированных вариантов языковой модели FineLlama-3.1-8B, разработанной mlabonne и подготовленной квантизацией bartowski с использованием llama.cpp и калибровочного imatrix-датасета. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio и совместимые инструменты llama.cpp. В README указан английский язык и тип задачи text-generation; сведения о мультимодальности отсутствуют. Доступны варианты от F32 до низкобитных Q2 и IQ2, поэтому можно выбирать между качеством и требованиями к памяти: размер файлов составляет примерно от 2,95 до 32,13 ГБ. Варианты Q5–Q6 и Q4_K_M отмечены как обеспечивающие высокое или хорошее качество, а низкобитные варианты позволяют работать при ограниченном объёме RAM, но сильнее теряют в качестве. Точный размер контекста, архитектурные детали исходной модели и рекомендуемый формат промпта в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

chanwit/flux-7b-base-stage-0 — объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода SLERP из chanwit/flux-7b-base-stage-00 и Intel/neural-chat-7b-v3-3. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В README описана схема слияния и указано представление весов в bfloat16; метаданные указывают формат safetensors и возможность диалога. Сведений о лицензии и языках в предоставленных источниках нет.

Huihui-Qwen3.5-122B-A10B-Abliterated-GGUF — это GGUF-квантизированная версия модели Qwen/Qwen3.5-122B-A10B, созданная разработчиком Huihui AI с применением abliteration — экспериментального метода снижения отказов модели. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи оркестрации, режимы Ask и Architect, а также другие сценарии, где требуется производительная генерация текста. Поддерживается обработка изображений через отдельный файл mmproj.gguf. Модель основана на Qwen3.5-122B-A10B; из идентификатора следует конфигурация с общим размером 122B и обозначением A10B, однако подробности архитектуры, языковой поддержки и максимального контекста в README не приведены. Доступны различные квантизации, включая Q6_K, Q4_K_M и MXFP4_MOE. В README указана скорость около 65 токенов в секунду для варианта MTP на нескольких RTX 3090; для ускорения рекомендуется использовать актуальную версию llama.cpp, speculative decoding с draft-MTP и при необходимости unified memory. Ключевая особенность модели — существенно сниженная фильтрация безопасности и отсутствие стандартных гарантий безопасного поведения. Это может быть полезно для исследований и контролируемого тестирования, но повышает риск чувствительных, спорных или неподходящих ответов и делает модель непригодной без дополнительного контроля для публичных и высокорисковых приложений. Рекомендуются мониторинг результатов и ручная проверка. В карточке указана лицензия Apache 2.0; конкретные условия для производного варианта следует сверять с лицензией базовой модели.

Это экспериментальная квантизация GGUF модели huihui-ai/Huihui-Kimi-Linear-48B-A3B-Instruct-abliterated, подготовленная ENOSYS. Она предназначена для генерации текста в диалоге, включая ответы на запросы, связанные с кодом, математикой и инструментами. В README указаны калибровочные данные для английского и русского текста, кода, математики и инструментов, а также экспериментальная глобальная квантизация с целевым диапазоном 3,0–3,5 бит на вес. Тензоры записаны в F16 для совместимости с архитектурой Nvidia Pascal, включая P100; для квантования использовалась нестандартная ветка LLaMA C++, а репозиторий содержит небольшие патчи. Модель основана на Kimi Linear 48B A3B Instruct и предназначена для локального запуска в формате GGUF; карточка описывает её как разговорную мультиязычную модель. Квантизация уменьшает размер весов, но приводит к потерям качества: в README приведены сравнительные метрики perplexity и KL divergence для нескольких вариантов битности. Лицензия — MIT.

Llama 2 70B Orca 200k — языковая модель для генерации текста и выполнения инструкций, созданная ddobokki на базе Llama 2 70B. Репозиторий TheBloke содержит её квантованные версии в формате GGUF; исходная модель доступна в формате PyTorch fp16. Модель ориентирована на англоязычные сценарии общения, ответов на запросы и других задач text-generation. Модель имеет архитектуру Llama и 70 миллиардов параметров. Вариант GGUF предназначен для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти и сохранением качества, однако README не приводит точных характеристик контекстного окна, результатов тестирования или производительности. К сильным сторонам относятся большой размер модели, instruction-tuned назначение, поддержка локального CPU+GPU-инференса и широкий выбор уровней квантования. Ограничения включают высокие требования к ресурсам для 70B-модели, возможное снижение качества из-за квантования и отсутствие заявленных мультимодальных возможностей; указана только поддержка языка English. Использование регулируется лицензией Llama 2.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-квантизация модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, опубликованная AtomicChat и предназначенная для запуска через llama.cpp. Модель относится к классу text-generation и может использоваться для генерации текста и диалоговых сценариев при локальном инференсе. Исходная модель разработана NVIDIA. Известно, что она использует архитектуры MoE и Mamba2 и имеет 30B параметров в полном варианте; конкретные сведения о языках, модальностях и размере контекстного окна в README не указаны. GGUF-файлы отличаются уровнем квантизации, размером, качеством и скоростью генерации. Рекомендуется вариант AD-IQ4_NL размером 19,7 ГБ: по приведённым измерениям он сопоставим с Q5_K_M по качеству, но существенно компактнее. Вариант AD-IQ4_NL_L показывает более низкую дивергенцию, а Q8_0 обеспечивает эталонное качество среди представленных квантов. Сильные стороны сборки — поддержка калибровки с importance matrix, эффективные Atomic Dynamic-конфигурации и возможность запуска на одной RTX 5090 с полной выгрузкой на GPU. Ограничения связаны с требованиями к памяти: качественного варианта для 16 ГБ нет, а экспериментальные 2-битные сборки демонстрируют значительную потерю качества и не рекомендуются для практической работы. Лицензия указана как NVIDIA Open Model License; точные условия приведены по ссылке NVIDIA.

Open-Instruct Baize 7B — модель генерации текста на базе LLaMA с 6,6 млрд параметров, дообученная командой Allen Institute for AI на наборе Baize. Она предназначена для ответов на инструкции и вопросы в формате диалога, а также для исследовательской оценки instruction-tuning-моделей. Для работы требуется базовая модель LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельный полный чекпойнт. Модель использует архитектуру LLaMA и контекст до 2048 токенов; карточка указывает английский язык. В опубликованных бенчмарках модель оценивалась на задачах общего понимания, математики, вопросов и ответов и генерации кода. Качество зависит от соблюдения формата ввода, включая перевод строки после маркера начала ответа. Лицензия определяется лицензией AI model из LICENSE.txt и исходной лицензией LLaMA; условия следует проверить в этих файлах перед использованием.

OrionStar Yi 34B Chat Llama — текстовая gener generative-модель для диалогового взаимодействия, разработанная OrionStarAI. Представлена в формате GGUF и предназначена для задач генерации текста и чат-сценариев, включая запуск через LlamaEdge. Модель относится к семейству Yi, содержит около 34 миллиардов параметров и поддерживает контекст длиной до 7168 токенов. Сведения о поддерживаемых языках и дополнительных модальностях в README не указаны. Модель доступна в нескольких вариантах квантизации от Q2_K до Q8_0. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества; квантизация Q2_K–Q4_0 обеспечивает меньший размер, но может заметно снижать качество. Размер файлов составляет примерно от 12,8 до 36,5 ГБ, поэтому для запуска требуются значительные вычислительные ресурсы и память. Квантизацию и публикацию GGUF-вариантов выполнила Second State Inc. Для работы с LlamaEdge требуется версия 0.2.9 или новее и специальный шаблон prompt типа human-assistant. Лицензия модели указана как Apache-2.0.

Qwen2-57B-A14B-Instruct-GGUF — это GGUF-квантизированная версия модели Qwen/Qwen2-57B-A14B-Instruct, разработанной командой Qwen и подготовленной пользователем legraphista с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в формате чата, и может запускаться в совместимых средах, поддерживающих формат GGUF, в том числе llama.cpp. В README явно указан английский язык; сведения о поддержке других языков отсутствуют. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая несколько подтипов квантизации. Размер файлов варьируется примерно от 21,06 до 114,84 ГБ; часть наиболее крупных вариантов поставляется в виде разделённых файлов. Ключевое преимущество сборки — возможность выбрать баланс между качеством и требованиями к памяти, однако низкобитная квантизация может снижать точность, а запуск модели требует значительных аппаратных ресурсов. Размер контекста, точные архитектурные характеристики и мультимодальные возможности в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Della-Deckard-v1 — мультимодальная модель с 27 млрд параметров, собранная автором репозитория YFC-112358 методом слияния весов. В основе лежит Qwen/Qwen3.6-27B; в карточке описаны слияние DELLA с двумя моделями для рассуждений и добавление небольшого вектора задач из инженерной модели Qwen3.5. Модель плотная, построена на архитектуре Qwen3.5, поддерживает зрительный ввод и диалог. Веса сохранены в BF16 в формате safetensors; лицензия — Apache-2.0. Модель предназначена для мультимодальных диалогов и задач, где нужно отвечать на текстовые запросы и учитывать изображения. Автор также ориентирует её на рассуждения и инженерные задачи, включая программирование, но количественных бенчмарков нет. Карточка сообщает о тестировании генерации на 13 текстовых запросах; работу с изображениями и поведение на контексте длиннее 16K не проверяли. Слияние структурно проверено, но это не подтверждает улучшения качества; при проблемах автор рекомендует отключить кросс-поколенческий вклад. Указанный контекст базовой модели в README — 16K, за его пределами поведение не оценивалось.

DevQuasar/Qwen.Qwen3.8-Flash-Next-GGUF — квантизированная версия модели Qwen/Qwen3.8-Flash-Next, опубликованная DevQuasar. Модель предназначена для задач генерации текста и может использоваться в сценариях, поддерживаемых базовой моделью, однако конкретные области применения, языки и особенности поведения в README не указаны. Из доступных данных известно только, что модель относится к pipeline text-generation и распространяется в формате GGUF. Размер, архитектура, объём контекста, поддерживаемые модальности и параметры квантизации не приведены. К потенциальным преимуществам относятся уменьшенные требования к ресурсам по сравнению с полной версией, но точные компромиссы между скоростью, потреблением памяти и качеством неизвестны. Лицензия и условия использования в README не указаны.

Replete-LLM-V2.5-Qwen-14b-GGUF — набор GGUF-квантизаций языковой модели Rombos-LLM-V2.5-Qwen-14b. Квантизации подготовлены пользователем bartowski с использованием llama.cpp версии b3825 и метода imatrix. Исходная модель разработана rombodawg. Модель предназначена для генерации текста и может запускаться локально, в том числе через llama.cpp и LM Studio, с указанным форматом prompt на основе ChatML-тегов. В набор входят варианты от исходных весов F16 размером около 29,55 ГБ до компактных конфигураций с более низкой точностью, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-семейство. Версии различаются размером файла, требованиями к памяти и качеством генерации: старшие варианты обеспечивают качество, близкое к исходному, а младшие позволяют работать при ограниченном объёме RAM ценой заметной потери качества. Отдельные варианты оптимизированы для ARM-процессоров и требуют поддержки sve или i8mm. Это текстовая авторегрессионная модель примерно на 14 млрд параметров; сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальности в карточке не указаны. Основные сильные стороны набора — локальный запуск, широкий выбор степени квантизации и совместимость с llama.cpp и LM Studio. Ограничения связаны с требованиями к вычислительным ресурсам, компромиссом между размером и качеством, а также отсутствием подробных данных о возможностях базовой модели. Лицензия — Apache-2.0.

Карточка модели jondurbin/airoboros-l2-7b-2.1 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-13b-2.1, поэтому описание составлено по ней. airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

DiscoLM 120b (Alpha) — экспериментальная языковая модель DiscoResearch, обученная Бьёрном Плюстером. Это дообученная версия Goliath 120B, объединённой модели на основе нескольких Llama 2 70B. Модель содержит около 117,5 млрд параметров, использует архитектуру Llama с плотной causal language model и принимает текст, выдавая текст. Для диалогов применяется формат ChatML; максимальный исходный контекст — 4096 токенов. Модель предназначена для диалогов и выполнения инструкций, включая генерацию текстов, ответы на вопросы, рассуждения, математические задачи и код. В обучающую выборку вошли англоязычные и немецкоязычные инструкции, диалоги, математические данные, стихи и песни. Авторы приводят результаты бенчмарков, однако отмечают раннюю альфа-стадию и возможность загрязнения тестовых данных, поэтому оценки не гарантируют качество в практических задачах. Модель распространяется по лицензии Llama 2; при использовании действуют ограничения исходной лицензии и лицензий обучающих датасетов. Авторы указывают, что модель предназначена только для исследовательских целей.

Experiment28T3q_Experiment27Yam — объединённая модель семейства Mistral, созданная на основе automerger/Experiment28T3q-7B и automerger/Experiment27Yam-7B. Она содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и представлена в формате safetensors. Модель предназначена для генерации текста и может применяться в диалоговых и других сценариях, где требуется продолжать текст по входному запросу. Контекстное окно составляет 32 768 токенов. Репозиторий распространяется по лицензии Apache 2.0.

GPT4All-13b-snoozy — языковая модель Nomic AI для генерации текста в формате чат-бота. Это дообученная версия LLaMA 13B с 12,9 млрд параметров, обученная на корпусе примеров взаимодействий с ассистентом из набора nomic-ai/gpt4all-j-prompt-generations, revision v1.3-groovy. Модель предназначена для диалогов, решения текстовых задач, помощи с кодом и создания стихов, песен и рассказов. Она принимает текст и генерирует текст на английском языке; максимальная длина контекста — 2048 токенов. Для использования указана лицензия GPL.

Это GGUF-квантизированная версия текстовой генеративной модели grimjim/Llama-3-Instruct-8B-SPPO-Iter3-SimPO-merge. Квантизации подготовлены командой featherless-ai-quants. Модель основана на Llama 3 Instruct с размером 8B и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. Репозиторий содержит варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. GGUF-формат ориентирован на запуск совместимыми локальными инструментами и позволяет выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. Данные о поддерживаемых языках, длине контекста, точных архитектурных параметрах, результатах тестирования и ограничениях отсутствуют. Лицензия в README не указана.

solidrust/Hermes-3-Llama-3.1-8B-AWQ — это 4-битная AWQ-квантизированная версия текстовой авторегрессионной модели Hermes-3-Llama-3.1-8B, разработанной NousResearch. Квантизацию выполнил Suparious. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск через Transformers, AutoAWQ, vLLM, Text Generation WebUI и Hugging Face Text Generation Inference. Модель основана на архитектуре Llama 3.1 с заявленным размером 8B параметров. Она работает в режиме text generation и использует диалоговый шаблон с ролями system, user и assistant. В README не указаны точный размер контекста, поддерживаемые языки и дополнительные модальности, поэтому эти характеристики нельзя подтвердить. Ключевое преимущество версии — 4-битная AWQ-квантизация, рассчитанная на снижение требований к памяти и ускорение инференса при сопоставимом с распространёнными настройками GPTQ качестве. Ограничения включают необходимость совместимого окружения: заявлена поддержка Linux и Windows с GPU NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Лицензия в README не указана.

L3.3-70B-Magnum-v4-SE-GGUF — набор GGUF-квантизаций модели L3.3-70B-Magnum-v4-SE, подготовленный bartowski на базе модели Doctor-Shotgun. Квантизация выполнена с помощью llama.cpp с использованием imatrix и предназначена для локального запуска, в частности через LM Studio. Модель относится к классу text-generation и ориентирована на генерацию текста и диалоговые сценарии; в метаданных указана поддержка английского языка и тег chat. Доступны варианты с разными уровнями квантизации — от Q8_0 размером около 75 ГБ до IQ2_S размером около 24 ГБ. Более крупные варианты обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но заметно уступают по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; некоторые варианты оптимизированы для CPU ARM, Apple Silicon или систем с ограниченным объёмом памяти. Из README не указаны точная архитектура исходной модели, размер контекстного окна, поддерживаемые модальности помимо текста и результаты независимого тестирования. Модель распространяется по лицензии llama3.3; условия использования следует уточнять в лицензии исходной модели и на странице репозитория.