II.4Отладка, тестирование и качество ПО

SUS-Chat-34B — двуязычная диалоговая модель на 33,9 млрд параметров, совместно выпущенная Южным университетом науки и технологий и IDEA-CCNL. Это плотная модель семейства LLaMA, дообученная на базе 01-ai/Yi-34B на высококачественных инструкциях; веса доступны в формате PyTorch по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям на китайском и английском языках, включая многошаговые запросы, математику, рассуждения и задачи общего назначения. Контекстное окно составляет 8192 токена; карточка сообщает о специальном обучении для многоходовых диалогов и работы с длинным контекстом. Разработчики приводят результаты тестов на задачах знаний, рассуждений и здравого смысла, однако модель прошла только supervised fine-tuning и не обучалась на человеческих предпочтениях. Поэтому ответы могут содержать галлюцинации и ошибки, а качество зависит от настроек генерации.

SymSTS-MiniLM-L6 — англоязычная модель Blueprint AI для оценки семантического сходства двух предложений. Это дообученная версия sentence-transformers/all-MiniLM-L6-v2 на основе энкодера BERT; в метаданных указано 25,9 млн параметров и контекст до 512 токенов. Модель создаёт векторные представления предложений и предназначена прежде всего для сравнения их смысла, а не для универсального поиска по документам или классификации. При обучении пары предложений меняли местами, сохраняя оценку сходства; использованы обучающие части STS-бенчмарков, включая STS Benchmark и STS12. Модель рассчитана на быстрый запуск на CPU и потребительских GPU. Лицензия — Apache-2.0. Качество может снижаться на текстах, существенно отличающихся от англоязычных STS-данных, например в специализированных доменах. Симметричность сходства не всегда подходит для задач направленного поиска; в высокорисковых сценариях модель не следует использовать как единственное основание для решения.

Tess-XS-v1-3-yarn-128K — версия общего языкового семейства Tess, разработанная Migtissera на базе Nous Research Mistral-7B-yarn-128K. Это плотная авторегрессионная модель MistralForCausalLM с 7,1 млрд параметров для генерации текста. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста общего назначения в формате диалога с ролями SYSTEM, USER и ASSISTANT. В карточке указана длина контекста 32 768 токенов; автор сообщает о тестировании до 16 тысяч токенов и отмечает небольшие повторы около этой длины, поэтому для конкретных сценариев рекомендуется проверять качество и ограничивать контекст. Поддерживаемый язык в карточке не обозначен.

TopEvolutionWiz — языковая модель для генерации текста, созданная сообществом mergekit-community путём слияния моделей методом SLERP. В слияние вошли mergekit-community/TopEvolution и lucyknada/microsoft_WizardLM-2-7B; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель доступна в формате Safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации ответов и диалогового взаимодействия. Конфигурация слияния задаёт V-образное распределение весов: вклад Hermes используется на входе и выходе, а WizardMath — в средних слоях. Лицензия в предоставленных данных не указана.

TheBloke/wizardLM-7B-HF — полноразмерная модель WizardLM-7B в формате Hugging Face для генерации текста и выполнения инструкций. Она основана на Llama 7B: к исходным весам применены delta-веса WizardLM, полученные методом Evol-Instruct, после чего объединённая модель преобразована в float16. В репозитории указано около 6,6 млрд параметров и контекст до 2048 токенов. Модель предназначена для ответов на запросы и выполнения разнообразных инструкций на естественном языке; файлы подходят для инференса на GPU и как основа для дальнейшей квантизации или конвертации. Карточка отмечает, что ранняя WizardLM уступала ChatGPT на полном тестовом наборе и оставалась на начальном этапе развития, хотя показывала преимущество на сложных инструкциях. Лицензия в метаданных обозначена как other.

MaziyarPanahi/zephyr-7b-alpha-sharded-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и anakin87/zephyr-7b-alpha-sharded методом SLERP. Это плотная авторегрессионная архитектура Mistral с 7,1 млрд параметров; веса представлены в формате safetensors, а конфигурация слияния использует bfloat16. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно использовать в чат-ботах, для ответов на вопросы и создания черновиков текста. Заявленная длина контекста составляет до 32 768 токенов. Данные о конкретно поддерживаемых естественных языках в карточке не приведены. Модель распространяется по лицензии Apache-2.0. README описывает способ объединения чекпойнтов, но не приводит сравнительных оценок качества; поэтому пригодность для конкретных задач стоит проверять на собственных примерах.

Карточка модели jondurbin/airoboros-l2-70b-2.1 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-13b-2.1, поэтому описание составлено по ней. airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

Bonsai-4B-gguf — компактная языковая модель, разработанная Prism ML и представленная в формате GGUF для запуска через llama.cpp. Она предназначена для локальной генерации текста, чат-ассистентов и интеграции в приложения на устройствах с ограниченными ресурсами, включая компьютеры, смартфоны и планшеты. Модель основана на плотной архитектуре Qwen3-4B с 4 млрд параметров, из которых около 3,6 млрд не относятся к эмбеддингам. Она использует 36 блоков Transformer-декодера, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Контекст составляет 32 768 токенов, размер словаря — 151 936 токенов. Все основные веса, включая эмбеддинги, проекции внимания, MLP и LM head, сжаты до 1-битного формата GGUF Q1_0 с группами по 128 весов и общими FP16-масштабами; эффективная разрядность — 1,125 бита на вес. Ключевые преимущества модели — размер около 0,57 ГБ, существенное снижение требований к памяти и поддержка CUDA, Metal, CPU, iOS и Android. По данным разработчика, она в 14,1 раза компактнее версии FP16 и может работать практически на любом устройстве с GPU. Однобитное квантование уменьшает потребление ресурсов, но может ограничивать качество по сравнению с полноформатными версиями; конкретные языки и результаты бенчмарков в README не указаны. Распространяется по лицензии Apache 2.0.

ChaoticNeutrals/Captain-Eris-Diogenes_Twilight-V0.420-12B — объединённая разговорная языковая модель на архитектуре Mistral, опубликованная в формате safetensors для библиотеки Transformers. В состав слияния вошли Nitral-AI/Captain-Eris_Twilight-V0.420-12B и Nitral-AI/Diogenes-12B-ChatMLified; веса объединены методом SLERP. Модель содержит 12,1 млрд параметров и имеет заявленную длину контекста 1 024 000 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов в чате, продолжения текста и интерфейсов с вызовом инструментов. Карточка не сообщает о специальной предметной области или языках. Лицензия в предоставленных данных не указана.

CatPPT-base-Mistral-7B-Instruct-v0.1 — языковая чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/CatPPT-base методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы; метаданные отмечают поддержку чата и задачи text-generation. Модель принимает текст и выдаёт текст, её контекст составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README описывает конфигурацию слияния и тип данных bfloat16. Сведения о специальных предметных областях или отдельных языках в предоставленных данных отсутствуют.

DeepSeek-V4-Flash-0731 GGUF — это набор GGUF-конвертаций и экспертно подобранных квантованных вариантов базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI. Репозиторий подготовлен bullerwins для запуска через llama.cpp и предназначен для генерации текста, включая локальное инференс-развёртывание и агентские сценарии. Модель использует разреженную MoE-архитектуру с маршрутизируемыми экспертами. В репозитории доступны варианты размером от 81,86 до 150,75 GiB, а также компактный DSpark-компаньон размером 10,15 GiB для speculative decoding. Представлены lossless-вариант MXFP4/BF16, смешанные IQ2_XS/IQ3_XXS-квантизации и версии с IQ2_XS или IQ3_XXS для экспертов. Квантизации позволяют выбирать компромисс между размером и качеством: по тестам на Wikitext-2 lossless-вариант обеспечивает полное совпадение с эталоном, тогда как квантованные варианты показывают от 75,082% до 84,094% совпадения наиболее вероятного токена. Сильной стороной набора является широкий выбор практических вариантов, сохранение native MXFP4 для части экспертных тензоров и оценка качества по KLD и совпадению токенов. Ограничения — очень высокие требования к дисковому пространству и памяти, а также снижение качества у более компактных квантований. Сведения о поддерживаемых языках, размере контекста и подробных модальностях в предоставленной карточке отсутствуют. Указана лицензия MIT; для формата чата, архитектурных деталей и рекомендуемых параметров сэмплирования предлагается обращаться к карточке исходной модели. Рекомендуемые параметры: temperature 1.0, top_p 0.95 для агентских сценариев и top_p 1.0 в остальных случаях.

Dumpling-Qwen2.5-32B-GGUF — это квантованные файлы языковой модели Dumpling-Qwen2.5-32B, подготовленные пользователем bartowski на базе модели nbeerbower. Модель предназначена для генерации текста и локального запуска через llama.cpp, в частности в LM Studio. Она может использоваться для диалогов, написания и преобразования текстов, ответов на вопросы и других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит 32 миллиарда параметров и распространяется в формате GGUF с вариантами от BF16 до низкобитных квантований Q2–Q8 и IQ. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Для квантования применялась imatrix с использованием llama.cpp. В README не указаны точный контекст, перечень поддерживаемых языков и мультимодальные возможности; по заявленному pipeline_tag это текстовая, а не мультимодальная модель. Для работы рекомендуется использовать соответствующий шаблон prompt с маркерами Qwen. Сильной стороной является широкий выбор квантований, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию. Более компактные варианты экономят память, но могут заметно снижать качество. Модель лицензирована по Apache-2.0.

EXAONE-3.5-2.4B-Instruct-GGUF — двуязычная инструкционно дообученная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста и диалоговых сценариев на английском и корейском языках, включая запуск на небольших устройствах и системах с ограниченными ресурсами. Модель представлена в формате GGUF и рассчитана на инференс с использованием llama.cpp, а также может применяться через TensorRT-LLM, vLLM, SGLang и Ollama. Модель содержит 2,14 млрд параметров без учёта эмбеддингов, 30 слоёв и использует Grouped-Query Attention с 32 Q-heads и 8 KV-heads. Размер словаря составляет 102 400 токенов, максимальная длина контекста — 32 768 токенов. Доступны варианты квантования Q8_0, Q6_0, Q5_K_M, Q4_K_M и IQ4_XS, а также веса BF16. К сильным сторонам относятся компактный размер, поддержка длинного контекста и оптимизация для ресурсоограниченного развёртывания. Модель может генерировать некорректные, устаревшие, предвзятые или потенциально неподходящие ответы и не гарантирует отражение актуальной информации или позиции LG AI Research. Лицензия — EXAONE AI Model License Agreement 1.1 - NC; условия следует уточнять в прилагаемом файле LICENSE.

pytorch/gemma-3-12b-it-AWQ-INT4 — это квантизированная версия instruction-tuned языковой модели google/gemma-3-12b-it, разработанная pytorch. Модель предназначена для диалогового взаимодействия, генерации и обработки текста, включая ответы на вопросы, краткие объяснения и другие сценарии использования через chat completions или библиотеку Transformers. В README явно указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Модель содержит 12 миллиардов параметров и использует квантизацию AWQ-INT4 с группой размера 128 для весов линейных слоёв. Квантизация снижает требования к памяти по сравнению с исходной версией bfloat16 и рассчитана на запуск с PyTorch, torchao, Transformers и vLLM. В примере генерации поддерживается режим рассуждений, который можно включать или отключать через chat template. Для работы с vLLM требуется nightly-версия vLLM и torchao; из-за известных проблем совместимости рекомендуется отключать compile cache. По данным README, на ограниченной калибровке из 30 примеров задачи mmlu_philosophy модель показала точность 76,85% против 75,56% у gemma-3-12b-it-INT4 и 79,10% у базовой версии bfloat16. Эти результаты нельзя считать полноценной оценкой общих возможностей модели. В рецепте квантизации указано, что AWQ на данный момент работает только на H100 INT4, поэтому аппаратная совместимость может быть ограничена. Модель распространяется по лицензии Apache-2.0.

GLM-4.7-Flash-5bit — это версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в программных окружениях, совместимых с MLX. Модель поддерживает английский и китайский языки и относится к классу text-generation. Вариант 5bit использует 5-битное представление параметров, что может снизить требования к памяти по сравнению с полноформатной версией, однако README не содержит точных сведений о размере модели, архитектуре, длине контекста, доступных модальностях и производительности. Для работы требуется библиотека mlx-lm; в README приведён пример загрузки модели, применения chat template и генерации ответа. Модель распространяется по лицензии MIT. Ограничения, связанные с качеством, безопасностью и областью применения базовой модели, в предоставленных данных отдельно не описаны.

Карточка модели Boopathy2861/google_embeddinggemma-300m на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

Карточка модели noname002/google-embeddinggemma-300m-3fre-df-bkai на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

gpt-oss-120b-MLX-8bit — это 8-битная квантованная версия языковой модели gpt-oss-120b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research для работы с моделями на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых базовой моделью gpt-oss-120b. Она опубликована в формате, оптимизированном для Apple Silicon, и относится к моделям text-generation. В доступных данных не указаны архитектура, точный размер в параметрах исходной модели, поддерживаемые языки, длина контекста или мультимодальные возможности. Ключевая особенность модели — 8-битное квантование, которое может снизить требования к памяти и повысить удобство локального запуска по сравнению с полноразмерной версией, однако потенциально связано с компромиссом между эффективностью и точностью. Качество и поведение модели наследуют ограничения исходной gpt-oss-120b; README также предупреждает о возможных неточных, вредных или неподходящих результатах. Лицензия модели — Apache 2.0.

Grafted-Hermetic-Platypus-C-2x7B — языковая модель Lodrick-the-Lafted, созданная как MoE-слияние Platyboros-Instruct-7B и Hermes-Instruct-7B-217K. Она предназначена для диалогов и генерации текста по инструкциям; карточка приводит результаты тестов на рассуждение и здравый смысл. Модель содержит 7,1 млрд параметров, использует архитектуру Mixtral MoE, принимает текст и поддерживает контекст до 32 768 токенов. В README указаны форматы промптов Mistral-Instruct и Alpaca, причём токенизатор по умолчанию использует Alpaca. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

granite-4.2-3b-MLX-8bit — это 8-битная квантованная версия модели granite-4.2-3b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, пошаговым мышлением и вызовом инструментов. В карточке указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Размер исходной модели составляет 3 миллиарда параметров; сведения об архитектуре и размере контекстного окна не указаны. Ключевые преимущества модели — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для экосистемы Apple Silicon, что делает её подходящей для локального запуска на совместимых устройствах. Ограничения включают возможное снижение точности по сравнению с полной версией из-за квантования, а также отсутствие в предоставленных данных подробных результатов оценки, характеристик производительности и спецификаций контекстного окна. Модель распространяется по лицензии Apache-2.0.

Richard Young выпустил granite-4.2-8b-heretic — модифицированную версию диалоговой модели IBM Granite-4.2-8B. Это плотный авторегрессионный трансформер GraniteForCausalLM на 8,4 млрд параметров с контекстом 131 072 токена. Модель принимает текст и генерирует текст; карточка заявляет поддержку 12 языков, режимов рассуждения и вызова инструментов. Модель создана методом abliteration с Heretic: изменение направления отказа уменьшает частоту отказов по сравнению с исходной моделью. Она предназначена для локального диалога, творческого письма, обучения и исследований методов выравнивания. По приведённым в README измерениям, модель отказала в 12 из 100 проверочных запросов против 99 из 100 у исходной версии; эти результаты относятся к описанному тесту и не гарантируют поведение на других запросах. Модель распространяется в формате Safetensors под лицензией Apache 2.0. README также упоминает варианты GGUF для Ollama и llama.cpp. Возможны неточные, предвзятые или небезопасные ответы; качество может различаться между языками, а рассуждения могут содержать промежуточные мысли.

Hermes-Instruct-7B-217K — диалоговая языковая модель на архитектуре Mistral, созданная Lodrick the Lafted. Это дообученная версия Mistral-7B-Instruct-v0.2, обученная на 217 тысячах примеров из teknium/openhermes в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых инструкций. Она принимает запросы в формате Mistral-Instruct или Alpaca; токенизатор по умолчанию настроен на Alpaca. Автор описывает обучение на разном объёме данных как эксперимент по оценке влияния дальнейшего дообучения. Репозиторий предоставляет веса PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Результаты зависят от запроса и контекста; карточка не приводит отдельной оценки качества или подробностей ограничений.

DevQuasar/huihui-ai.Qwen2.5-7B-Instruct-abliterated-SFT-GGUF — это квантованная версия модели huihui-ai/Qwen2.5-7B-Instruct-abliterated-SFT. Репозиторий опубликован под идентификатором DevQuasar; исходный README не содержит более подробной информации о разработчиках квантованной версии. Модель предназначена для генерации текста и использования в сценариях, поддерживающих формат GGUF. Из доступных данных известно, что модель относится к семейству Qwen2.5 и имеет размер 7B параметров в базовой версии, а также ориентирована на instruction-following благодаря основе Instruct. Квантование может снизить требования к памяти и упростить локальный запуск, однако конкретный тип квантования, доступные варианты файлов, поддерживаемые языки, размер контекста, архитектурные детали, показатели качества и совместимые инструменты в README не указаны. Лицензия и явные ограничения использования также не приведены.

immersyn2026 выпустил чат-модель immersyn-mini-v1, дообученную на базе unsloth/qwen2.5-coder-3b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, предназначенная для генерации текста в диалоге; в метаданных также заявлен интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает специализированную область применения или результаты оценки качества.

Infinity-Instruct-7M-Gen-Llama3_1-70B-GGUF — это GGUF-квантизированная версия генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-70B, разработанной BAAI и подготовленной квантизацией пользователем bartowski. Модель основана на Llama 3.1 с 70 миллиардами параметров и предназначена для генерации текста и выполнения инструкций на английском языке. Модель подходит для диалоговых сценариев, обработки инструкций и других задач text generation. Она использует архитектуру Llama 3.1 и запускается через llama.cpp, в том числе в LM Studio. В репозитории доступны варианты квантизации от Q8_0 до Q2_K, включая рекомендуемые Q4, Q5 и Q6; размер файлов составляет примерно от 27 до 75 ГБ. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Сильная сторона модели — большой размер и широкий выбор вариантов квантизации, позволяющий выбирать между качеством и требованиями к памяти. Более высокие варианты обеспечивают качество, близкое к исходной модели, а низкобитные подходят для систем с ограниченным объёмом RAM, но заметно снижают качество. Мультимодальность и размер контекстного окна в README не указаны. Лицензия обозначена как llama3.1; исходная модель обучена на датасете BAAI/Infinity-Instruct.

johnpaulbin/johnpaulbin-e2-instruct-merge-fp16 — объединённая языковая модель, созданная разработчиком johnpaulbin с помощью LazyMergekit из johnpaulbin/llama3.1-8b-e2-epoch3-merged-fp16 и meta-llama/Meta-Llama-3.1-8B-Instruct. Используется архитектура LlamaForCausalLM с плотной архитектурой и примерно 7,5 млрд параметров; веса представлены в формате safetensors. Для объединения применён метод TIES с нормализацией и int8-маской. Модель предназначена для генерации текста по текстовым запросам. Указанное базовое семейство — Meta Llama 3.1, а длина контекста составляет 131 072 токена. В метаданных нет сведений о лицензии и поддерживаемых естественных языках, поэтому условия использования и языковой охват здесь не описаны.

Josiefied-Qwen3-4B-abliterated-v2 — диалоговая языковая модель Goekdeniz-Guelmez на архитектуре Qwen3, дообученная на основе Qwen/Qwen3-4B-Instruct-2507 и модифицированная методом Gabliteration. Она предназначена для генерации текста, общения и выполнения инструкций; сохранена поддержка вызова инструментов через соответствующий интерфейс. Модель содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Разработчик заявляет, что модификация снижает отказы и ограничения на генерацию, сохраняя следование инструкциям и работу с инструментами. Доступны веса в формате safetensors; в карточке также упоминаются варианты GGUF и i1 GGUF. Лицензия в предоставленных данных не указана.

Kunoichi-DPO-v2-Instruct-32k-7B — языковая модель, созданная автором репозитория слиянием моделей через mergekit. В основе лежит alpindale/Mistral-7B-v0.2-hf; в слияние также вошли mistralai/Mistral-7B-Instruct-v0.2 и SanjiWatsuki/Kunoichi-DPO-v2-7B. Использован метод DARE TIES, итоговые веса представлены в формате bfloat16. Модель на архитектуре Mistral с 7,1 млрд параметров предназначена для генерации текста и ответов на инструкции. Заявленная длина контекста — до 32 768 токенов; включение Instruct-модели могло изменить поведение исходной Kunoichi-DPO-v2. Данных о целевых языках и специальных прикладных областях в карточке нет. Лицензия в предоставленных данных не указана.

LFM2.5-1.2B-Thinking-ToMoE-GGUF — набор GGUF-квантизаций модели, опубликованный Nichonauta. Основа — LiquidAI/LFM2.5-1.2B-Thinking, преобразованная в ToMoE Mixture-of-Experts. Модель предназначена для генерации текста и задач, требующих рассуждений; поддерживает нативное поведение с блоком <think>. Указаны языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Модель рассчитана на локальный запуск через llama.cpp, включая сценарии on-device с объёмом хранения менее 1 ГБ. Доступны варианты BF16 размером 2343 МБ, Q8_0 размером 1186 МБ и Q4_K_M размером 695 МБ. Рекомендуемый контекст — до 32768 токенов. В README не указаны точные параметры архитектуры и число активных экспертов; размер модели обозначен как 1.2B в названии базовой модели. Для Q4_K_M заявлена скорость около 302 токенов в секунду на RTX 3060, для Q8_0 — около 212, для BF16 — около 125. Важное ограничение GGUF-версии заключается в том, что llama.cpp не поддерживает нативные ToMoE-эксперты и динамические V-маски. Поэтому модель восстановлена как плотный эквивалент и по поведению соответствует плотной базовой модели, а не исходной MoE-версии. Для использования настоящего MoE требуется версия safetensors с параметром trust_remote_code. Производительностью и компактностью особенно выделяется Q4_K_M, однако квантизация может снижать точность по сравнению с BF16. Производная распространяется по лицензии LFM Open License v1.0; ссылка на лицензию указана в карточке модели.

Ling-3.0-tiny-GGUF — это конвертация модели Ling-3.0-tiny в формат GGUF для запуска через llama.cpp. Базовую модель разработала команда inclusionAI, а данный вариант опубликован пользователем bloomer010. Модель предназначена для генерации текста, диалоговых сценариев и агентских задач, включая вызов инструментов и раздельный режим рассуждений. Архитектура использует mixture-of-experts: всего 7,9 млрд параметров, из которых 1,3 млрд активируются на каждом токене. Модель содержит 24 слоя, включая 18 KDA- и 6 MLA-слоёв, 128 маршрутизируемых экспертов с 8 активными экспертами на токен и одного общего эксперта. Поддерживаются Q-LoRA с рангом 256 и KV-LoRA с рангом 512, контекст до 131 072 токенов, а также режим рассуждений, включённый по умолчанию. Информация о поддерживаемых языках и мультимодальности в README не указана. Доступны варианты квантования от BF16 до сильно сжатых IQ- и Q-форматов, что позволяет выбирать между качеством и требованиями к памяти; рекомендуемый UD-Q8_K_XL обеспечивает качество, близкое к полной точности. Модель протестирована на CPU и CUDA, включая RTX 4070 и RTX 3060. Ограничения включают возможное преждевременное завершение ответа внутри блока рассуждений и проблемы с агентским использованием и tool calling в llama.cpp без поддержки двух указанных изменений. Для MXFP4_MOE рекомендуется GPU с нативной поддержкой MXFP4, иначе возможна более низкая скорость. Распространяется по лицензии MIT.