II.8Инженерия данных и аналитика

RedHatAI/Meta-Llama-3-70B-Instruct-FP8 — квантизированная версия Meta-Llama-3-70B-Instruct, разработанная Neural Magic. Это текстовая авторегрессионная модель с архитектурой Meta-Llama-3 и примерно 70 млрд параметров, предназначенная для диалоговых сценариев и работы в формате ассистента. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в FP8. Это сокращает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Используется симметричная поэлементно-тензорная квантизация; модель подготовлена для инференса с vLLM версии 0.5.0 и новее. В описанной конфигурации максимальная длина контекста составляла 4096 токенов. К сильным сторонам относятся снижение требований к памяти и близкие к исходной модели результаты: средний балл OpenLLM составляет 79,16 против 79,51 у неквантизированной версии. Ограничения включают специализацию на английском языке и возможное небольшое снижение точности из-за квантизации. Модель не предназначена для использования на языках, кроме английского, а также для сценариев, нарушающих применимое законодательство. Распространяется по лицензии Llama3.

Meta-Llama-3-8B-Instruct-GGUF — это квантизированное представление модели Meta-Llama-3-8B-Instruct в формате GGUF, подготовленное пользователем brittlewis12 на основе оригинальной модели Meta. Модель разработана Meta и относится к семейству Llama 3. Она предназначена для генерации текста и диалоговых сценариев, включая локальные приложения и ассистентов, работающих через llama.cpp и совместимые инструменты. Модель использует авторегрессионную оптимизированную архитектуру Transformer и содержит около 8 миллиардов параметров. Instruction-tuned версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Указан английский язык; поддерживается только текстовая модальность. Формат GGUF и внесённые улучшения токенизации упрощают использование в локальных средах, включая устройства Apple, однако конкретные требования к памяти и производительности в README не указаны. Сильными сторонами являются диалоговая настройка, относительно компактный размер и заявленные результаты оригинальной модели на тестах знаний, программирования и математики. Ограничениями выступают отсутствие сведений о характеристиках конкретных уровней квантизации, размере контекста и качестве работы на других языках, а также возможные ошибки и ограничения безопасности, свойственные генеративным языковым моделям. Лицензия указана как Llama 3 с отдельными условиями Meta; подробности приведены в лицензии оригинальной модели.

Это GGUF-квантизированная версия Devstral-Small-2505, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. README не уточняет её специализированные сценарии применения, однако формат и базовая модель ориентированы на работу с текстовыми запросами и, вероятно, задачами разработки, соответствующими семейству Devstral. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 11,47 до 47,15 ГБ. Указаны языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других. README не содержит сведений о числе параметров, архитектуре, размере контекста или точных характеристиках качества. Для vision предусмотрен файл mmproj от Mistral Small 3.1, но эта поддержка неофициальна и может работать неидеально. Сильными сторонами являются широкий выбор квантизаций для разного объёма памяти и возможность локального запуска; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как подходящий вариант по умолчанию. Ограничениями являются значительные требования к дисковому пространству и памяти, а также возможное снижение качества в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-3.2-24B-Instruct-2506-ultra-uncensored-heretic — доработанная участником сообщества версия Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. К модели применена abliteration: README сообщает о целевых слоях и компонентах и приводит метрики, указывающие на снижение частоты отказов при сравнительно небольшом изменении поведения базовой модели. Это плотная мультимодальная модель семейства Mistral3 с поддержкой чата и анализа изображений; в карточке перечислены многочисленные языки, включая русский. Она подходит для диалогов по инструкциям, анализа изображений, вызова инструментов и задач, где нужны ответы с меньшим числом отказов. В README описаны улучшения базовой версии в следовании инструкциям, вызове функций и снижении повторов, а также приведены результаты тестов по STEM и зрительным задачам; эти результаты относятся к базовой модели и не подтверждают отдельную оценку данной доработки. Репозиторий содержит веса safetensors, указанная библиотека — vLLM; README также упоминает Transformers. Лицензия — Apache-2.0. Для запуска базовой версии в bf16 или fp16 README указывает потребность примерно в 55 ГБ видеопамяти, что свидетельствует о значительных аппаратных требованиях.

SlimOrca Mixtral 8x7B — дообученная языковая модель, выпущенная OpenAccess AI Collective и OpenOrca на базе mistralai/Mixtral-8x7B-v0.1 с использованием датасета Open-Orca/SlimOrca. Это авторегрессионная модель генерации текста с архитектурой Mixtral sparse Mixture of Experts; она подходит для генерации продолжений и ответов на текстовые запросы. Модель поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache 2.0.

MobileLLM-Pro — англоязычная инструкционно дообученная языковая модель Meta Reality Labs из семейства MobileLLM, рассчитанная на эффективный запуск на устройствах. Это трансформер на 1,08 млрд параметров с 30 слоями и чередованием локального и глобального внимания; модель принимает и генерирует текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для диалогов и общих языковых задач, включая ответы на вопросы, переписывание и суммаризацию документов, а также вызов инструментов. В карточке отмечены результаты на бенчмарках по знаниям, следованию инструкциям и программированию. README описывает дистилляцию знаний от Llama 4-Scout в процессе обучения семейства, а метаданные указывают, что этот вариант дообучен на MobileLLM-Pro-base. Для семейства также упомянуты варианты int4-квантизации, но данный репозиторий содержит инструкционный вариант в формате safetensors. Модель предназначена прежде всего для английского языка. Лицензия FAIR Noncommercial Research License ограничивает коммерческое использование; перед внедрением следует проверить её условия.

OsaurusAI подготовила для Apple Silicon сборку JANG_6M модели Nanbeige4.2-3B — диалоговой языковой модели с архитектурой Looped Transformer. В README указаны 22 слоя, выполняемые дважды с общими весами, что даёт эффективную глубину 44 слоя; размер весов — 4,17 млрд параметров. Контекст составляет 256K токенов. Модель дообучена на базе Nanbeige/Nanbeige4.2-3B и представлена в формате MLX safetensors с 6-битными аффинными весами и 8-битным attention; метаданные указывают библиотеку MLX и лицензию Apache-2.0. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов на английском и китайском языках. README приводит результаты проверки близости к исходной версии bf16 и скорости генерации на M5 Max, но они относятся к описанной аппаратной конфигурации и тестам автора. Для корректной работы требуется загрузчик, поддерживающий архитектуру Nanbeige с циклическим выполнением слоёв и 44 слотами KV-кэша; общий загрузчик или один только mlx_lm.generate без соответствующего класса модели может выдавать неверные ответы. Сборка предназначена для Apple Silicon и распространяется по лицензии Apache-2.0.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

JANGQ-AI публикует Nemotron-Cascade-2-30B-A3B-JANG_2L — квантованный вариант NVIDIA Nemotron-Cascade-2-30B-A3B, подготовленный проектом JANG для запуска через MLX на Apple Silicon. Это языковая модель для диалогов, пошаговых рассуждений и задач с вызовом инструментов. В основе — гибридная архитектура Nemotron-H: Mamba-2, MoE и слои внимания; README указывает 52 слоя, включая 6 слоёв внимания. Метаданные сообщают о 1,9 млрд параметров и контексте до 262 144 токенов. README заявляет размер файлов 10,3 ГБ, скорость генерации до 130 токенов в секунду и результат 88% на тесте MMLU из 200 вопросов в режиме рассуждений. Модель ориентирована на Mac с Apple Silicon и унифицированной памятью от 16 ГБ; для загрузки автор рекомендует MLX Studio или пакет JANG для MLX. Эти показатели приведены в карточке модели и зависят от оборудования и методики измерения. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории. README называет представление JANG квантованием 2,3 бита с 8-битным вниманием, хотя метаданные перечисляют формат safetensors.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/neural-chat-7b-v3-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Intel/neural-chat-7b-v3. Она предназначена для генерации текста в ответ на инструкции и для диалогового общения. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык, а репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

NeuralsirkrishnaShadow_NeuralsirkrishnaInex12 — объединённая модель семейства Mistral, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

Qwen2.5-0.5B-Instruct-GPTQ-Int4 — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это GPTQ-квантизированная 4-битная версия базовой модели Qwen2.5-0.5B-Instruct, предназначенная для генерации текста и диалоговых сценариев, включая чат-ассистентов, следование инструкциям, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель также ориентирована на задачи программирования и математики, однако README не содержит подробных результатов оценки. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд не являются эмбеддингами, 24 слоя и GQA с 14 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель текстовая, поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Ключевые преимущества — небольшой размер, 4-битное представление, поддержка длинного контекста, многоязычность и улучшенное следование инструкциям. Ограничения README не раскрывает количественно; как компактная модель с 0,49 млрд параметров, она может уступать более крупным моделям в сложных рассуждениях и качестве генерации. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживают архитектуру Qwen2.

CultriX/Qwen2.5-14B-Hyperionv5 — объединённая языковая модель семейства Qwen2.5, созданная CultriX с помощью mergekit и метода DARE TIES. В основе объединения указана CultriX/Qwen2.5-14B-Wernickev3; также в него вошли другие варианты Qwen и дообученные модели семейства, перечисленные в карточке. Модель предназначена для генерации текста и диалогового общения. Она имеет плотную архитектуру Qwen2ForCausalLM, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Метаданные указывают интерфейс для вызова инструментов. Карточка не описывает специализированную предметную область или список поддерживаемых естественных языков. В репозитории представлены веса safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

Qwen3-30B-A3B-Thinking-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и локального запуска в сценариях, где важны совместимость с экосистемой Apple и сниженное потребление памяти по сравнению с полноразмерной версией. Архитектура, поддерживаемые языки, размер контекстного окна, модальности и специализированные задачи в README не указаны. Известно, что модель относится к семейству Qwen3 и имеет конфигурацию 30B-A3B, а 4-битное представление обеспечивает более эффективное развертывание, потенциально с компромиссом между требованиями к ресурсам и точностью. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что квантованная версия может наследовать ограничения исходной модели, включая вероятность неточных, вредных или неподходящих ответов.

Azizbek8189/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в формате, подготовленном с использованием инструментов Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для прототипирования, исследовательских и разработческих задач, а также специализированного дообучения. Модель поддерживает текстовые и визуальные входы и может применяться для рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена длина контекста 262 144 токена. Указана поддержка 201 языка и диалекта. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, большой контекст и эффективность гибридной архитектуры, что делает модель подходящей для локального запуска и экспериментов с ограниченными ресурсами. Ограничениями являются небольшой по современным меркам объём параметров и заявленная ориентация на прототипирование и исследования, поэтому качество на сложных задачах может уступать более крупным моделям. Лицензия — Apache-2.0.

INCModel2/Qwen3.5-397B-A17B-MXFP4-Mixed-CT-AutoRound — вариант Qwen3.5-397B-A17B, сжатый в формат MXFP4 с помощью intel/auto-round и представленный в формате llm_compressor. Это мультимодальная модель с архитектурой Qwen3.5 MoE, предназначенная для диалогов и обработки изображений вместе с текстом; заявлен интерфейс вызова инструментов. В репозитории доступны веса safetensors, а для запуска автор приводит пример с vLLM и контекстом до 131072 токенов. Модель подходит для вопросов по изображениям, диалогов, задач на рассуждение и сценариев с вызовом инструментов. В приведённых тестах MXFP4 сохраняет 99,5% среднего результата BF16 на GSM8K, MMLU, PIQA и HellaSwag. README предупреждает о возможных фактических ошибках, предвзятых или оскорбительных ответах и рекомендует проверять безопасность перед развертыванием. Указано следовать лицензии исходной модели; метаданные репозитория указывают Apache-2.0.

QAYSER12/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это открытая мультимодальная модель на базе Qwen3.6 27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; использовались датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также работу с изображениями. Размер контекстного окна в README не указан. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, анализа и творческой работы, включая написание художественных текстов и ролевые сценарии. Заявлены улучшенные instruction following, общее качество рассуждений и problem solving по сравнению с базовой моделью. Доступны обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные сборки; используется NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Для MTP-вариантов рекомендуется temperature не выше 1 и rep penalty 1; при низком token acceptance rate следует использовать обычные кванты. К сильным сторонам относятся широкий набор сценариев применения, поддержка vision, reasoning и работы на потребительском оборудовании, а также заявленные высокие результаты внутренних бенчмарков. Ограничения включают отсутствие в README подробностей об архитектуре поверх базовой Qwen3.6 27B, точном размере контекста, системных требованиях и независимой проверке заявленных результатов. Модель описывается как uncensored и heretic, поэтому её поведение и защитные ограничения могут отличаться от официальной базовой модели. Лицензия — Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-MTP-GGUF — квантизированная GGUF-версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, подготовленная автором ManniX-ITA. Модель имеет 27,78 млрд параметров и заявленную архитектуру Qwen3.5; репозиторий содержит объединённые веса в форматах от F16 до низкобитных IQ- и Q/K-квантизаций. В метаданных указаны поддержка английского языка, reasoning и vision, а также pipeline image-text-to-text, однако подробные сведения о контекстном окне и точном наборе мультимодальных возможностей не приведены. Главная особенность этой версии — сохранённая MTP (Multi-Token Prediction) head, предназначенная для self-speculative decoding в llama.cpp. При использовании llama.cpp с поддержкой MTP модель может предлагать несколько токенов за шаг и ускорять генерацию; для этого требуется версия с поддержкой соответствующего PR и режим draft-mtp. Без MTP-функциональности модель работает в стандартном режиме декодирования. Доступно 19 уровней квантизации и эталонная F16-версия, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти; рекомендуемым балансом в README названа Q6_K. Модель подходит для локального текстового и, при наличии соответствующего мультимодального проектора, визуально-текстового вывода, включая задачи рассуждения. Ограничения связаны с существенными требованиями к памяти, зависящими от выбранной квантизации, необходимостью совместимой версии llama.cpp для ускорения MTP и возможной потерей качества на низких битностях. Распространяется по лицензии Apache-2.0.

Это конверсия в формат MLX модели DavidAU/Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored, выполненная с помощью mlx-vlm 0.6.10. Модель основана на плотной мультимодальной архитектуре Qwen3.5 с 40 млрд параметров и принимает текст и изображения, формируя текстовые ответы. Она предназначена для диалогов, рассуждений, программирования и творческого письма; в метаданных также заявлены режимы работы с изображениями. Модель поддерживает английский и китайский языки. Репозиторий содержит веса safetensors в формате MLX и распространяется по лицензии Apache-2.0. Подробности обучения и дополнительные ограничения в карточке этой конверсии не описаны; за характеристиками исходной модели следует обращаться к её карточке.

Qwen3.8-27B-NInfer — мультимодальная модель для генерации текста и работы с изображениями, основанная на Qwen3.8-27B от команды Qwen. Версия подготовлена разработчиком Neroued и преобразована в нативный формат артефактов NInfer с расширениями для Vision, MTP и спекулятивного декодирования DFlash2. Модель предназначена для диалогов, текстовой генерации, рассуждений, решения математических и научных задач, а также анализа изображений и визуальных вопросов. В карточке заявлены высокие результаты на IFBench, AIME 2025 и 2026, GPQA-Diamond, ERQA и RealWorldQA. Артефакт содержит квантизированные Q4/Q5-проекции, а эмбеддинги токенов и выходная голова используют q8_g32_fp16; размер файла составляет около 19,03 ГиБ. Поддерживаются текстовые и визуальные входы, а также видео согласно руководству NInfer. В примерах запуска указан контекст до 240 000 токенов, однако конкретные возможности зависят от конфигурации среды. Модель рассчитана на локальный запуск через NInfer и требует 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборку NInfer не ниже указанной в карточке. Файл не является совместимым с Transformers, Safetensors или GGUF. Использование ограничено форматом NInfer и специализированным оборудованием, поэтому переносимость ниже, чем у универсальных моделей. Лицензия — Apache-2.0.

RWKV7-G1 «GooseOne» — семейство базовых языковых моделей от BlinkDL на архитектуре RWKV-7, сочетающей свойства рекуррентной сети и языковой модели с авторегрессионной генерацией. Модели предварительно обучены на веб-текстах, коде, синтетических данных, а также инструкционных, диалоговых и рассуждательных примерах; доступны варианты от 0,1 до 13,3 млрд параметров. Указаны словарь из 65 536 токенов и размер головы 64. Модели предназначены для генерации текста, диалога и рассуждений, а также для дальнейшего дообучения и адаптации под конкретные задачи. Автор отмечает локальный запуск на мобильных и настольных устройствах и высокую скорость инференса; приведённые показатели относятся к RWKV-7 7,2B на RTX 5090. В карточке описаны рекомендации по настройкам генерации и вызову функций. Карточка не сообщает длину контекста и не приводит сопоставимых оценок качества, поэтому производительность на конкретных задачах следует проверять отдельно. Модели распространяются по лицензии Apache-2.0.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.

Spark-X2.5-4B-GGUF — это GGUF-квантизированная версия модели Spark-X2.5-4B, разработанной XHToken. Квантизацию выполнил stornic56 с использованием imatrix и форка llama.cpp на базе коммита b10514-4a3635c32; начиная с версии llama.cpp b10828 архитектура spark2_5 поддерживается в основном репозитории. Модель содержит около 4,11 млрд параметров, принимает текстовые данные и поддерживает английский и китайский языки. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, включая рассуждения и thinking-режим, а также вызов инструментов. Шаблон чата встроен в каждый GGUF-файл и поддерживает автоматическое применение через --jinja. По умолчанию рассуждения выводятся внутри тегов <think>...</think> перед итоговым ответом. Доступны варианты от BF16 до низкобитных Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, Q3_K_M, IQ3_M и IQ2_M; вариант Q4_K_M рекомендован как компромисс между размером и качеством. К сильным сторонам относятся широкий выбор квантизаций, поддержка imatrix и возможность запуска через llama.cpp, включая ускорение на Intel Arc с Vulkan. IQ2_M сохраняет работоспособность в расширенном тесте связности, тогда как Q2_K был исключён из выпуска из-за циклов повторения; варианты ниже IQ2_M не создавались из-за ожидаемой существенной потери качества. Максимальная длина контекста в README не указана, поэтому параметры запуска с 8192 или 16384 токенами нельзя считать подтверждённым ограничением модели. Распространение осуществляется по лицензии Apache-2.0.

StrangeMerges_49-7B-dare_ties — языковая модель Gille, полученная слиянием трёх моделей с помощью LazyMergekit и метода DARE-TIES. Это плотная архитектура Mistral с 7,1 млрд параметров; модель предназначена для генерации текста и диалогового использования. Указанное окно контекста составляет 32 768 токенов. Модель объединяет Gille/StrangeMerges_32-7B-slerp, AurelPx/Percival_01-7b-slerp и louisbrulenaudet/Pearl-7B-slerp. В карточке приведены результаты Open LLM Leaderboard, включая среднее значение 75,50, ARC 72,35 и HellaSwag 88,30. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Это квантованная версия модели supergemma4-e4b-abliterated, основанной на Jiunsong/supergemma4-e4b-abliterated. Квантование выполнил mradermacher; набор файлов опубликован в формате GGUF. Модель предназначена для генерации текста по инструкциям, включая сценарии с tool-calling и structured output, а также поддерживает обработку изображений как vision-модель. В README указано, что модель ориентирована на английский язык и использует экосистему Transformers. Доступны варианты квантования i1 с разными типами и размерами примерно от 4,5 до 6,3 ГБ; среди рекомендуемых отмечены i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Конкретные архитектурные параметры, число параметров и размер контекста не указаны. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Основные преимущества — широкий выбор GGUF-квантов, возможность локального запуска при ограниченных ресурсах и поддержка текстовых, визуальных, инструментальных и структурированных сценариев. Качество зависит от выбранного типа квантования: варианты с более низким размером могут уступать по качеству, а IQ-кванты в README часто рекомендуются вместо сопоставимых обычных вариантов. Модель распространяется по лицензии Gemma.

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

Citaman/command-r-4-layer — созданная Citaman модель семейства Cohere, полученная слиянием весов модели Citaman/command-r-5-layer методом SLERP с помощью mergekit. Это плотная авторегрессионная языковая модель примерно на 5,4 млрд параметров для генерации текста и диалогового взаимодействия; в метаданных также указана поддержка интерфейса вызова инструментов. Модель принимает текст и выдаёт текст, а заявленная длина контекста составляет 8192 токена. Модель подходит для диалоговых ассистентов и генерации ответов или продолжений текста. Доступны веса в формате safetensors; в README для слияния указан тип bfloat16. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели DeepSeek-V3.1, разработанной deepseek-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые проекты на его основе. В репозитории представлены варианты квантования Q8_0, Q6_K, Q5_K_M, Q4 и Q3/Q2, включая форматы IQ. Размер файлов составляет примерно от 188 до 713 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют значительно больше оперативной памяти и ресурсов; варианты Q4 и Q5 позиционируются как сбалансированные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Квантизация выполнена с использованием imatrix и llama.cpp release b6214. Сильной стороной модели является возможность локального запуска в различных форматах GGUF и выбор между качеством и требованиями к памяти. Ограничения включают исключительно большие размеры файлов, высокие аппаратные требования и отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, рекомендованном шаблоне запросов и лицензии. Формат промпта также не указан; рекомендуется обратиться к странице исходной модели deepseek-ai/DeepSeek-V3.1.

Deepseek-LLM-7B-Chat-GGUF — чат-модель Deepseek LLM 7B Chat, разработанная DeepSeek и представленная в формате GGUF. Репозиторий содержит квантизированные варианты модели, подготовленные Second State Inc., с разрядностью от 2 до 8 бит и размером файлов примерно от 2,72 до 7,35 ГБ. Модель предназначена для диалогового взаимодействия и может запускаться локально через LlamaEdge версии 0.2.8 или новее. Заявленный размер контекста составляет 4096 токенов. Доступны варианты с различным компромиссом между размером файла и качеством: Q2_K и варианты Q3 обеспечивают минимальные требования к ресурсам, но сопровождаются существенной потерей качества, тогда как Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые сбалансированные варианты. Модель работает с текстовыми запросами по шаблону deepseek-chat; сведения о поддерживаемых языках, точной архитектуре и результатах оценивания в README не приведены. Лицензия указана как deepseek, тип — other; применяются условия, описанные в файле LICENSE.