I.14Автоматизация процессов и AI-агенты

Aya 23 8B — многоязычная инструкционно дообученная языковая модель, разработанная Cohere For AI. Представлена в формате GGUF для локального запуска; квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста и работы в диалоговом режиме, включая общие задачи, рассуждения и обработку запросов на разных языках. Модель содержит около 8 млрд параметров и относится к текстовым моделям. Она поддерживает арабский, китайский, чешский, нидерландский, английский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, испанский, турецкий, украинский и вьетнамский языки. В README указано, что для своего размера модель показывает хорошие результаты в многоязычных задачах и логике, однако конкретные показатели, архитектура и размер контекстного окна не приведены. Для корректной работы в LM Studio рекомендуется использовать шаблон подсказок Cohere Command R. Сильными сторонами модели являются многоязычность, инструкционное обучение и относительно небольшой размер, удобный для локального применения. Ограничения включают возможные неточности, вредные или неуместные ответы, а также отсутствие в предоставленных данных детальной информации о производительности, архитектуре и требованиях к ресурсам. Лицензия модели — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.

Это квантизированная GGUF-версия языковой модели c4ai-command-r7b-12-2024, разработанной CohereForAI. Сборку подготовил bartowski с использованием llama.cpp и квантизации imatrix. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен, в частности, через LM Studio с поддержкой актуальной версии llama.cpp. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, греческий, персидский, польский, индонезийский, чешский, иврит, хинди, нидерландский, румынский, русский, турецкий, украинский и вьетнамский языки. Доступны варианты с разными уровнями квантизации — от F32 и Q8_0 до более компактных Q3 и IQ4; они позволяют выбирать между качеством генерации и требованиями к памяти. Для модели указан специальный шаблон диалога, однако сведения о точной архитектуре, размере контекста и результатах тестирования в карточке отсутствуют. Чем сильнее сжатие, тем ниже ожидаемое качество, хотя варианты Q5 и Q6 заявлены как высококачественные. Использование регулируется лицензией CC BY-NC 4.0 и ограничено некоммерческими сценариями.

Calliope-7b — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit. В основе слияния лежит mistralai/Mistral-7B-v0.1; также объединены веса четырёх моделей, включая OpenChat, Starling-LM и OmniBeagleSquaredMBX. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста. Модель предназначена для текстовых запросов и генерации ответов в сценариях, где нужна универсальная языковая модель. Заявленная длина контекста — 32 768 токенов. Репозиторий предоставляет веса в формате safetensors. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

CombinaTrix-7B — объединённая языковая модель, созданная CultriX с помощью LazyMergekit из NeuralBeagle14-7B, WestSeverus-7B-DPO-v2 и TurdusTrixBeagle-DARETIES-7B. В конфигурации указан WestLake-7B-v2 как базовая модель слияния; применён метод dare_ties, веса сохранены в формате float16. Модель основана на плотной архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста, включая диалоговые ответы, следование инструкциям, рассуждения и творческое письмо — эти сценарии унаследованы от составляющих моделей. Она принимает текст и выдаёт текст. Лицензия — Apache-2.0.

EssentialAI_rnj-1-instruct-GGUF — это набор GGUF-квантизованных версий instruct-модели rnj-1-instruct, разработанной Essential AI и квантизованной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных средах, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. Доступны варианты от BF16 до 3- и 4-битных форматов, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,8 до 16,6 ГБ; наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 предназначены для более универсального локального использования. В README не указаны архитектура, максимальная длина контекста, поддерживаемые языки, число параметров и мультимодальные возможности, поэтому модель следует считать текстовой без подтверждённой поддержки других модальностей. Сильные стороны — широкий выбор степеней квантизации, возможность запуска на локальном оборудовании и сохранение высокого качества у вариантов Q5–Q8. Более компактные варианты экономят память, но могут заметно уступать по качеству; низкобитные версии характеризуются как менее качественные или нерекомендуемые. Для работы требуется использовать рекомендованный формат prompt-шаблона rnj-1 и совместимый inference-движок. Указанная лицензия — Apache-2.0.

Карточка модели hama-jp/gemma-2-27b на Hugging Face совпадает с карточкой google/gemma-2-27b, поэтому описание составлено по ней. Gemma 2 27B — текстовая авторегрессионная языковая модель семейства Gemma, разработанного Google с использованием исследований и технологий, применявшихся при создании Gemini. Модель доступна с открытыми весами и предназначена для генерации текста; семейство Gemma включает предварительно обученные и настроенные для следования инструкциям варианты. В репозитории указаны формат safetensors и библиотека Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и рассуждений по чётко сформулированным запросам. В README заявлена поддержка английского языка; конкретные размер контекстного окна и число параметров здесь не приведены. Открытые веса позволяют запускать модель на собственном оборудовании или в облачной инфраструктуре. Ограничения включают возможные фактические ошибки, предвзятость, трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия — Gemma; перед использованием следует соблюдать условия лицензии и политику допустимого использования Gemma.

Gemma-3-27b-it-GGUF — квантизированная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и сценариев image-text-to-text: обработки текстовых запросов, а при использовании файла mmproj — анализа изображений вместе с текстом. Для запуска в LlamaEdge требуется версия v0.18.5 или новее и шаблон prompt gemma-3. Модель содержит 27 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размеры файлов составляют примерно от 10,5 до 30 ГБ, не считая разбиения F16 на два файла. Рекомендуемыми вариантами названы Q4_K_M, Q5_K_M и Q5_K_S, поскольку они обеспечивают баланс размера и качества или небольшие потери качества. Для обработки изображений требуется отдельный mmproj-файл; изображения должны быть нормализованы до 896×896 пикселей и представлены как 256 токенов каждое. Основные сильные стороны — большой контекст, поддержка текста и изображений, широкий выбор уровней квантования и возможность локального запуска через LlamaEdge. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, а при низких уровнях квантования — существенное снижение качества. README не указывает поддерживаемые языки и конкретную архитектуру. Модель распространяется по лицензии Gemma.

NoxStrix/gemma-4-31B-it-Q4_K_M-GGUF — это конвертированная в формат GGUF инструкциямодель на базе google/gemma-4-31B-it, подготовленная автором NoxStrix с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для локального запуска через llama.cpp, включая интерактивные запросы в CLI и работу в режиме сервера. Из доступных данных известно, что исходная модель имеет размер 31B параметров и относится к мультимодальным моделям image-text-to-text, то есть может обрабатывать изображения и текст и генерировать текстовые ответы. Ключевые характеристики исходной архитектуры, поддерживаемые языки и размер контекстного окна в README не указаны. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией, но README не содержит точных сведений о качестве, скорости и необходимых ресурсах. Для использования требуются llama.cpp и подходящее аппаратное обеспечение; возможна настройка сборки под конкретную платформу, включая Nvidia GPU. В README приведён пример контекста размером 2048 токенов, но это может быть лишь параметром запуска, а не максимальным размером контекста модели. Модель распространяется по лицензии Apache-2.0, при этом для исходной Gemma могут действовать дополнительные условия лицензии Google Gemma.

GLM-5.3-Flash-GSQ-RCO-GGUF — это сторонняя общественная GGUF-квантизация мультимодальной модели GLM-5.3-Flash от zai-org. Файлы созданы независимым сообществом с применением методов GSQ и RCO, разработанных Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель содержит около 320 млрд параметров и предназначена для работы с текстом и изображениями; для визуального ввода поставляется отдельный BF16 vision encoder и projector. Доступны варианты с эффективной точностью около 3,0 и 3,5 бит размером примерно 117,48 и 137,07 ГБ соответственно, а также vision projector размером 1,16 ГБ. GSQ выполняет посттренировочную скалярную квантизацию с настройкой сеток и масштабов, а RCO распределяет типы квантизации между тензорами с учётом общего бюджета размера. Эти варианты рассчитаны на запуск через совместимый GGUF-совместимый runtime, в README отдельно описана проверка с использованием llama.cpp. Основное преимущество модели — существенное уменьшение размера по сравнению с FP8-чекпойнтом объёмом около 328,3 ГБ при сохранении близких характеристик: в тестах вариант 3,5 бит показал точность 60,55% на MMLU-Pro против 61,95% у Q8_0, а вариант 3,0 бит — 60,00%. Ограничения включают очень большой объём файлов, требования к производительному оборудованию и некоторое ухудшение perplexity и качества относительно восьмибитного эталона; показатели зависят от выбранного варианта квантизации. В опубликованной оценке использовался контекст 2 048 токенов, но общий максимальный контекст модели не указан. Лицензия файлов — MIT.

GLM-5.3-Flash-MLX-4bit — это сборка модели GLM-5.3-Flash от zai-org, адаптированная PipeNetwork для MLX на устройствах с Apple Silicon. Модель имеет архитектуру Mixture-of-Experts общим размером 320B параметров, из которых активируется 18B (A18B), и поддерживает обработку текста и изображений. В ней сочетаются 34 слоя линейного внимания Kimi-Delta и 11 слоёв разреженного внимания DeepSeek с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Контекст, список поддерживаемых языков и точные сценарии мультимодального применения в README не указаны. Чекпойнт занимает 177,6 ГБ и квантизирован преимущественно в 4-bit с размером группы 64; vision tower сохранён в bfloat16, а отдельные компоненты — в 8-bit, float32 или исходном формате. По сравнению с 8-bit-версией равномерная 4-bit-квантизация показывает более высокую perplexity на wikitext-2, поэтому экономит место и память ценой некоторого снижения качества. Архитектура исходной модели сохранена, но слой multi-token prediction не включён. Для запуска требуется MLX-совместимое окружение и исправленный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит несовпадения вычислений. Размер модели ограничивает применение устройствами с большим объёмом памяти; README также не приводит конкретных требований к объёму RAM или VRAM. Модель распространяется по лицензии MIT.

GPT-3.5 Turbo Instruct — вариант модели OpenAI, настроенный на выполнение инструкций в текстовых запросах и не ориентированный на диалоговые оптимизации. Он предназначен для генерации текста в ответ на инструкции и запросы пользователя. В README указан предел знаний в виде обучающих данных по сентябрь 2021 года. Сведения об архитектуре, размере, контекстном окне и лицензии в предоставленных источниках отсутствуют.

Higgs-Llama-3-70B — языковая модель Boson AI, дообученная на основе meta-llama/Meta-Llama-3-70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, рассчитанная на генерацию текста и диалоги; для работы используется формат prompt’ов Meta-Llama-3-70B-Instruct, а максимальная длина контекста составляет 8192 токена. Модель специально настроена для ролевых диалогов и старается последовательно придерживаться заданной роли и системного сообщения. Она также предназначена для следования инструкциям и рассуждений в задачах общего назначения. Обучение включало контролируемую настройку на инструкциях и чатах, а затем итеративную оптимизацию предпочтений с участием человеческих разметчиков и внутренних языковых моделей. Модель принимает текст и генерирует текст. Карточка сообщает о настройке поведения, но не приводит здесь численные результаты оценивания: таблицы бенчмарков опущены. Для использования весов указана лицензия other; конкретные условия следует сверять с лицензией репозитория и базовой модели Meta-Llama-3-70B.

EXAONE-Deep-32B-GGUF — это квантованные версии языковой модели EXAONE-Deep-32B, разработанной LGAI-EXAONE и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на текстовые сценарии, включая диалоговое взаимодействие, написание и преобразование текста, программирование и другие задачи генерации на естественном языке. В README указаны английский и корейский языки. Базовый размер модели — 32B параметров; архитектура и размер контекстного окна не указаны. Доступны варианты от BF16 до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ, размер файлов составляет примерно от 13 до 64 ГБ. Главное преимущество — возможность локального запуска при выборе подходящего уровня квантования: высокоточные варианты Q6 и Q5 обеспечивают качество, близкое к исходной модели, а более компактные Q4 и Q3 снижают требования к памяти. Ограничения связаны с существенными аппаратными требованиями 32B-модели, возможным снижением качества при сильном квантовании и отсутствием информации о мультимодальности, контекстном окне и результатах оценивания. Указана лицензия EXAONE; подробные условия следует уточнять в файле LICENSE.

Карточка модели Yukang/Llama-2-7b-longlora-100k-ft на Hugging Face совпадает с карточкой Yukang/Llama-2-7b-longlora-32k-ft, поэтому описание составлено по ней. Yukang/Llama-2-7b-longlora-32k-ft — дообученная полная версия LLaMA 2 на 7 млрд параметров, созданная авторами проекта LongLoRA для работы с длинным контекстом. Модель предназначена для генерации текста и обработки запросов, в которых важно учитывать большой объём предшествующего текста, например длинные документы. Контекст этой версии расширен до 32 768 токенов. В README описан подход LongLoRA: для эффективного расширения контекста при дообучении используется разреженное локальное внимание, при этом во время инференса сохраняется плотное глобальное внимание. Метаданные указывают нативную длину контекста 4 096 токенов, поэтому заявленное в README расширение до 32 768 токенов следует отличать от этого значения. Модель использует архитектуру LlamaForCausalLM и распространяется в формате PyTorch. Модель подходит для суммаризации и вопросов по длинным текстам, но README не приводит отдельные оценки качества именно этого чекпойнта. Условия лицензии в предоставленных данных не указаны.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF-UD — это GGUF-версия инструкционно дообученной модели Llama 4 Maverick, разработанной Meta и опубликованной Unsloth. Модель предназначена для генерации текста и выполнения пользовательских инструкций в общих сценариях работы с языком, включая диалоговые приложения и задачи обработки текста. В идентификаторе указаны конфигурация с 17B параметров и 128E экспертов, а также вариант Instruct; дополнительные сведения об архитектуре и методе квантования в предоставленных данных отсутствуют. Заявлены следующие языки: арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский. Модальность, размер контекстного окна, конкретные уровни квантования, требования к оборудованию, результаты тестирования и известные ограничения не указаны, поэтому оценить производительность в отдельных задачах по этим данным невозможно. Использование модели регулируется Llama 4 Community License от Meta, действующей с 5 апреля 2025 года. Лицензия допускает использование, воспроизведение, распространение, создание производных работ и модификацию на указанных условиях, включая сохранение лицензионного уведомления, предоставление копии соглашения и отображение обозначения «Built with Llama» при распространении материалов или продуктов. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

Mini-InternVL-Chat-4B-V1-5 — компактная мультимодальная модель для диалога с изображениями, разработанная OpenGVLab. Она сочетает InternViT-300M-448px, MLP и языковую модель Phi-3-mini-128k-instruct; архитектура относится к семейству InternVL Chat. Модель содержит около 4,2 млрд параметров и принимает изображения с динамическим разрешением, разбивая их максимум на 40 фрагментов размером 448 × 448 пикселей. Модель предназначена для ответов на вопросы по изображениям, распознавания текста и анализа диаграмм и документов, а также для обычного диалога и генерации текста. В README указаны оценки на наборах DocVQA, ChartQA, InfoVQA, TextVQA, OCRBench, MathVista и других. Обучение проводилось с контекстом 8K; значение 128K в названии базовой Phi-3 не означает, что такой контекст подтверждён для этой модели. Для запуска README приводит пример с Transformers и вычислениями в bf16/fp16. Модель объединяет vision-компонент InternViT и Phi-3-mini; метаданные указывают связи merge с обеими базовыми моделями. Поддержка языков обозначена как multilingual, но конкретный список языков не приведён. Лицензия — MIT. Модель может выдавать предвзятый или иной вредоносный контент, а результаты вероятностной генерации требуют проверки.

bartowski/Mistral-NeMo-Minitron-8B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые среды локального вывода. Для взаимодействия используется специальный шаблон с ролями System, User и Assistant. Доступны варианты от полноразмерных весов F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 4,2 до 16,8 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Квантизации выполнены с использованием imatrix; версии Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 — как хороший компромисс для ограниченных ресурсов. Отдельные варианты оптимизированы для ARM и требуют соответствующих аппаратных возможностей. README не указывает поддерживаемые языки, размер контекстного окна, точные архитектурные характеристики исходной модели или результаты бенчмарков. Для ARM-оптимизированных вариантов имеются ограничения совместимости: их не рекомендуется использовать на Mac и Windows. Условия лицензирования в предоставленных данных не указаны.

Mixtral-8x22B-Capyboros-v1 — дообученная с помощью QLoRA языковая модель автора tdrussell на базе Mixtral-8x22B-v0.1. Она использует архитектуру Mixtral с разреженными экспертами и предназначена для генерации текста в формате инструкций Mistral: запрос заключают между маркерами [INST] и [/INST]. Обучение проведено на сочетании датасетов Capybara и Airoboros; адаптер имеет ранг LoRA 64, обучение шло два эпоха с длиной последовательности 4096 токенов. Модель подходит для диалоговых ответов, объяснения понятий и выполнения текстовых инструкций. В репозитории есть веса safetensors и отдельный квантованный вариант GGUF Q4_K_S; README сообщает, что квантованный файл помещается при контексте не менее 16 тысяч токенов на видеопамяти 96 ГБ. Метаданные указывают размер 22B параметров и нативный контекст 65536 токенов. Лицензия — Apache-2.0. Результаты зависят от формата промпта и могут наследовать ограничения обучающих данных; сведений о систематической оценке качества нет.

Orpomis-Prime-7B-dare — объединённая с помощью Mergekit языковая модель от автора saucam. Она сочетает kaist-ai/mistral-orpo-beta и NousResearch/Hermes-2-Pro-Mistral-7B методом dare_ties; в конфигурации заданы веса 0,6 и 0,4, плотность 0,5 и тип данных bfloat16. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по запросу. Её можно применять для ответов на вопросы, написания и преобразования текста, а также выполнения инструкций в текстовом чате. В репозитории представлены веса safetensors. Модель объединяет две базовые модели; самостоятельное дообучение Orpomis-Prime-7B-dare в карточке не заявлено. Сведения о лицензии, поддерживаемых языках и специальных ограничениях в доступных данных отсутствуют.

QVikhr-3-4B-Instruction — русско-английская инструктивная языковая модель команды Vikhr, дообученная методом SFT на синтетическом датасете GrandMaster2 на основе Qwen/Qwen3-4B. Это плотная авторегрессионная модель с 3,7 млрд параметров и контекстом до 40 960 токенов; веса опубликованы в формате Safetensors под лицензией Apache-2.0. Модель предназначена для диалогов по инструкциям, генерации ответов с учётом контекста и анализа текста, с особым упором на русский язык при поддержке английского. Её можно встраивать в пользовательские приложения и сервисы. В карточке приведён результат 78,2 в Ru Arena General против 64,8 у базовой Qwen3-4B; это результат указанного теста, а не гарантия качества в других сценариях. Карточка не приводит систематических оценок ошибок или ограничений. Как и другие генеративные языковые модели, она может выдавать неточные ответы; перед использованием важной информации нужна проверка.

Qwen3.5-9B VLM Q4_K_M GGUF — мультимодальная модель на базе Qwen/Qwen3.5-9B, представленная в формате GGUF и подготовленная пользователем jc-builds. Пакет включает квантованные веса основной модели и отдельный мультимодальный проектор mmproj, необходимый для обработки изображений через llama.cpp. Модель предназначена для анализа изображений и текста, визуального рассуждения, генерации описаний, ответов на вопросы по изображениям, а также для обычных текстовых задач. Заявлена поддержка 201 языка, включая английский, китайский, японский, корейский, русский, европейские, арабские и ряд языков Юго-Восточной Азии. Указана архитектура раннего объединения визуальных и текстовых данных, контекстное окно 262 144 токена с возможностью расширения более чем до 1 млн токенов, 9,6 млрд плотных параметров и словарь размером более 200 тысяч токенов. Основные веса используют 4-битную смешанную квантование Q4_K_M и занимают около 6 ГБ, а визуальный проектор хранится в FP16 и занимает около 918 МБ. Для полной мультимодальной инференции требуется примерно 7–8 ГБ RAM или VRAM. Сильные стороны модели — сочетание визуальных и текстовых возможностей, большой контекст, относительно компактный размер и возможность локального запуска, в том числе на устройствах iOS. Ограничения включают зависимость от поддержки mmproj в программном обеспечении: vision-режим доступен в llama.cpp и KoboldCpp, частично поддерживается в LM Studio и не поддерживается в Ollama согласно README. Квантованная версия может незначительно уступать FP16 по качеству. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-BUDGET-GGUF — производная версия модели Qwen3.8-27B, подготовленная автором репозитория esatapedico на основе квантованной сборки Unsloth. Это плотная модель с 27 млрд параметров, гибридной архитектурой Gated DeltaNet и Gated Attention и контекстом до 262 144 токенов. Репозиторий содержит две компактные сборки GGUF: BUDGET и STARVED; в обеих удалена голова MTP для спекулятивного декодирования, а выходная проекция и эмбеддинги токенов квантованы до малых типов. Модель предназначена для диалогов и генерации текста, а при подключении совместимого проектора mmproj-BF16.gguf также принимает изображения и видео. Сборки рассчитаны на запуск через llama.cpp на видеокартах Blackwell с 16 ГБ памяти: BUDGET занимает 14,72 ГБ, STARVED — 14,59 ГБ. Автор приводит ориентировочные результаты одного запуска на RTX 5070 Ti и предупреждает, что компактное квантование снижает точность; заявленный образный ввод требует отдельного проектора, а для работы нужны свежая версия llama.cpp и поддержка NVFP4 и sm_120. Модель распространяется по лицензии Apache-2.0. Это конверсия и дополнительное квантование/уплотнение производной сборки; веса не обучались и не дообучались автором репозитория.

topabaem/Qwen3.8-27B-STQ — семейство контролируемых GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованное topabaem. Модель предназначена для локального запуска и развертывания в условиях ограниченной памяти с использованием llama.cpp. В репозитории представлены варианты IQ3_XXS, IQ4_XS, Q4_K_M и Q5_K_M размером примерно от 11,19 до 19,23 ГБ. Для всех вариантов использованы один и тот же BF16-источник, зафиксированная сборка llama.cpp и importance matrix; проект позиционируется как исследование измерений, а не как новый метод кодирования. Модель ориентирована прежде всего на текстовые задачи, а в метаданных также заявлен pipeline image-text-to-text. В README не указаны точные архитектурные характеристики, число параметров помимо обозначения 27B, поддерживаемые языки и размер контекстного окна. На тесте из 800 заданий MMLU и ARC точность вариантов составила от 85,63% до 86,88% против 87,00% у BF16-базовой версии; Q4_K_M и Q5_K_M признаны не уступающими BF16 в рамках этого теста. Результаты LiveCodeBench v6 предварительные: измеренный pass@1 ещё не рассчитан, поэтому заявлять о подтверждённой эффективности в программировании нельзя. Основные преимущества — несколько уровней компромисса между размером, требованиями к памяти и качеством, а также воспроизводимый инструментальный стек и опубликованные измерения. Ограничения включают зависимость качества от конкретного варианта квантизации, неполную сопоставимость некоторых бенчмарков и отсутствие данных о генерации на длинных последовательностях. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ4-MTP — общественная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, созданная Vontra на основе официальных весов Qwen в формате BF16. Модель предназначена для запуска на Apple Silicon через совместимые среды oMLX или MLX-VLM и поддерживает обработку текста и изображений. Это не официальный релиз Qwen. Модель использует разреженную архитектуру mixture-of-experts qwen4_exp с 125 млрд параметров, из которых около 6 млрд активны при обработке токена, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual-потоки, hashed bigram и trigram embeddings, а также один встроенный MTP-блок для speculative decoding. Контекст составляет до 262 144 токенов. Конверсия выполнена в смешанной 4-битной точности oQ4 с отдельными модулями в 5- и 8-битном формате; размер весов — около 113,33 ГБ. Сильными сторонами являются экономичное по сравнению с полной точностью хранение, поддержка визуально-текстовых сценариев и встроенный MTP для ускорения генерации. Ограничения связаны с большими требованиями к памяти, зависимостью от Apple Silicon и необходимостью runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут не загрузить модель. Указанная лицензия — Qwen Community License 1.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ8-MTP — общественная MLX-конверсия мультимодальной vision-language модели Qwen3.8-Flash-Next, разработанной Qwen, с сохранённым нативным блоком MTP для speculative decoding. Конверсия выполнена Vontra напрямую из официальных BF16-весов; это не официальный релиз Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых MLX-VLM или oMLX-средах, прежде всего на устройствах Apple Silicon. Модель использует архитектуру sparse MoE с обозначением qwen4_exp, включает Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual-потоки и хешированные биграммные и триграммные embedding-таблицы. Всего заявлено 125 млрд параметров, из которых активно около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего, 24 attention heads и 2 KV heads, размер скрытого состояния 2560 и контекст до 262 144 токенов. Формат — MLX safetensors, квантизация oQ8, близкая к равномерной 8-битной аффинной, с group size 32; размер весов составляет около 202,75 ГБ. Сильная сторона конверсии — встроенный совместимый MTP-блок, который может существенно повысить скорость генерации: в измерении на Apple M3 Studio производительность выросла с 19,5 до 35,7 токена в секунду. Однако модель требует runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут отклонить веса. Указанные результаты зависят от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

Qwen-SEA-LION-v4-32B-IT — инструктивная языковая модель AI Singapore, разработанная командой AI Products Pillar при финансировании NRF Сингапура. Это плотная авторегрессионная модель семейства Qwen3 с 29,7 млрд параметров, дообученная на базе Qwen/Qwen3-32B. После продолженного предобучения примерно на 100 млрд токенов из корпуса SEA-Pile v2 модель прошла постобучение на примерно 8 млн пар вопросов и ответов. Модель предназначена для диалога и выполнения инструкций, включая ответы на вопросы, суммаризацию, перевод, анализ тональности и рассуждения. Она ориентирована на языки Юго-Восточной Азии и также поддерживает английский и китайский. Метаданные указывают контекст до 40 960 токенов; README приводит нативный контекст 32 768 токенов. Модель распространяется под лицензией MIT. В README описаны оценки на наборах SEA-HELM, SEA-IFEval и SEA-MTBench для языковых задач, следования инструкциям и многоходового диалога. Модель может галлюцинировать и выдавать нерелевантные или непоследовательные ответы; она не настроена на безопасность и не проверялась на устойчивость к состязательным запросам. Для прикладного использования следует самостоятельно оценить качество и настроить защитные меры.

Sakura-SOLAR-Instruct-GGUF — квантизированная версия инструкционной языковой модели Sakura Solar Instruct, разработанной KyujinHan. Модель предназначена для генерации текста и диалогового взаимодействия по системным и пользовательским инструкциям; её можно запускать локально на CPU и GPU через llama.cpp и совместимые интерфейсы и библиотеки. Репозиторий содержит файлы в формате GGUF, включая варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Архитектура модели — SOLAR, формат GGUFv2; точный размер, число параметров и максимальная длина контекста в README не указаны. Заявлен английский язык, поддерживается только текстовая модальность. Квантизация уменьшает требования к памяти и позволяет выбирать компромисс между размером, скоростью и качеством, однако более агрессивные варианты могут сильнее терять в качестве по сравнению с исходной моделью. Для работы используется шаблон запроса с секциями System, User и Assistant. Модель и её квантизированные файлы распространяются по лицензии CC BY-NC-SA 4.0.

Speechless Mistral Dolphin Orca Platypus Samantha 7B — это языковая модель для генерации текста на основе архитектуры Mistral с примерно 7 млрд параметров. Исходную модель разработал Jiangwen Su, а данный репозиторий подготовлен TheBloke и содержит её квантизированные версии в формате GGUF. Модель обучалась на наборах данных Airoboros 2.2.1, OpenOrca, Open-Platypus и Samantha. Модель предназначена для текстового диалога, ответов на вопросы, следования инструкциям и других сценариев генерации текста. Также заявлена ориентация на задачи, связанные с кодом; в метаданных приведён результат pass@1 34,146% на HumanEval, однако он не подтверждён. Указан английский язык. Для взаимодействия используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. GGUF-версии поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что делает модель пригодной для локального запуска на CPU и GPU. Доступны варианты квантизации от 2 до 8 бит: меньшая разрядность обычно снижает требования к памяти, но может ухудшать качество по сравнению с исходной моделью. Сведения о размере контекста и мультимодальных возможностях не указаны; модель предназначена для работы с текстом. Лицензия указана как Llama 2.

Sao10K/70B-L3.3-Cirrus-x1 — диалоговая языковая модель, созданная на основе Meta Llama 3.3 70B Instruct. Автор сообщает, что использовал тот же состав данных, что и для Freya, применял другой подход к обучению, обучал модель дольше и также объединял её с чекпойнтами. Это плотная архитектура LlamaForCausalLM с 69,5 млрд параметров; модель работает с текстом и поддерживает контекст до 131 072 токенов. Модель предназначена для диалога и генерации текста. Автор отмечает выразительный стиль и большую стабильность по сравнению с предыдущими версиями, но также указывает на отдельные исправимые проблемы. Для промптов используется формат Llama-3-Instruct; в карточке приведены рекомендуемые параметры генерации. Модель распространяется по лицензии Llama 3.3.

bhenrym14 создал экспериментальную модификацию Airoboros 33B GPT-4 1.4.1 на архитектуре Llama. Это плотная авторегрессионная языковая модель примерно на 32,3 млрд параметров, дообученная с помощью QLoRA и RoPE scaling; веса опубликованы в формате safetensors. README описывает обучение на синтетическом наборе airoboros-gpt4-1.4.1 и расширение контекстного окна до 8192 токенов, однако метаданные указывают native context в 2048 токенов, поэтому фактическую поддержку длинного контекста следует считать экспериментальной. Модель предназначена для диалоговых ответов, следования инструкциям, ответов по предоставленному контексту, ролевых сценариев, загадок и задач на программирование. Обучающие данные включают примеры кода на десяти языках программирования; естественные языки в карточке явно не перечислены. Автор сообщает о хороших впечатлениях от отдельных экспериментов, но отмечает, что влияние на задачи вне оценки perplexity не установлено. README не сообщает лицензию.