I.14Автоматизация процессов и AI-агенты

Qwen-VL-Chat — диалоговая визуально-языковая модель семейства Qwen, разработанная Alibaba Cloud. Репозиторий содержит чат-версию модели с 11,4 млрд параметров; архитектура плотная, класс QWenLMHeadModel, формат весов — PyTorch, контекст — до 8192 токенов. Модель принимает изображения, текст и рамки объектов и выдаёт текст и рамки объектов. Поддерживает диалог на китайском и английском языках, в том числе с несколькими изображениями в переплетённом диалоге. Модель предназначена для описания изображений, визуальных вопросов и ответов, распознавания текста на изображениях, вопросов по документам и диаграммам, а также локализации объектов по текстовому описанию. В README описана версия Int4 на базе AutoGPTQ с меньшим потреблением видеопамяти и ускоренным выводом; метаданные этого репозитория указывают формат PyTorch. Лицензия в предоставленных данных не указана.

SauerkrautLM-Mixtral-8x7B-Instruct — инструктивная языковая модель VAGO solutions на архитектуре Mixture of Experts (MoE), основанная на mistralai/Mixtral-8x7B-Instruct-v0.1. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и выполнения инструкций, в том числе для ответов на вопросы и математических задач. Разработчики дообучили её с помощью DPO на немецких данных с аугментацией и переводом, а также на предпочтениях из дополнительных наборов данных. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков; особое внимание уделено естественности формулировок на немецком. В README приведена оценка на тесте German RAG Eval, однако результат не гарантирует точность в реальных сценариях. Разработчики предупреждают, что модель может выдавать неподходящий или некорректный контент. Лицензия Apache 2.0 допускает коммерческое использование при соблюдении её условий.

XpressAI/shisa-v2.1-qwen3-8b-GGUF — GGUF-версия модели Shisa V2.1 Qwen3 8B, разработанной компанией Shisa.AI. Это двуязычная разговорная модель общего назначения, ориентированная прежде всего на японский язык при сохранении устойчивых возможностей в английском. Модель предназначена для локального и периферийного использования, генерации текста, диалоговых приложений, следования инструкциям, перевода и других японско- и англоязычных задач. Модель содержит 8 млрд параметров и относится к семейству на базе Qwen3. Заявленная длина контекста составляет 32K или 128K токенов в зависимости от конфигурации. В обучении использовались обновлённые данные Shisa V2.1, включая материалы для улучшения следования инструкциям, перевода, вежливости и других специфических аспектов японского языка; применялись дообучение SFT и DPO, а для некоторых моделей семейства также объединение моделей и этапы RL. Внутренние оценки указывают на высокие результаты для своего размера: JA AVG 67,8 и EN AVG 57,8. Сильной стороной модели являются японские языковые возможности, а также сочетание компактного размера с поддержкой английского языка и длинного контекста, что делает её подходящей для локального запуска. Ограничения включают меньший масштаб по сравнению с моделями на 14B и 70B параметров и отсутствие в предоставленных данных подробностей о конкретной GGUF-квантизации, требованиях к ресурсам и мультимодальных возможностях; поэтому модель следует считать текстовой. Модель распространяется по лицензии Apache 2.0.

Smol 7B — диалоговая языковая модель, опубликованная rishiraj и дообученная на openchat/openchat_3.5 с использованием открытого набора данных HuggingFaceH4/no_robots и рецептов The Alignment Handbook. Модель построена на архитектуре Mistral с плотной сетью и содержит 7,1 млрд параметров; для генерации текста поддерживается контекст до 8192 токенов. Модель предназначена для диалога, ответов на вопросы и выполнения текстовых инструкций на английском языке. В карточке приведены результаты на бенчмарках MMLU, ARC, HellaSwag, TruthfulQA, Winogrande и GSM8K; на момент публикации автор заявлял о наивысшем результате среди чат-моделей 7B на MMLU. Модель выпущена под лицензией Apache-2.0. Как и другие языковые модели, она может ошибаться или выдавать недостоверные ответы; результаты бенчмарков не гарантируют качество в конкретном сценарии.

Joseph717171/SOLAR-19.2B-Instruct-v1.0 — разговорная языковая модель, созданная слиянием моделей через mergekit. В карточке она описана как увеличенная версия SOLAR-10.7B-Instruct-v1.0 с чередованием слоёв; метаданные указывают архитектуру LlamaForCausalLM и около 18,5 млрд параметров. Модель принимает текстовые запросы и генерирует текст, а её контекст составляет 4096 токенов. Модель предназначена для диалогов и ответов на инструкции, а также как основа для дальнейшего дообучения или замена исходной версии SOLAR 10.7B. Для обучения использовались наборы Alpaca-GPT4, OpenOrca, Orca DPO и UltraFeedback; карточка также упоминает SFT и DPO. Заявленная лицензия — CC; конкретный вариант лицензии в предоставленных данных не уточнён.

Sonoma-1.2B-0901 — продолжение Sonoma-1.2B Preview от Mincofficial, дообученное на основе LiquidAI/LFM2.5-1.2B-Thinking. Это плотная причинная языковая модель семейства LFM2 с 1,5 млрд параметров, предназначенная для генерации текста, диалогов, следования инструкциям, кода и задач на рассуждение. Модель дообучали с помощью assistant-only LoRA ранга 32 на всех 16 блоках, после чего адаптер объединили с весами; карточка указывает контекст 128 000 токенов. Основной формат весов — Safetensors для MLX; в репозитории также есть экспорт GGUF Q4_K_M для llama.cpp. Модель подходит для локального ассистента, написания и объяснения кода, а также ответов на вопросы и математических рассуждений на английском языке. Приведённые оценки относятся к небольшому фиксированному отложенному набору и восьми задачам проверки поведения, поэтому не дают оснований считать их широким сравнительным бенчмарком. Лицензия обозначена как other; перед использованием следует проверить условия репозитория и лицензии источников обучающих данных.

T3qm7xNeuralsirkrishna_Experiment31Experiment29 — объединённая автором карточки модель на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и диалогов, принимает текст и выдаёт текст. Максимальная длина контекста — 32 768 токенов. Модель объединяет automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment31Experiment29-7B. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

TSFT-RAG Gemma-3-4B-IT — полноразмерная дообученная модель на базе Google Gemma 3 4B IT, созданная независимым исследователем Sascha Frank в рамках проекта TSFT-RAG. Модель предназначена для RAG-сценариев: ответов на вопросы по найденным источникам, выявления вопросов без достаточной опоры на источники, извлечения информации и создания структурированных ответов, включая JSON. Это плотная модель семейства Gemma 3 с архитектурой Gemma3ForConditionalGeneration и примерно 4 млрд параметров. Она принимает текст и, как производная Gemma 3, поддерживает мультимодальный ввод изображений, хотя для этой версии мультимодальная оценка не проводилась. Карточка сообщает об оценке преимущественно на немецкоязычных наборах данных; сведений о длине контекста нет. В опубликованной оценке агрегированный результат вырос относительно базовой модели, особенно на выявлении неподдержанных вопросах, но качество grounded QA немного снизилось. Модель оптимизирована для RAG и не предназначена для общего диалога; в важных областях требуется проверка человеком. Лицензия — Gemma license.

typhoon-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, полученная слиянием Mistral-7B-Instruct-v0.2 и typhoon-7b методом SLERP. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. В состав слияния входят Mistral-7B-Instruct-v0.2 от Mistral AI и typhoon-7b от SCB 10X. Лицензия репозитория — Apache-2.0. Карточка не уточняет языковой охват и специальные ограничения качества, поэтому их нельзя конкретизировать.

xDAN-L1-Chat-RL-v1 — диалоговая языковая модель xDAN-AI на архитектуре Mistral с 7,1 млрд параметров. Она дообучена на смесях OpenOrca, Intel Orca-DPO-Pairs и собственных данных с помощью SFT и DPO-v2; карточка описывает шаблон запросов Alpaca и контекст 32 768 токенов. Модель предназначена для генерации ответов в чате, работы с общими знаниями, написания текстов и помощи с кодом. В README приведены сравнительные результаты MT-Bench и LM-Evaluation-Harness, но они не гарантируют качество на конкретных запросах. В метаданных указан английский язык; другие языки явно не заявлены. Модель распространяется под лицензией CC BY 4.0. Она может выдавать неточные или проблемные ответы, поэтому важные результаты следует проверять.

Xing4.0-29B-A4B-CRACK-GGUF — набор GGUF-квантизированных версий модели Xing4.0-29B-A4B, подготовленный dealignai на базе модели XingChen-AGI/China Telecom AI. Это reasoning-модель с архитектурой Mixture of Experts: 29 млрд общих параметров, около 4 млрд активных при генерации, 64 маршрутизируемых эксперта с выбором 4 экспертов и одним общим. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальные сценарии с ограниченными ресурсами. Доступны семь вариантов квантизации размером примерно от 12,9 до 30,9 ГБ. Архитектура включает MLA с параметрами q_lora=768 и kv_lora=512, mHC Hyper-Connections с четырьмя каналами, MTP-head, 40 слоёв и скрытое представление размерностью 3584. Заявлена поддержка контекста до 256K токенов, с масштабированием до 512K через YARN. В README явно указаны китайский язык и данные калибровки imatrix на основе WikiText-2, исходного кода и китайской Википедии; полный набор поддерживаемых языков не приведён. Для работы требуется специальная ветка shuxiaoqiong/llama.cpp с портом xing4_0. Сильной стороной модели заявлено существенное снижение отказов и ограничений безопасности на уровне весов, однако это одновременно означает повышенные риски при использовании в чувствительных или вредоносных сценариях. Качество зависит от выбранной квантизации: в приведённых тестах MMLU составляет от 55,5% до 68,2%, а результаты более компактных вариантов ниже. Ограничения включают необходимость совместимого runtime, значительный объём памяти и возможную потерю качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

YamshadowStrangemerges_32_Inex16Calme — слитая модель семейства Mistral, объединяющая automerger/YamshadowStrangemerges_32-7B и automerger/Inex16Calme-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалоговых ответов; заявленная длина контекста составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о языковой специализации или конкретных ограничениях качества; применимость следует оценивать для своего сценария.

Zenith-7B-dpo-v1 — диалоговая языковая модель Xenon1 на архитектуре Mistral, дообученная на Mistral-7B-v0.1 с использованием набора Ultrafeedback и техник из статьи Self-Rewarding Language Models. Модель предназначена для генерации ответов на инструкции и ведения диалога; для запросов используется формат Mistral с маркерами [INST] и [/INST], также доступен шаблон чата Transformers. Модель содержит 7,1 млрд параметров, использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Максимальный контекст — 32 768 токенов. Указана поддержка английского языка; опубликованные веса представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0.

airoboros-l2-70b-gpt4-1.4.1 — языковая модель семейства Llama 2, дообученная jondurbin на наборе airoboros-gpt4-1.4.1. Это плотная авторегрессионная модель с 68,7 млрд параметров для генерации текста. Её можно применять для диалогов, ответов на инструкции и создания текстов; контекст составляет 4096 токенов. Модель представлена в формате PyTorch. В карточке указана лицензия other, поэтому условия использования следует проверять в репозитории модели и у базовой модели. README не описывает специальные ограничения или гарантии качества; характеристики унаследованы от Llama 2 и зависят от сценария применения.

Olmo-3-32B-Think-GGUF — это набор квантизированных GGUF-версий языковой модели Olmo-3-32B-Think, разработанной Allen Institute for AI (allenai) и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Варианты представлены в форматах от BF16 до низкобитных Q- и IQ-квантизаций; размер файлов составляет примерно от 13 до 64 ГБ. Доступен англоязычный режим, поскольку в карточке указано только English. Модель относится к текстовым, а не мультимодальным системам. Архитектура и размер контекстного окна в README не указаны. Главное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q6 и Q5 обеспечивают очень высокое качество, Q4 подходят для большинства сценариев, а Q3 и IQ3 рассчитаны на системы с ограниченным объёмом RAM, но заметно уступают по качеству. Ограничения включают отсутствие заявленной поддержки других языков, неизвестные характеристики контекста и необходимость достаточно производительного оборудования для крупных версий. Квантизация выполнена с использованием imatrix и llama.cpp. Лицензия модели — Apache-2.0.

Это GGUF-квантизированная версия языковой модели Olmo-3-7B-Think, разработанной Allen Institute for AI (ai2) и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Доступны варианты от BF16 до различных уровней квантования Q2–Q8 и IQ, размером примерно от 3,3 до 14,6 ГБ. Квантизация выполнена с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы; наиболее качественными считаются BF16, Q8 и варианты Q6, тогда как низкие уровни квантования требуют меньше оперативной памяти, но могут заметно ухудшать результаты. Основные преимущества модели — возможность локального запуска на совместимом оборудовании, широкий выбор вариантов квантования и поддержка экосистемы llama.cpp. Ограничения включают ориентацию на английский язык, отсутствие заявленной мультимодальности и потенциальную потерю качества при использовании сильного квантования. Для работы следует применять указанный шаблон prompt с секцией размышлений <think>. Модель распространяется по лицензии Apache-2.0.

Alpaca-Dragon-Smaug-Slerp — 71-миллиардная плотная языковая модель семейства Llama, созданная объединением моделей ibivibiv/alpaca-dragon-72b-v1 и abacusai/Smaug-72B-v0.1 с помощью mergekit и метода SLERP. Для смешивания параметров внимания и MLP использованы разные коэффициенты; базой в конфигурации указан Smaug-72B-v0.1. Модель предназначена для генерации текста и может применяться в диалогах, ответах на вопросы и рассуждениях — задачах, связанных с базовой моделью Smaug. Поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель принимает текст и генерирует текст. В метаданных указана лицензия Apache-2.0. Карточка не приводит отдельных оценок качества или конкретных ограничений; для практического использования следует учитывать большой размер модели и требования к вычислительным ресурсам.

Amadeus-Verbo-FI-Qwen2.5-14B-PT-BR-Instruct — языковая модель на архитектуре Qwen2, разработанная Amadeus AI. Это дообученная на 600 тысячах инструкций за два прохода версия Qwen/Qwen2.5-14B-Instruct, предназначенная для диалогов и генерации текста на бразильском португальском языке. Модель содержит 14,7 млрд параметров и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Для работы указан контекст длиной 32 768 токенов в метаданных; в README заявлена длина 131 072 токена. Поддерживаются диалоговый режим и интерфейс вызова инструментов. Модель распространяется в формате safetensors и доступна по лицензии Apache-2.0.

jondurbin/bagel-34b-v0.2 — экспериментальная версия языковой модели, дообученная Jon Durbin на базе yi-34b-200k с помощью Bagel. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстом до 200 000 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для диалогов и генерации текста, включая творческое письмо и ролевые сценарии. В README указано, что это версия после этапа SFT, до применения DPO; автор отмечает, что она может лучше подходить для творческих задач и ролевых диалогов, тогда как версия после DPO лучше показывает себя на бенчмарках. При дообучении использовались данные для диалогов, ответов на вопросы, рассуждений, математики, программирования, SQL, понимания прочитанного и ролевых сценариев. Для примеров применялись варианты форматов Vicuna, Llama 2, Alpaca и ChatML. Лицензия — Apache-2.0. Модель рассчитана на текстовый ввод и выдаёт текст; её поведение и качество могут зависеть от формата промпта, а карточка не содержит систематической оценки качества этой версии.

swardiantara/bert-tiny-yelp-k1-adaptive-cosine — компактная модель Sentence Transformers, дообученная автором на основе google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 128 и использует косинусное сходство; модель предназначена для семантического поиска, извлечения текстов и сравнения предложений. В архитектуре применяются BERT и mean pooling. Модель обучена на 585 010 примерах с парными текстами и метками; базовая BERT имеет 4,4 млн параметров. Метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 128 токенов; для непосредственного применения следует учитывать ограничение README. Поддерживается английский язык. Формат весов — safetensors; лицензия в предоставленных данных не указана.

Bielik-11B-v3.0-Instruct-FP8-Dynamic — языковая модель SpeakLeash и ACK Cyfronet AGH, предназначенная для генерации текста и диалоговых сценариев. Это FP8-квантизованная версия Bielik-11B-v3.0-Instruct, дообученная на базе Bielik-11B-v3-Base-20250730. Модель ориентирована на многоязычное использование, поддерживает 32 европейских языка и оптимизирована для польского языка. Модель имеет архитектуру causal decoder-only и содержит около 11 млрд параметров. Квантизация FP8 применена к весам и активациям линейных операторов внутри transformer-блоков с симметричной поканальной для всего тензора схемой масштабирования. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU. Модель рассчитана на работу с vLLM версии 0.5.0 и выше или SGLang; вычисления FP8 поддерживаются на GPU NVIDIA с compute capability выше 8.9, включая Ada Lovelace и Hopper. Максимальный контекст в README не указан. К сильным сторонам относятся сниженные требования к памяти и возможность эффективного развёртывания через совместимые серверы и OpenAI-совместимый API. Ограничением является возможное снижение качества ответов и повышение вероятности галлюцинаций из-за квантизации. Модель работает с текстом; сведения о поддержке других модальностей отсутствуют. Распространяется по лицензии Apache 2.0.

Карточка модели cpral/Bielik-PL-Minitron-7B-v3.0-Instruct-ungated на Hugging Face совпадает с карточкой speakleash/Bielik-PL-Minitron-7B-v3.0-Instruct, поэтому описание составлено по ней. Bielik-PL-Minitron-7B-v3.0-Instruct — генеративная языковая модель SpeakLeash и ACK Cyfronet AGH с архитектурой causal decoder-only и 7,35 млрд параметров. Это дообученная и сжатая версия Bielik-11B-v3-Base-20250730: модель прошла структурное прореживание и дистилляцию, затем настройку на следование инструкциям и выравнивание предпочтений. Для диалога используется шаблон ChatML. Модель предназначена для генерации ответов и выполнения языковых задач на польском и других европейских языках. Она обучалась на корпусе из 32 европейских языков с особым акцентом на польский; README сообщает о сохранении около 90% производительности исходной модели и ускорении вывода до 50% после сжатия. Лицензия Apache 2.0. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы; встроенных механизмов модерации нет, поэтому результаты следует проверять, а для сценариев с требованиями к модерации нужны внешние меры контроля.

pmysl/c4ai-command-r-plus-GGUF — это набор весов модели Command R+, разработанной CohereForAI, в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в репозитории доступны чат-шаблоны, а поддержка этих весов добавлена в llama.cpp начиная с релиза b2636. Доступны варианты с разной степенью квантизации, включая Q2_K, Q3_K_L и Q4_K_M, а также полноточный вариант f16. Для некоторых вариантов приведены значения perplexity на wikitext-2-raw: от 5,7178 у Q2_K до 4,3845 у f16, однако эти результаты обозначены как предварительные. Ключевые характеристики базовой модели, включая архитектуру, число параметров, поддерживаемые языки и размер контекста, в README не указаны. Сильной стороной репозитория является совместимость с llama.cpp и возможность выбирать компромисс между качеством, размером файлов и требованиями к ресурсам с помощью разных вариантов квантизации. Ограничения включают отсутствие подробной информации о возможностях базовой модели и неполные сведения о качестве. Использование распространяется по лицензии CC BY-NC-4.0.

Claude OSS 9B — независимая open-source языковая модель, разработанная автором squ11z1. Это неофициальный продукт Anthropic: модель дообучена на базе Qwen/Qwen3.5-9B с использованием открытых датасетов, общий объём которых составляет примерно 200 000 строк. Модель предназначена для общего диалога и работы в формате ассистента, многоязычного общения, задач на рассуждение, написания и суммаризации текстов, лёгкой помощи в программировании и поддержания согласованного поведения и идентичности ассистента. Заявлена поддержка более 200 языков. Модель работает с текстом и относится к классу instruction-tuned conversational моделей для генерации текста. Ключевые характеристики включают размер около 9 млрд параметров и архитектурную основу Qwen3.5-9B; точное устройство архитектуры и размер контекстного окна в README не указаны. Обучение было сфокусировано на следовании инструкциям, диалогах, многоязычных запросах, сохранении способности к рассуждению и общей практической полезности. Ограничения включают отсутствие подробных независимых результатов оценки, неизвестные значения контекстного окна и отсутствие заявленной поддержки мультимодальных входов. Модель распространяется по лицензии Apache-2.0.

Cygnis Alpha 2 (8B) v0.3 i1 GGUF — квантизированная GGUF-версия модели Cygnis-Alpha 2 8B v0.3, разработанная автором или организацией Simonc-44. Модель относится к семейству Llama 3.1 и оптимизирована для генерации текста, рассуждений и задач, где требуется сохранение сложных паттернов цепочки рассуждений (CoT). Модель предназначена для локального вывода через llama.cpp, Ollama и совместимые инструменты. Она ориентирована на английский и французский языки. Вариант i1 использует оптимизацию Imatrix, призванную повысить качество низкобитной квантизации; доступны, в частности, варианты Q6_K размером около 6,7 ГБ и рекомендуемый Q4_K_M размером около 5,0 ГБ. Архитектура, заявленный размер около 8B параметров и текстовая модальность указаны в README, но размер контекстного окна не приведён. Сильными сторонами являются локальный запуск, поддержка французского и английского языков, а также направленность на рассуждения при сниженной потребности в памяти благодаря квантизации. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в предоставленных данных количественных результатов тестирования, подробных сведений об архитектуре и контекстном окне. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе DeepSeek-R1-Distill-Llama-8B. Модель предназначена для текстового диалога, генерации ответов и задач, требующих рассуждений; в примере README она формирует рассуждение перед итоговым ответом. Заявленный язык — английский. Модель основана на Llama 3.1 с размером 8B параметров и рассчитана на запуск через llama.cpp. Доступны квантизированные варианты GGUF, включая Q4_K_M; README также упоминает динамические квантизации Unsloth с разрядностью 1,58 и 2 бита, направленные на улучшение точности по сравнению со стандартными 1- и 2-битными вариантами. Поддерживается выгрузка части слоёв на GPU, что может ускорить обработку при наличии подходящего оборудования. Сильными сторонами являются относительно компактный размер, возможность локального запуска и наличие квантизированных сборок для снижения требований к памяти. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования; контекстное окно, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как llama3.1.

DeepSeek-R1-Distill-Qwen-14B-3MPER0RR-abliterated — экспериментально изменённая версия DeepSeek-R1-Distill-Qwen-14B от 3MPER0RR. Это плотная 14-миллиардная языковая модель на архитектуре Qwen2 для диалогов и генерации текста; в карточке указано, что модель протестирована и сохранена. Она унаследовала от базовой модели поддержку рассуждений, в том числе для математических и программных задач, и контекст до 131 072 токенов. Модель рассчитана на разговорное взаимодействие и текстовые запросы. README описывает её как модифицированную, «abliterated» экспериментальную версию, но не уточняет метод изменения и не приводит результатов сравнительных оценок, поэтому нельзя установить, как оно повлияло на качество и поведение. Лицензия — MIT.

SirSahOl подготовил конверсию DeepSeek-R1-Distill-Qwen-1.5B в формат MLX для запуска на компьютерах Apple Silicon. Это плотная причинно-языковая модель семейства Qwen2 с 1,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Исходная модель дообучена DeepSeek на примерах рассуждений; её сильные стороны включают решение задач на рассуждение, математику и программирование. Заявленная длина контекста — 131 072 токена. Репозиторий содержит веса safetensors в 16-битном представлении и использует библиотеку MLX. Версия 16-bit рассчитана на устройства Apple Silicon с большим объёмом памяти; для компактных систем автор README рекомендует варианты с меньшей разрядностью. В README приведены замеры на Apple M1 с 8 ГБ памяти, но эти результаты относятся к указанной конфигурации. Модель распространяется по лицензии MIT.

dolphin-2.8-mistral-7b-v02-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.8-mistral-7b-v02, основанной на alpindale/Mistral-7B-v0.2-hf. Исходная модель опубликована организацией cognitivecomputations, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска совместимых LLM-приложений. Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q5_0, Q4_K_M, Q4_K_S, IQ4_NL, IQ4_XS, Q4_0, Q3_K_L, Q3_K_M, IQ3_M, IQ3_S, Q3_K_S и Q2_K; их размер варьируется примерно от 2,71 до 7,69 ГБ, а качество снижается при более агрессивном сжатии. В README не указаны поддерживаемые языки, размер контекста, результаты тестирования или специальные модальности, поэтому модель следует рассматривать как текстовую. Сильная сторона модели — возможность подобрать баланс между качеством, потреблением памяти и скоростью локального запуска; для большинства сценариев рекомендуется вариант Q6_K, тогда как Q3 и Q2 ориентированы на системы с ограниченной оперативной памятью и заметно уступают по качеству. Ограничения включают потерю качества из-за квантизации и отсутствие данных о бенчмарках, языковой специализации и безопасностных характеристиках. Лицензия в README не указана.

ERNIE-4.5-0.3B-PT-GGUF — GGUF-представление текстовой плотной модели ERNIE-4.5-0.3B, разработанной Baidu; репозиторий подготовлен Unsloth. Модель предназначена для генерации текста, понимания естественного языка и последующего дообучения в сценариях instruction fine-tuning и alignment training, включая SFT, LoRA и DPO. Модель работает с текстом и поддерживает английский и китайский языки. Она содержит около 0,36 млрд параметров, 18 слоёв, 16 Q-голов и 2 KV-головы, а максимальная длина контекста составляет 131 072 токена. Это post-trained модель; формат GGUF ориентирован на удобное локальное или оптимизированное развёртывание, однако конкретные требования к совместимому программному обеспечению и аппаратуре в README не указаны. К сильным сторонам относятся компактный размер, большой контекст и возможность адаптации под прикладные задачи. Ограничения включают отсутствие заявленной поддержки изображений у данной текстовой версии, а также отсутствие в README подробных результатов бенчмарков, описания точного варианта квантизации и эксплуатационных требований. Модель распространяется по лицензии Apache-2.0.