II.2Создание и понимание программного кода

GLM-4.7-GGUF — набор квантизованных версий языковой модели GLM-4.7, разработанной zai-org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие проекты на его основе. Заявлены английский и китайский языки; поддерживаются сценарии диалогового взаимодействия и текстовой генерации с указанным в README форматом промпта. Модель поставляется в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4 и IQ2–IQ4, размером от 88,79 до 380,97 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b7475. Старшие варианты обеспечивают более высокое качество, тогда как младшие требуют меньше памяти, но заметно уступают по качеству; точные архитектурные характеристики, число параметров, размер контекста и поддерживаемые модальности в README не указаны. Модель распространяется по лицензии MIT.

Bamba-9B-v2 — базовая авторегрессионная языковая модель IBM AI Platform для генерации текста. Она построена на гибридной архитектуре Mamba-2 и Transformer с декодерной архитектурой и выпущена под лицензией Apache 2.0. В метаданных указано 7,5 млрд параметров; README приводит для семейства Bamba конфигурацию 9B (9,78B), 32 слоя и размер скрытого состояния 4096. Модель обучена дополнительно на 1 трлн токенов относительно Bamba v1; в карточке заявлено превосходство над Llama 3.1 8B по результатам L1 и L2 лидербордов. Модель предназначена для широкого круга задач генерации текста. Метаданные указывают контекст до 262 144 токенов, тогда как таблица README для Bamba приводит 4096 токенов; фактическое ограничение зависит от доступного чекпойнта и конфигурации. Репозиторий содержит веса Safetensors. Для запуска нужны PyTorch и дополнительные зависимости для Mamba; описанная поддержка llama.cpp предварительная, ограничена CPU, а квантование llama.cpp может заметно ухудшать качество.

Beeper-King-22B — объединённая и слегка скорректированная версия MS-Meadowlark-22B от ToastyPigeon. Это плотная авторегрессионная языковая модель семейства Mistral с 22 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса Safetensors; метаданные указывают поддержку чата и интерфейса вызова инструментов. Модель предназначена для генерации текста в формате инструкций и чата, включая следование подсказкам и описаниям персонажей. В карточке заявлена совместимость с форматами инструкций Mistral V2 и V3, а также с Alpaca. Автор описывает характер ответов как более «вольный», сохраняя при этом хорошее следование запросам. Модель собрана с использованием нескольких моделей Mistral и QLoRA-производных, включая Beepo-22B; автор указывает, что заменил базовую модель для применения QLoRA. Лицензия в предоставленных данных не указана.

xdavxd выпустил Gemma 4 26B A4B IT QAT Heretic EGA — версию Gemma 4 с ослабленным механизмом отказа на базе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалогов, рассуждений и анализа изображений. Архитектура — Gemma4ForConditionalGeneration; веса представлены в BF16 в формате safetensors. В README приведены инструкции по развёртыванию через vLLM и оценка на нескольких тестах, включая задачи следования инструкциям, математику и работу с длинным контекстом. При модификации из весов проекций внимания и MLP, включая проекции экспертов MoE, удаляли направления, связанные с отказами. Автор сообщает, что на тесте из 100 вредоносных запросов модель отказала в 4 случаях, а на наборе из 686 запросов — в 11; сравнение возможностей проводилось с одним запуском и одной случайной инициализацией, поэтому результаты не являются статистически строгими. Снижение отказов означает, что модель может отвечать на запросы, от которых исходная версия отказывалась. Лицензия — Apache-2.0.

Gemma-7B-slerp — текстовая языковая модель, созданная Arcee AI слиянием Google Gemma 7B и Gemma 7B Instruct методом SLERP с помощью mergekit. Она предназначена для генерации текста, диалога и ответов на вопросы; объединение базовой и инструктивной версий нацелено на сочетание их свойств. Модель построена на плотной архитектуре GemmaForCausalLM, содержит 8,2 млрд параметров и поддерживает контекст до 8192 токенов. Модель принимает текст и выдаёт текст. В карточке приведены результаты оценки на наборах AGIEval, GPT4All, TruthfulQA и Bigbench. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Показатели из карточки не гарантируют качество на конкретных задачах, поэтому перед применением модель стоит оценить на своих данных.

HelpingAI Dhanishtha-2.0-preview-GGUF — это квантизированная версия языковой модели Dhanishtha-2.0-preview, разработанной HelpingAI и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, рассуждений с промежуточным мышлением, решения сложных задач, философских и образовательных объяснений. Модель относится к архитектуре Transformers и поддерживает мультиязычную работу, включая английский, хинди, китайский, испанский, французский, немецкий, японский, корейский, арабский, португальский, русский и ряд других языков. Доступны варианты от BF16 размером около 29,54 ГБ до различных квантизаций объёмом примерно от 8,11 ГБ. Квантизации позволяют запускать модель с меньшими требованиями к памяти; варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как оптимальный размер для большинства сценариев. Длина контекста, число параметров и мультимодальные возможности в README не указаны, поэтому модель следует считать текстовой. Сильными сторонами являются поддержка большого числа языков, ориентация на рассуждения и наличие широкого выбора квантизаций для локального запуска. Ограничения связаны с возможной потерей качества в более компактных квантизациях, значительными требованиями к памяти у крупных вариантов и отсутствием данных о производительности, длине контекста и результатах оценки. Модель можно запускать через LM Studio, llama.cpp и другие совместимые проекты. Указана лицензия Apache-2.0.

HRM-Embed-0.6b — модель для создания текстовых эмбеддингов, разработанная на основе архитектуры Hierarchical Reasoning Model (HRM) от Sapient Intelligence и дообученная контрастивным методом на базе Xiaoye08/HRM-Text-0.6B. Она формирует 1280-мерные L2-нормализованные векторы: для этого применяется двунаправленное кодирование, усреднение финального состояния рекуррентной архитектуры и нормализация. В модели около 610,8 млн параметров; максимальная длина контекста — 4096 токенов. Модель предназначена для семантического поиска и извлечения документов, в том числе в сценариях, где запросы требуют рассуждений. В тестах BRIGHT сильнее всего показала себя при поиске теорем, определений и справочных сведений, а также в научных вопросах по биологии и психологии. Переформулирование запроса внешней языковой моделью заметно повышает результаты на этом бенчмарке; для поиска кода переформулирование может ухудшить качество. Модель поддерживает английский язык. Это эмбеддер, а не генератор: обычная загрузка без описанного в карточке рецепта не даёт корректных эмбеддингов, а генерация текста не предназначена для использования. Модель опубликована под лицензией Apache-2.0.

kellemar-DPO-Orca-Distilled-7B-SLERP — текстовая авторегрессионная модель, разработанная decruz и дообученная на базе mlabonne/Marcoro14-7B-slerp с использованием набора argilla/distilabel-intel-orca-dpo-pairs. Она предназначена для базового инференса и общих языковых задач, включая генерацию ответов, рассуждения и работу в диалоговых приложениях. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты бенчмарков OpenLLM и Nous на январь 2024 года; они характеризуют оценку автора и могут зависеть от методики тестирования. Для модели указана лицензия CC BY-NC 4.0, поэтому её использование ограничено некоммерческими условиями этой лицензии.

KR-X-AI выпустила дообученную языковую модель Qwen2.5-7B-Instruct для генерации текста и диалогов. Модель основана на unsloth/qwen2.5-7b-instruct-bnb-4bit и обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Она предназначена для генерации ответов в чате; в метаданных также указана поддержка интерфейса вызова инструментов. Указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка не сообщает специализированную область применения или результаты оценки качества.

jiangchengchengNLP/llama3.3-70B-instruct-abliterated-awq — это 4-битная квантованная версия AWQ модели Llama-3.3-70B-Instruct-abliterated. Базовая модель разработана huihui-ai на основе Llama 3.3 70B Instruct, первоначально созданной Meta AI. Модель предназначена для генерации текста и использования в сценариях, где требуется следование инструкциям. Модель поддерживает текстовый ввод и вывод, относится к семейству Llama и имеет размер 70 миллиардов параметров. В README указаны английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Квантование AWQ до 4 бит снижает требования к памяти по сравнению с полноразмерной версией, однако README не содержит данных о контекстном окне, производительности, аппаратных требованиях или результатах оценки. Модель распространяется по лицензии llama3.3. Ограничения, связанные с качеством, безопасностью, областью применимости и особенностями версии abliterated, в README подробно не описаны.

Llama-Nephilim-Metamorphosis-v2-8B — объединённая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit. В неё с небольшим весом добавлена модель grimjim/llama-3-Nephilim-v3-8B, дообученная на основе Instruct, а основой служит Meta-Llama-3.1-8B-Instruct. После объединения дополнительное обучение не проводилось. Модель предназначена для прямого диалога и генерации текста. Она содержит около 7,5 млрд параметров, рассчитана на контекст до 131 072 токенов и сохраняет возможности обработки длинного контекста; автор сообщает о тестировании до 16 тыс. токенов. Используются архитектура Llama и формат safetensors. Карточка отмечает преимущественно сохранённое поведение безопасности. Модель принимает текст и генерирует текст. Она распространяется по лицензии llama3.1; применяйте её с соблюдением условий этой лицензии.

MarcBeagle-7B — объединённая модель семейства Mistral, опубликованная leveldevai. Она создана с помощью LazyMergekit методом SLERP из flemmingmiguel/MarcMistral-7B и leveldevai/TurdusBeagle-7B. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и может использоваться в диалоговых сценариях, для выполнения инструкций и создания текстовых ответов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0. Данных о языковом охвате и специализированной предметной области в предоставленной карточке нет.

Midnight-Miqu-103B-v1.0 — языковая модель, созданная sophosympatheia методом passthrough-слияния слоёв Midnight-Miqu-70B-v1.0 с самой собой. Это плотная авторегрессионная модель семейства Llama на 102,9 млрд параметров, распространяемая в формате safetensors для Transformers; карточка заявляет контекст до 32 тыс. токенов и возможность диалогового использования. Модель предназначена для генерации текста и ответов в чате с длинным контекстом. В карточке приведены ссылки на отдельные сторонние квантованные сборки GGUF и EXL2; сам репозиторий содержит safetensors. Лицензия указана как other, поэтому условия использования следует сверить с файлами и сведениями лицензии репозитория. README отсылает к карточке базовой Midnight-Miqu-70B-v1.0 за подробностями применения, поэтому конкретные языки, качество и ограничения здесь не уточнены.

MiniCPM4.1-8B — языковая модель OpenBMB для диалогов, рассуждений и генерации текста. Это плотная причинная модель семейства MiniCPM с 7,9 млрд параметров; карточка сообщает о гибридном режиме рассуждений с обучаемым разреженным вниманием и ускорении декодирования с помощью speculative decoding. Модель поддерживает контекст до 65 536 токенов и рассчитана на китайский и английский языки. Модель подходит для диалоговых ассистентов, пошагового решения задач и генерации длинных ответов. Её можно запускать через Transformers, SGLang, vLLM, CPM.cu, llama.cpp и Ollama; для Transformers требуется версия 4.56 или новее. В README заявлены сильные результаты на задачах рассуждения и ускорение генерации, но конкретные оценки в предоставленной карточке не приведены. Модель распространяется по лицензии Apache-2.0. Для работы с полной точностью требуется достаточно памяти для модели такого размера; фактическая скорость и доступная длина генерации зависят от оборудования и конфигурации. В предоставленных данных не описаны специальные механизмы снижения риска ошибочных ответов.

mlx-community/MiniCPM5-2B-bf16 — конвертированная в формат MLX версия языковой модели MiniCPM5-2B от OpenBMB. Это плотная авторегрессионная модель архитектуры LlamaForCausalLM с 2,2 млрд параметров; веса сохранены в safetensors и представлены в bf16 без квантизации. Модель предназначена для диалоговой генерации текста, а базовая модель рассчитана на локальных ассистентов, длинный контекст и вызов инструментов. Модель поддерживает английский и китайский языки и имеет контекстное окно до 131 072 токенов. Репозиторий рассчитан на запуск через mlx-lm на устройствах с MLX. Лицензия — Apache-2.0. README описывает преобразование весов в MLX, а не отдельное дообучение; метаданные связывают её с openbmb/MiniCPM5-2B как finetune.

Muse-Glimmer-30B-GGUF — квантизированная версия мультимодальной модели Muse-Glimmer-30B, разработанной meta-models и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации и анализа текста, а также обработки изображений при использовании дополнительного файла mmproj, поэтому подходит для текстовых и текстово-визуальных сценариев. Поддерживается MTP, однако подробности архитектуры, языков и размера контекстного окна в карточке не указаны. Модель содержит около 30 млрд параметров и доступна в вариантах от BF16 до низкобитных квантований Q2 и IQ3. Квантизации выполнены с использованием llama.cpp и imatrix; варианты отличаются размером файла, качеством и требованиями к оперативной памяти. В качестве сбалансированного варианта рекомендуется Q4_K_M размером около 17,31 ГБ, а Q5 и Q6 позиционируются как более качественные, но более ресурсоёмкие. Низкобитные варианты позволяют работать при ограниченных ресурсах, но могут заметно терять в качестве. Для использования необходим совместимый рантайм llama.cpp или другое ПО с поддержкой GGUF; для обработки изображений требуется mmproj-файл. Модель распространяется по лицензии Apache-2.0.

NeuralShiva-7B-DT — объединённая языковая модель на архитектуре Mistral, созданная Kukedlc с помощью LazyMergekit из четырёх моделей: automerger/YamShadow-7B, mlabonne/AlphaMonarch-7B, automerger/OgnoExperiment27-7B и Kukedlc/Jupiter-k-7B-slerp. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста. Её можно применять для диалогов, написания и продолжения текста, а также ответов на запросы. Метаданные указывают на текстовый ввод и текстовый вывод; сведений о поддерживаемых естественных языках в карточке нет. Весовые файлы представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Это квантизированная версия мультимодальной модели Qwen3.8-27B, преобразованная starskyzheng в нативный формат .ninfer для NInfer и профиля NVIDIA GeForce RTX 5080. Исходная модель разработана командой Qwen. Артефакт предназначен исключительно для запуска в NInfer и не является checkpoint для Transformers, Safetensors или GGUF. Модель поддерживает генерацию текста в режимах с рассуждением и без него, обработку изображений, нескольких изображений, видео и смешанных мультимодальных сообщений. Заявлен контекст до 131 072 токенов с Q4 KV-кэшем, MTP-3 speculative decoding с окном в три токена, а также обслуживание через NInfer CLI, OpenAI Chat Completions и Anthropic Messages. Текстовое ядро использует смешанную групповую квантизацию Q3/Q4/Q5 с эффективным показателем около 3,95 BPW. Размер артефакта составляет примерно 15,33 GiB. Сильными сторонами являются мультимодальность, длинный контекст, поддержка video input и оптимизация для одной RTX 5080 с заявленной высокой скоростью декодирования. Ограничения существенны: требуется 64-битный Linux, NVIDIA GeForce RTX 5080 на 16 ГБ, CUDA Toolkit 13.1 или новее и сборка NInfer из исходников; не поддерживаются multi-GPU, CPU/GPU offload, распределённый запуск и выполнение сгенерированных tool calls. Артефакт распространяется по лицензии Apache-2.0, как и исходный репозиторий Qwen3.8-27B.

bunnycore создала Phi-4-Model-Stock-v2 — объединённую языковую модель для генерации текста и диалогов. Модель получена методом Model Stock с помощью mergekit: в качестве основы использована unsloth/phi-4, объединённой с несколькими вариантами Phi-4 и моделью рассуждений Pinkstack. Репозиторий содержит веса safetensors; архитектура в метаданных обозначена как LlamaForCausalLM, размер — 14,1 млрд параметров, контекст — до 16 384 токенов. Модель подходит для диалоговых сценариев и генерации ответов с рассуждениями. В README приведены результаты Open LLM Leaderboard, включая оценки IFEval и BBH. Метаданные не подтверждают отдельные мультимодальные возможности или поддержку конкретных языков. Условия лицензирования в предоставленных материалах не приведены.

Qwen2.5-MOE-2X7B-DeepSeek-Abliterated-UNCensored-19B-gguf — текстовая generative-модель от DavidAU, основанная на архитектуре Qwen2.5 MOE и объединяющая два 7B-компонента DeepSeek/Qwen 2.5: обычный и abliterated (в основном uncensored) варианты. За счёт shared expert итоговый размер составляет немного более 19 млрд параметров. Модель распространяется в формате GGUF и предназначена для генерации текста. Модель ориентирована на универсальное применение: рассуждения и «thinking», решение математических и логических задач, мозговой штурм, ответы на вопросы, создание историй, сюжетов и другого художественного текста. Она поддерживает английский и китайский языки, имеет контекстное окно 128k токенов и, по описанию автора, особенно склонна к математическим, логическим и научным задачам. Архитектура MOE обеспечивает необычное поведение и потенциально более сильное рассуждение по сравнению с отдельной 7B-моделью, но модель не обязательно превосходит полноценные 14B- или 32B-модели. К сильным сторонам относятся широкий диапазон рабочих температур, способность сохранять рассуждение при различных настройках sampling и сочетание reasoning с творческой генерацией. Ограничения включают возможное появление китайских символов при англоязычных запросах, нестабильность рассуждений на высоких температурах и заметную вариативность ответов; для сложных задач может потребоваться несколько генераций или разбиение задачи на этапы. Для корректной работы требуется использовать встроенный Jinja Template, предпочтительно DeepSeek Tokenizer; рекомендуются контекст от 8k токенов и квантизации IQ4/Q4 или выше. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen от Qwen, представленная в виде постобученных весов для Transformers. Она сочетает причинную языковую модель с визуальным энкодером и предназначена для диалогов и задач, где нужно анализировать изображения и отвечать текстом. Модель поддерживает вызов инструментов через соответствующий интерфейс и может использоваться для прототипирования, разработки и дообучения под конкретные задачи. Модель имеет плотную архитектуру Qwen3.5 с 0,8 млрд параметров, 24 слоями и нативным контекстом до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks и gated attention; доступны режимы обычной генерации и рассуждения, причём по умолчанию включён обычный режим. Карточка заявляет поддержку 201 языка и диалекта. Веса доступны в формате safetensors и совместимы с Transformers и несколькими движками инференса. Небольшой размер делает модель удобной для прототипирования и настройки под узкие задачи, однако её возможности и качество следует оценивать с учётом масштаба 0,8 млрд параметров и целевого сценария. Для длинного контекста могут потребоваться значительные ресурсы памяти. Лицензия — Apache-2.0.

DavidAU опубликовал полноточную версию модели на базе дообученной Goekdeniz-Guelmez/Josiefied-Qwen3-8B-abliterated-v1. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для диалога и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Контекст модели расширен с 32 768 до 196 608 токенов с помощью YARN. README рекомендует задавать контекст для рассуждений и генерации от 8 000 до 16 000 токенов; упоминается генерация длинных ответов. Модель принимает текст и выдаёт текст. В карточке не заявлена специализация на конкретных языках или прикладных областях. Это дообученная и модифицированная модель, а не самостоятельная базовая разработка. README описывает исходные веса в формате safetensors и возможность использовать их напрямую или конвертировать в другие форматы. Лицензия в предоставленных сведениях не указана.

JetLM/SDAR-4B-Chat — диалоговая языковая модель семейства SDAR, разработанная авторами SDAR. Архитектура SDAR объединяет авторегрессионное обучение с дискретным диффузионным моделированием: по заявлению авторов, это сочетает эффективное обучение с параллельным выводом. Репозиторий содержит плотную модель на 3,7 млрд параметров в формате safetensors с контекстом до 32 768 токенов. Модель предназначена для генерации ответов в диалоге и других задач генерации текста; в метаданных также заявлен интерфейс для вызова инструментов. Авторы сообщают о результатах на уровне сильных авторегрессионных моделей сопоставимого масштаба и о преимуществах на отдельных задачах научного рассуждения, однако приведённые в README утверждения относятся к семейству SDAR и сами по себе не подтверждают конкретные результаты этой версии 4B Chat. Поддерживается библиотекой Transformers. Лицензия Apache-2.0.

ehristoforu/ud-14b — объединённая автором модель для генерации текста и диалогового общения. Она создана методом TIES с помощью mergekit на основе Qwen/Qwen2.5-32B; в объединение также вошли Qwen/QwQ-32B-Preview и unsloth/DeepSeek-R1-Distill-Qwen-32B. Архитектура — плотная Qwen2 с причинной языковой моделью, размер — 32 млрд параметров, контекст — до 131 072 токенов. Модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для генерации ответов в чате и обработки длинных текстовых запросов. В метаданных отмечен интерфейс вызова инструментов, однако README не описывает его применение или проверенные сценарии. Языки и специализированные области применения в предоставленных данных не обозначены. Сведения о лицензии отсутствуют в предоставленных источниках.

una-cybertron-7b-v3-OMA — языковая модель, разработанная juanako.ai (автор Xavier M.) и представленная OMA. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, обработанная методом UNA (Uniform Neural Alignment); автор указывает, что это не слияние слоёв и не SLERP-подобное объединение моделей. Модель предназначена для генерации текста в формате диалога или инструкций; карточка выделяет математику, логику и рассуждения, а также общие ответы, объяснения, стихи, рассказы и шутки. В README рекомендуются форматы ChatML и Alpaca System. Метаданные указывают контекст до 32 768 токенов, библиотеку Transformers и формат весов safetensors; лицензия — Apache-2.0. Карточка также заявляет, что модели UNA можно дообучать и использовать как основу для слияния, и что в ней есть цифровой водяной знак.

AliceAI-T5-35B-A0.6B-GGUF — это общественные GGUF-квантизации языковой модели AliceAI-T5-35B-A0.6B, разработанной Yandex. Релиз подготовлен сообществом и распространяется через llama.cpp; модель не обучалась и не дообучалась, а была напрямую конвертирована из исходного BF16-снимка upstream-модели. Модель предназначена для генерации текста и использует архитектуру encoder-decoder со sparse mixture-of-experts. Она содержит примерно 34,35 млрд уникальных параметров, 512 экспертов в каждом MoE-слое с маршрутизацией top-8, скрытое состояние шириной 1536, 16 слоёв энкодера и 12 слоёв декодера. В модели используются общие эмбеддинги энкодера и декодера, а также RoPE с YaRN. Upstream-модель заявляет контекст до 128 тысяч токенов, однако для этой GGUF-версии такой размер контекста не подтверждён. Языки и полный набор поддерживаемых модальностей в карточке не указаны; модель является текстовой. Доступны варианты от BF16 и Q8_0 до компактных уровней квантования, включая Q4_K_M, Q3_K_M, Q2_K и IQ4_XS, что позволяет выбирать между качеством и требованиями к памяти. Варианты от Q8_0 до Q3_K_M и IQ4_XS прошли проверку загрузки и базовой детерминированной генерации; Q2_K работает технически, но показал некорректный результат в проверочном примере и не рекомендуется как качественный вариант. Для работы требуется сборка llama.cpp с поддержкой специальной архитектуры AliceAI и encoder-decoder-пути, включая cross-attention; обычный запуск decoder-only модели недостаточен. Квантизации распространяются по лицензии Apache License 2.0, но не являются официальным релизом или одобрением Yandex.

Jebadiah/Aria-dolphin-1m-sand-stone — языковая модель, созданная разработчиком Jebadiah слиянием методом linear через mergekit моделей Jebadiah/Aria-7b-128k-v4 и cognitivecomputations/dolphin-2.9-llama3-8b-1m. Это плотная архитектура MistralForCausalLM с 7,1 млрд параметров; веса сохранены в формате safetensors, с точностью float16. Модель предназначена для генерации текста и принимает текстовые запросы, выдавая текст. Заявленная длина контекста — 32 768 токенов. Карточка не описывает специализированные предметные области или конкретные языки. Условия лицензирования в предоставленных данных не приведены.

Atom-Olmo3-7B — языковая модель VANTA Research для диалога и совместного решения задач. Она создана дообучением Olmo-3-7B-Instruct с помощью LoRA и ориентирована на итеративное обсуждение идей, структурированный анализ и понятные образовательные объяснения. Модель содержит 6,9 млрд параметров, использует архитектуру Olmo3 и формат Safetensors; для диалога доступны текстовые входы и выходы. В карточке указана рекомендуемая длина контекста 4096 токенов, тогда как метаданные каталога указывают native context в 65536 токенов. Модель подходит для мозговых штурмов, объяснения сложных понятий, обобщения исследований и структурирования решений. Она рассчитана прежде всего на английский язык и может отвечать чрезмерно подробно; скорость генерации, по заявлению карточки, ниже примерно в пять раз по сравнению с более компактными специализированными моделями. Модель наследует ограничения знаний и возможные смещения базовой модели, поэтому факты следует проверять. Лицензия Apache 2.0 допускает коммерческое использование.

Celestial-Order-24B-V3 — языковая модель для генерации текста и диалогов, созданная Sorihon с помощью mergekit. В README указано, что это слияние методом Karcher Mean моделей Celestial-Order-V2.75, Celestial-Order-V2.5 и Celestial-Order-24B-V2; метаданные каталога связывают её базовую модель с Sorihon/Celestial-Order-24B-V2. Архитектура — плотная MistralForCausalLM, размер — 23,4 млрд параметров, формат файлов — safetensors, нативное окно контекста — 131 072 токена. Модель предназначена для генерации текста и использования в чат-сценариях. Карточка и метаданные не приводят специальных отраслевых назначений или поддерживаемых языков. Лицензия в предоставленных данных не указана.

MiniMax-M2-REAP-172B-A10B-GGUF — это квантизированная GGUF-версия модели cerebras/MiniMax-M2-REAP-172B-A10B, подготовленная bartowski с использованием llama.cpp. Исходная модель разработана Cerebras. Модель относится к классу разреженных Mixture-of-Experts (MoE) и предназначена для генерации текста, включая диалоговые и другие сценарии текстового вывода. В README указана поддержка английского языка и формат взаимодействия с системными и пользовательскими промптами, включая секцию рассуждений <think>. Модель получена из MiniMax-M2 с равномерным удалением 25% экспертов методом REAP, поэтому её заявленные характеристики включают 172B параметров и обозначение A10B; точное число активных параметров, архитектурные детали и размер контекстного окна в README не раскрыты. Доступны многочисленные варианты квантизации от Q8_0 до более компактных Q2 и IQ-вариантов. Старшие варианты обеспечивают более высокое качество, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска рекомендуются LM Studio, llama.cpp и совместимые проекты. Это релиз только для текстовой модальности, без заявленной поддержки изображений, аудио или видео. Ключевое ограничение — очень большой объём файлов: даже рекомендуемые варианты занимают примерно 92–142 ГБ, а Q8_0 — около 183 ГБ, поэтому для запуска требуется мощное оборудование. Лицензия указана как other; конкретные условия использования в README не приведены.