II.7DevOps, облако и эксплуатация IT-систем

DASD-4B-Thinking — плотная языковая модель примерно на 3,7 млрд параметров от Alibaba Apsara, построенная на архитектуре Qwen3 и предназначенная для длинных цепочек рассуждений. Она дообучена на базе Qwen3-4B-Instruct-2507 с помощью дистилляции от gpt-oss-120b; в обучении использовалось 448 тыс. примеров из наборов Superior-Reasoning-SFT-gpt-oss-120b и Superior-Reasoning-SFT-gpt-oss-120b-Logprob. Модель подходит для рассуждений по математике и естественным наукам, генерации и анализа кода, а также диалоговых задач, требующих пошагового ответа. Размер контекста — до 262 144 токенов. Модель принимает и выдаёт текст; README рекомендует передавать системный промпт, использовавшийся при обучении, и указывает настройки Temperature=1.0 и TopP=1.0. В README заявлены хорошие результаты на математических, научных и кодовых бенчмарках при компактном размере и относительно небольшом объёме обучающих данных. Модель не подключается к внешним инструментам и не поддерживает их вызов, поэтому не может самостоятельно запускать код или обращаться к API. Лицензия — Apache-2.0.

Dolphin 2.6 Phi-2 — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes при спонсорской поддержке Convai на базе Phi-2 от Microsoft. Это плотная авторегрессионная модель семейства Phi с архитектурой PhiForCausalLM, дообученная методом qLoRA на трёх эпохах. Она принимает текст и ведёт диалог в формате ChatML; заявленное окно контекста — 2048 токенов. Модель предназначена для общения с ассистентом и генерации текста, в том числе для задач, представленных в наборах данных Dolphin, Dolphin Coder, Airoboros, OpenHermes, Magicoder и Capybara. Авторы описывают модель как «uncensored»: обучающие данные были отфильтрованы для уменьшения alignment и bias, поэтому модель может охотно отвечать на вредоносные и неэтичные запросы. Перед предоставлением доступа пользователям авторы рекомендуют добавить собственный слой выравнивания и безопасности. Для загрузки модели требуется trust_remote_code. Лицензия — MIT; качество генерации не гарантировано.

EXAONE-Deep-32B — плотная языковая модель для рассуждений, разработанная LG AI Research и дообученная на основе EXAONE-3.5-32B-Instruct. Она предназначена для генерации текста и диалогов, особенно для решения математических задач и задач программирования. В модели 31,5 млрд параметров, 64 слоя и архитектура внимания GQA с 40 Q-головами и 8 KV-головами; длина контекста составляет 32 768 токенов. Модель поддерживает английский и корейский языки. Для запуска подходят Transformers версии 4.43.1 и новее; README также перечисляет среды TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. Разработчик сообщает о конкурентных результатах на тестах рассуждений, математики и программирования, но конкретные оценки для версии 32B в предоставленной карточке отсутствуют. Лицензия обозначена как «other», поэтому условия использования следует проверять в материалах репозитория. Модель может генерировать фактически неверные, предвзятые или неподходящие ответы и не гарантирует актуальность сведений.

QuantFactory/gemma-2-9b-GGUF — это квантованная версия языковой модели Gemma 2 с 9 млрд параметров, созданная на основе google/gemma-2-9b с использованием llama.cpp. Разработчик исходной модели — Google. Модель относится к авторегрессионным decoder-only моделям для генерации текста и распространяется в формате GGUF. Модель предназначена для текстовых задач, включая ответы на вопросы, суммирование, рассуждения, диалоговое взаимодействие и другую генерацию текста. Указана поддержка английского языка. Квантование уменьшает требования к вычислительным ресурсам и делает модель более подходящей для запуска на локальных компьютерах и в инфраструктуре с ограниченными ресурсами, однако может сопровождаться снижением качества по сравнению с исходными весами; конкретный уровень квантования в README не указан. Ключевые ограничения — текстовая модальность, отсутствие сведений о размере контекста, точной схеме квантования и результатах оценки именно этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Mungert/gemma-3-27b-it-qat-q4_0-GGUF — экспериментальная GGUF-квантизация модели google/gemma-3-27b-it, разработанная сообществом Mungert на базе Gemma 3 от Google. Это instruction-tuned модель с поддержкой текста и изображений, предназначенная для локального запуска и решения задач генерации текста, программирования, анализа и работы с мультимодальным вводом. Точные сведения о языках и размере контекстного окна в README не указаны. Модель получена посредством повторной квантизации исходной QAT Q4_0-модели с использованием imatrix-файлов Google для последующего сжатия до более низкой точности. Формат GGUF ориентирован на запуск в совместимых инструментах, включая llama.cpp. Автор приводит предварительные сравнения perplexity и качественный тест генерации .NET-кода, где вариант на основе QAT показал преимущество над сопоставимой квантизацией из BF16, однако подчёркивает, что тестовый набор был небольшим, результаты нестабильны, а окончательные выводы делать нельзя. Сильной стороной является потенциально более высокое качество при низкой разрядности по сравнению с обычной квантизацией из BF16, а также возможность локального запуска с уменьшенными требованиями к памяти. Ограничения включают экспериментальный статус, отсутствие полноценной независимой оценки и возможные ошибки модели в сложных технических задачах; приведённый пример также показывает, что модель может неправильно интерпретировать детали TLS и постквантовой криптографии. Для использования на Hugging Face требуется принять лицензию Google Gemma; в README указана лицензия gemma.

Gemma 4 26B-A4B-it QAT JANG_4M CRACK — мультимодальная доработанная версия Gemma 4 от dealignai. Она сочетает архитектуру MoE с 128 экспертами и выбором восьми активных экспертов, гибридное внимание и квантизацию JANG_4M: 8 бит для attention и 4 бита для MLP. Модель принимает текст и изображения и отвечает текстом; карточка заявляет поддержку рассуждений, визуальных запросов, вопросов и ответов и генерации кода. Модель рассчитана на общие диалоговые сценарии, включая анализ изображений, многошаговые рассуждения и написание кода. По результатам, приведённым в README, её показатель MMLU составляет 79,8% против 84,2% у базовой модели; автор также сообщает о сохранении визуальных возможностей и снижении отказов на тесте HarmBench. Для запуска требуются Mac на Apple Silicon с достаточным объёмом объединённой памяти и vMLX с поддержкой Gemma 4. Лицензия — Gemma; README указывает исследовательское назначение и возлагает на пользователя ответственность за соблюдение применимого законодательства.

Locutusque разработала Hyperion-3.0-Mixtral-3x7B — экспериментальную языковую модель с архитектурой Mixture of Experts на базе Mixtral. По карточке, в ней объединены три экспертные модели, предназначенные для научных и математических задач, программирования, открытых вопросов, суммаризации и ролевых диалогов. На каждом токене активируются два эксперта; общий размер модели по метаданным — 7,1 млрд параметров, длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст на английском языке. Это ранний прототип для исследований и экспериментов: автор предупреждает, что качество может быть неоптимальным и модель не подходит для критически важных задач. Указано, что экспертные модели ещё не опубликованы, поэтому полная сборка и оценка модели могут быть недоступны. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Jan-v3-4B-base-instruct-gguf — компактная каузальная языковая модель примерно на 4 млрд параметров, разработанная Jan (Jan HQ). Модель получена методом дистилляции после обучения от более крупной модели-учителя с последующим предварительным и постобучением. Она предназначена для общего использования, улучшенного следования инструкциям, локального развёртывания, дообучения под прикладные задачи и лёгкой помощи в программировании. Модель содержит 36 слоёв и использует Grouped-Query Attention (GQA) с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста до 262 144 токенов. Указан английский язык; модель работает с текстом, а тег code и описание допускают сценарии кодирования, однако специализированная кодовая версия Jan-Code в README ещё не выпущена. GGUF-версия предназначена для запуска через llama.cpp и интеграции с Jan Desktop; также описан вариант использования через vLLM. Сильными сторонами являются компактный размер, пригодность для локального использования и дообучения, улучшенное следование инструкциям и большой контекст. Ограничения включают отсутствие подробных данных о качестве на конкретных бенчмарках, языковой поддержке за пределами английского и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.

L3.1-Moe-4x8B-v0.1 — языковая модель с архитектурой Mixture of Experts, собранная разработчиком moeru-ai с помощью mergekit-moe. Она объединяет четыре модели на базе Llama 3.1, предназначенные для диалогов, творческого письма, работы с кодом и математикой. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; файлы опубликованы в формате safetensors. Для работы используется библиотека Transformers. Модель предназначена для генерации текста и диалогового общения, включая ролевые сценарии, а также для задач с кодом и математикой. В README приведены результаты оценки на Open LLM Leaderboard, в том числе средняя оценка 19,15 и результат IFEval 43,47. Модель распространяется по лицензии Llama 3.1; следует соблюдать её условия.

lemur-70b-chat-v1 — разговорная большая языковая модель OpenLemur, представленная в формате causal language model на архитектуре Llama. В репозитории указаны 68,7 млрд параметров, библиотека Transformers и веса PyTorch; модель создаёт текст по текстовому запросу и предназначена для диалогового использования. Метаданные также отмечают поддержку задач генерации кода. Модель рассчитана на английский язык, её родной контекст составляет 4096 токенов. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и запрещает коммерческое применение. README не содержит сведений о результатах оценки или специальных ограничениях качества.

MedIT-Mesh-3B-Instruct — дообученная инструктивная языковая модель, разработанная MedIT Solutions на базе microsoft/Phi-3.5-mini-instruct. Она содержит 3,7 млрд параметров и предназначена для диалогов и генерации текста, в том числе в сценариях с ограниченными ресурсами и требованиями к низкой задержке. По данным карточки, дополнительное постобучение улучшило многоязычные и многоходовые диалоги, а также рассуждения в задачах программирования, математики и логики. Модель использует плотную архитектуру Phi-3 и принимает текст, формируя текстовые ответы; заявленная длина контекста — 4096 токенов. Карточка указывает английский язык, а описание заявляет многоязычное применение без перечисления дополнительных языков. Модель распространяется по лицензии MIT. Перед применением в конкретной задаче следует оценить точность, безопасность и справедливость ответов.

Это экспериментальная версия MiniMax M3, подготовленная Spark Arena для запуска на двух узлах DGX Spark. Модель основана на MiniMax M3 и использует квантование NVFP4 с сокращением REAP50, чтобы уменьшить требования к размещению по сравнению с вариантом на четырёх узлах. Архитектура MiniMax M3 — мультимодальная модель с разреженным вниманием MiniMax Sparse Attention (MSA); заявлено около 428 млрд параметров, из которых активируется около 23 млрд, и контекст до 1 млн токенов. Модель предназначена для диалогов с изображениями и видео, задач программирования и длительных агентных сценариев с вызовом инструментов. Разработчик заявляет ускорение обработки длинного контекста благодаря MSA, однако эта сборка помечена как экспериментальная: калибровка NVFP4 ещё дорабатывается, а влияние REAP50 на качество проверено не полностью. Для корректного использования калибровки требуется поддержка соответствующих масштабов NVFP4 в среде запуска. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

CompiwerAI/Mtrini-27B-Tellus-IQ2_XS — квантованная сборка IQ2_XS модели Mtrini-27B-Tellus в формате GGUF для запуска через llama.cpp. В README указана архитектура qwen35: 64 блока трансформера, размер эмбеддингов 5120, 24 головы внимания и 4 KV-головы. Файл весит около 8,47 ГиБ; квантование выполнено из F16 GGUF с использованием матрицы важности, построенной на калибровочных данных. Модель предназначена для диалоговой генерации текста, включая задачи программирования, математики и рассуждений; соответствующие специализации отражены в тегах карточки. Также заявлена поддержка арабского языка и дариджи. Квантование до примерно 2,31 бита на вес уменьшает требования к памяти, но может снижать точность и качество ответов по сравнению с исходной моделью. Лицензия — Apache-2.0.

Это четырёхбитная версия модели NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX. Исходная модель разработана NVIDIA; эта версия преобразована из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.26.3. Метаданные относят её к генеративным языковым моделям для диалога и указывают интерфейс вызова инструментов. Модель предназначена для генерации ответов в чате и выполнения инструкций; базовая модель также рассчитана на программирование и управляемое рассуждение. Карточка связывает её с английским, испанским, французским, немецким, итальянским и японским языками. Лицензия указана как other, поэтому условия следует уточнять на странице репозитория и базовой модели. Четырёхбитное представление и формат MLX предназначены для локального инференса на совместимом оборудовании; количественные показатели качества в карточке не приведены.

NVIDIA-Nemotron-Nano-9B-v2-FP8-dynamic — это квантизированная FP8-версия языковой модели NVIDIA-Nemotron-Nano-9B-v2, опубликованная Red Hat на базе модели NVIDIA. Модель предназначена для генерации и преобразования текста, включая работу через совместимый с OpenAI API сервер vLLM и развёртывание в Red Hat AI Inference Server или Red Hat OpenShift AI. Модель использует архитектуру NemotronHForCausalLM, принимает текст на вход и генерирует текст. Квантизация FP8 применяется к весам и активациям линейных операторов в блоках Transformer; это уменьшает число битов на параметр с 16 до 8 и примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Заявлены языки English, Spanish, French, German, Italian и Japanese. Размер исходной модели составляет 9B параметров; длина контекста в README не указана. Сильные стороны модели — сниженные требования к хранению и GPU-памяти при сохранении текстовых возможностей базовой модели, а также проверенная совместимость с vLLM 0.10.1.1, RHOAI 2.25 и RHAIIS 3.2.2. Ограничения включают отсутствие в README результатов бенчмарков и подробностей о качестве после квантизации, а также отсутствие поддержки иных модальностей: указаны только текстовые входы и выходы. Модель распространяется по NVIDIA Open Model License; лицензия обозначена как other, а её условия приведены по ссылке NVIDIA.

Модель kuhess/OpenHermes-2.5-Mistral-7B-alpaca-cleaned — дообученная разработчиком kuhess версия OpenHermes-2.5-Mistral-7B на архитектуре Mistral. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов, предназначенная для генерации текста и диалогового общения. При обучении использовались Unsloth и TRL. Модель подходит для ответов на вопросы, написания и продолжения текста, диалоговых помощников и помощи с кодом. В карточке указан английский язык. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README не приводит подробностей о наборе данных или результатах оценки качества.

vonjack/Phi-3-mini-4k-instruct-LLaMAfied — текстовая генеративная модель на 3,7 млрд параметров, опубликованная vonjack. В метаданных указана архитектура LlamaForCausalLM; карточка описывает исходную модель Phi-3 Mini-4K-Instruct и её настройку для следования инструкциям. Контекст составляет 4096 токенов, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи на логику, математику и программирование. Компактный размер подходит для сред с ограниченными ресурсами и сценариев, где важна задержка; заявленная ориентация — коммерческое и исследовательское применение на английском языке. Лицензия — MIT. README указывает, что качество на языках кроме английского ниже; ответы могут быть неточными, устаревшими, предвзятыми или оскорбительными. Сгенерированный код и API следует проверять, особенно вне Python. Для чувствительных и высокорисковых сценариев необходимы дополнительные проверки и меры защиты.

Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0 — экспериментальная мультимодальная модель на 4 млрд параметров от prithivMLmods, дообученная на базе Qwen/Qwen3.5-4B методом многоэтапного supervised fine-tuning. Для обучения использовано около 6 000 трасс рассуждений Opus по программированию и STEM, а также дополнительные примеры рассуждений. Модель предназначена для исследований и экспериментов с дистилляцией рассуждений, а также для помощи с кодом, математическими, научными и инженерными задачами, длинными аналитическими ответами и следованием инструкциям. Поддерживает диалог и понимание изображений; карточка указывает английский язык и контекст 32k. Репозиторий содержит веса Safetensors и использует Transformers. Модель может ошибаться в промежуточных рассуждениях и выводах; её поведение может отличаться от базовой модели, а качество зависит от охвата и особенностей обучающих данных. Распространяется по лицензии Apache-2.0.

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.

Карточка модели willhx/Qwen3-8B-Base-TauSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Qwen3-Swallow-32B-CPT-v0.2 — плотная языковая модель на 29,7 млрд параметров, разработанная проектом Swallow на базе Qwen3-32B. Это вариант continual pre-training (CPT), обученный для улучшения японского языка и японско-английского перевода при сохранении и усилении навыков математики и программирования. В обучении использовались японские и английские корпуса, параллельные тексты, а также наборы данных по математике, коду, STEM и диалогам. Модель принимает текст и генерирует текст; поддерживает японский и английский языки. Метаданные указывают контекст до 40 960 токенов, а карточка рекомендует ограничивать длину контекста 32 768 токенами или меньше. Модель рассчитана на генерацию текста, диалог, перевод и задачи рассуждения, математики и программирования. Для инференса авторы преимущественно проверяли vLLM. Модель находится на раннем этапе разработки; авторы предупреждают, что её не настраивали для надёжного следования человеческим намерениям и требований безопасности. Использование инструментов явно не обучалось, а переключатель режима рассуждений не поддерживается. Лицензия — Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-2x-TIES-v1.0 — объединённая модель для генерации текста на основе Qwen/QwQ-32B-Preview. Автор собрал её методом TIES с помощью mergekit, объединив базовую модель с rombodawg/Rombos-LLM-V2.5-Qwen-32b и rombodawg/Rombos-Coder-V2.5-Qwen-32b. Модель относится к архитектуре Qwen2ForCausalLM, содержит 32 млрд параметров и рассчитана на контекст до 32 768 токенов. Она предназначена для диалоговой генерации текста; каталог также отмечает интерфейс вызова инструментов. В качестве сценариев подходят ответы на вопросы, рассуждения и помощь с программированием, унаследованные от указанных базовых моделей. Модель распространяется в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана; описание README не приводит оценок качества или подробных ограничений применения.

jondurbin/spicyboros-7b-2.2 — экспериментальная текстовая модель семейства Llama, разработанная Jondurbin и дообученная преимущественно на синтетических данных Airoboros 2.2. Она предназначена для выполнения инструкций и генерации ответов: модель подходит для вопросов и ответов по заданному контексту, написания текстов, викторин, задач на выбор ответа, программирования и генерации структурированных ответов. Заявленный контекст — 4096 токенов; модель содержит 6,6 млрд параметров и распространяется в формате PyTorch. В обучении использованы данные для более свободных, в том числе ролевых и чувствительных ответов; автор предупреждает, что модель может генерировать грубый, вредный и откровенный контент. Это англоязычная по представленным примерам и карточке модель общего назначения, с акцентом на пары инструкций и ответов, а не на непринуждённый диалог. Для инференса следует учитывать формат промпта с метками USER и ASSISTANT и задавать критерии остановки, чтобы модель не продолжала ответ за пользователя. Лицензия — Llama 2; перед использованием необходимо соблюдать её условия.

WestLake-Munin-Cat-NorskGPT — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из шести моделей, включая NorskGPT-Mistral-7b, Munin, WestLake, MetaMath-Mistral и OpenHermes. Модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, написания и продолжения текстов, а также помощи с кодом и математическими задачами благодаря возможностям входящих в объединение моделей. Формат весов — safetensors; модель опубликована в феврале 2024 года. В карточке не приведены результаты оценки качества или отдельные инструкции по эксплуатации. Условия лицензирования в доступных данных не указаны.

Yi-Coder-9B-Chat-IMat-GGUF — это GGUF-квантизированная версия чат-модели Yi-Coder-9B-Chat, разработанной 01.AI. Квантизацию выполнил legraphista с использованием llama.cpp, исходная модель имела формат BF16. Модель предназначена для генерации текста и диалогового взаимодействия, включая сценарии локального запуска через совместимые с GGUF инструменты, такие как llama.cpp. Модель содержит около 9 миллиардов параметров и доступна в форматах BF16, F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других вариантах квантизации. Для ряда низкоразрядных вариантов применена IMatrix, призванная сохранить качество при уменьшении размера модели. Размер файлов варьируется примерно от 3,35 ГБ для Q2_K до 17,66 ГБ для BF16/F16. README не сообщает архитектуру, поддерживаемые языки, размер контекста или наличие мультимодальных возможностей; по указанным данным модель является текстовой. Основные преимущества — широкий выбор уровней квантизации, возможность подбора баланса между размером, требованиями к памяти и качеством, а также наличие IMatrix для некоторых вариантов. Ограничения включают возможное снижение качества у наиболее сильных вариантов квантизации и отсутствие в README подробных оценок производительности, языковой поддержки и требований к оборудованию. Модель распространяется по лицензии Apache-2.0.

bhenrym14/airoboros-33b-gpt4-1.4.1-lxctx-PI-16384-fp16 — текстовая модель семейства LLaMA, созданная bhenrym14 на основе Airoboros 33B GPT4 1.4.1. Это дообучение QLoRA на синтетических данных Airoboros GPT4 1.4.1 с дополнительным предварительным обучением на последовательностях длиной 8192 токена и RoPE-масштабированием для расширения контекста. Модель содержит 32,3 млрд параметров и использует формат safetensors; метаданные указывают нативный контекст 2048 токенов, а в карточке заявлена теоретическая длина до 16384 токенов. Модель предназначена для диалоговых ответов, ответов по предоставленному контексту, генерации кода, ролевого общения, шуток и загадок. В README приведены примеры кода на десяти языках программирования, но естественные языки обучения или поддержки не указаны. По тестам на perplexity автор сообщает улучшение относительно модели Airoboros 33B PI-8192 на проверенных длинах 512–2048 токенов; поведение при длине контекста свыше 8192 токенов не проверено. Для запуска карточка описывает использование Transformers либо GPTQ-весов через text-generation-webui и ExLlama с настройками max_seq_len=16384 и compress_pos_emb=8. Лицензия в предоставленных данных не указана. В исходной карточке сказано, что модель не отказывает в ответах независимо от законности или моральной приемлемости запроса, поэтому её ответы требуют соответствующего контроля.

AM-Thinking-v1 — плотная языковая модель на 32 млрд параметров от a-m-team, предназначенная для рассуждений, открытого диалога, решения математических задач и генерации кода. Она построена на Qwen 2.5 32B Base и дообучена с помощью SFT и двухэтапного обучения с подкреплением GRPO. Архитектура — Qwen2, модель использует Transformers и формат safetensors; заявленная длина контекста — 131 072 токена. Модель рассчитана на сценарии, где нужны развёрнутые рассуждения и генерация текста или программного кода. По данным разработчика, она показывает высокие результаты на математических и кодовых тестах и может запускаться на одном ускорителе A100 с 80 ГБ памяти. Карточка также описывает чат-возможности, но предупреждает, что модель не обучена для структурированного вызова функций и рабочих процессов с инструментами. Разработчик — a-m-team. Лицензия — Apache-2.0. Разработчик отмечает, что следование сложным инструкциям требует улучшения, а защитное выравнивание находится на ранней стадии; для стабильного качества рекомендуется использовать системный промпт, сохранённый в конфигурации токенизатора.

Deepthought-8B — разговорная модель генерации текста от Ruliad, основанная на плотной архитектуре LLaMA 3.1 и содержащая 7,5 млрд параметров. Она предназначена для задач рассуждения, следования инструкциям, программирования и математики. Модель формирует структурированные ответы и, согласно карточке, может представлять ход решения в формате JSON с отдельными шагами; глубину рассуждений можно настраивать во время вывода без дообучения. Контекст модели составляет до 131 072 токенов. Карточка заявляет работу на GPU с 16 ГБ видеопамяти или больше и рекомендует Flash Attention 2 для повышения производительности. Модель может быть полезна для пошагового решения задач, где требуется проверяемая структура ответа, а также для интеграции генерации рассуждений в приложения. В README отмечены ограничения при сложных математических задачах, обработке длинного контекста и нестандартных случаях. Доступна по лицензии Llama 3.1; перед использованием следует учитывать её условия.

Это конвертированная версия разговорной модели Dolphin 2.6 на архитектуре Phi-2. Модель предназначена для генерации текста в диалогах и ответов на инструкции. В карточке указаны форматы PyTorch, Safetensors и GGUF, а максимальный контекст составляет 2048 токенов. Модель ориентирована на английский язык и обучена на смесях диалоговых и инструктивных наборов данных, включая Dolphin, Airoboros, OpenHermes и Magicoder. Лицензия обозначена как other, поэтому условия использования следует уточнить в исходной карточке.