II.7DevOps, облако и эксплуатация IT-систем

Granite-embedding-english-r2 — плотная двунаправленная модель-биэнкодер из семейства Granite Embeddings, разработанная командой Granite Embedding Team компании IBM. Она преобразует английские запросы, фрагменты и документы в векторы размером 768 для поиска, извлечения информации и сравнения текстов по косинусному сходству. Модель построена на архитектуре ModernBERT, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Модель обучалась на открытых наборах пар релевантности с разрешительными лицензиями, а также на данных, собранных и созданных IBM. В обучении использовались retrieval-ориентированное предварительное обучение, контрастивное дообучение, дистилляция и объединение моделей. В README заявлены результаты на тестах поиска по текстам, коду, длинным документам, диалогам и таблицам. Репозиторий предоставляет форматы PyTorch, Safetensors, ONNX, OpenVINO и TensorFlow. Модель предназначена для применения в системах поиска и извлечения информации, включая подбор релевантных документов и построение векторных представлений для последующего сравнения. Она рассчитана только на английский язык; тексты длиннее 8192 токенов будут усечены. Распространяется по лицензии Apache 2.0.

Hercules-3.1-Mistral-7B — дообученная Locutusque языковая модель на основе Mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель на 7,1 млрд параметров с контекстом до 32 768 токенов, предназначенная для диалогов и генерации текста, следования многошаговым инструкциям и работы с вызовами функций. Модель подходит для научных и технических чат-ботов, учебных помощников, а также генерации кода и сценариев, где инструменты вызываются через функции. В карточке заявлены знания по биологии, химии, физике, математике, медицине и информатике; обучающий набор Hercules-v3.0 объединяет данные из нескольких наборов инструкций и диалогов. README не уточняет поддерживаемые естественные языки; метаданные отмечают код. Модель распространяется по лицензии Apache-2.0. Возможны токсичные, предвзятые, фактически неверные или вводящие в заблуждение ответы, особенно в специализированных областях. Вызовы функций сами по себе не гарантируют безопасного выполнения действий: результаты модели следует проверять.

TheBloke/Llama-2-7B-Chat-GPTQ — это квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta, подготовленная TheBloke в формате GPTQ. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, помощи пользователю и других сценариев, где требуется текстовый ассистент. Для работы рекомендуется использовать шаблон промпта Llama-2-Chat с системными инструкциями и пользовательским запросом. Модель основана на архитектуре Llama и содержит 7 миллиардов параметров. Она работает с текстом, поддерживает английский язык и рассчитана прежде всего на GPU-инференс. В репозитории доступны варианты с разными параметрами квантизации GPTQ, включая разрядность, размер групп, порядок активаций и другие настройки; конкретные варианты позволяют выбирать компромисс между требованиями к VRAM и точностью. Некоторые файлы совместимы с ExLlama, который поддерживает Llama-модели в 4-битном формате. К сильным сторонам относятся сниженные требования к памяти по сравнению с полноразмерной версией и наличие нескольких вариантов квантизации для различного оборудования. Ограничения связаны с потерями точности, возможными при квантизации, отсутствием мультимодальности и тем, что модель не предназначена для генерации фактически гарантированно достоверных ответов. Модель распространяется по лицензии Llama 2; её использование регулируется условиями лицензии Meta Llama 2.

winglian публикует вариант Meta Llama 3 8B с контекстным окном до 1 048 576 токенов. Это авторегрессионная плотная языковая модель на архитектуре Transformer с Grouped-Query Attention, предназначенная для генерации текста и кода. Она принимает текст и может использоваться для продолжения текста, диалоговых сценариев и адаптации к различным задачам генерации естественного языка. В карточке указано семейство Llama 3, но не описаны конкретные изменения PoSE или способ обучения этого чекпойнта. Поэтому его происхождение относительно исходной модели нельзя уверенно определить. README описывает Llama 3 как модель для коммерческого и исследовательского применения на английском языке; лицензия — пользовательская коммерческая лицензия Meta Llama 3. Ограничения включают ориентацию на английский язык и необходимость отдельно настраивать меры безопасности для конкретного приложения.

Meta-Llama-3-12B — плотная языковая модель семейства Llama, опубликованная mlabonne. Это экспериментальная сборка из пяти диапазонов слоёв одной и той же NousResearch/Meta-Llama-3-8B с помощью LazyMergekit и метода passthrough; метаданные указывают около 11 млрд параметров, архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста, включая диалоговые сценарии и код, на основе текстовых запросов. В карточке указано контекстное окно 8192 токена; базовая модель ориентирована на английский текст и код. Лицензия обозначена как other, поэтому условия использования следует проверять в репозитории модели и у правообладателя базовой модели. Поскольку исходные диапазоны берутся из одной модели, README не подтверждает прирост качества от этой сборки.

Meta-Llama-3-8B-Instruct-heretic-mlabonne — разговорная текстовая модель семейства Llama 3, основанная на Meta Llama 3 8B Instruct. В README описана архитектура авторегрессионного трансформера с Grouped-Query Attention; метаданные указывают формат safetensors и возможность чата. По тегам uncensored, decensored и abliterated модель позиционируется как вариант Llama 3 с ослабленными ограничениями на ответы, однако карточка не уточняет метод модификации и параметры обучения. Модель принимает текст и генерирует текст, включая код. Она предназначена для диалогов с ассистентом и генерации текста на английском языке; может использоваться для ответов на вопросы, написания черновиков и помощи с кодом. В README приведены условия Llama 3 Community License и Acceptable Use Policy: применение должно им соответствовать. Указанная в метаданных лицензия — llama3.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT-Search-TauSFT-Tau на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Thespis-Krangled-7b-v2 — разговорная языковая модель на архитектуре Mistral, опубликованная cgato. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста; карточка указывает контекст длиной до 32 768 токенов. Для диалога предлагается шаблон с репликами пользователя и бота, совместимый с форматами Oobabooga и SillyTavern. Модель обучалась на смесях наборов Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder Evol Instruct, Yahoo Answers, OpenOrca и Airoboros 3.1. Её можно использовать для диалогов, ответов на вопросы и генерации кода. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не сообщает, на какой базовой модели выполнено дообучение, и не приводит оценки качества или подробных сведений о поддерживаемых языках. Результаты могут зависеть от промпта и выбранного шаблона диалога.

360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

Dolphin-Mistral-24B-Venice-Edition-heretic — диалоговая модель общего назначения, созданная на основе Mistral Small 24B Instruct 2501 и дообученная в рамках проекта Dolphin совместно с Venice.ai. Она предназначена для генерации ответов и выполнения инструкций в чат-сценариях; владелец системы задаёт системный промпт и самостоятельно настраивает стиль и правила поведения модели. Модель использует плотную архитектуру Mistral3 и содержит около 24 млрд параметров; доступна в формате safetensors и рассчитана на работу через Transformers или vLLM. В README описана как uncensored-версия для экосистемы Venice; указаны измерения KL-дивергенции и частоты отказов, но они не дают полной оценки качества. Лицензия — Apache-2.0. В README нет сведений о длине контекста и поддерживаемых языках, поэтому они здесь не уточняются. Снижение отказов не означает гарантированного отсутствия отказов или безопасного поведения: модель следует настраивать системным промптом и проверять на целевых сценариях.

ExperimentTwo, также называемая NerdySamanthaV2, — языковая модель на архитектуре Mistral, созданная слиянием моделей методом Model Stock с помощью mergekit. В основу взята mistralai/Mistral-7B-v0.1; также объединены cognitivecomputations/samantha-1.2-mistral-7b и uukuguy/speechless-code-mistral-7b-v1.0. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста. Контекстное окно составляет 32 768 токенов; сочетание компонентов Samantha и Speechless Code ориентирует её на диалоговые ответы и задачи с кодом, хотя README не приводит отдельных оценок качества или подробных сценариев применения. Модель объединяет возможности исходных чекпойнтов, но карточка не содержит результатов тестирования, поэтому качество на конкретных задачах следует проверять самостоятельно. Лицензия — Apache-2.0.

AlexWortega/instruct_rugptMedium — русскоязычная модель ruGPTMedium, дообученная в формате инструктивного обучения с примерами zero-shot и few-shot. Она предназначена для генерации текста по запросу, включая ответы на вопросы и помощь с кодом. Модель построена на архитектуре GPT-2, работает с текстом и имеет контекстное окно 2048 токенов. В карточке заявлено, что модель лучше справляется с русским языком, чем XGLM 1.7B и mGPT; независимые оценки этого сравнения не приведены. Репозиторий содержит веса PyTorch и использует библиотеку Transformers. Лицензия — Apache-2.0.

Shining Valiant 2 — чат-модель Valiant Labs, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и генерирует текст, используя формат инструкций Llama 3.1 Instruct. Модель рассчитана на диалог, ответы на технические вопросы и структурированные рассуждения, особенно в естественных науках, инженерии и информатике. Для обучения использованы наборы sequelbox/Celestia для технических знаний, sequelbox/Spurline для сложных рассуждений и sequelbox/Supernova для общего диалога. В README заявлены улучшения в логике и структурированном рассуждении, а также в физике, химии, биологии, астрономии, науках о Земле, информатике и теории информации. Метаданные указывают английский язык. Модель распространяется в формате safetensors по лицензии llama3.1; применение требует соблюдения условий лицензии Llama 3.1.

Agnuxo/Mamba-Codestral-7B-v0.1-instruct-python_coding_assistant-GGUF_16bit — локальная модель генерации кода, опубликованная Франсиско Ангуло де ла Фуэнте под именем Agnuxo. Это плотная модель семейства Mistral с 7 млрд параметров в формате GGUF F16; карточка рекомендует запуск через Ollama и также описывает использование через Transformers. Модель предназначена для помощи в программировании: она генерирует код на Python, JavaScript, TypeScript, Rust, Go и C++, а также поддерживает сценарии научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. В карточке также заявлены возможности декомпозиции задач и взаимодействия с агентами через MCP и A2A. Метаданные указывают английский и испанский языки. Лицензия — Apache-2.0. Описание не приводит результатов независимых тестов качества или подробностей о контекстном окне, поэтому пригодность для конкретных задач стоит оценивать на собственных примерах.

Mistral-Nemo-Instruct-2407-quantized.w4a16 — текстовая instruction-tuned модель семейства Mistral-Nemo, разработанная Neural Magic на основе Mistral-Nemo-Instruct-2407. Она предназначена для коммерческого и исследовательского использования в англоязычных assistant-like чат-сценариях и задачах генерации текста. Модель работает только с текстом на входе и выходе и использует INT4-квантизацию весов линейных слоёв трансформера по схеме W4A16 с алгоритмом GPTQ, групповой симметричной квантизацией и размером группы 128. Снижение разрядности с 16 до 4 бит уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что облегчает развёртывание через vLLM или Transformers. Заявленный результат на OpenLLM Leaderboard v1 составляет 70,13 против 71,61 у неквантизированной версии. К сильным сторонам относятся существенно сниженные требования к памяти и удобство эффективного инференса. Ограничения включают поддержку и заявленное назначение только для английского языка, а также небольшое снижение benchmark-показателей относительно исходной модели; размер модели и максимальная длина контекста в README не указаны. В описании указана лицензия Apache-2.0, хотя в метаданных README также присутствует значение llama2; это расхождение следует уточнить перед использованием.

Qwen3-1.7B-Base — плотная авторегрессионная языковая модель семейства Qwen3, представленная командой Qwen и опубликованная в репозитории Unsloth как производная от Qwen/Qwen3-1.7B-Base. Это базовая модель на стадии предобучения, рассчитанная на генерацию текста и создание специализированных языковых решений. Модель содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 32 768 токенов. Предобучение семейства Qwen3 охватывает 119 языков и включает материалы по программированию, STEM, логике и общим знаниям. Модель работает с текстом и использует архитектуру Qwen3ForCausalLM; для работы рекомендуется актуальная версия библиотеки Transformers, поскольку версии ниже 4.51.0 не распознают архитектуру Qwen3. Репозиторий содержит веса в формате Safetensors. Модель подходит как основа для продолжения обучения, адаптации и генерации текста. Это базовый чекпойнт, а не готовый диалоговый ассистент, поэтому качество следования инструкциям и диалоговые возможности зависят от последующей настройки. Лицензия Apache-2.0.

Qwen3.8-3.6-27B-blend — неофициальная производная модель, подготовленная JetBrains на основе моделей Qwen от Alibaba Cloud. Это плотная мультимодальная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration; её параметры получены линейным слиянием в пропорции 50/50 чекпойнтов Qwen3.6-27B и Qwen3.8-27B. Конфигурация, токенизатор, процессор и шаблон чата взяты от Qwen3.8-27B. Модель предназначена для диалогов, работы с изображениями и программирования; поддерживает интерфейс вызова инструментов. JetBrains приводит результаты внутреннего бенчмарка на задачах программирования, однако описание не содержит численных результатов качества. Доступны варианты BF16, GGUF, MLX 4-bit и MTP MLX 4-bit; в репозитории Hugging Face указаны веса safetensors. Дополнительного обучения или тонкой настройки не проводилось. Модель распространяется по лицензии Apache 2.0. Ограничения качества и поддерживаемые языки отдельно не описаны; применение для видео и многошаговых задач указано в сведениях о базовой модели, но карточка производной модели подтверждает только задачу image-text-to-text.

Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

smol_llama-4x220M-MoE — языковая модель на архитектуре Mixtral с механизмом смеси экспертов, созданная автором репозитория путём слияния четырёх моделей через LazyMergekit: BEE-spoke-data/smol_llama-220M-openhermes, BEE-spoke-data/beecoder-220M-python, BEE-spoke-data/zephyr-220m-sft-full и BEE-spoke-data/zephyr-220m-dpo-full. Модель предназначена для генерации текста, включая диалоговые ответы и генерацию кода на Python. В репозитории указано 184,9 млн параметров и контекст до 2048 токенов; веса опубликованы в формате Safetensors. В качестве обучающих источников перечислены текстовые, диалоговые и кодовые наборы данных. Поддержка конкретных естественных языков не обозначена. Модель распространяется по лицензии Apache-2.0.

toffee-3b-beta-i1-GGUF — это набор квантизированных GGUF-версий языковой модели toffee-3b-beta, разработанной zait-ai и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования и математического рассуждения. Обучение проводилось с использованием наборов данных HuggingFaceH4/ultrachat_200k, nvidia/OpenMathInstruct-2 и m-a-p/CodeFeedback-Filtered-Instruction. Модель относится к семейству Mistral/Ministral и имеет размер около 3 миллиардов параметров. Заявлен английский язык; поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Репозиторий содержит варианты квантования от IQ1_S до Q6_K с размером файлов примерно от 1,2 до 3,3 ГБ. Более лёгкие варианты требуют меньше памяти, но могут заметно уступать по качеству; среди доступных вариантов Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как удачный компромисс размера, скорости и качества. Сильными сторонами модели являются компактный размер, возможность локального запуска в формате GGUF и специализация на чатах, инструкциях, математике и коде. Ограничения включают снижение качества при низких уровнях квантования и отсутствие в предоставленных данных подробных характеристик архитектуры, контекстного окна, производительности и результатов сравнительных тестов. Модель распространяется по лицензии MIT.

Bamba-9B-v2 — базовая авторегрессионная языковая модель IBM AI Platform для генерации текста. Она построена на гибридной архитектуре Mamba-2 и Transformer с декодерной архитектурой и выпущена под лицензией Apache 2.0. В метаданных указано 7,5 млрд параметров; README приводит для семейства Bamba конфигурацию 9B (9,78B), 32 слоя и размер скрытого состояния 4096. Модель обучена дополнительно на 1 трлн токенов относительно Bamba v1; в карточке заявлено превосходство над Llama 3.1 8B по результатам L1 и L2 лидербордов. Модель предназначена для широкого круга задач генерации текста. Метаданные указывают контекст до 262 144 токенов, тогда как таблица README для Bamba приводит 4096 токенов; фактическое ограничение зависит от доступного чекпойнта и конфигурации. Репозиторий содержит веса Safetensors. Для запуска нужны PyTorch и дополнительные зависимости для Mamba; описанная поддержка llama.cpp предварительная, ограничена CPU, а квантование llama.cpp может заметно ухудшать качество.

Dolphin-2.9.3-Mistral-Nemo-12B-Patched — текстовая генеративная модель, опубликованная AIOpsInSpace и созданная на основе cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для локального запуска и генерации текста, включая работу с длинными запросами и документами. В README заявлена специализация на английском языке. Модель имеет плотную архитектуру с 12 млрд параметров и поддерживает контекст длиной до 128K токенов. Версия распространяется в формате GGUF и содержит исправление ошибок сопоставления токенов в tokenizer, из-за которых некоторые локальные backend могли аварийно завершаться или зацикливаться при генерации на длинных промптах. Это является её ключевым преимуществом для локального использования и сценариев с большим контекстом. Ограничения включают отсутствие сведений о точных изменениях относительно базовой модели, результатах независимых тестов, требованиях к оборудованию, производительности и поддерживаемых языках помимо английского. В README указана лицензия Apache-2.0.

Fidel 1.1 — компактная текстовая авторегрессионная модель от 4E-AI для локальной генерации текста и диалогов. Вариант репозитория содержит веса SafeTensors, токенизатор и реализацию для Transformers; лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях. Архитектура сочетает восемь блоков Mamba3 MIMO с блоком внимания и латентной смесью экспертов: в каждом блоке маршрутизация выбирает два эксперта из шестнадцати. Метаданные указывают около 498,6 млн параметров, тогда как README сообщает примерно 1,403 млрд элементов с учётом весов и буферов; обозначение 1B относится к семейству модели. Модель принимает текст, поддерживает шаблон чата и включает компоненты для задач программирования. Заявленный предел совокупного ввода и вывода — 8192 токена. Модель предназначена для локальных чат-интерфейсов, генерации и дополнения кода, а также для экспериментов с черновиками, перефразированием, суммаризацией и ответами по переданным текстам. Авторы описывают эти сценарии как направления для самостоятельной проверки, а не гарантии качества. Включённая реализация рассчитана на Transformers и PyTorch; генерация повторно обрабатывает полный префикс без кеширования, поэтому длинные диалоги требуют больше вычислений. Указаны ограничения на точность, батчинг с дополнением, распределение по нескольким устройствам и альтернативные движки обслуживания; ответы и код могут быть ошибочными.

INTELLECT-1-step-78000 — промежуточный чекпойнт языковой модели INTELLECT-1 от Prime Intellect и сообщества участников. Модель обучалась с нуля и относится к плотной архитектуре Llama; в метаданных указано 9,7 млрд параметров, а в README размер округлён до 10 млрд. Чекпойнт соответствует шагу 78 000 обучения. Модель предназначена для генерации текста на английском языке, включая работу с кодом и математическими текстами. Она обучалась на корпусах веб-текстов, кода и математики, а длина контекста составляет 8 192 токена. Репозиторий содержит веса в формате safetensors. Это промежуточный чекпойнт, поэтому его качество может уступать финальной версии INTELLECT-1 и instruct-модели; для диалогового следования инструкциям предпочтительнее instruct-вариант. Модель выпущена под лицензией Apache 2.0.

Jan-v3-4B-base-instruct-GGUF — это квантованная версия текстовой генеративной модели Jan-v3-4B-base-instruct, разработанной janhq и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста по инструкциям и может применяться в локальных сценариях работы с текстом, включая запуск через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров и поддерживает текстовый ввод и вывод. В репозитории указана поддержка английского языка и тег для задач, связанных с кодом. Доступно множество вариантов квантования — от BF16 до форматов Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендованными названы, в частности, варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M; для систем с ограниченными ресурсами доступны более компактные варианты, но с меньшим качеством. К сильным сторонам относятся локальный запуск, широкий выбор размеров квантованных файлов и оптимизация imatrix, направленная на сохранение качества при сжатии. Ограничения — отсутствие в README сведений об архитектуре, размере контекстного окна, точных результатах оценки, мультимодальности и поддерживаемых языках помимо английского. Для работы требуется совместимый движок с поддержкой этой модели и формата GGUF. Модель распространяется по лицензии Apache-2.0.

Marin 8B Base — базовая языковая модель для генерации текста, разработанная сообществом marin-community. Данный репозиторий содержит её квантованные версии в формате GGUF, подготовленные mradermacher с использованием imatrix-квантования. Модель ориентирована на работу с англоязычным текстом и предназначена для локального запуска в совместимых инструментах и библиотеках. Модель обучалась на смеси наборов данных, включающей Dolmino и OLMo Mix, StarCoderData, Proof-Pile-2, MegaWika, DCLM, FineMath, материалы ar5iv, научные вопросы, Stack Exchange и Wikipedia. Это делает её пригодной для общих задач генерации и продолжения текста, работы с техническими и научными материалами, программным кодом и структурированным контентом. Из доступных данных известно, что это модель примерно на 8 миллиардов параметров; сведения об архитектуре, размере контекста и поддержке дополнительных модальностей не указаны. Репозиторий предлагает широкий диапазон квантований с размером файлов примерно от 2,1 до 6,7 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; в README в качестве сбалансированных вариантов отмечены i1-Q4_K_S и i1-Q4_K_M, а i1-Q6_K описан как близкий к статическому Q6_K по качеству. Модель является базовой, поэтому её возможности диалогового взаимодействия и следования инструкциям отдельно не заявлены. Распространение выполняется по лицензии Apache 2.0.

Карточка модели willhx/Qwen3-8B-Base-Math на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Qwen3-Reranker-4B — модель ранжирования текстовых пар из семейства Qwen3, разработанная авторами Qwen; репозиторий AIArchiveInfo/Qwen3-Reranker-4B является побайтной архивной копией оригинала. Модель присваивает оценку релевантности паре «запрос — документ» и предназначена для повторного упорядочивания результатов поиска и других задач текстового retrieval. Она основана на плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов по метаданным; README указывает длину 32K. Заявлена поддержка более 100 языков, включая языки программирования, и возможность задавать инструкцию под конкретную задачу. Модель подходит для многоязычного поиска по текстам и коду, а также для повышения релевантности выдачи после первичного поиска. Оценки модели являются сырыми разностями логитов; README рекомендует при необходимости преобразовывать их сигмоидой и отмечает пользу пользовательских инструкций. Модель распространяется по лицензии Apache-2.0. Архивная копия не изменяет веса оригинала.

Qwopus3.5-27B-v3 — мультимодальная модель на 27 млрд параметров, разработанная Jackrong на базе unsloth/Qwen3.5-27B. Она дообучена с помощью SFT и LoRA с дистилляцией структурированного рассуждения и дополнительным обучением вызову инструментов; поддерживает диалоги и обработку изображений. Модель предназначена для задач программирования, математики, логических рассуждений и многошаговых сценариев с инструментами, включая агентные фреймворки вроде OpenClaw. Автор заявляет о более коротких и устойчивых цепочках рассуждений и высокой эффективности генерации токенов, однако приведённые оценки ограничены и не подтверждают качество во всех областях. Модель может галлюцинировать, зацикливаться или отклоняться в рассуждениях; автор обозначает её как тестовую версию для обучения, демонстраций и технического исследования. Лицензия — Apache-2.0.

Карточка модели PS4Research/9DgDaWTmX85XRwSq на Hugging Face совпадает с карточкой PS4Research/IKn8jwlNamPNIS15, поэтому описание составлено по ней. Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.