II.10Разработка и эксплуатация AI/ML-систем

Qwen3.8-27B-ROCmFPX-GGUF — производная от базовой модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий lmcoleman содержит квантизированную версию, подготовленную с использованием MagicQuant и AMD-ориентированных форматов ROCmFPX; сборка оптимизирована для AMD Strix Halo с графикой gfx1151. Модель предназначена для генерации текста и диалоговых сценариев, а при подключении файла mmproj поддерживает обработку изображений. Модель имеет размер 27 млрд параметров и распространяется в формате GGUF. Доступны гибридные варианты Q4 размером около 15,7 ГБ и Q6 размером около 22,2 ГБ; конфигурации используют разные схемы квантизации для отдельных групп тензоров, а чувствительные слои могут сохраняться в F16, BF16 или F32. В README заявлен английский язык. Для запуска приведены примеры с контекстом 8192 токена, однако максимальный размер контекста не указан. Сильной стороной является сочетание значительного уменьшения размера с небольшими измеренными потерями качества: для теста на wikitext-2 заявлены значения perplexity 6,7611 для Q4 и 6,7579 для Q6 при базовом значении BF16 6,7443. Q4 рекомендован как наиболее рациональный вариант по соотношению размера и качества. Главные ограничения — экспериментальный характер ROCmFPX и совместимость только со специальной форкой llama.cpp, собранной из исходников; стандартные llama.cpp, LM Studio и Ollama эти файлы не загружают. Лицензия — Apache 2.0, применяемая к производной модели согласно лицензии базовой модели.

Ourse/R4L-v0.1 — компактная языковая модель на архитектуре Qwen2, созданная слиянием двух моделей методом SLERP с помощью mergekit: bunnycore/Qwen2.5-1.5B-Matrix и unsloth/Qwen2.5-1.5B-Instruct. Модель содержит 1,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Карточка не описывает отдельную специализацию или набор языков, поэтому она подходит как компактная модель общего назначения на базе Qwen2.5. Лицензия в предоставленных данных не указана. Качество и ограничения по конкретным задачам не охарактеризованы; результаты следует проверять для целевого применения.

Карточка модели Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B на Hugging Face совпадает с карточкой Lazarus-Ai/ReAligned-Qwen3.5-27B, поэтому описание составлено по ней. ReAligned-Qwen3.5-27B — диалоговая модель семейства Qwen3.5, созданная Эриком Хартфордом из LazarusAI на базе Qwen/Qwen3.5-27B. Модель дообучена в два этапа: supervised fine-tuning и GRPO с оценкой ReAligned-Classifier; обучение использует LoRA. Цель — уменьшить отказы и государственно-ориентированную подачу ответов на политические и исторические темы, связанные с Китаем, сохранив общие возможности базовой модели. Модель предназначена для чата, суммаризации, программирования, рассуждений, многоязычного использования, а также исследования идеологической предвзятости, отказов и рамки повествования. Архитектура — плотная Qwen3.5 с классом Qwen3_5ForConditionalGeneration; метаданные указывают мультимодальную основу с поддержкой текста и изображений. Карточка не сообщает размер параметров и длину контекста именно этого чекпойнта. Лицензия — Apache-2.0. Снижение цензурных отказов не гарантирует точность фактов; возможны чрезмерная коррекция в сторону западной институциональной рамки, пробелы в знаниях и различия поведения между языками и формулировками. Авторы рекомендуют независимую оценку и собственные меры модерации при развёртывании.

s1.1-32B-GGUF — квантизированная версия языковой reasoning-модели s1.1-32B, разработанной командой simplescaling и опубликованной в формате GGUF пользователем brittlewis12. Базовая модель создана на основе Qwen2.5-32B-Instruct и дообучена на 1 000 примерах из датасета s1K с использованием reasoning traces из DeepSeek-R1. Модель предназначена для генерации текста, диалоговых сценариев и решения задач, требующих многошагового рассуждения, включая математические и научные вопросы. Поддерживает английский язык, работает с текстом и использует шаблон запросов ChatML. Архитектурный тип указан как qwen2; размер модели — 32B параметров. Модель поставляется в GGUF, что подходит для локального запуска через llama.cpp и совместимые приложения, в том числе на устройствах Apple при наличии достаточных ресурсов. Размер контекста в README не указан. К заявленным сильным сторонам относятся улучшенная способность к рассуждению по сравнению с исходной s1 и возможность test-time scaling с помощью budget forcing. В приведённых оценках модель показывает 95,4% на MATH500, 63,6% на GPQA-Diamond, 60,0% на AIME2025 I и 56,7% на AIME2024; результаты получены с применением budget forcing, поэтому они могут не отражать стандартный режим использования. Ограничения включают отсутствие данных о поддерживаемых языках помимо английского, модальностях помимо текста, размере контекста, требованиях к памяти и производительности. Лицензия — Apache-2.0.

T5Gemma — семейство текстовых моделей кодировщик–декодер, разработанное Google; этот вариант настроен для следования инструкциям и использует PrefixLM. Модель основана на T5Gemma с 9 млрд параметров в кодировщике и 9 млрд в декодере, адаптированной из авторегрессионной Gemma в архитектуру кодировщик–декодер. Модель принимает и генерирует текст на английском языке. Она предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации и рассуждений; карточка также описывает применение семейства для творческого письма, черновиков писем и задач NLP. Весовые файлы опубликованы в формате safetensors. Как и другие генеративные модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия — Gemma; при использовании следует учитывать правила допустимого применения моделей Gemma.

Youlln/TRIOMPHANT-ECE-2.3-72B — текстовая генеративная модель, созданная командой студентов инженерной школы ECE под руководством преподавателей и при поддержке лаборатории iLab. Это слияние SLERP моделей Sakalti/ultiima-72B и MaziyarPanahi/calme-3.2-instruct-78b для диалогов и генерации текста общего назначения. Карточка ориентирует модель на рассуждения, в том числе математические, понимание контекста и выполнение инструкций. Модель основана на плотной архитектуре Qwen2 с причинным языковым моделированием, содержит 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Доступны веса safetensors для Transformers; лицензия — Apache-2.0. В карточке заявлены задачи NLP общего назначения, однако подробные результаты оценки и подтверждённые языки не приведены.

Locutusque/UltraQwen-7B — диалоговая языковая модель на 7,1 млрд параметров, дообученная на примерно 100 000 примерах набора HuggingFaceH4/ultrachat_200k. В метаданных указаны архитектура LlamaForCausalLM, формат safetensors и контекст до 32 768 токенов; модель предназначена для генерации текста в диалоге. Автор сообщает о хороших результатах личных проверок на математике, истории, викторинах и задачах программирования, однако подробные метрики не приведены. Модель не проходила выравнивание DPO. Базовая модель — Qwen/Qwen-7B; в README указана лицензия other в метаданных, без конкретных условий использования.

TheBloke/Upstage-Llama1-65B-Instruct-GGUF — это квантизированная версия языковой модели Llama 65B Instruct, разработанной компанией Upstage и подготовленной TheBloke в формате GGUF. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки текста на английском языке. Модель основана на архитектуре Llama и содержит около 65 миллиардов параметров. Репозиторий предоставляет варианты с 2-, 3-, 4-, 5-, 6- и 8-битным квантованием для запуска на CPU и GPU. Формат GGUF совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Для работы предусмотрен шаблон приглашений с секциями System, User и Assistant. Размер контекста в README не указан. К сильным сторонам относятся большой размер базовой модели, настройка для следования инструкциям и возможность локального запуска с выбором степени квантования, позволяющей находить компромисс между требованиями к памяти и качеством. Ограничениями являются значительные вычислительные требования даже для квантированных вариантов, возможная потеря качества при агрессивном квантовании и отсутствие в README подробных данных о результатах оценки, поддерживаемых языках помимо английского и точном размере контекста. Лицензия указана как other; конкретные условия использования необходимо уточнять в лицензии исходной модели Upstage.

Akaash1/wav2vec-khmer-english-medium — модель распознавания речи на базе Wav2Vec2, дообученная на facebook/wav2vec2-xls-r-300m на данных OpenSLR и S4E16_Podcast. Она принимает аудио и преобразует речь в текст; в карточке указано значение WER 0,2868 на оценочном наборе. Модель содержит 402,8 млн параметров и использует архитектуру Wav2Vec2ForCTC. Модель подходит для распознавания речи на кхмерском и английском языках, в том числе в подкастах. Распознавание основано на CTC. Распространяется по лицензии Apache-2.0.

whisper-small-arabic-letters-pod — дообученная модель семейства Whisper, созданная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В README приведены результаты оценки: loss 0,0493 и WER 6,3830. Модель принимает аудио и выдаёт текст. Базовая Whisper small — мультиязычная модель для транскрибирования речи и перевода аудио на английский язык; карточка этой версии не уточняет языки и специальные сценарии дообучения. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0.

YamshadowStrangemerges_32_Inex12Strangemerges_32 — объединённая модель для генерации текста, созданная путём слияния моделей automerger/YamshadowStrangemerges_32-7B и automerger/Inex12Strangemerges_32-7B. Она построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста с контекстом до 32 768 токенов. Веса представлены в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0. Доступные сведения не описывают специализацию модели или её конкретные ограничения.

Zephyr-7B-β — разговорная языковая модель из серии помощников Zephyr, разработанная HuggingFaceH4. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров, дообученная на Mistral-7B-v0.1 методом Direct Preference Optimization (DPO) на синтетических диалогах и предпочтениях ответов. Она принимает текст и генерирует текст; основной язык — английский. Контекстное окно составляет 32 768 токенов. Модель предназначена для диалогового помощника: она отвечает на вопросы, следует инструкциям и поддерживает многошаговый чат. В опубликованных при выпуске оценках она показывала сильные результаты среди открытых моделей сопоставимого размера, но заметно уступает более крупным системам в сложных задачах программирования и математики. В карточке указано, что модель не прошла этап выравнивания безопасности в RLHF и может выдавать проблемный контент, в том числе по соответствующему запросу. Лицензия — MIT.

airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

Модель 1Developer/cali-whisper-tiny.en-drop-005-production — дообученная версия Whisper tiny.en, созданная на основе 1Developer/cali-whisper-tiny.en-drop-004-production и обученная на датасете audiofolder. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки: loss 0,0002 и WER 0,0; этих значений недостаточно, чтобы судить о качестве на других данных. Используются архитектура Whisper и библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0.

CausalLM-14B-DPO-alpha-GGUF — это версия языковой модели CausalLM 14B-DPO-alpha в формате GGUF, подготовленная разработчиком CausalLM. Модель предназначена для генерации текста и диалоговых сценариев; поддерживает использование через llama.cpp и совместимые приложения и библиотеки. Для взаимодействия в README указан шаблон ChatML. Модель содержит около 14 миллиардов параметров и обучалась с применением DPO для лучшего соответствия человеческим предпочтениям. Заявлены английский и китайский языки. В обучении использовались разнообразные наборы данных для диалогов, следования инструкциям, математики, энциклопедических и общих текстовых задач, включая GuanacoDataset, OpenOrca, UltraChat, MetaMathQA и другие источники. Размер контекста и точные архитектурные параметры в README не указаны. Согласно приведённым результатам MT-Bench, модель получила оценку 7,618868, превысив указанные результаты Zephyr-7B и приблизившись к заявленным ориентирам GPT-3.5. При этом модель обучалась на неотфильтрованных интернет-данных и может генерировать нежелательный, оскорбительный, порнографический или насильственный контент; встроенные механизмы этической безопасности и отказов не реализованы, поэтому необходимы собственная модерация и фильтрация вывода. В карточке указана лицензия WTFPL, однако отдельно отмечено, что использование также регулируется условиями Meta Llama 2 License.

Chronorctypus-Limarobormes-13b — объединённая инструкциями дообученная языковая модель от chargoddard. Она создана слиянием пяти моделей на базе TheBloke/Llama-2-13B-fp16 по методике Resolving Interference When Merging Models, чтобы сохранить больше возможностей исходных моделей, чем при обычном линейном слиянии. Модель построена на плотной архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации ответов и выполнения инструкций в формате Alpaca: запрос передаётся в секции Instruction, ответ начинается после Response. В README автор сообщает, что модель показалась ему достаточно способной, и приводит результаты оценки на наборе тестов Open LLM Leaderboard. Модель использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

CORe Pico V2 — компактная разговорная языковая модель, разработанная CORe Technologies. Модель предназначена для генерации текста, ответов на вопросы и многошагового диалога, особенно в сценариях, где важны небольшой размер и возможность локального запуска. Она поддерживает структурированный вызов инструментов через блоки <tool_call> с JSON и режимы расширенного рассуждения /think и прямых ответов /no_think. Модель имеет архитектуру causal language model и содержит около 596 млн параметров. Длина контекста составляет 40 960 токенов, используется BPE-токенизатор на 151 936 токенов со встроенным шаблоном чата. Основной язык — английский. Доступны веса в формате safetensors, а также варианты GGUF с полной точностью, 8-битным и 4-битным квантованием; модель можно запускать через Transformers, llama.cpp, LM Studio или Ollama. Сильные стороны CORe Pico V2 — компактность, пригодность для работы на широком спектре устройств, стабильные ответы на вопросы об идентичности модели, короткие ответы и нативная поддержка многораундового диалога. Ограничения обусловлены небольшим размером: модель может допускать фактические ошибки, испытывать трудности с арифметикой и выдумывать ответы при недостатке знаний, поэтому результаты требуют проверки и не должны считаться достоверным источником. Модель распространяется по лицензии Apache-2.0 и является модифицированным производным от чекпойнта с той же лицензией.

dan-omni-3b-q3s — квантизированная версия модели dan-omni-3b, созданная с применением Q3_K_S для ускорения вывода и снижения требований к памяти. В README указаны дообучение LoRA на инструкционных данных для мобильных устройств и базовая модель Qwen2.5-3B; репозиторий содержит формат GGUF. Модель предназначена для генерации ответов в диалогах и выполнения общих инструкций на устройствах с ограниченной памятью. Она подходит для вопросов, письма, математики, программирования, перевода и творческих задач; заявленная длина контекста — 4096 токенов. Модель принимает и выдаёт текст, мультимодальные возможности отсутствуют. По сравнению с вариантом Q4_K_M README заявляет меньший размер и более быстрый вывод при небольшом снижении качества. Квантизация может ухудшать результаты на сложных задачах рассуждения. Лицензия репозитория — Apache-2.0.

Модель domenicrosati/deberta-v3-large-finetuned-paws-paraphrase-detector — классификатор текста для определения, являются ли два предложения перефразами. Она разработана дообучением microsoft/deberta-v3-large на наборе данных PAWS и использует архитектуру DeBERTa v3 Large с классификационной головой; число параметров — около 533,8 млн, максимальная длина контекста — 512 токенов. Модель предназначена для выявления смысловой эквивалентности формулировок, например при поиске дубликатов вопросов или сопоставлении похожих предложений. В README приведены результаты на оценочной выборке PAWS: F1 0,9427, точность 0,9301 и полнота 0,9556. Доступны веса PyTorch; лицензия — MIT. Карточка не описывает языковое покрытие и дополнительные ограничения, поэтому результаты за пределами указанного набора данных не установлены.

deepseek-r1-qwen-2.5-32B-ablated-GGUF — это квантизированная версия текстовой генеративной модели NaniDAO/deepseek-r1-qwen-2.5-32B-ablated, подготовленная bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель относится к семейству Qwen 2.5, имеет размер 32B параметров и предназначена для запуска локально через llama.cpp и совместимые приложения, включая LM Studio. Модель подходит для генерации текста и диалоговых сценариев, включая задачи, связанные с рассуждениями. В репозитории представлены варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Рекомендуемыми обозначены варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним форматы; наиболее компактные варианты экономят память, но дают более низкое качество. Архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. По тегам модель описывается как ablated и uncensored, однако подробности применённых изменений и их влияние на поведение также не раскрыты. Для использования требуется совместимое ПО и память, соответствующая выбранному варианту весов; размеры файлов составляют примерно от 14,81 до 65,54 ГБ. Лицензия — MIT.

Devstral-Small-2507-MLX-8bit — это 8-битная квантованная версия модели Devstral-Small-2507, разработанной компанией Mistral AI. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для локального запуска на устройствах Apple Silicon. В карточке указана специализация на генерации и обработке текста, однако подробные сведения о размере, архитектуре и длине контекста отсутствуют. Модель поддерживает широкий набор языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский и другие. Основные преимущества — сниженный объём представления благодаря 8-битному формату и оптимизация для экосистемы Apple Silicon, что делает её подходящей для локальных сценариев работы с текстом. Ограничения связаны с зависимостью от совместимого оборудования и возможными потерями качества из-за квантования; также README не содержит конкретных данных о производительности и целевых прикладных сценариях. Модель распространяется по лицензии Apache-2.0.

Falcon3-3B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Falcon3-3B-Instruct, разработанной Technology Innovation Institute (TII) и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. Для взаимодействия используется формат с ролями system, user и assistant. Модель имеет 3 млрд параметров, относится к текстовым моделям и поддерживает английский, французский, испанский и португальский языки. Доступны варианты от F16 до низкобитных Q2/Q3/Q4/Q5/Q6/Q8 и IQ-квантизаций; размеры файлов составляют примерно от 1,27 до 6,46 ГБ. Квантизация выполнена с использованием imatrix в llama.cpp, а README отдельно отмечает исправление токенизатора. Сильная сторона набора — возможность выбрать баланс между качеством, размером и требованиями к оперативной памяти; наиболее качественными и рекомендуемыми указаны варианты Q6_K_L, Q6_K, Q5_K и Q4_K. Низкобитные варианты экономичнее, но могут заметно терять качество. Сведения о длине контекста и детальной архитектуре в README не указаны. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке.

Это тестовая версия alignment-tuned модели на базе семейства Llama, дообученной с использованием методов instruction fine-tuning и direct preference optimization (DPO). Она предназначена для генерации текста и выполнения инструкций в диалоговых сценариях. Модель содержит 20,9 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; в репозитории представлены веса в формате safetensors. В метаданных указан английский язык. Модель разработана автором репозитория 4season. Лицензия — Apache-2.0. Карточка обозначает её как тестовую версию, поэтому качество и пригодность для конкретных задач требуют отдельной проверки.

Gemma-4-26B-A4B-it-ROCmFP4-GGUF — квантизированная GGUF-версия мультимодальной модели Google Gemma-4-26B-A4B-it, опубликованная пользователем kingjones777. Модель предназначена для генерации текста и работы с изображениями; заявлена поддержка vision, а также сценариев с speculative decoding и tool calling. Архитектура MoE содержит 26 млрд параметров всего, из которых около 4 млрд активируются для каждого токена. Доступны варианты квантизации ROCmFP4 и ROCmFPX с разрядностью от 4 до 8 бит и размером примерно от 12,7 до 24,7 GiB. Для vision требуется отдельный проектор mmproj-BF16.gguf, а для speculative decoding — drafter mtp-gemma-4-26B-A4B-it-Q8_0.gguf. На AMD Strix Halo с Ryzen AI MAX+ 395, 128 ГБ unified memory и ROCm 7.2.4 заявлена скорость до 60,11 токена в секунду с MTP и до 58,33 токена в секунду без него. Основные преимущества — сочетание текстовых и визуальных возможностей, MoE-эффективность, несколько вариантов точности и высокая производительность на совместимом AMD-оборудовании. Ограничение состоит в том, что модель требует сборку llama.cpp с поддержкой ROCmFPX и не загружается в стандартные llama.cpp, Ollama или LM Studio. MTP и vision нельзя использовать одновременно, а совместимость speculative decoding может зависеть от версии сборки и платформы. Лицензия указана как Gemma; поддерживаемые языки и максимальный контекст в README не обозначены.

GoGPT2-7B — китайско-английская языковая модель, созданная ICT на базе Llama 2 7B. Это плотная авторегрессионная модель семейства Llama с 6,8 млрд параметров и контекстом 2048 токена; веса доступны в формате PyTorch. Разработчики расширили словарь Llama с 32 000 до 68 420 токенов, продолжили предобучение на китайском корпусе и выполнили supervised fine-tuning на наборах инструкций и диалогов на китайском и английском языках. Модель предназначена для генерации текста по запросу: ответов на вопросы, диалогов, объяснений, перевода и написания кода. Примеры в карточке показывают такие сценарии, как сравнение понятий, помощь с тайм-менеджментом и программирование. Карточка приводит лишь примеры ответов, поэтому они не подтверждают точность модели; возможны фактические ошибки и некорректный код. Репозиторий распространяется по Apache-2.0, однако авторы README отдельно указывают на исследовательское использование и запрещают коммерческое применение связанных ресурсов; это ограничение следует учитывать при использовании модели.

GWQ2b — дообученная языковая модель prithivMLmods на базе Google Gemma 2 2B Instruct. Это декодерный трансформер для генерации текста, с диалоговыми возможностями и контекстом до 8192 токенов; в карточке заявлена поддержка английского языка. Модель дообучена на синтетическом наборе Chain of Continuous Thought и предназначена для ответов на вопросы, суммаризации, рассуждений и следования инструкциям. Модель подходит для создания ответов и кратких изложений, многошаговых рассуждений, а также творческого текста и документации. Вес составляет 2,7 млрд параметров, файлы представлены в формате Safetensors. Лицензия Gemma; условия её использования следует учитывать при развёртывании. Как и другие языковые модели, GWQ2b может выдавать неточные сведения и воспроизводить смещения из данных обучения. Она ограничена контекстом в 8192 токена, а заявленные в README сведения о размере и архитектуре местами противоречат метаданным: для описания использованы параметры из метаданных.

Hippolyta-7B — языковая модель, созданная Kquant03 на основе Mistral-7B-v0.1 и дообученная на наборах OpenOrca, OpenHermes, Dolphin и Airoboros, а также на небольшом объёме частных данных. Это плотная авторегрессионная модель на 7,1 млрд параметров для генерации текста и ответов в формате чат-инструкций с шаблоном Mistral. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык, а веса опубликованы в формате safetensors. Репозиторий заявляет лицензию Apache-2.0. Модель подходит для диалогов, ответов на вопросы, выполнения текстовых инструкций и написания текста. Автор отмечает, что форматирование части частного обучающего набора требует доработки; описание качества основано на личной оценке автора, а не на приведённых результатах оценки. В README также упомянуты файлы GGUF, но метаданные репозитория указывают safetensors.

Это набор GGUF-квантизованных файлов модели huihui-ai/Qwen2.5-14B-Instruct-abliterated, подготовленный featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, совместимые с базовой instruct-моделью Qwen2.5. Формат GGUF ориентирован на локальный запуск и использование в совместимых средах инференса. Модель имеет размер 14B параметров и поддерживает только текстовую модальность. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размеры составляют примерно от 5,5 до 15 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества, однако README не содержит сведений о языках, размере контекста, архитектурных деталях, результатах тестирования или сравнительных преимуществах. Лицензия в README не указана, поэтому условия использования необходимо уточнять по лицензии базовой модели и репозитория. Также не приведены отдельные сведения об ограничениях, безопасности и качестве варианта abliterated; перед применением в критичных сценариях модель следует самостоятельно протестировать.

Huihui-Qwen3.6-35B-A3B-Claude-4.6-Opus-abliterated-i1-GGUF — это GGUF-квантизация модели Huihui-Qwen3.6-35B-A3B-Claude-4.6-Opus-abliterated, разработанной huihui-ai и подготовленной в виде квантованных файлов пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой; заявленный размер — 35B параметров при 3B активных параметров. Репозиторий содержит варианты i1-квантизации с размерами примерно от 7,6 до 20 ГБ, а также imatrix-файл для самостоятельного создания квантовок. Модель предназначена для генерации текста, диалоговых сценариев и задач, связанных с рассуждениями. В описании также заявлена поддержка изображений и текста, поэтому она может применяться в мультимодальных сценариях при наличии совместимых mmproj-файлов. Указанный язык — английский. Модель совместима с экосистемой Transformers и инструментами инференса, включая text-generation-inference и vLLM; формат GGUF ориентирован на локальный запуск средствами, поддерживающими этот формат. Сильной стороной являются различные уровни квантизации, позволяющие выбирать между размером файла, скоростью и качеством. При этом низкобитные варианты могут заметно уступать по качеству: в README отдельные сборки обозначены как имеющие низкое качество или предназначенные для случаев острой нехватки ресурсов. Точный размер контекстного окна и результаты бенчмарков не указаны. Обозначения abliterated и uncensored указывают на отсутствие или ослабление части стандартных ограничений безопасности, поэтому поведение модели и пригодность для чувствительных задач следует проверять отдельно. Указанная лицензия — Apache-2.0.

ilsp_Llama-Krikri-8B-Instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Llama-Krikri-8B-Instruct, разработанной ilsp. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговых и других сценариях, поддерживающих формат инструкций Llama 3.1, включая запуск локально через llama.cpp, LM Studio и совместимые проекты. Модель имеет около 8 миллиардов параметров, относится к текстовым моделям и заявлена для греческого и английского языков. Доступны варианты от F32 и F16 до различных форматов Q8, Q6, Q5, Q4, Q3 и IQ-квантизации. Более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти; в README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4_K_M. Точный размер контекста в предоставленных данных не указан. Основные преимущества — возможность локального запуска, широкий выбор компромисса между качеством и требованиями к памяти, а также поддержка CPU-инференса и аппаратных конфигураций, совместимых с llama.cpp. Ограничения связаны с потерями качества в более агрессивно квантизованных версиях, отсутствием заявленной мультимодальности и неизвестным размером контекстного окна. Лицензия указана как llama3.1.