II.6Документация и сопровождение разработки

ehristoforu/Gemma2-9b-it-train2 — чат-модель Gemma 2 с 9 млрд параметров, разработанная ehristoforu и дообученная на базе ehristoforu/Gemma2-9b-it-train1. Модель предназначена для генерации текста в диалоговом формате; в метаданных также указан датасет BioInstruct. Модель использует плотную архитектуру Gemma2ForCausalLM, работает с текстом и поддерживает контекст до 8192 токенов. Для обучения применялись Unsloth и библиотека TRL. Карточка модели не уточняет конкретные прикладные области или результаты оценки качества. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия модели gemma-2b-aps-it, первоначально разработанной Google. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; доступны варианты от F16 до низкоразрядных IQ3 и Q3–Q8-квантизаций. Модель относится к классу генеративных текстовых моделей и предназначена для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель рассчитана на задачи генерации текста с использованием диалогового шаблона Gemma, поддерживающего системные инструкции, пользовательские запросы и ответы ассистента. Варианты различаются размером файлов и компромиссом между качеством и требованиями к оперативной памяти: F16 занимает около 5,02 ГБ, а наиболее компактные представленные варианты — примерно 1,31–1,49 ГБ. Некоторые сборки используют Q8_0 для embedding- и output-весов, что потенциально помогает сохранить качество. Ключевое преимущество репозитория — широкий выбор квантизаций для локального запуска, включая варианты, оптимизированные для ARM. При этом качество уменьшается в более компактных форматах, а отдельные ARM-варианты требуют поддержки инструкций sve или i8mm и не рекомендуются для Mac или Windows. В README не указаны контекстное окно, поддерживаемые языки, точные архитектурные характеристики базовой модели и лицензия, поэтому эти сведения нельзя определить по представленным данным.

MAISAAI/gemma-2b-coder — языковая модель для генерации кода, созданная дообучением Gemma 2B на 20 тысячах инструкций из набора CodeAlpaca с помощью QLoRA и PEFT. Модель использует плотную decoder-only архитектуру Gemma, содержит 2,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации кода по запросам на естественном языке и ответов на вопросы о программировании. Компактный размер позволяет запускать её на персональном компьютере или собственной облачной инфраструктуре. README указывает английский как язык исходного семейства Gemma; качество именно этой версии отдельно не оценено, а результаты проверки обозначены как находящиеся в работе. Лицензия в предоставленных данных не указана.

anakin87/gemma-2b-orpo — компактная языковая модель Google Gemma-2B, дообученная автором репозитория методом ORPO на наборе alvarobartt/dpo-mix-7k-simplified. Это плотная авторегрессионная модель с 2,5 млрд параметров и контекстом до 8192 токенов; она предназначена для генерации текста и диалогов, а в карточке приведены результаты тестирования на наборах Nous и Open LLM Leaderboard. Модель можно использовать для ответов на вопросы, ведения диалога, написания текстов и подготовки кратких сводок. Она рассчитана прежде всего на английский язык. Малый размер упрощает запуск, в том числе с квантованием, однако результаты бенчмарков не гарантируют качество для конкретной задачи. Лицензия указана как other; условия следует сверять с карточкой модели и лицензией базовой Gemma.

TouchNight/gemma2-ifable-abliterated-merge — объединённая разговорная языковая модель на базе Gemma 2, созданная с помощью mergekit методом della из ifable/gemma-2-Ifable-9B и IlyaGusev/gemma-2-9b-it-abliterated; в качестве базовой модели использована unsloth/gemma-2-9b-it. Модель содержит 9 млрд параметров, использует плотную архитектуру Gemma2ForCausalLM и формат safetensors; максимальная длина контекста составляет 8192 токена. Модель предназначена для диалоговой генерации текста и продолжения текста. Карточка описывает процесс слияния, но не приводит оценки качества или подробностей об обучающих данных. Условия лицензирования в предоставленных данных не указаны.

Gemma 3 12B IT Abliterated v2 GGUF — это модифицированная версия Gemma 3 12B IT, разработанная mlabonne. Модель создана на основе google/gemma-3-12b-it с применением техники abliteration, направленной на уменьшение отказов в ответах. Доступна в формате GGUF и предназначена для запуска и генерации текста в совместимых локальных средах. Модель ориентирована на диалоговые и общие текстовые задачи, где требуется более высокая готовность отвечать на запросы, включая чувствительные темы. В README заявлена мультимодальная специализация image-text-to-text, однако подробности о поддерживаемых языках, точном размере контекста и практической работе с изображениями не приведены. Для генерации рекомендованы параметры temperature=1.0, top_k=64 и top_p=0.95. Ключевая особенность — модификация скрытых состояний целевых модулей, включая o_proj, для удаления направления, связанного с отказами. По заявлению автора, улучшенная версия нацелена на более точное снижение отказов при сохранении связности ответов; целевой показатель acceptance rate превышает 90%. Ограничениями являются потенциальное снижение защитных механизмов и отсутствие в README подробных результатов независимого тестирования, характеристик производительности и требований к оборудованию. Модель распространяется по лицензии gemma.

RedHatAI/gemma-3-12b-it-FP8-dynamic — это квантизированная версия мультимодальной модели google/gemma-3-12b-it, разработанная Neural Magic. Модель принимает изображения и текст, а генерирует текст; заявленный язык — английский. Она предназначена для визуально-текстового диалога, анализа изображений и решения текстовых задач, а также для эффективного инференса через vLLM версии 0.5.2 и новее с OpenAI-совместимым режимом сервинга. Модель основана на архитектуре gemma-3-12b-it с 12 миллиардами параметров. Веса и активации квантизированы в формат FP8 с динамической схемой квантизации FP8_DYNAMIC. По приведённым оценкам, квантизация практически сохранила качество исходной модели: средний результат на текстовом бенчмарке OpenLLM v1 составил 75,21% против 74,99% у базовой модели, а на Vision Evals — 58,94% против 58,43%. Это делает модель подходящей для ресурсоэффективного развёртывания, однако README не указывает размер контекстного окна и не приводит подробных ограничений по качеству, безопасности или поддерживаемым языкам помимо английского. Модель распространяется по лицензии Apache 2.0. Для использования рекомендуется backend vLLM; поддержка конкретных сценариев зависит от совместимости оборудования и программного окружения с FP8.

ferrazzipietro/gemma-3-1b-it-reas-int-065-3-epochs-es — дообученная модель на архитектуре Gemma 3, созданная на основе google/gemma-3-1b-it. Это плотная языковая модель с 1 млрд параметров для диалогов и генерации текста; карточка указывает на дообучение на неизвестном наборе данных, поэтому его тематику и влияние на качество определить нельзя. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и работает через библиотеку Transformers. Модель может подойти для диалоговых приложений и генерации текста. Испанский в названии указывает на возможную специализацию, но README не подтверждает язык обучения или назначение, поэтому считать её испаноязычной нельзя. Опубликована в формате safetensors под лицензией Gemma; перед использованием следует учитывать условия этой лицензии.

mohitmayank/gemma3-270m-text-snac — дообученная текстовая модель на базе google/gemma-3-270m. Она предназначена для генерации текста; карточка не раскрывает обучающий набор данных, конкретные сценарии настройки или результаты оценки. Модель имеет плотную архитектуру Gemma3ForCausalLM, содержит 264,9 млн параметров и поддерживает контекст до 32 768 токенов. Доступны веса в формате safetensors, библиотека для работы — Transformers. Лицензия — Gemma.

gemma-3n-E4B-it-GGUF — GGUF-квантизированная версия инструкционной модели gemma-3n-E4B-it, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и задач преобразования изображений и текста в текст; в README она обозначена как мультимодальная модель image-text-to-text. Данные о поддерживаемых языках и точной архитектуре не указаны. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 2,76 до 13,7 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества. Для запуска через LlamaEdge требуется версия 0.23.1 или новее; указан размер контекста 32 000 токенов и шаблон запросов gemma-3. Более низкая точность квантизации уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель распространяется по лицензии Gemma. README не содержит подробностей о бенчмарках, производительности, системных требованиях, поддерживаемых языках и ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

DuoNeural Gemma4-12B-IT-Abliterated-GGUF — набор GGUF-квантизаций текстовой модели Gemma 4-12B-IT-Abliterated, разработанный исследовательской лабораторией DuoNeural. Модель предназначена для генерации текста и запуска локально через llama.cpp или llama-cpp-python; варианты подходят для систем с ограниченными ресурсами и различным объёмом видеопамяти. В README указан английский язык. Поддержка мультимодальности не заявлена. В основе лежит google/gemma-4-12B-it: 48 слоёв и hidden size 3840. Abliteration выполнена методом ортогональной rank-1-проекции в down_proj и o_proj всех 48 слоёв. По заявлению авторов, режим рассуждений работает в llama.cpp с enable_thinking=True. Доступны Q4_K_M размером около 7,5 ГБ, Q5_K_M около 8,5 ГБ и Q8_0 около 12,7 ГБ; рекомендуемые требования к VRAM составляют примерно 12 ГБ, 12 ГБ и 16 ГБ соответственно. На A100-40GB скорость генерации составляет 78,3, 73,1 и 63,4 токена в секунду для этих вариантов. Сильные стороны модели — локальный запуск, несколько уровней компромисса между размером и качеством, высокая скорость на GPU и заявленное сохранение поведения на безвредных тестах. Abliteration снижает склонность к отказам, поэтому модель может охотнее отвечать на потенциально вредные запросы; это одновременно является существенным ограничением и требует осторожного применения. Длина контекста в README не указана, мультимодальные возможности и полный набор языков также не описаны. Модель распространяется по лицензии Apache-2.0.

AMD Gemma 4 12B IT W4A16 — квантизированная версия модели RedHatAI/gemma-4-12B-it, созданная AMD с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и CPU-инференса на процессорах AMD EPYC под Linux; запуск рекомендуется через vLLM. Указанный язык — английский. Модель основана на архитектуре Gemma4UnifiedForConditionalGeneration и содержит мультимодальные компоненты, включая vision tower, обработчики изображений и аудио, а также мультимодальный проектор, однако в карточке явно заявлены текстовые входы и выходы. Основные веса сжаты методом 4-битной weight-only-квантизации W4A16 с использованием GPTQ: веса представлены в INT4, симметрично и группами по 128 параметров, а активации остаются в BF16. Мультимодальные модули и lm_head сохранены в BF16. Размер модели — 12B параметров; точное максимальное окно контекста не указано, при квантизации использовалась длина последовательности до 2048 токенов. Ключевое преимущество модели — снижение требований к памяти и оптимизация инференса на AMD CPU с использованием ZenDNN и ZenTorch. По тесту GSM8K модель сохранила 98,38% результата BF16-базовой версии: 0,9249 против 0,9401. Ограничения связаны с потерей качества из-за квантизации, зависимостью от совместимого стека версий и ориентированностью на AMD EPYC; заявленные результаты не охватывают широкий набор задач и языков. Для работы рекомендуются PyTorch 2.11.0, ZenTorch 2.11.0.3, vLLM 0.26.0 и LLM Compressor 0.12.0. Лицензия — Gemma.

jenerallee78/gemma-4-26B-A4B-it-ara-abliterated — мультимодальная instruction-tuned модель, созданная на базе Google Gemma 4 26B-A4B-IT с применением метода Adaptive Refusal Abliteration (ARA). Разработчик заявляет, что модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями; в метаданных указан английский язык. Это модификация с ослабленными встроенными ограничениями на отказы, поэтому её применение требует самостоятельной оценки безопасности. Модель использует MoE-архитектуру со 128 экспертами и 8 активными экспертами на токен, примерно 4 млрд активных параметров на токен, 30 слоями и контекстом до 262 144 токенов. Она поддерживает мультимодальный ввод благодаря vision encoder на базе SigLIP; каждое изображение преобразуется примерно в 280 soft tokens. Доступны варианты BF16 SafeTensors и GGUF для Transformers, vLLM, SGLang и llama.cpp, а также смешанная 4-битная MLX-квантизация для Apple Silicon. Размеры файлов составляют около 48 ГБ для BF16, 20 ГБ для Q5_K_M GGUF и 15 ГБ для MLX-варианта. По приведённым автором результатам, на наборе из 507 тестовых вредоносных запросов доля отказов составила 7,7%, средняя оценка качества соблюдения запроса — 4,6 из 5, а KL-дивергенция относительно базовой модели — 0,1299. Эти показатели относятся к заявленной методике и конкретным бенчмаркам и не гарантируют аналогичное поведение в других условиях. Модель распространяется по лицензии Apache 2.0.

Gemma 4 26B A4B it GGUF — это квантизированный набор файлов модели google/gemma-4-26B-A4B-it, подготовленный пользователем giladgd в формате GGUF для запуска через node-llama-cpp и llama.cpp. Модель относится к классу conversational и имеет тег image-text-to-text, что указывает на поддержку сценариев диалогового взаимодействия и обработки текста совместно с изображениями. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16 размером от 10,6 до 50,5 ГБ. README не содержит сведений о точной архитектуре, максимальной длине контекста, поддерживаемых языках, результатах оценки или конкретных ограничениях качества. Квантование уменьшает требования к хранению и памяти по сравнению с полноформатной версией, однако более компактные варианты могут уступать ей по качеству. Модель предназначена для локального использования в приложениях и чат-сценариях через node-llama-cpp или llama.cpp; доступны CLI и программный интерфейс на TypeScript. Лицензия указана как Apache-2.0, при этом для Gemma приведена отдельная ссылка на условия лицензии Google.

Gemma-4-26B-A4B-it-JANG4M — квантизированная модель семейства Gemma 4, подготовленная Jinho Jang для запуска на Apple Silicon через MLX. В README модель описана как MoE, однако метаданные указывают архитектуру Gemma4ForConditionalGeneration с типом dense; точное число параметров и активных параметров не приведено. Модель предназначена для генерации текста и диалогового использования. README приводит пример загрузки и генерации через mlx_lm и отмечает, что библиотека автоматически использует список стоп-токенов из generation_config.json. Указанная лицензия — gemma. Карточка ориентирует запуск на vMLX.

xdavxd выпустил Gemma 4 26B A4B IT QAT Heretic EGA — версию Gemma 4 с ослабленным механизмом отказа на базе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалогов, рассуждений и анализа изображений. Архитектура — Gemma4ForConditionalGeneration; веса представлены в BF16 в формате safetensors. В README приведены инструкции по развёртыванию через vLLM и оценка на нескольких тестах, включая задачи следования инструкциям, математику и работу с длинным контекстом. При модификации из весов проекций внимания и MLP, включая проекции экспертов MoE, удаляли направления, связанные с отказами. Автор сообщает, что на тесте из 100 вредоносных запросов модель отказала в 4 случаях, а на наборе из 686 запросов — в 11; сравнение возможностей проводилось с одним запуском и одной случайной инициализацией, поэтому результаты не являются статистически строгими. Снижение отказов означает, что модель может отвечать на запросы, от которых исходная версия отказывалась. Лицензия — Apache-2.0.

Gemma 4 31B IT NVFP4 Turbo GGUF — перепакованная и дополнительно квантованная версия Gemma 4 31B IT для диалоговой генерации текста. В README указано, что веса self-attention переведены из BF16 в FP4 методом RTN с group size 16; MLP сохраняют калиброванную квантизацию NVIDIA, а эмбеддинги токенов и нормализации — BF16. Также изменены конфигурация архитектуры и квантования и удалены кодировщики изображений и аудио. Модель предназначена для чат-ответов и генерации текста. Автор README заявляет, что вариант занимает на 68% меньше видеопамяти и работает примерно в 2,5 раза быстрее исходной модели при потере качества в пределах 1–3%; заявлена возможность запуска на одной RTX 5090. Для работы требуется версия llama.cpp с изменениями из PR #21971. Репозиторий распространяется по лицензии Apache-2.0.

Gemma-Ko 2B — базовая текстовая модель семейства Gemma, опубликованная beomi на основе оригинальной Gemma-2B от Google. Это плотная decoder-only языковая модель с 2,5 млрд параметров, предназначенная для генерации текста по запросу; заявленный контекст составляет до 8192 токенов. В карточке указаны корейский и английский языки. Модель подходит для генерации и черновой подготовки текстов, ответов на вопросы, суммаризации, языковой практики и экспериментов с NLP. Относительно небольшой размер позволяет запускать её на персональном компьютере или в облачной инфраструктуре с ограниченными ресурсами. Карточка не содержит результатов бенчмарков, поэтому качество для конкретных сценариев следует проверять отдельно. Модель может воспроизводить смещения из обучающих данных, ошибаться в фактах и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия обозначена как other; README отсылает к условиям использования Gemma, поэтому перед применением следует ознакомиться с ними.

ChiKoi7/GLM-4.7-Flash-Heretic-MXFP4-GGUF — конвертированная в формат GGUF версия модели Olafangensan/GLM-4.7-Flash-heretic-GGUF с квантизацией MXFP4 MoE; конверсия выполнена с помощью llama.cpp. В основе лежит GLM-4.7-Flash от Z.ai — разреженная MoE-модель класса 30B с активными 3B параметров, предназначенная для генерации текста и диалогов. Модель изменена методом abliteration: по приведённому в карточке сравнению она реже отказывает в ответах, чем исходная GLM-4.7-Flash. Карточка приводит показатели KL-дивергенции и отказов, но они не дают полной оценки качества или безопасности. Метаданные указывают поддержку английского и китайского языков. Репозиторий содержит GGUF-файлы, а лицензия модели — MIT.

GLM-4.7-Flash-MLX-8bit — это 8-битно квантованная версия языковой модели GLM-4.7-Flash, разработанной компанией zai-org. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и доступна в экосистеме Transformers. Модель поддерживает английский и китайский языки и относится к моделям text generation. Ключевое преимущество — оптимизация в формате MLX и 8-битное представление, что делает её подходящей для локального использования на Apple Silicon при сниженных требованиях к памяти по сравнению с полноразмерной версией. В README не указаны точный размер модели, архитектура, длина контекста, мультимодальные возможности и результаты тестирования, поэтому её производительность и область применения нельзя оценить подробнее. Лицензия модели — MIT.

baffo32/gpt2-ptmap — текстовая авторегрессионная модель семейства GPT-2, основанная на GPT-2 от OpenAI. Она предварительно обучена на английских текстах из веба с причинной языковой моделью: предсказывает следующий токен, используя предыдущий контекст. Модель предназначена прежде всего для продолжения текста по запросу; её также можно дообучить для прикладных задач. Архитектура — плотная GPT-2 с контекстом до 1024 токенов. В репозитории представлены веса в форматах PyTorch, TensorFlow, Flax и TFLite. Модель может создавать связный английский текст и извлекать языковые представления, однако сама по себе не проверяет факты. Данные обучения содержали неотфильтрованные материалы из интернета, поэтому генерация может воспроизводить их предубеждения. Датасет WebText не опубликован. Лицензия — MIT.

ComCom/gpt2-small — англоязычная модель генерации текста на архитектуре GPT-2, представленная как форк предварительно обученной модели GPT-2. Она обучалась предсказывать следующий токен в последовательности текста и предназначена прежде всего для продолжения текста по заданному запросу; веса доступны в формате PyTorch. Модель принимает текст и генерирует текст, используя контекст длиной до 1024 токенов. Модель можно применять для черновиков, продолжения фрагментов и экспериментов с генерацией текста, а также дообучать для прикладных задач. README описывает обучение исходного GPT-2 на англоязычном корпусе WebText; лицензия репозитория — MIT. Генерация может содержать фактические ошибки и отражать смещения из обучающих данных, включавших неотфильтрованные интернет-тексты. Данные обучения не опубликованы как доступный для просмотра датасет; модель не следует использовать без проверки в сценариях, где важны достоверность или чувствительные решения.

GPT-5 Nano — самая компактная и быстрая версия системы GPT-5 от OpenAI. Она предназначена для инструментов разработчика, быстрых взаимодействий и сценариев с очень низкой задержкой. Доступный фрагмент карточки характеризует её как модель с меньшей глубиной рассуждений по сравнению с более крупными вариантами GPT-5.

Granite-4.1-30B (FP8) — это версия модели IBM Granite 4.1-30B, представленная в формате FP8. Репозиторий подготовлен для использования с библиотекой Transformers и предназначен для языковых задач; более подробные сведения о возможностях и сценариях применения приведены в карточке исходной модели ibm-granite/granite-4.1-30b, которая в предоставленных данных отсутствует. Ключевая характеристика этой версии — представление весов в формате FP8, что может быть полезно для более эффективного хранения и выполнения модели в совместимой инфраструктуре. Из доступного README не указаны архитектура, точный размер в параметрах помимо обозначения 30B, поддерживаемые языки, длина контекста, модальности, результаты тестирования, сильные стороны и ограничения. Модель распространяется по лицензии Apache-2.0.

mradermacher/grok-oss-Revenant-70B-i1-GGUF — квантизированная GGUF-версия текстовой языковой модели grok-oss-Revenant-70B, разработанной c4tdr0ut и квантизированной mradermacher. Модель ориентирована на генерацию текста и диалоговые сценарии; в её описании указаны методы дообучения QLoRA, ORPO и SFT, а также характеристики unaligned и uncensored. Заявленный язык — английский. Модель имеет размер 70 млрд параметров и поставляется в вариантах i1-квантизации IQ и Q с объёмом файлов примерно от 15,4 до 58 ГБ. Доступны варианты с разным компромиссом между размером, скоростью и качеством: среди рекомендуемых указаны i1-Q4_K_S как сбалансированный вариант и i1-Q4_K_M как быстрый рекомендуемый вариант. Также предоставлен imatrix-файл для создания собственных квантизаций. Архитектура, размер контекстного окна и поддержка мультимодальности в README не указаны; из доступных данных следует, что модель предназначена для работы только с текстом. Сильной стороной является широкий выбор уровней квантизации, позволяющий адаптировать модель к доступной памяти и требованиям к качеству. Ограничения включают возможное снижение качества на низких уровнях квантизации, значительные требования к ресурсам для 70B-модели и отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, контекстном окне и результатах оценки. Лицензия обозначена как other, без дополнительных условий в README.

Kaon 3 CR-5A calibrated minimum — GRPO step 125 — это полно-весовой BF16-чекпойнт модели kaonai, полученный дообучением kaonai/kaon-c-gemma4-26b-v10.1 методом GRPO. Он опубликован как объединённая модель, а не как отдельный адаптер, и предназначен для диалоговой генерации текста.

Grug 67B A2B Datakit SFT 262K — чекпойнт Grug MoE, дообученный методом supervised fine-tuning на смеси данных для агентных сценариев и рассуждений. Разработчик — open-athena. Архитектура GrugMoeForCausalLM использует 256 маршрутизируемых экспертов с выбором top-4 и общий эксперт; всего около 67 млрд параметров, примерно 2 млрд активных параметров на токен. Модель принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. В конфигурации задан контекст до 262 144 токенов, но работа на длинном контексте не проверена. Обучающие источники включают OpenThoughts code, SWE-ZERO, Penfever traces, NuminaMath и данные GLM для следования формату и сжатия контекста. Модель может быть полезна для агентных задач, рассуждений, работы с кодом и математикой, однако качество генерации, безопасность и численная эквивалентность исходному чекпойнту не оценены. Для запуска требуется среда с поддержкой Grug MoE; эта версия ещё не проверена в ранее использованной сборке vLLM, а загрузка через стандартный Transformers не подтверждена. Лицензия — OpenMDW-1.1.

timdettmers/guanaco-33b-merged — крупная языковая модель семейства Guanaco, разработанная Tim Dettmers и основанная на LLaMA. Guanaco — это чат-модели, дообученные методом 4-bit QLoRA на наборе данных OASST1; данная версия содержит объединённые веса для варианта на 33 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия с пользователем. Модель использует архитектуру LLaMA и поддерживает задачу text-generation через Transformers и совместимые средства инференса. Согласно метаданным, размер составляет 32,3 млрд параметров, а native context — 2048 токенов. Основной сценарий применения — исследовательские эксперименты с локальными чат-ботами, ответами на инструкции и генерацией текста. Модель может выдавать проблематичные или неточные ответы и не предназначена для неконтролируемого использования в критически важных системах. В карточке семейства Guanaco также отмечено, что 4-битный инференс может быть медленным. Лицензия для объединённой версии надёжно не установлена по доступным источникам.

indiginous/guardrail-qwen-1.5b — генеративная языковая модель из семейства Qwen2 с 1,5 млрд параметров. Модель опубликована на Hugging Face для использования с библиотекой Transformers и поддерживает задачу генерации текста, включая conversational-сценарии. В README сведения о разработчике, базовой модели, обучающих данных и лицензии отсутствуют.

HallOumi-8B — языковая модель Oumi AI для проверки утверждений и выявления галлюцинаций, когда доступен источник достоверной информации. Она анализирует утверждения по предложениям, определяет, поддерживаются ли они контекстом, оценивает уверенность и предоставляет связанные предложения из источника вместе с объяснением для проверки человеком. Модель представляет собой плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров, дообученную на основе meta-llama/Llama-3.1-8B-Instruct. Она принимает текст и предназначена прежде всего для английского языка; заявленная длина контекста — 131 072 токена. Модель подходит для проверки сводок, ответов и других текстов по предоставленным документам, помогая находить неподтверждённые утверждения и видеть, на какие фрагменты источника опирается оценка. В карточке заявлен результат Macro F1 77,2% ± 2,2%, однако это утверждение README, а независимая проверка здесь не проводилась. Разработчик предупреждает, что модель меньшего размера имеет ограниченные возможности и рекомендует не использовать её за пределами проверки утверждений; возможны унаследованные от базовой модели предубеждения и риски. Лицензия — CC-BY-NC-4.0, допускающая использование с ограничениями, включая некоммерческий характер.