I.2Синтез, понимание и проверка знаний

Experiment28M7_Strangemerges_32Shadow — объединённая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/Strangemerges_32Shadow-7B. В репозитории указано, что модель получена слиянием этих двух моделей; метаданные описывают архитектуру как плотную авторегрессионную MistralForCausalLM объёмом 7,1 млрд параметров. Модель предназначена для генерации текста и принимает текстовые запросы. Её контекстное окно составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. В README не описаны специальные предметные сценарии или языковая специализация, поэтому модель следует считать предназначенной для текстовой генерации общего назначения.

Firefly-Mixtral-8x7B — дообученная на базе mistralai/Mixtral-8x7B-v0.1 языковая модель, представленная автором карточки как результат обучения на наборе Firefly и 48 тысячах примеров UltraChat. Она предназначена для генерации текста и диалоговых сценариев. Архитектура — Mixtral MoE; метаданные указывают 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. В карточке приведён результат 70,34 на Open LLM Leaderboard, однако методика и дата оценки не уточняются. В тегах указан английский язык. Модель опубликована под лицензией Apache-2.0. Карточка не описывает специальные инструменты, ограничения по применению или дополнительные модальности; выводы об этих свойствах делать нельзя.

FLOR-1.3B-Instructed — причинная языковая модель на архитектуре BLOOM, разработанная подразделением Language Technologies Unit Барселонского суперкомпьютерного центра в рамках проекта AINA. Модель содержит 1,7 млрд параметров по метаданным и рассчитана на генерацию текста; контекст составляет до 4096 токенов. Модель предназначена для инструкционных сценариев, включая суммаризацию, ответы на вопросы и творческое письмо. Она адаптирована для каталонского, испанского и английского языков на основе BLOOM-7.1B: изменены словарь и слой эмбеддингов, затем модель дополнительно обучалась на целевых языках и дообучалась на наборах инструкций. Репозиторий содержит веса в формате safetensors. Разработчик сообщает, что модель устарела и больше не поддерживается. Возможны смещения и нежелательные искажения, поскольку обучающие данные собирались из веб-источников; оценка токсичности и смещений не проводилась. Лицензия — Apache 2.0.

GaMS-2B — языковая модель семейства Generative Model for Slovene, разработанная исследовательской командой факультета компьютерных и информационных наук Люблянского университета. Она основана на Gemma 2 и продолжительно предобучена на корпусах на словенском, английском, хорватском, сербском и боснийском языках. Модель содержит 2,7 млрд параметров, использует плотную архитектуру Gemma2ForCausalLM, работает с текстом и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста, диалогов, суммаризации и ответов на вопросы, особенно на словенском и английском. Также её можно применять для языковой практики и исследований многоязычной обработки текста. Хорватский, сербский и боснийский использовались при обучении; возможно применение и к другим языкам Gemma 2, но они не были частью дополнительного предобучения. Модель может ошибаться в фактах, испытывать трудности с неоднозначностью и сложными задачами, а также воспроизводить смещения из обучающих данных. Распространяется по лицензии Gemma; перед применением следует учитывать её условия и политику допустимого использования Gemma.

ThomasBaruzier/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций instruction-tuned модели Gemma 2 27B, разработанной Google. Квантизации выполнены с помощью llama.cpp с использованием метода imatrix на основе оригинальной модели google/gemma-2-27b-it и калибровочного файла Bartowski. Модель предназначена для текстовой генерации, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии взаимодействия по инструкциям. Это decoder-only языковая модель формата text-to-text с открытыми весами; в README указана поддержка английского языка. Доступно множество вариантов квантизации от IQ1_S до Q8_0, а также F16, с размером файлов примерно от 5,8 до 51,9 ГБ. Более компактные варианты требуют меньше памяти, но уступают менее квантизированным версиям по измеренным показателям perplexity и accuracy. Сильной стороной набора является возможность запускать крупную 27-миллиардную модель в llama.cpp и выбирать компромисс между качеством, размером и требованиями к ресурсам. Ограничения включают потенциальную потерю качества при сильной квантизации, значительные требования к памяти для крупных вариантов и преимущественную ориентацию на английский язык. Контекстное окно и точные аппаратные требования в README не указаны. Использование модели регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию Google.

Gemma 2 2B IT — компактная текстовая модель Google, дообученная для следования инструкциям и диалогового взаимодействия на базе google/gemma-2-2b. Это декодерная языковая модель семейства Gemma, работающая по схеме «текст на входе — текст на выходе»; она поддерживается библиотекой Transformers и распространяется в формате Safetensors с открытыми весами по лицензии Gemma. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и диалоговых интерфейсов. Её небольшой размер позволяет запускать её на ноутбуке, настольном компьютере или собственной облачной инфраструктуре с ограниченными ресурсами. В README семейство описано как англоязычное. Ответы могут содержать фактические ошибки и отражать смещения обучающих данных; качество зависит от формулировки запроса и предоставленного контекста. Модель может испытывать трудности со сложными задачами, языковыми нюансами и здравым смыслом. Для приложений, где важны точность и безопасность, необходима проверка результатов и защитные меры.

IntervitensInc/gemma-2-9b-chatml — текстовая чат-модель на базе Gemma 2 от Google. В репозитории указано, что к модели добавлены токены ChatML для дообучения; архитектура — плотная decoder-only Gemma2ForCausalLM с 9 млрд параметров. Модель работает с текстом и поддерживает контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста: она может отвечать на вопросы, составлять краткие изложения, помогать с письмом и поддерживать исследовательские и учебные сценарии. README описывает семейство Gemma как англоязычное; сведения о специальном дообучении этой версии и его результатах не приводятся. Модель хранится в формате safetensors и использует библиотеку Transformers. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и затруднения с неоднозначными или сложными запросами; для применения нужны проверка результатов и меры безопасности.

Карточка модели Aliados/gemma-3-1b-it на Hugging Face совпадает с карточкой unsloth/gemma-3-1b-it, поэтому описание составлено по ней. unsloth/gemma-3-1b-it — диалоговая версия Gemma 3, размещённая Unsloth и основанная на Google/gemma-3-1b-it. Это плотная языковая модель Gemma3ForCausalLM примерно с 1 млрд параметров, предназначенная для генерации текста и общения по инструкциям. Репозиторий содержит веса в формате Safetensors; модель работает через Transformers и рассчитана на контекст до 32 768 токенов. Модель подходит для диалоговых помощников, черновиков текстов и писем, суммаризации и ответов на вопросы. В README описаны возможности семейства Gemma 3, включая мультимодальный ввод изображений, но этот конкретный чекпойнт имеет текстовую архитектуру и базовую модель Gemma 3 на 1 млрд параметров; поэтому поддержку изображений ему не приписываю. Метаданные указывают английский язык. Лицензия — Gemma. Как и другие генеративные модели, она может ошибаться в фактах, отражать смещения обучающих данных и хуже справляться с неоднозначными или сложными запросами. Качество зависит от промпта и контекста.

Это конвертированная версия инструкционной текстовой модели Gemma 3 270M IT от Google, подготовленная сообществом LM Studio. Весовая точность bf16 сохранена, а формат MLX оптимизирован для запуска на компьютерах Apple Silicon; архитектура — плотная авторегрессионная Gemma3ForCausalLM с примерно 257 млн параметров. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы и суммаризацию. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. В карточке не перечислены поддерживаемые естественные языки. Для распространения базовой модели указана лицензия Gemma; перед использованием следует учитывать её условия. MLX-версию предоставила команда LM Studio, разработчиком исходной модели является Google.

google/gemma-3-270m-qat-q4_0-unquantized — текстовая модель Google из семейства Gemma 3, основанная на google/gemma-3-270m. Метаданные классифицируют её как дообученную модель для генерации текста; веса размещены в формате safetensors. Суффикс имени указывает на QAT Q4_0, однако README и метаданные не объясняют, что именно означает «unquantized» для опубликованных весов. Модель предназначена для генерации текста и диалогов, ответов на вопросы и суммаризации. README семейства Gemma 3 описывает также ввод изображений и контекст до 128K токенов, но эти характеристики не подтверждены отдельно для данной компактной текстовой модели. В карточке заявлена поддержка более 140 языков; сведения о её основной языковой специализации отсутствуют. Возможные ограничения включают фактические ошибки, отражение предвзятости обучающих данных и трудности с неоднозначными формулировками и сложными задачами. Лицензия — Gemma; её условия использования следует учитывать при развёртывании.

Карточка модели unsloth/gemma-3-4b-it-qat на Hugging Face совпадает с карточкой google/gemma-3-4b-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Google Gemma 3 4B IT QAT Q4_0 Unquantized — мультимодальная модель для диалогов с текстом и изображениями, основанная на Gemma 3 4B IT. Несмотря на обозначение QAT Q4_0 в названии, метаданные указывают формат файлов safetensors; отдельная квантизация в них не подтверждена. Модель принимает текст и изображения и генерирует текст, поддерживает чат и предназначена для ответов на вопросы по изображениям, суммаризации и другим задачам генерации и понимания текста. В README семейство Gemma 3 описано как компактное, подходящее для локального запуска на ноутбуках и настольных компьютерах. Для семейства заявлены контекст до 128 тысяч токенов и поддержка более 140 языков; README не уточняет, подтверждены ли эти характеристики именно для данной сборки. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками и сложными задачами; для развёртывания следует учитывать эти ограничения и проверять результаты.

Google Gemma 3 4B IT QAT Q4_0 Unquantized — мультимодальная модель для диалогов с текстом и изображениями, основанная на Gemma 3 4B IT. Несмотря на обозначение QAT Q4_0 в названии, метаданные указывают формат файлов safetensors; отдельная квантизация в них не подтверждена. Модель принимает текст и изображения и генерирует текст, поддерживает чат и предназначена для ответов на вопросы по изображениям, суммаризации и другим задачам генерации и понимания текста. В README семейство Gemma 3 описано как компактное, подходящее для локального запуска на ноутбуках и настольных компьютерах. Для семейства заявлены контекст до 128 тысяч токенов и поддержка более 140 языков; README не уточняет, подтверждены ли эти характеристики именно для данной сборки. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками и сложными задачами; для развёртывания следует учитывать эти ограничения и проверять результаты.

silvainrichou/gemma-3b-002 — текстовая генеративная модель на архитектуре Gemma, опубликованная пользователем silvainrichou. Карточка описывает семейство Gemma от Google: компактные декодерные языковые модели, созданные на основе технологий, использованных для Gemini. В репозитории указаны 3,2 млрд параметров, формат Safetensors и контекст до 8192 токенов; модель предназначена для общения и генерации текста. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, черновиков текстов и языковых учебных инструментов. README указывает английский как язык семейства. Компактный размер позволяет запускать такие модели на локальных компьютерах или в облачной инфраструктуре с ограниченными ресурсами. Как и другие языковые модели, Gemma может ошибаться в фактах, испытывать трудности со сложными инструкциями, нюансами языка и здравым смыслом, а также воспроизводить смещения из обучающих данных. В метаданных лицензия обозначена как other; конкретные условия следует проверять в лицензии репозитория и правилах использования Gemma.

unsloth/gemma-3n-E2B-it — дообученная Unsloth версия диалоговой модели Google Gemma 3n E2B-it. Это плотная мультимодальная архитектура Gemma3n, однако карточка этой версии сообщает о поддержке только текстового ввода. Модель предназначена для диалога и генерации текста; её можно использовать для ответов на вопросы и ведения беседы. Заявленная длина контекста Gemma 3n — до 32 тыс. токенов. В метаданных указаны английский язык и библиотека Transformers. Модель распространяется по лицензии Gemma; перед использованием следует учитывать её условия. Карточка не приводит отдельные сведения о качестве этой версии.

unsloth/gemma-3n-E4B-it-litert-preview-GGUF — это GGUF-версия инструкционно настроенной модели Gemma 3n E4B от Google DeepMind, подготовленная Unsloth на основе google/gemma-3n-E4B-it-litert-preview. Семейство Gemma создано с использованием технологий и исследований Google, применявшихся при разработке Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и суммаризации документов. Gemma 3n ориентирована на эффективный запуск на устройствах с ограниченными ресурсами. В исходной конфигурации семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текстовых ответов, однако для данной версии в README заявлена только текстовая поддержка. Максимальный контекст составляет 32K токенов. Модель использует технологию выборочной активации параметров, благодаря чему эффективный размер составляет около 4B параметров при меньших требованиях к ресурсам, чем у моделей с полностью активными параметрами сопоставимого общего размера. Обучение проводилось на данных более чем для 140 разговорных языков, но в карточке явно указан язык en, поэтому возможности для других языков не гарантируются. Для корректной работы рекомендуется использовать параметры temperature 1.0, top_k 64 и top_p 0.95. Модель распространяется на условиях лицензии Gemma; применяются официальные Terms of Use Google. Ограничениями являются заявленная в этой версии текстовая поддержка, отсутствие в карточке подробностей об архитектуре, полном числе параметров и результатах бенчмарков, а также необходимость учитывать требования GGUF-совместимого программного обеспечения.

Карточка модели abideen/gemma-7b-openhermes на Hugging Face совпадает с карточкой QueryloopAI/gemma-7b-openhermes, поэтому описание составлено по ней. QueryloopAI/gemma-7b-openhermes — диалоговая языковая модель на архитектуре Gemma, дообученная разработчиком на базе google/gemma-7b-it с помощью QLoRA на данных предпочтений OpenHermes-2.5. Модель содержит 8,2 млрд параметров, распространяется в формате Safetensors и рассчитана на генерацию текста и следование инструкциям в формате чата; для диалогового использования следует применять встроенный шаблон чата токенизатора. Модель принимает текстовые запросы, вопросы и документы и генерирует ответы или краткие изложения на английском языке. Указанное контекстное окно — 8192 токена. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. В README приведены результаты нескольких бенчмарков; они не гарантируют качество на конкретных задачах.

GigaChat-20B-A3B-instruct-v1.5-bf16 — диалоговая модель семейства GigaChat, основанная на ai-sage/GigaChat-20B-A3B-instruct-v1.5. В репозитории указана архитектура DeepseekForCausalLM, формат весов PyTorch bf16 и размер 3,1 млрд параметров. Модель рассчитана на диалог и генерацию текста, поддерживает контекст до 131 072 токенов и русский и английский языки. В этой версии улучшен alignment: в README сообщается о росте результатов Arena Hard RU с 20,8 до 29,6 и Arena General с 41,1 до 49,1; остальные приведённые метрики остались на прежнем уровне. Подходит для ведения диалога и генерации ответов на запросы. Для запуска README приводит пример использования с Transformers, PyTorch и Accelerate; также доступны варианты весов fp32 и int8, а отдельно — сборки GGUF и Ollama. Модель дообучена на базовой версии GigaChat-20B-A3B-instruct-v1.5 и распространяется по лицензии MIT. Результаты метрик отражают сведения из карточки модели; независимые оценки качества и ограничения в предоставленном README не описаны.

GLM-5.3-Flash-GGUF — это квантизированная GGUF-версия модели GLM-5.3-Flash, разработанной zai-org и преобразованной с использованием llama.cpp пользователем qtum. Модель предназначена для генерации текста и запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель содержит 320 млрд общих параметров, из которых 18 млрд активируются для отдельного токена. Архитектура включает 45 слоёв гибридного внимания: 34 слоя KDA с линейным вниманием и 11 слоёв DSA с разреженным вниманием, построенных на MLA и дополненных Manifold-Constrained Hyper-Connections. Используется MoE с 288 экспертами, маршрутизацией top-8 и общим экспертом. Максимальная длина контекста заявлена до 1 млн токенов. В репозитории представлены квантизации IQ4_XS, IQ3_XXS, IQ2_XS и IQ1_M; каждая поставляется в 15 сегментах. IQ4_XS и IQ3_XXS рекомендуются как варианты с меньшей деградацией качества, тогда как IQ2_XS и IQ1_M существенно экономят память, но заметно ухудшают показатели. Сильными сторонами модели являются большой контекст, MoE-архитектура с относительно небольшим числом активных параметров и несколько уровней квантизации для разных ограничений по памяти. Ограничения включают очень большой размер файлов, необходимость загрузить все 15 сегментов и зависимость качества от выбранного уровня квантизации. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.

GPT-6.1 Sol Pro — вариант GPT-6.1 Sol, который, согласно карточке модели, использует ту же базовую модель с режимом reasoning.mode=pro для более качественных ответов на сложные задачи. Это модель для диалогового взаимодействия и решения сложных задач; подробности об архитектуре, размере, модальностях и поддерживаемых языках в предоставленных данных отсутствуют. Режим Pro расходует значительно больше ресурсов, поэтому его применение может быть дороже.

Granite Guardian 3.2 8B Factuality Detection — модель IBM Research на базе ibm-granite/granite-3.2-8b-instruct, дообученная выявлять фактические ошибки в ответах языковых моделей. Она принимает ответ модели и исходный контекст, а затем выдаёт метку «Yes» или «No»: содержит ли ответ утверждения, не подтверждённые контекстом или противоречащие ему. Модель предназначена для контроля ответов LLM, в том числе в корпоративных системах и сценариях RAG, а также для мониторинга и выборочной проверки результатов. Это плотная авторегрессионная модель архитектуры Granite с 8,2 млрд параметров и контекстом до 131 072 токенов. Карточка указывает, что обучение и тестирование проводились только на английских данных. Модель оптимизирована для обнаружения риска фактической недостоверности и работает в заданном формате оценки; она не предназначена для универсальной проверки других рисков. Лицензия — Apache 2.0.

h2oai/h2ogpt-gm-7b-mistral-chat-sft-dpo-rag-v1 — разговорная языковая модель H2O.ai, обученная с помощью H2O LLM Studio на базе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых сценариев. Модель подходит для создания ответов в чате, подготовки черновиков и помощи с вопросами по предоставленному контексту. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Карточка сообщает об обучении SFT и DPO, а также указывает RAG в названии, но не описывает отдельные механизмы извлечения документов или гарантии точности ответов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Ответы могут быть ошибочными, бессвязными, предвзятыми или оскорбительными, поэтому важные сведения требуют проверки.

haLLawa4-7b — слитая языковая модель, опубликованная AbacusResearch. Она объединяет Monarch-7B, OGNO-7B и haLLAwa3 с помощью mergekit и метода DARE-TIES; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и общих языковых задач, включая диалог и ответы на запросы. Контекстное окно составляет 32 768 токенов. Модель подходит для создания ответов и текста, а опубликованные результаты включают оценки на AI2 Reasoning Challenge и HellaSwag. README не сообщает отдельного перечня языков или специализированных областей применения, поэтому модель следует рассматривать как общего назначения. Лицензия — Apache-2.0.

INEX4-7b — языковая модель, созданная Liminerity с помощью mergekit путём слияния моделей liminerity/merge2 и liminerity/merge1. Она предназначена для генерации текста и решения задач на рассуждение; в карточке приведены результаты оценивания на Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Опубликованные веса доступны в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

IntervitensInc опубликовала преобразованную версию InternLM2.5-20B с архитектурой Llama для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; размер модели составляет 19,3 млрд параметров. В README говорится, что конвертация и ручная правка токенизатора должны сохранять поведение исходной модели при температуре 0, однако это проверено лишь на небольших тестах и не подтверждено всесторонне. Модель предназначена для диалоговых сценариев, рассуждений и работы с длинным контекстом. README описывает исходную InternLM2.5 как модель с заявленной поддержкой контекста до 1 млн токенов, а метаданные этого репозитория указывают нативный контекст 262 144 токена; для этой сборки следует ориентироваться на значение из метаданных. В README приведены результаты оценки исходной модели на MMLU, CMMLU и BBH, но они не являются отдельной оценкой конвертированной версии. В README перечислены китайский и английский наборы оценки, что указывает на релевантность китайского и английского языков; метаданные не задают языковые коды. Модель может генерировать предвзятые, дискриминационные или иные нежелательные ответы. Указана лицензия Apache-2.0 для кода; для весов README сообщает об открытом доступе для академических исследований и необходимости запросить бесплатное коммерческое разрешение.

InternLM-7B — базовая плотная авторегрессионная языковая модель семейства InternLM, разработанная командой InternLM. Модель содержит 6,9 млрд параметров и обучена на триллионах качественных токенов; её можно использовать как основу для практических сценариев и собственных рабочих процессов с инструментами. Модель предназначена для генерации текста, ответов на вопросы и решения общих языковых задач, включая задачи на знания, понимание и рассуждение. В README приведены результаты оценки на C-Eval, MMLU и AGIEval. Контекст составляет 2048 токенов; репозиторий содержит веса PyTorch. Модель поддерживает китайский и английский языки. Она может генерировать предвзятые, дискриминационные или иные нежелательные ответы. Код распространяется по Apache-2.0; для весов указана открытость для академических исследований и возможность запросить бесплатную коммерческую лицензию.

Iris-mini APEX-I-MiniPlus-V2.1 GGUF — квантизированная версия модели AllSpark-Research/Iris-mini, подготовленная IsValorum для запуска через llama.cpp и совместимые инструменты. Это текстовая генеративная модель со sparse Mixture-of-Experts: заявлены 40 слоёв и 256 микроэкспертов. Модель поддерживает контекст до 256K токенов и предназначена для локального запуска на рабочих станциях с ограниченной видеопамятью, включая частичный или полный offload в системную RAM. Квантизация использует смешанную схему APEX-I-MiniPlus V2.1: маршрутизаторы gate_inp сохранены в F32, выходная матрица — в Q6_K, attention-компоненты используют Q4_K и Q6_K, attention gates — Q8_0, а основные эксперты — IQ3_XXS; общий размер заявлен примерно 13,74 GiB. Это ориентировано на сохранение качества рассуждений, синтаксической стабильности и устойчивости при длинном контексте при меньшем размере, чем у менее агрессивных квантизаций. В README приведён показатель WikiText-2 perplexity 5,3735 ± 0,1214, но независимые условия тестирования не описаны. Модель предназначена для генерации текста, рассуждений и задач, где важны большие контекстные окна; заявлена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Сильными сторонами являются компактный размер, сохранение маршрутизации MoE и возможность использовать системную RAM для KV-кэша и вычислений. Ограничениями остаются зависимость скорости от видеопамяти, пропускной способности RAM и архитектуры процессора, а также возможная потеря качества, характерная для квантизированных моделей. Распространяется по лицензии Apache-2.0.

djuna/L3.1-Promissum_Mane-8B-Della-calc — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом della. В качестве основы использована unsloth/Meta-Llama-3.1-8B, также объединены DreadPoor/Spei_Meridiem-8B-model_stock, DreadPoor/Heart_Stolen1.1-8B-Model_Stock и DreadPoor/Aspire1.1-8B-model_stock. Модель содержит около 7,5 млрд параметров и рассчитана на генерацию текста и диалоговое использование; нативная длина контекста — до 131 072 токенов. Модель принимает текст и генерирует текст. README приводит результаты Open LLM Leaderboard, включая оценки IFEval и BBH, но не описывает специализацию на конкретной предметной области или языках. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

LettuceDetect от KRLabsOrg — модель для выявления галлюцинаций в ответах RAG. Она принимает контекст и ответ и выполняет токенную классификацию, отмечая фрагменты ответа, которые не подтверждаются контекстом. Модель построена дообучением EuroBERT-210m, имеет около 211,7 млн параметров и поддерживает контекст до 8192 токенов. Модель рассчитана на китайский язык и обучена на китайской версии датасета RagTruth. Она предназначена для проверки ответов на основе документов и подсветки неподтверждённых утверждений. В опубликованной оценке на переведённом RAGTruth-CN указана F1-мера 74,41%; результаты могут отличаться на других данных. Лицензия — MIT.

LettuceDetect — модель KRLabsOrg для выявления галлюцинаций в ответах немецкого языка в RAG-сценариях. Это дообученный EuroBERT-210M с архитектурой EuroBertForTokenClassification и 211,7 млн параметров. Модель получает контекст и ответ и помечает на уровне токенов фрагменты ответа, которые не подтверждаются контекстом; предсказания можно объединить в диапазоны, чтобы показать проблемные места. Модель обучена на немецкой версии датасета RagTruth, переведённой с исходного RAGTruth. Поддерживает контекст до 8192 токенов и рассчитана на применение в мультиязычных RAG-системах, хотя карточка описывает именно немецкую модель. В README приведены F1 66,70% на тесте Translated RAGTruth-DE и 68,32% на вручную проверенной выборке из 300 примеров; показатели относятся к описанным наборам оценки. Модель распространяется по лицензии MIT.