I.2Синтез, понимание и проверка знаний

AI21 Jamba Reasoning 3B — компактная языковая модель для генерации текста и задач рассуждения, разработанная компанией AI21. Она предназначена для локального и периферийного развертывания, анализа документов и последовательностей, классификации, ответов на вопросы и других сценариев, где важны сочетание качества, скорости и работы с длинным контекстом. Модель содержит около 3 млрд параметров и построена на гибридной архитектуре Transformer–Mamba: 26 слоёв Mamba и 2 слоя внимания. Используется 20 голов внимания с MQA, словарь включает 64 тысячи токенов, а максимальная длина контекста заявлена на уровне 256 тысяч токенов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. Доступны GGUF-квантизации, включая вариант Q4_K_M размером около 1,93 ГБ, что упрощает запуск на ноутбуках, GPU и мобильных устройствах через llama.cpp, LM Studio или Ollama. К сильным сторонам относятся высокая эффективность обработки последовательностей, сниженные требования к памяти, большой контекст и заявленные конкурентные результаты на ряде интеллектуальных бенчмарков. Ограничения включают компактный размер модели, который может уступать более крупным системам в сложных задачах, а также возможное снижение качества при использовании сильной квантизации. Модель распространяется по лицензии Apache 2.0; в карточке также указано название лицензии Jamba Open Model License и приведена отдельная ссылка на её текст.

Это дообученная модель генерации текста на архитектуре Llama 2 с 12,9 млрд параметров, созданная автором репозитория на основе NousResearch/Yarn-Llama-2-13b-64k. К модели применён merged QLoRA fine-tune ранга 64 на наборе инструкций Airoboros 2.1; базовая версия использует YaRN для расширения рабочего контекста до 65 536 токенов. Модель предназначена для ответов на инструкции и вопросы, а также генерации текста с учётом длинного контекста. В описании приведены результаты тестов на ARC, Hellaswag и MMLU и сравнение perplexity на разных длинах контекста. Репозиторий содержит веса safetensors; для запуска через Transformers требуется trust_remote_code=True и совместимая реализация YaRN. Автор указывает, что короткоконтекстные результаты конкурентны с некоторыми моделями сравнения, но также отмечает необходимость дальнейшей проверки качества на длинном контексте. Лицензия в доступных данных не указана.

Alfred-40B-1023 — языковая модель LightOn, дообученная на базе Falcon-40B. Это причинная авторегрессионная модель с архитектурой Falcon/RefinedWeb и примерно 65 млрд параметров; она предназначена для диалогов и выполнения инструкций. Модель доступна под лицензией Apache 2.0. Модель обучена на англоязычных, немецких, испанских и французских данных, а также имеет ограниченные возможности для итальянского, португальского, польского, нидерландского, румынского, чешского и шведского языков. Контекст расширен до 8192 токенов методом NTK-YaRN. Обучение использовало короткие и длинные задачи, включая диалоговые данные и наборы для работы с длинным контекстом. Модель подходит для создания чат-ассистентов, ответов на запросы и обработки длинных текстовых входов. Ограничения включают слабую переносимость на языки, не представленные в обучении, и возможное воспроизведение стереотипов и смещений из веб-данных. Для практического применения карточка рекомендует оценивать риски и применять защитные меры.

andreasmartin выпустил конверсию текстовой модели Apertus 1.5 8B в формате MLX с точностью FP16. Модель основана на andreasmartin/apertus-v1.5-8b-text и предназначена для генерации текста и диалогового взаимодействия; карточка базовой модели также указывает сценарии RAG, рассуждений и вызова инструментов. Архитектура — плотная причинная языковая модель ApertusForCausalLM с 10,3 млрд параметров и контекстом до 262 144 токенов. Модель рассчитана на многоязычное текстовое взаимодействие. Репозиторий распространяется по лицензии Apache-2.0. В README описана конверсия в MLX с помощью mlx-lm 0.31.2; метаданные указывают формат safetensors.

AREX-Base — большая модель исследовательского агента семейства AREX, разработанного Пекинской академией искусственного интеллекта (BAAI). Она предназначена для длительных задач поиска информации, сбора и проверки свидетельств из нескольких источников и подготовки ответов с учётом множества ограничений. Модель дообучена на Qwen/Qwen3.5-122B-A10B и использует архитектуру Mixture-of-Experts: 122 млрд параметров всего, из них 10 млрд активируются при обработке. Контекстное окно составляет 262 144 токена. AREX-Base поддерживает диалог и интерфейс вызова инструментов. В исследовательском цикле она сохраняет проверенные выводы, источники, отвергнутые варианты и нерешённые вопросы, а затем уточняет план поиска, проверяет предварительный ответ и при необходимости продолжает исследование или начинает его заново. Модель предназначена для агентных сценариев с многоэтапным поиском, просмотром источников и интеграцией свидетельств; README описывает работу с текстовыми данными и инструментами, а метаданные указывают мультимодальную базовую модель Qwen. В карточке заявлена лицензия Apache-2.0. Большой размер модели предполагает высокую стоимость обслуживания; качество ответов зависит от доступных источников и подключённых инструментов.

Jebadiah/Aria-daughter-128k — слитая линейным методом модель на основе двух инструктивных языковых моделей: Nitral-AI/Echidna-7b-128k и gradientai/Llama-3-8B-Instruct-262k. По архитектуре это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Контекстное окно составляет 262 144 токена; модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель подходит для ведения диалогов, генерации ответов и работы с длинными текстами в пределах её контекста. Карточка не сообщает отдельные языковые или предметные специализации. Лицензия в предоставленных данных не указана.

ASTRAL-256k-5.5b — языковая модель от разработчика aww для генерации текста и диалогов. Она построена на архитектуре MistralForCausalLM, имеет 1,6 млрд параметров и поддерживает контекст до 256 000 токенов, что подходит для работы с длинными документами и продолжительными беседами. Модель принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Модель предназначена для создания статей, отчётов и художественных текстов, чат-ботов, суммаризации и перевода больших документов. Карточка также заявляет оптимизацию вычислений, включая запуск с bfloat16, но не приводит сравнительных результатов. Модель распространяется по лицензии Apache-2.0.

Athena-R3-1.5B — причинная языковая модель на 1,5 млрд параметров, разработанная Aayan Mishra и дообученная на базе deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B для усиления навыков рассуждения. Она предназначена для решения сложных задач, логического анализа, ответов на вопросы по математике и науке, а также для генерации, дополнения и суммаризации текста. Модель использует архитектуру Qwen2 с RoPE, SwiGLU, RMSNorm и Grouped Query Attention; в ней 24 слоя, 16 голов для запросов и 2 для ключей и значений. Контекст — до 131 072 токенов. Карточка указывает поддержку многих языков, включая английский, китайский, русский, французский, испанский, немецкий, японский и другие; лучше всего модель работает на английском. Доступны веса в формате safetensors, библиотека Transformers, лицензия MIT. Модель может ошибаться и наследует смещения обучающих данных; её знания ограничены августом 2024 года. Она не предназначена для критически важных систем реального времени или обработки чувствительных персональных данных.

Blaze.1-27B-Preview — языковая модель на 27,6 млрд параметров, разработанная на базе Google Gemma 2 27B IT и дообученная на синтетических наборах данных для многошаговых рассуждений. Это плотная авторегрессионная модель семейства Gemma 2, предназначенная для генерации текста и диалога; веса опубликованы в формате Safetensors, исходная точность — bfloat16. Размер контекста — 8192 токена. Модель подходит для ответов на вопросы, суммаризации, следования инструкциям, решения математических и логических задач, сложного анализа и генерации длинных текстов. Основной заявленный язык — английский. Для запуска и дообучения требуются значительные вычислительные ресурсы. Модель может ошибаться в рассуждениях и фактах, а качество ответов зависит от формулировки запроса; на длинных входах связность может снижаться. Лицензия — Gemma.

Карточка модели opencompass/CompassJudger-1-14B-Instruct на Hugging Face совпадает с карточкой opencompass/CompassJudger-1-7B-Instruct, поэтому описание составлено по ней. CompassJudger-1-7B-Instruct — разработанная OpenCompass модель-судья на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Это плотная авторегрессионная языковая модель семейства Qwen2, предназначенная для оценки ответов и моделей по инструкциям пользователя. Модель поддерживает выставление оценок, попарное сравнение, подробную критику и отзывы в заданном формате. Её можно применять для автоматической оценки ответов на субъективных наборах данных и как универсальную инструктивную модель для диалогов и повседневных задач. Контекст — до 32 768 токенов; README также отмечает возможность ускоренного инференса через vLLM и LMDeploy. Модель принимает и генерирует текст. Языки в карточке не перечислены. Лицензия — Apache-2.0. Оценки модели-судьи могут зависеть от формулировки критериев и смещений при автоматической оценке; README не приводит конкретных ограничений качества.

Карточка модели opencompass/CompassJudger-1-32B-Instruct на Hugging Face совпадает с карточкой opencompass/CompassJudger-1-7B-Instruct, поэтому описание составлено по ней. CompassJudger-1-7B-Instruct — разработанная OpenCompass модель-судья на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Это плотная авторегрессионная языковая модель семейства Qwen2, предназначенная для оценки ответов и моделей по инструкциям пользователя. Модель поддерживает выставление оценок, попарное сравнение, подробную критику и отзывы в заданном формате. Её можно применять для автоматической оценки ответов на субъективных наборах данных и как универсальную инструктивную модель для диалогов и повседневных задач. Контекст — до 32 768 токенов; README также отмечает возможность ускоренного инференса через vLLM и LMDeploy. Модель принимает и генерирует текст. Языки в карточке не перечислены. Лицензия — Apache-2.0. Оценки модели-судьи могут зависеть от формулировки критериев и смещений при автоматической оценке; README не приводит конкретных ограничений качества.

Карточка модели ckoozzzu/d3 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

ERNIE-4.5-300B-A47B-2Bits-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и размещённая в формате SafeTensors для запуска на PaddlePaddle. Она предназначена для диалогов, понимания языка и генерации текста; README также описывает веб-поиск с передачей вопроса, даты и найденных ссылок в промпте. Модель содержит 300 млрд параметров, из которых для каждого токена активируются около 47 млрд, и поддерживает контекст до 131 072 токенов. В README говорится о мультимодальном обучении семейства ERNIE 4.5, однако эта версия обозначена как текстовая, поэтому не следует считать, что она принимает изображения. Репозиторий указывает 47,1 млрд параметров; это расходится с общим описанием 300 млрд параметров и 47 млрд активированных параметров, вероятно, из-за способа учёта параметров. Для эксплуатации README приводит пример FastDeploy с квантизацией WINT4 и параллелизмом по тензорам. Лицензия — Apache-2.0.

EVA-Meissa-big-pro-v2 — объединённая языковая модель на архитектуре Qwen2, созданная автором win10 с помощью mergekit и метода passthrough. В слияние включена win10/EVA-Meissa-mini-pro-v2; метаданные также указывают её как базовую модель и описывают связь как дообучение. Модель предназначена для генерации текста и диалогового общения. Она содержит 21,1 млрд параметров, принимает текст и имеет контекстное окно до 65 536 токенов. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

EXAONE-3.5-32B-Instruct — плотная языковая модель с инструкционной настройкой, разработанная LG AI Research. Она содержит 31,5 млрд параметров по метаданным; в карточке указаны 30,95 млрд параметров без эмбеддингов, 64 слоя и архитектура внимания GQA с 40 Q-головами и 8 KV-головами. Модель работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста на английском и корейском языках, включая работу с длинными контекстами и общие задачи понимания и создания текста. Её можно использовать для ответов на вопросы, инструкций и суммаризации; в метаданных также отмечена поддержка классификации текста. Карточка сообщает о риске некорректных, устаревших, предвзятых или неподходящих ответов. Лицензия указана как «other», поэтому конкретные условия использования следует проверять в репозитории модели.

Experiment28T3q_Experiment24Experiment28 — объединённая модель генерации текста, созданная путём слияния моделей automerger/Experiment28T3q-7B и automerger/Experiment24Experiment28-7B. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; для генерации текста поддерживает контекст до 32 768 токенов. Модель может применяться для диалогов, написания черновиков и продолжения текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0.

Falcon-H1-34B-Instruct — многоязычная инструктивная языковая модель, разработанная Technology Innovation Institute (TII). Это плотная авторегрессионная модель с гибридной архитектурой Transformers и Mamba; для работы доступны Transformers, vLLM и llama.cpp. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения и ответы на инструкции. Модель содержит 29,6 млрд параметров и поддерживает контекст длиной до 262 144 токенов. В метаданных перечислены арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский языки. В README приведены результаты сравнительной оценки на нескольких наборах задач, но они не гарантируют одинакового качества для всех языков и сценариев. Модель дообучена на базе tiiuae/Falcon-H1-34B-Base; лицензия — Falcon-LLM License, обозначенная в метаданных как other, поэтому перед использованием следует проверить её условия.

FastwebMIIA — языковая модель Fastweb с 7 млрд параметров на авторегрессионной архитектуре Transformer с декодером и RoPE. Она рассчитана прежде всего на итальянский язык и культурный контекст, также обучена на английском. Собственный токенизатор Fastweb оптимизирован для итальянского, английского и основных языков программирования; словарь содержит 50 000 токенов, контекстное окно — 16 тыс. токенов. Модель принимает текст и предназначена для диалоговой помощи, генерации контента, суммаризации и извлечения информации, в том числе из длинных документов и многоходовых бесед. По карточке, веса на Hugging Face доступны для некоммерческих исследований, образования и внутреннего применения; коммерческое использование требует отдельной коммерческой лицензии Fastweb. Ответы могут быть фактически неверными, неполными или предвзятыми, поэтому модель не следует считать авторитетным источником или заменой профессионального суждения. Для важных решений и применений с существенными рисками необходима проверка человеком.

FLAN-T5-XXL — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Это вариант с 5,8 млрд параметров, построенный на архитектуре encoder-decoder T5; модель принимает текст и генерирует текст в формате text-to-text. Она предназначена для выполнения разнообразных задач по текстовой инструкции, включая ответы на вопросы, рассуждения и few-shot- или zero-shot-сценарии. Карточка указывает английский, немецкий и французский языки; метаданные также отмечают румынский и многоязычность. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache 2.0. FLAN-T5-XXL может служить основой для прототипов и исследований языковых моделей, обработки естественного языка и обучения на примерах в запросе. Авторы сообщают о сильных результатах на разных бенчмарках, однако модель не тестировалась в реальных приложениях. Она может воспроизводить смещения и неподходящий контент из обучающих данных, поэтому перед применением в конкретном продукте необходима оценка качества, безопасности и справедливости.

FRED-T5 1.7B — русскоязычная предварительно обученная модель семейства T5, разработанная SberDevices. Она предназначена для генерации и преобразования текста на русском языке, включая сценарии, где задачу задают префиксом. Архитектура — плотный T5 с 24 слоями и размером скрытого состояния 1536; обучение проводилось на корпусе русского языка объёмом 300 ГБ с использованием смеси из семи denoising-задач, близких к UL2. Для отдельных задач применялось дополнительное мультитасковое обучение и продолжение обучения на лучшем чекпойнте. Модель подходит для экспериментов и прикладных задач генерации, перефразирования, суммаризации и других преобразований русскоязычного текста. В метаданных указано 870,1 млн параметров, формат весов PyTorch и поддержка русского языка. Модель распространяется по лицензии Apache-2.0.

GDN-primed-HQwen3-32B-Instruct — гибридная языковая модель, разработанная командой Hybrid Model Factory на основе Qwen3-32B с помощью конвейера Priming. Это инструкционно настроенная причинная языковая модель с 64 слоями: 32 слоя Attention и 32 слоя Gated DeltaNet (GDN), разновидности модели пространства состояний. Веса представлены в формате safetensors, заявленный размер — 29,7 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; карточка указывает поддержку диалога и выполнения инструкций. Модель предназначена для диалога, ответов на вопросы, следования инструкциям, задач по математике, знаниям, программированию и рассуждению, в том числе при работе с длинным контекстом. По данным разработчика, гибридная архитектура сокращает нагрузку на KV-кэш и может ускорять генерацию на длинных контекстах, сохраняя близкое к базовой модели качество; в опубликованных оценках отставание от Transformer-базовой модели составляет около 2,5–3 пунктов на длинных контекстных задачах и около 1–1,5 пункта в среднем на коротких задачах. Эти результаты зависят от сценария и условий запуска. Модель не является reasoning-чекпойнтом и не поддерживает вызов инструментов. Доступна по лицензии Apache 2.0.

Карточка модели IntervitensInc/gemma-2-27b-chatml на Hugging Face совпадает с карточкой google/gemma-2-27b, поэтому описание составлено по ней. Gemma 2 27B — текстовая авторегрессионная языковая модель семейства Gemma, разработанного Google с использованием исследований и технологий, применявшихся при создании Gemini. Модель доступна с открытыми весами и предназначена для генерации текста; семейство Gemma включает предварительно обученные и настроенные для следования инструкциям варианты. В репозитории указаны формат safetensors и библиотека Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и рассуждений по чётко сформулированным запросам. В README заявлена поддержка английского языка; конкретные размер контекстного окна и число параметров здесь не приведены. Открытые веса позволяют запускать модель на собственном оборудовании или в облачной инфраструктуре. Ограничения включают возможные фактические ошибки, предвзятость, трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия — Gemma; перед использованием следует соблюдать условия лицензии и политику допустимого использования Gemma.

Gemma 2 9B — текстовая авторегрессионная модель семейства Gemma, разработанная Google. Это базовая предварительно обученная версия с открытыми весами; README также описывает семейство в целом, включая варианты, дообученные для следования инструкциям. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации и рассуждений, а её сравнительно компактный размер позволяет запускать её на персональных компьютерах и в собственной облачной инфраструктуре. Модель принимает текст и генерирует текст. В карточке семейство указано как англоязычное; конкретная длина контекста и число параметров не приведены в предоставленных данных. Модель может выдавать неточные или устаревшие сведения, испытывать трудности со сложным контекстом, нюансами языка и здравым смыслом, а также воспроизводить предвзятости обучающих данных. Лицензия — Gemma, с условиями и ограничениями, заданными политиками Google для использования моделей Gemma.

duyntnet/gemma-3-12b-it-imatrix-GGUF — набор квантованных GGUF-вариантов инструкционно дообученной мультимодальной модели Gemma 3 12B IT, разработанной Google. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений с выдачей текстового ответа. Квантованные варианты ориентированы на локальный запуск с ограниченными ресурсами через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, LM Studio и другие. Модель принимает текст и изображения: изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов каждое. Заявлены поддержка более 140 языков, контекст до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Использование imatrix-квантизации уменьшает требования к памяти по сравнению с полноразмерными весами, но конкретные характеристики качества и расхода ресурсов зависят от выбранного файла квантизации. Сильными сторонами являются мультимодальность, большой контекст, многоязычность и возможность локального развертывания. Ограничения включают зависимость от совместимого программного обеспечения: для запуска требуется llama.cpp версии b4875 или новее; квантование также может снижать точность по сравнению с исходной моделью. В README лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной Gemma 3 12B IT и конкретного файла модели.

Gemma 3 12B PT — предобученная мультимодальная модель Google из семейства Gemma 3 с открытыми весами. Она принимает текст и изображения и генерирует текст; модель предназначена для понимания изображений и языковых задач, включая ответы на вопросы, суммаризацию и рассуждения. Размер модели — 12 млрд параметров, контекстное окно — до 128 тыс. токенов, поддерживаются более 140 языков. Версия PT является базовой предобученной моделью, а не вариантом, настроенным для следования инструкциям. Модель можно применять для описания и интерпретации изображений, извлечения из них сведений, диалоговых интерфейсов, создания и обобщения текстов. Относительно компактный размер позволяет развертывать её на локальных компьютерах и в собственной облачной инфраструктуре. К ограничениям относятся возможные фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами; для применения следует учитывать требования безопасности Google Gemma. Лицензия — Gemma.

Gemma 3n E4B-it LiteRT-LM — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для эффективного выполнения на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, настольные компьютеры и собственную облачную инфраструктуру. Модель подходит для ответов на вопросы, суммаризации, рассуждений, анализа изображений, а также обработки аудио- и видеоданных с генерацией текстовых ответов. Модель поддерживает текстовые, визуальные, аудио- и видеовходы и принимает контекст объёмом до 32K токенов; максимальная длина вывода составляет до 32K токенов за вычетом входных токенов. Изображения подаются в разрешениях 256×256, 512×512 или 768×768 и кодируются по 256 токенов каждое, аудио — со скоростью 6,25 токена в секунду для одного канала. Gemma 3n использует selective parameter activation и архитектуру Matformer, благодаря чему эффективный размер модели составляет около 4B параметров при меньших требованиях к ресурсам. Указанная версия доступна в формате LiteRT-LM и использует int4-квантизацию весов с float-активациями. К сильным сторонам относятся мультимодальность, возможность локального запуска и оптимизация для мобильных и других малоресурсных устройств. Модель обучалась на данных более чем на 140 разговорных языках, однако конкретный перечень языков и гарантии качества для каждого из них не указаны. Производительность зависит от устройства, аппаратного ускорения, кэширования и текущей нагрузки; приведённые benchmarks относятся к preview-версии LiteRT-LM и не гарантируют такие же результаты в других условиях. Для использования требуется принять условия лицензии Gemma Google.

Gemma-4-26B-A4B-it-NVFP4 — community-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, опубликованная пользователем или организацией bg-digitalservices. Это мультимодальная модель для генерации текста, обработки изображений и видео, предназначенная для диалоговых приложений, следования инструкциям, рассуждений и работы с длинным контекстом. Модель использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых 3,8 млрд активны для каждого токена. В ней 128 экспертов, одновременно выбираются 8. Поддерживается контекст до 256K токенов и мультиязычный режим. Квантизация выполнена в формате W4A4: веса представлены в FP4, активации — в FP16. Размер модели на диске составляет около 16,5 ГБ вместо примерно 49 ГБ у версии BF16, что обеспечивает примерно двукратное ускорение генерации в протестированной конфигурации. Сильной стороной модели является существенное сокращение требований к памяти при сохранении около 97,6% среднего качества относительно BF16-версии в указанных тестах. Следование инструкциям почти не ухудшается, однако задачи математического рассуждения теряют около 4 процентных пунктов из-за накопления ошибок округления. Для запуска рекомендуется совместимая сборка vLLM с поддержкой Gemma 4 и NVIDIA Model Optimizer; тестирование проводилось на NVIDIA DGX Spark с GPU GB10 Blackwell. Веса vision encoder оставлены в BF16. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-31B-it-GGUF — это квантизированная GGUF-версия мультимодальной модели Google Gemma 4 31B Instruct, подготовленная командой Atomic Chat на основе оригинальных весов google/gemma-4-31B-it. Модель предназначена для локального и полностью автономного применения в чат-ботах, генерации и анализе текста, задачах рассуждения, а также обработки изображений совместно с текстом. Для работы с изображениями в репозитории поставляется vision-проектор mmproj. Модель содержит 30,7 млрд параметров и 60 слоёв. Она использует плотную decoder-архитектуру Gemma4ForConditionalGeneration с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; предусмотрены 32 attention heads и 16 KV heads. Заявленная длина контекста — 256 тысяч токенов, размер словаря — 262 тысячи. Поддерживаются текстовая и визуальная модальности. Доступны варианты квантования от Q2_K до Q8_0; кванты откалиброваны с importance matrix, что должно помогать сохранять качество при уменьшении размера. Рекомендуемым компромиссом между размером, скоростью и качеством указан Q4_K_M. Сильные стороны модели — большой контекст, мультимодальность, возможности рассуждения, автономная работа и широкий выбор вариантов квантования для разных объёмов памяти. Ограничения связаны с высокими требованиями к памяти: размер файлов варьируется примерно от 11,9 до 32,6 ГБ, а низкобитные варианты могут заметно терять качество. Для корректной работы в llama.cpp требуется применять chat template Gemma 4 через параметр --jinja; для изображений необходим vision-проектор и поддержка соответствующих инструментов. Репозиторий распространяется по лицензии Apache-2.0.

German-RAG-LLAMA-3.1-8B-SFT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer семейства Llama 3.1, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Она дообучена для немецкоязычных сценариев RAG на примерах с контекстом и вопросами и ответами. Модель предназначена для ответов на вопросы по найденным документам и контексту, извлечения релевантной информации, суммаризации и задач рассуждения. Поддерживает немецкий и английский языки; README также отмечает обучающие примеры для вызова функций. В карточке указана лицензия Apache 2.0, тогда как метаданные Hugging Face указывают llama3.1; условия распространения следует сверять с лицензией в репозитории. Ответы могут содержать фактические ошибки, а фильтрация безопасности не заявлена.

German-RAG-MISTRAL-7B-v3.0-SFT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это SFT-дообучение модели German-RAG-MISTRAL-7B-v3.0-CPT-HESSIAN-AI для сценариев генерации с контекстом, полученным через поиск. Модель рассчитана прежде всего на немецкоязычные бизнес-сценарии: ответы на вопросы по найденным документам, извлечение релевантной информации, суммаризацию и рассуждения, в том числе о временных связях. Поддерживает немецкий и английский языки. Размер — 7,1 млрд параметров, длина контекста — до 32 768 токенов. В обучающих примерах также предусмотрен формат для интеграции с контекстом и ссылками на источники. Модель выдаёт текст и может генерировать недостоверные ответы; факты следует проверять. В README также отмечены риски предвзятых и вредоносных ответов при отсутствии фильтрации безопасности. Модель и код доступны по лицензии Apache 2.0.