I.2Синтез, понимание и проверка знаний

EXAONE-4.5-33B-FP8 — плотная vision-language-модель с 33 млрд параметров, разработанная LG AI Research и подготовленная FuriosaAI для запуска на аппаратуре FuriosaAI RNGD через Furiosa-LLM. Модель объединяет выделенный vision encoder с языковой архитектурой EXAONE 4.5 и принимает изображения вместе с текстом, возвращая текстовые ответы. Модель предназначена для мультимодального диалога, анализа изображений и текстовых запросов, гибридного рассуждения и вызова инструментов через функции. Рассуждение включено по умолчанию, но может отключаться для отдельных запросов. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Архитектура обозначается как Exaone4_5_ForConditionalGeneration; максимальная длина контекста в README не указана. Вариант использует статическую per-channel FP8-квантизацию выбранных весов линейных слоёв и динамическую token-wise-квантизацию активаций без офлайн-калибровки. Vision encoder, attention projections, LM head и MTP attention projections исключены из FP8-квантизации, а KV-кэш сохраняется в 16-битной точности. Сильными сторонами являются мультимодальность, гибридное reasoning и нативная поддержка tool calling. Ограничения включают зависимость описанной сборки от Furiosa-LLM и RNGD; для работы требуется tensor parallelism на 32 PE, то есть четыре карты RNGD. Модель распространяется по лицензии EXAONE AI Model License.

Experiment26Neuralsirkrishna_Experiment27Shadow — объединённая модель на базе двух моделей Mistral: automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment27Shadow-7B. Разработчик в карточке не указан. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов. Она принимает текст и поддерживает контекст длиной до 32 768 токенов. Карточка не уточняет языки и специализированные области применения. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Качество и ограничения в README не описаны.

Experiment28T3q_Experiment29Multi_verse_model — объединённая языковая модель MaziyarPanahi на архитектуре Mistral с плотной архитектурой и 7,1 млрд параметров. Она создана слиянием automerger/Experiment28T3q-7B и automerger/Experiment29Multi_verse_model-7B. Модель предназначена для генерации текста и рассчитана на контекст до 32 768 токенов. В карточке указана лицензия Apache-2.0. Сведения о специализированных сценариях, обучающих данных и языках модели не приводятся.

Falcon2-5.5B-Portuguese — языковая модель на архитектуре FalconForCausalLM, созданная путём прореживания модели tiiuae/falcon-11B методом passthrough merge. Авторы использовали сходство слоёв, оценённое на 2000 примерах португалоязычной Википедии, чтобы выбрать сохраняемые диапазоны слоёв; итоговая модель содержит около 7,8 млрд параметров и распространяется в формате safetensors с библиотекой Transformers. Модель предназначена для генерации текста и дальнейшей адаптации под диалоги, суммаризацию и другие задачи. Контекст составляет 8192 токена. Основной язык карточки — португальский; README также сообщает о поддержке английского, немецкого, испанского, французского, итальянского, польского, нидерландского, румынского, чешского и шведского, но предупреждает о слабом обобщении на языки за пределами этого набора. Лицензия — Apache-2.0. README рекомендует оценивать риски и настраивать защитные меры перед применением в производственной среде.

EpistemeAI2/Fireball-Alpaca-Llama3.1.06-8B-Philos — дообученная текстовая модель семейства Llama 3.1 с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она рассчитана на ответы на вопросы и генерацию текста в диалоговом формате; для работы с ней рекомендуется шаблон Alpaca. Контекстное окно составляет до 131 072 токенов. Модель подходит для ответов на вопросы, диалогового помощника и генерации текста. В карточке указана поддержка английского языка; README описывает языковые возможности исходного семейства Llama 3.1, но не подтверждает их отдельно для этой производной модели. Лицензия в метаданных — Apache 2.0. Ответы могут содержать ошибки, а пригодность модели для задач и интеграций с инструментами следует проверять отдельно.

G9v3-39A5B-GGUF — это неофициальная конверсия предварительной языковой модели G9v3-39A5B, разработанной AI9Stars, в формат GGUF. Конверсию выполнил linuxid10t для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, задач с длинным контекстом и сценариев с вызовом инструментов; заявлена поддержка режимов Think и No-Think. Поддерживаемые языки — английский и китайский. Модель использует архитектуру G9v3ForCausalLM со sparse Mixture-of-Experts: около 39 млрд параметров всего и примерно 5 млрд активных на один токен. Она содержит 38 слоёв, включая один плотный и 37 MoE-слоёв, 320 маршрутизируемых экспертов, из которых выбираются 32, а также одного общего эксперта. Максимальный контекст составляет 131 072 токена. Доступны варианты BF16, Q8_0, Q4_K_M и IQ4_XS; квантованные версии уменьшают требования к памяти, но могут снижать точность по сравнению с BF16. Основное ограничение — модель является preview-релизом, а поддержка архитектуры G9v3 ещё не включена в стандартные сборки llama.cpp: требуется специальная ветка с поддержкой G9v3. Рекомендуемый объём оперативной памяти составляет не менее 96 ГиБ для BF16, 48 ГиБ для Q8_0 и 32 ГиБ для Q4_K_M или IQ4_XS, причём фактические требования зависят от размера контекста и настроек запуска. Репозиторий распространяется по лицензии Apache-2.0.

LastRef/gemma-3-12b-it-heretic-x — дообученная мультимодальная модель на основе Google Gemma 3 12B IT. Это разговорная модель с архитектурой Gemma 3 для обработки текста и изображений с генерацией текстовых ответов. Подходит для диалога, создания и суммаризации текста, ответов на вопросы и извлечения информации из изображений. Карточка Gemma 3 указывает контекст до 128 тыс. токенов и поддержку более 140 языков; эти характеристики относятся к семейству базовой модели. В тегах модели она обозначена как uncensored, decensored и abliterated, то есть её позиционируют как модель с ослабленными ограничениями на ответы; README при этом описывает базовое семейство Gemma, а не специфические изменения этой версии. Такие модели могут выдавать вредный или недостоверный контент, а также отражать смещения данных обучения. Лицензия — Gemma; условия использования определяются лицензией и политикой допустимого использования Gemma.

Gemma 4 12B-it JANG 4M CRACK — мультимодальная инструкционная модель dealignai, основанная на Google Gemma 4 12B-it. Она предназначена для диалогов и задач с текстом, изображениями, аудио и видео; карточка также заявляет поддержку рассуждений и вызова инструментов. Модель имеет 48 слоёв, гибридное скользящее и полное внимание и контекст до 128 тысяч токенов. Разработчик сообщает, что модель прошла абляцию отказов CRACK и смешанную квантизацию JANG: 8-битные веса внимания и 4-битные веса MLP. Версия подготовлена для MLX и Apple Silicon, занимает около 9,6 ГБ. В README приведены результаты собственных оценок на HarmBench и MMLU; они не гарантируют качество на других задачах. Из-за удаления поведения отказа модель может выдавать ответы на потенциально опасные запросы. Разработчик указывает исследовательское применение и авторизованное тестирование безопасности. Лицензия — Gemma; перед использованием следует учитывать её условия.

gemma-4-31B-it-GGUF — квантованная модель Gemma 4 с 31 млрд параметров, разработанная Google и представленная в формате GGUF организацией ggml-org. Это instruction-tuned модель на базе google/gemma-4-31B-it, предназначенная для запуска и инференса в совместимых средах, включая llama.app. По указанным метаданным модель поддерживает сценарии image-text-to-text, то есть обработку текстовых и визуальных входных данных с генерацией текста. Ключевая особенность этой версии — формат GGUF и квантование, направленные на снижение требований к памяти и упрощение локального запуска. README не содержит сведений о конкретном варианте квантования, размере файла, длине контекста, поддерживаемых языках, аппаратных требованиях или результатах тестирования, поэтому эти характеристики нельзя определить по предоставленным данным. Модель автоматически преобразована с использованием инструментария ggml-org/convert, что может влиять на совместимость и доступные способы запуска. Модель распространяется по лицензии Apache 2.0. Ограничения README не описывает; при практическом использовании следует учитывать ограничения исходной Gemma 4, особенности квантованной версии и возможности выбранного движка инференса.

lmstudio-community/gemma-4-31B-it-MLX-6bit — это 6-битная квантованная версия мультимодальной модели gemma-4-31B-it, разработанной Google. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для задач, связанных с обработкой текста и изображений, включая мультимодальный ввод и генерацию текста. Она может использоваться локально через совместимое программное обеспечение и особенно подходит для пользователей, которым важны запуск на Apple Silicon и снижение требований к памяти по сравнению с полной версией модели. Точный размер контекстного окна и перечень поддерживаемых языков в README не указаны. Ключевой особенностью является 6-битное квантование, обеспечивающее более компактное представление модели с потенциальным компромиссом в точности по сравнению с исходной версией. Ограничениями являются зависимость от совместимого стека MLX и оптимизации под Apple Silicon, а также возможные ошибки, неточности или неподходящие результаты, характерные для генеративных моделей. Модель распространяется по лицензии Apache 2.0.

Gemma-4-31B-it-ROCmFP4-GGUF — это мультимодальная квантизированная GGUF-версия модели Gemma-4-31B-it, разработанной Google и подготовленной пользователем kingjones777. Модель предназначена для генерации и анализа текста, а также для обработки изображений; для визуального ввода в репозиторий включён отдельный проектор mmproj-BF16.gguf. В репозитории представлены четыре варианта квантизации: 4-битный ROCmFP4 и 6- или 8-битные ROCmFPX, размером примерно от 16,44 до 30,04 ГиБ. Модель рассчитана прежде всего на AMD Strix Halo с графикой gfx1151, включая Ryzen AI MAX+ 395, и поддерживает ускорение через ROCmFPX. Заявленный контекст в проверках составлял 4096 токенов; языки явно не указаны. Для ускорения генерации поддерживается speculative decoding с drafter-моделью Gemma-4-31B-it-assistant. На рекомендованном 4-битном варианте измерена скорость до 21,68 токена в секунду с MTP и около 11,81 токена в секунду без него. Сильные стороны модели — мультимодальность, наличие нескольких вариантов точности, проверенная работа с текстом и изображениями на реальном оборудовании, а также заметное ускорение за счёт speculative decoding. Основное ограничение — необходимость специальной сборки llama.cpp с поддержкой ROCmFPX: стандартные llama.cpp, Ollama и LM Studio эти типы файлов не загружают. Для обработки изображений требуется отключить flash attention, а использование MTP может зависеть от версии сборки и операционной системы. Модель распространяется по лицензии Gemma. Условия использования следует уточнять в лицензии Google Gemma; README не приводит дополнительных ограничений.

Crystalcareai/gemma-orca — дообученная Crystalcareai модель семейства Gemma с плотной архитектурой для генерации текста. Веса представлены в формате safetensors; модель содержит 8,2 млрд параметров и поддерживает контекст до 8192 токенов. Модель дообучена в течение трёх эпох на датасете Crystalcareai/slimorca-dedup-alpaca-100k. Она предназначена для генерации ответов и выполнения инструкций в широком круге сценариев, включая диалог и помощь с текстовыми задачами. В карточке упоминается ориентация на ограниченные вычислительные ресурсы, но конкретные требования и результаты оценки качества не приведены. Лицензия в доступных данных не указана.

GLM-5.3-MLX-mixed-4_8bit — сборка модели GLM-5.3 от zai-org, адаптированная PipeNetwork для MLX и Apple Silicon. Это генеративная текстовая модель на архитектуре Mixture-of-Experts glm_moe_dsa с 744 млрд параметров, 256 экспертами и маршрутизацией top-8. В архитектуре используется MLA со sparse attention в стиле DeepSeek-V3.2. Модель предназначена для генерации текста и локального инференса на компьютерах Apple Silicon. Экспертные слои занимают около 724,8 млрд параметров и квантизованы в 4 бита, тогда как attention, общие эксперты, плотные слои, эмбеддинги и lm_head хранятся в 8 битах; маршрутизаторы, нормы и индексатор сохранены в исходной точности. Размер файлов составляет около 427,8 ГБ, для запуска рекомендуется Mac с 512 ГБ оперативной памяти. Сборка использует библиотеку MLX и требует специального runtime-файла glm_moe_dsa.py; указанный README рекомендует запуск через mlx-lm с включённым trust remote code. По измерениям на wikitext-2 модель имеет perplexity 2,7420, что лучше равномерной 4-битной версии, хотя смешанная квантизация требует примерно на 9 ГБ больше места. Основные ограничения — крайне высокие требования к памяти, отсутствие multi-token-prediction layer и возможное снижение качества на контекстах свыше 2048 токенов из-за особенностей sparse indexer; заявленная длина контекста в README не указана. Лицензия — GLM-5.3 license, унаследованная от исходной модели; точные условия приведены в файле LICENSE.

TheBloke опубликовал модель GPlatty-30B-SuperHOT-8K-fp16 — версию GPlatty-30B в формате PyTorch fp16 с объединённым адаптером SuperHOT 30B для увеличения контекста. В основе — плотная авторегрессионная модель семейства LLaMA с примерно 32,3 млрд параметров; заявленная длина контекста составляет 8192 токена. Для работы с расширенным контекстом README указывает необходимость включить trust_remote_code или применить monkey patch с настройками SuperHOT. GPlatty-30B объединяет lilloukas/Platypus-30B и chansung/gpt4-alpaca-lora-30b. Модель предназначена для генерации текста и ответов на запросы на английском языке; опубликованы результаты оценивания на MMLU, ARC и HellaSwag. Репозиторий содержит веса PyTorch fp16, пригодные для GPU-инференса и дальнейших преобразований. README не указывает лицензию репозитория однозначно: метаданные обозначают её как other, а базовые веса LLaMA описаны как распространяемые по специальной некоммерческой лицензии Meta. В карточке отмечены риски токсичных и предвзятых ответов; результаты модели не следует считать проверенными фактами или заменой человеческому суждению.

Granite 3.1 8B Instruct - Intrinsics LoRA v0.1 — адаптер LoRA от IBM Research для языковой модели ibm-granite/granite-3.1-8b-instruct. Он сохраняет её возможности и добавляет три режима: оценку уверенности в ответе, проверку поддержки ответа документами и бинарное выявление небезопасных запросов. Режимы вызываются через специальные роли в шаблоне чата и возвращают короткую оценку: целое число от 0 до 9, Y или N. Модель относится к семейству Granite, имеет плотную архитектуру GraniteForCausalLM и содержит 8,2 млрд параметров; базовая модель поддерживает контекст до 131 072 токенов. Адаптер предназначен для сценариев с текстовыми вопросами, ответами и документами, включая проверку ответов в RAG-системах. Карточка указывает английский язык. Лицензия — Apache 2.0. Это экспериментальная версия для тестирования новых возможностей Granite; разработчик не рекомендует использовать её в реальных развертываниях. Оценка уверенности не гарантирует точность для конкретного ответа, а выявление галлюцинаций и небезопасных запросов основано на бинарной классификации и может ошибаться.

HalluciGuard Detector — классификатор текста на базе DistilBERT, дообученный для выявления галлюцинаций. Модель относит входной текст к одному из двух классов: NO_HALLUCINATION или HALLUCINATION; обучение проводилось на датасете HaluEval. Модель предназначена для автоматической проверки текстовых ответов и выделения потенциально вымышленных утверждений. Она принимает текст и выдаёт метку класса. Максимальная длина контекста составляет 512 токенов; веса опубликованы в формате safetensors. Модель доступна на условиях лицензии Apache-2.0. Классификатор может помогать в проверке ответов, однако его метка сама по себе не подтверждает фактическую истинность текста. Карточка не сообщает об оценках качества или поддержке языков, поэтому результаты для конкретных языков и сценариев требуют отдельной проверки.

Hibernates/Hibernates-2B-R1-V1 — плотная декодерная языковая модель на 3,2 млрд параметров по метаданным Hugging Face. Карточка описывает её как эффективную модель для диалогов и рассуждений с поддержкой многоходового общения. В метаданных указана архитектура LlamaForCausalLM и контекст до 131 072 токенов; README, напротив, заявляет собственную архитектуру, 2 млрд параметров и окно в 4096 токенов, поэтому характеристики карточки расходятся с данными каталога. Модель предназначена для генерации текста, следования инструкциям и диалоговых сценариев на английском языке. README заявляет оптимизацию для CPU и GPU, однако также рекомендует не менее 8 ГБ видеопамяти. Модель дообучена на meta-llama/Llama-3.1-8B-Instruct, сохранена в SafeTensors и распространяется по лицензии Apache-2.0. Заявления README о собственной архитектуре и числе параметров не согласуются с метаданными о базовой модели.

HyperGemma-2-9B — слитая языковая модель на архитектуре Gemma 2, опубликованная пользователем bunnycore. Она создана методом Model Stock с помощью mergekit на основе lemon07r/Gemma-2-Ataraxy-9B и объединяет также crestf411/gemma2-9B-sunfall-v0.5.2, ehristoforu/Gemma2-9b-it-train6 и nbeerbower/gemma2-gutenberg-9B. Модель содержит 9 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель можно применять для ведения диалога, написания творческих текстов и генерации продолжений по запросу. Она принимает текст и выдаёт текст; заявленный контекст — 8192 токена. Веса опубликованы в формате safetensors и представлены для использования через Transformers. Лицензия и специальные ограничения применения в предоставленных данных не описаны. Качество и языковое покрытие отдельно не охарактеризованы, поэтому их следует оценивать на целевых запросах.

Infinity-Instruct-7M-Gen-Llama3.1-70B — разговорная модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах Infinity-Instruct-7M и Infinity-Instruct-Gen. Это плотная авторегрессионная модель семейства Llama 3.1 с 69,5 млрд параметров; она генерирует текст по инструкциям и использует шаблон диалога Llama 3 Instruct. Контекстное окно составляет 8192 токена. Модель предназначена для диалогов и выполнения пользовательских инструкций. Разработчики сообщают о результатах на AlpacaEval 2.0 и Arena-Hard, сопоставимых с GPT-4, однако приведённые в карточке сведения не гарантируют качество в конкретных сценариях. Обучение проводилось без RLHF. В метаданных указан английский язык. Модель распространяется для академических исследований; коммерческое использование запрещено лицензией llama3.1 и условиями проекта.

zhongweixie опубликовал экспериментальную модель Qwen3-4B, дообученную методом In-Place Test-Time Training (In-Place TTT). Модель предназначена для генерации текста и работы с длинными последовательностями; в карточке заявлены адаптация к входной последовательности во время инференса и обучение на контексте длиной 32 768 токенов с 6 000 шагами. Это плотная авторегрессионная модель семейства Qwen с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров. Репозиторий содержит веса safetensors для Transformers, а метаданные отмечают разговорный режим и английский язык. Указанная лицензия — Apache-2.0. Карточка заявляет экономную по памяти обработку длинного контекста без полного attention и улучшение результатов на длинноконтекстных задачах, однако конкретные сравнительные результаты и ограничения не приведены. Модель происходит от Qwen/Qwen2.5-4B; README описывает её как Qwen3-4B на архитектуре Qwen2.5-4B.

InSight-doc-8B — мультимодальная модель на 8 млрд параметров для понимания длинных документов, разработанная авторами проекта InSight-doc на базе Qwen/Qwen3-VL-8B-Instruct. Она принимает изображения страниц и текстовые вопросы, а при работе в рекомендованном агентном цикле выбирает области для увеличения с помощью инструмента image_zoom_in_tool, затем формирует ответы по визуальным свидетельствам. Модель обучена полнопараметрической тонкой настройкой и последующим обучением с подкреплением на траекториях и запросах для такого сценария; семейство архитектуры — Qwen3-VL. Модель предназначена для визуальных вопросов и ответов по длинным документам, включая поиск нужных деталей на страницах и отказ от ответа при недостатке свидетельств. В README указано улучшение точности на наборах DUDE, MP-DocVQA, MMLongBench-Doc и LongDocURL относительно базовой Qwen3-VL-8B в условиях низкого и среднего разрешения, а также снижение галлюцинаций на вопросах без ответа и уменьшение задержки на двух длиннодокументных тестах. Для воспроизведения агентного поведения необходимы внешний цикл агента и инструмент увеличения фрагментов; обычная одиночная генерация в Transformers этот цикл не выполняет. Контекст обучения SFT составлял 65 536 токенов; в конфигурации рекомендованного запуска vLLM указан предел длины последовательности 262 144 токена. Лицензия — Apache-2.0.

Kimi-K2.6-RAM-447GB-GGUF — это смешанно-точная GGUF-квантизация модели moonshotai/Kimi-K2.6, опубликованная baa-ai и созданная с использованием конвейера RAM (Resource-Aware Mixed-precision). Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на системах с 512 ГБ оперативной памяти или на конфигурациях с двумя модулями по 256 ГБ. В основе лежит архитектура DeepSeek-V3 decoder (kimi_k2) с 61 слоем, 1,03 трлн параметров, скрытым размером 7168, MLA-attention и MoE-структурой из 384 маршрутизируемых экспертов, из которых для каждого токена активируются 8. Экспертные веса квантизированы в Q3_K, а веса attention распределены между Q5_K и Q8_0 на основе чувствительности отдельных тензоров к ошибкам квантования. Размер файла составляет 447 ГБ. Ключевое преимущество варианта — ориентация на более высокое качество по сравнению с менее ресурсоёмкими сборками благодаря неравномерному распределению разрядности для attention-тензоров. Ограничениями являются чрезвычайно высокие требования к оперативной памяти и отсутствие imatrix: его не использовали, поскольку промежуточный файл Q8_0 объёмом 1,1 ТБ превышал доступную память. Экспертные веса исходной модели INT4 были предварительно деквантизированы и повторно квантизированы в GGUF. В карточке указана лицензия modified-MIT с типом license: other. Поддерживаемые языки и мультимодальные возможности в README не описаны.

Kosmos-EVAA-gamma-8B — объединённая методом SLERP языковая модель семейства Llama, опубликованная пользователем jaspionjader. В слиянии использованы jaspionjader/Kosmos-EVAA-v12-8B и johnsutor/Llama-3-8B-Instruct_breadcrumbs-density-0.1-gamma-0.01; для слоёв внимания и MLP заданы разные коэффициенты смешивания. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалоговых сценариев на основе инструкций. Карточка не сообщает о специализированной области применения или дополнительных возможностях. В репозитории указаны веса safetensors; лицензия и конкретные ограничения качества в предоставленных данных не описаны.

Krutrim-2-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Krutrim-2-instruct, разработанной krutrim-ai-labs и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты от полноточных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4 и Q3, размером примерно от 5,7 до 49 ГБ. Доступны языки English, Hindi, Bengali, Marathi, Telugu, Tamil, Kannada, Malayalam, Gujarati, Assamese и Punjabi. Архитектура, число параметров, размер контекста, поддержка дополнительных модальностей и точные сценарии обучения в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. Основное преимущество набора — широкий выбор уровней квантизации для подбора баланса между качеством, скоростью и требованиями к памяти. В README варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M отмечены как рекомендуемые, однако низкоразрядные версии могут заметно уступать полноточным по качеству. Модель распространяется по Krutrim Community License Agreement версии 1.0; подробные условия следует уточнять в файле лицензии.

Это англоязычная модель LED, дообученная автором esuriddick на наборе pszemraj/govreport-summarization-8192 для суммаризации длинных правительственных отчётов. Она построена на encoder-decoder-трансформере LEDForConditionalGeneration и содержит 95,2 млн параметров. Входной контекст может достигать 16 384 токенов; модель принимает текст и генерирует его краткое изложение. Модель подходит для создания резюме длинных отчётов и других документов, похожих по содержанию и стилю на GovReport. В README также упоминается возможность ответов на вопросы по длинному контексту, однако специализированные метрики приведены только для суммаризации. Для тестовой выборки указаны ROUGE-1 52,64 и ROUGE-2 22,21. Модель опубликована в форматах PyTorch и safetensors по лицензии Apache-2.0.

LeoLM 70b — открытая языковая модель, разработанная Björn Plüster и Christoph Schuhmann совместно с LAION и HessianAI. Это причинный декодерный трансформер семейства Llama, дообученный продолжением предобучения на большом корпусе преимущественно немецкоязычных и локально ориентированных текстов на базе meta-llama/Llama-2-70b-hf. Модель предназначена для генерации текста на немецком и английском языках, включая исследовательские и коммерческие сценарии работы с немецкоязычными LLM. Модель содержит 68,7 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Опубликована в формате safetensors и загружается через Transformers. Для запуска требуется значительный объём видеопамяти, вероятно, несколько устройств; квантизация может снизить требования к памяти. Распространяется по лицензии Llama 2 Community License Agreement.

Leo Hessianai 70B Chat GGUF — это квантованные файлы большой языковой чат-модели, разработанной LAION LeoLM и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. В README указана поддержка английского и немецкого языков, а обучение связано с немецкоязычными наборами данных OpenSchnabeltier, OASST-DE, Alpaca GPT-4 Deutsch, Evol-Instruct Deutsch, German Poems и German Songs. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров. Доступны варианты GGUF с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации; при этом более сильное квантование может снижать точность. Для диалогов используется шаблон ChatML. README не указывает размер контекста и модальности, поэтому подтверждённых данных о поддержке изображений или других типов входа нет. Файлы совместимы с llama.cpp начиная с указанной в README версии, а также с рядом сторонних приложений и библиотек для локального запуска на CPU и GPU. Модель распространяется по лицензии Llama 2; конкретные условия этой лицензии следует учитывать при использовании и распространении производных файлов.

LFM2-24B-A2B-GGUF — это квантизированная версия языковой модели LFM2-24B-A2B, разработанной LiquidAI и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель поддерживает текстовую модальность и заявлена для английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Обозначение 24B-A2B указывает на конфигурацию модели, однако в README не приведены подробности её архитектуры, размер контекста или точная интерпретация компонентов. Доступны варианты от BF16 до различных уровней квантования, примерно от 9,78 до 47,70 ГБ; более высокие уровни обычно сохраняют лучшее качество, а варианты Q3 и IQ3 требуют меньше памяти, но уступают по качеству. Сильная сторона этой версии — широкий выбор квантований для запуска на локальном оборудовании с различными ограничениями по памяти, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество. Ограничения связаны с потерями качества при сильном квантовании, необходимостью совместимого обновлённого программного обеспечения и отсутствием в README данных о производительности, результатах тестов, точном контексте и специализированных сценариях применения. Лицензия указана как lfm1.0; конкретные условия следует уточнять в файле LICENSE.

jphme/Llama-2-13b-chat-german — немецкоязычная чат-модель на основе Llama 2, разработанной Meta и дообученной автором репозитория для ответов на немецком языке. Она предназначена для диалогов, генерации текста и ответов на вопросы; в карточке приведены примеры общих вопросов и извлечения фактов из переданного контекста, а среди датасетов указаны немецкие наборы SQuAD, включая юридический. Модель использует плотную авторегрессионную архитектуру Transformer LlamaForCausalLM, содержит 12,9 млрд параметров и имеет контекст 4096 токенов. Принимает текст и выдаёт текст; в метаданных отмечены немецкий и английский языки. Для чата следует соблюдать формат инструкций Llama 2. Карточка указывает лицензию Meta с пользовательскими условиями, для получения весов требуется принять лицензию.

Apollo Raines выпустил вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze методом representation engineering. По карточке, дополнительного обучения не проводилось; изменение направлено на снижение склонности модели к выдумыванию правдоподобных, но неверных сведений и на более частое признание неопределённости. Модель предназначена для диалоговой генерации текста и ответов на вопросы, где важно осторожнее обращаться с неуверенными ответами. Это плотная причинно-языковая архитектура LlamaForCausalLM; метаданные указывают 7,5 млрд параметров, контекст до 131 072 токенов и формат safetensors. Карточка сообщает о точности bf16 и ограниченной демонстрационной версии с ослабленными возможностями. Поддерживается английский язык; основа — инструкционная Llama 3.1 от Meta. Снижение галлюцинаций заявлено разработчиком, но в карточке не приведены количественные результаты оценки, поэтому фактическую надёжность следует проверять на целевых задачах. Указана лицензия Llama 3.1; применяются её условия использования.