I.11Классификация, ранжирование и сопоставление

ApocalypseParty/G4-31B-SFT-v5-2-soup — объединённая модель на архитектуре Gemma 4, созданная методом Linear с помощью mergekit из двух чекпойнтов: ApocalypseParty/G4-31B-SFT-v5-2 и ApocalypseParty/G4-31B-SFT-v5-2-seed1337. Модель предназначена для диалогов с текстом и изображениями: принимает текстовые запросы и изображения, выдаёт текстовые ответы. Карточка описывает способ объединения весов, но не уточняет языки, размер модели или длину контекста. В метаданных указаны библиотека Transformers, формат safetensors и возможности чата и работы с изображениями. Лицензия в предоставленных данных не указана.

GaMS-9B-Instruct-Nemotron — инструктивная языковая модель на 9 млрд параметров, разработанная Тимотеем Петриčem в рамках магистерской работы. Это вариант GaMS-9B-Instruct, дополнительно обученный методом SFT на отобранной части набора nvidia/Nemotron-Post-Training-Dataset-v1 и датасете cjvt/GaMS-Nemotron-Chat: примерно 80 тысяч словенских пар «инструкция — ответ» и 20 тысяч английских примеров. Модель построена на архитектуре Gemma 2 и предназначена для генерации текста и диалогов по инструкциям, в особенности на словенском и английском языках. Размер контекста составляет 8192 токена; модель распространяется в формате safetensors и рассчитана на запуск через Transformers. Лицензия — Gemma. Карточка не описывает результаты оценки качества или специфические ограничения; ожидаемый охват задач определяется инструктивной генерацией и диалогами на языках обучения.

SaisExperiments/Gemma-2-2B-Opus-Instruct — компактная языковая модель на архитектуре Gemma 2, созданная дообучением google/gemma-2-2b-it на наборе kalomaze/Opus_Instruct_25k. Модель содержит 2,7 млрд параметров, принимает текст и предназначена для диалоговой генерации текста; максимальная длина контекста составляет 8192 токена. Модель подходит для создания ответов на вопросы, ведения диалогов и генерации инструктивных ответов. В README автор сообщает об обучении на 39,5 млн токенов, но отмечает неопределённость в качестве результата, поэтому надёжность и качество ответов требуют проверки на целевых задачах. Лицензия — Gemma; её условия использования определяются лицензией Google Gemma.

wzhouad/gemma-2-9b-it-WPO-HB — дообученная версия инструктивной языковой модели Google Gemma 2 9B IT, созданная методом Weighted Preference Optimization (WPO). Модель предназначена для диалогов и генерации ответов на текстовые запросы; обучение на парах предпочтений из Ultrafeedback направлено на улучшение следования предпочтениям пользователей. Для обучения использовались ответы Gemma, полученные по принципу on-policy, и ответы GPT-4-turbo на запросы из Ultrafeedback. Ответы оценивались моделью RLHFlow/ArmoRM-Llama3-8B-v0.1, после чего крайние по оценке ответы формировали пары предпочтений. Модель имеет плотную архитектуру Gemma 2, около 9 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 8192 токенов. В README приведён результат AlpacaEval: 76,73 LC и 77,83 WR при средней длине ответа 2285 токенов. Лицензия в предоставленных данных не указана. Результаты оценки относятся к указанному бенчмарку и сами по себе не гарантируют качество на других задачах; обучение на предпочтениях не исключает ошибок и нежелательных ответов.

testmoto/gemma-2-9b-lora-aozora — текстовая генеративная модель на основе Google Gemma 2 9B, представленная в формате MLX. README сообщает о конвертации из google/gemma-2-9b с помощью mlx-lm 0.20.2; метаданные классифицируют связь с базовой моделью как дообучение, поэтому происхождение по источникам противоречиво. Модель принимает текст и генерирует текст. Базовая Gemma 2 9B предназначена для генерации текста, диалогов, суммаризации и ответов на вопросы; контекст модели составляет 8192 токена. Для работы с MLX README указывает пакет mlx-lm. Лицензия — Gemma.

Gemma2-9B-TitanFusion-v2 — текстовая языковая модель на архитектуре Gemma 2, созданная объединением моделей с помощью mergekit и метода DARE TIES. В слияние вошли bunnycore/Gemma2-9B-TitanFusion, anthracite-org/magnum-v3-9b-customgemma2 и flammenai/Mahou-1.3-gemma2-9B; базовой моделью указана bunnycore/Gemma2-9B-TitanFusion. Модель содержит 9 млрд параметров, работает с текстом и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для ответов на запросы, продолжения текста и создания прозы. Данные не указывают специальные отраслевые области применения или перечень поддерживаемых естественных языков. Модель опубликована в формате safetensors для библиотеки Transformers. Информация о лицензии в предоставленных данных отсутствует.

Gemma 3 12B IT Abliterated v2 GGUF — это модифицированная версия Gemma 3 12B IT, разработанная mlabonne. Модель создана на основе google/gemma-3-12b-it с применением техники abliteration, направленной на уменьшение отказов в ответах. Доступна в формате GGUF и предназначена для запуска и генерации текста в совместимых локальных средах. Модель ориентирована на диалоговые и общие текстовые задачи, где требуется более высокая готовность отвечать на запросы, включая чувствительные темы. В README заявлена мультимодальная специализация image-text-to-text, однако подробности о поддерживаемых языках, точном размере контекста и практической работе с изображениями не приведены. Для генерации рекомендованы параметры temperature=1.0, top_k=64 и top_p=0.95. Ключевая особенность — модификация скрытых состояний целевых модулей, включая o_proj, для удаления направления, связанного с отказами. По заявлению автора, улучшенная версия нацелена на более точное снижение отказов при сохранении связности ответов; целевой показатель acceptance rate превышает 90%. Ограничениями являются потенциальное снижение защитных механизмов и отсутствие в README подробных результатов независимого тестирования, характеристик производительности и требований к оборудованию. Модель распространяется по лицензии gemma.

ZySec-AI подготовила экспериментальную модификацию Gemma 3 27B IT с удалёнными отказами с помощью техники abliteration и минимальным дообучением. Это плотная мультимодальная модель семейства Gemma 3 на 27 млрд параметров, основанная на google/gemma-3-27b-it; она поддерживает диалог, работу с изображениями и вызов инструментов. Модель предназначена для ответов на запросы и работы с изображениями в сценариях, где требуется меньше отказов, чем у исходной версии. В карточке заявлено, что сохранена большая часть возможностей базовой модели, но независимая оценка качества не приведена. Распространяется в формате Safetensors по лицензии Gemma.

Gemma 4 E2B Arabic + English Vision — разреженная версия мультимодальной модели Google Gemma 4 E2B IT, подготовленная ml-intern-explorers. Это плотная модель с архитектурой Gemma4ForConditionalGeneration: она принимает текст и изображения и генерирует текст. По данным карточки, из словаря удалены токены для ряда языков, включая кириллицу, а также аудиоэнкодер; сохранены зрительный энкодер и генерация текста. README указывает словарь из 209 836 токенов и сообщает о 4,25 млрд параметров; метаданные подтверждают базовую модель google/gemma-4-e2b-it и формат safetensors. Модель предназначена для понимания изображений и текста на арабском и английском языках, включая разбор документов и распознавание арабского текста на изображениях. В описанном в README тесте распознавания арабского текста результаты совпали с исходной Gemma 4 E2B IT на 100 примерах; это ограниченная проверка, а не гарантия качества на других данных. README также рассматривает модель как основу для дообучения двуязычных приложений. Лицензия — Apache-2.0. В заявленных ограничениях — отсутствие аудиовхода и поддержки языков, чьи токены были удалены, в том числе русского, китайского, деванагари и тайского. Модель не подходит для сценариев, которым нужны аудиофункции или текстовая генерация на этих языках.

rafmacalaba/gliner_agents_v3 — дообученная модель GLiNER Large v2.1 для извлечения упоминаний источников данных из текста документов. Она выделяет фрагменты трёх типов: именованные источники данных, описания источников без названия и общие упоминания данных. Модель подходит для разметки документных корпусов, поиска источников данных и последующего анализа извлечённых сущностей. Модель дообучена на датасете rafmacalaba/datause-agents-v3 в течение пяти эпох с точностью bf16. На отложенной выборке из 2 108 фрагментов при пороге 0,60 указаны precision 0,9204 и recall 0,7559; результаты зависят от типа метки: извлечение именованных источников заметно надёжнее, чем описательных упоминаний, а класс общих упоминаний представлен в оценке малым числом примеров. По README это англоязычные документные данные; длина контекста и размер модели не указаны в доступных сведениях. Модель распространяется по лицензии Apache-2.0.

Goku-8x22B-v0.2 — разговорная языковая модель MaziyarPanahi, дообученная на основе v2ray/Mixtral-8x22B-v0.1 на наборах OpenHermes-2.5, WizardLM Evol Instruct V2 и Orca Math Word Problems. Она использует архитектуру Mixtral с разреженной смесью экспертов (MoE) и предназначена для генерации текста в диалогах, выполнения инструкций и решения математических задач. В README указана общая ёмкость в 141 млрд параметров, из которых активны 35 млрд; метаданные каталога указывают 22 млрд параметров. В README также сообщается об обучении с длиной последовательности 8192 токена, а метаданные приводят длину контекста 65 536 токенов. Модель работает с текстом и поддерживает чат. В карточке отмечены английский, французский, итальянский, немецкий и испанский языки. Лицензия — Apache-2.0. Доступные сведения не содержат результатов сравнительных оценок качества; значения размера и контекста различаются между README и метаданными, поэтому их следует трактовать с осторожностью.

GRPO-VI-Qwen2-7B-RAG — языковая модель, дообученная командой Nguyen Nho Trung, Nguyen Van Huy и Nguyễn Nhat Quang на базе Qwen/Qwen2.5-7B-Instruct. Она предназначена прежде всего для генерации ответов в системах с дополненной поиском генерацией (RAG), сохраняя диалоговые возможности. Обучение включало supervised fine-tuning и GRPO на вьетнамских примерах: модель улучшали для многошаговых вопросов по найденным документам, отбора нерелевантных сведений и объединения информации. Также модель подходит для общих вопросов, математики и задач по программированию. Это плотная архитектура Qwen2 с 7,1 млрд параметров, рассчитанная на текстовый ввод и текстовые ответы; репозиторий содержит веса Safetensors и использует библиотеку Transformers. Метаданные указывают контекст до 32 768 токенов. Модель ориентирована на вьетнамский язык. В карточке приведены оценки на внутреннем наборе EvalRAGData и бенчмарке VMLU, но результаты не гарантируют точности в других сценариях. Разработчики отмечают возможные ошибки и предвзятые или неуместные ответы, особенно на политические и общественные темы. Лицензия — Apache-2.0.

Huihui-Qwen3.5-27B-abliterated-Athanorlite-ORPO-i1-GGUF — это квантизированная в формате GGUF версия модели Huihui-Qwen3.5-27B-abliterated-Athanorlite-ORPO. Базовую модель разработал nbeerbower, а квантизацию выполнил mradermacher. Для обучения или дообучения указана выборка schneewolflabs/Athanorlite-DPO; также модель связана с методом ORPO. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, поддерживающих GGUF. В README она обозначена как vision model, поэтому для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Заявлен английский язык. Размер модели составляет 27B параметров согласно идентификатору и названию базовой модели, однако сведения о длине контекста, точной архитектуре и полном наборе поддерживаемых модальностей не приведены. Доступно множество вариантов квантизации с размерами примерно от 7,2 до 16,6 ГБ и выше. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; в README вариант i1-Q4_K_M отмечен как рекомендуемый по сочетанию скорости и качества, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Ограничения включают возможное снижение качества из-за сильной квантизации, неполные сведения о производительности и отсутствие заявленных оценок. Лицензия в представленном README не указана, поэтому условия использования необходимо уточнять в репозитории базовой модели и связанных материалов.

InternVL3-1B — мультимодальная чат-модель семейства InternVL3, разработанная OpenGVLab. Она предназначена для диалогов и задач, где нужно анализировать изображения или видео и отвечать на вопросы по визуальному содержимому, а также для текстовых задач и мультимодального рассуждения. Модель построена по схеме ViT-MLP-LLM: InternViT-300M-448px-V2_5 обрабатывает изображения, а языковая часть основана на Qwen2.5-0.5B; для обмена признаками используется MLP-проектор. Поддерживаются изображения с динамическим разбиением на фрагменты 448×448, несколько изображений и видео. В карточке также заявлены возможности применения инструментов, понимания GUI и 3D-сцен, однако их пригодность зависит от конкретной задачи и способа запуска. Репозиторий содержит дообученную версию OpenGVLab/InternVL3-1B-Instruct в формате safetensors. Модель предназначена для запуска через Transformers и распространяется по лицензии Apache-2.0. К ограничениям относятся компактный размер языковой части по сравнению с крупными моделями и зависимость качества анализа изображений и видео от разрешения, нарезки на фрагменты и доступного контекста.

InternVL3_5-8B-GGUF — это квантизированная версия мультимодальной модели InternVL3_5-8B, разработанной OpenGVLab. Модель предназначена для задач преобразования изображений и текста в текст, включая сценарии, где требуется анализ визуальной информации и генерация текстового ответа. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, в частности llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе llama.cpp release b6258. В предоставленных данных указаны мультимодальный pipeline image-text-to-text и размер базовой модели 8B; сведения о конкретной архитектуре, поддерживаемых языках, длине контекста и доступных вариантах модальностей отсутствуют. Квантизация может упростить локальное развертывание и снизить требования к ресурсам, но потенциально влияет на точность по сравнению с исходной моделью. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации исходной модели OpenGVLab/InternVL3_5-8B и соответствующей версии GGUF. Как и другие модели такого типа, она может генерировать неточные, вредные или неподходящие ответы.

Jallabi-34B — плотная языковая модель семейства Llama от AbacusResearch для генерации текста и диалогов. В репозитории находятся только веса языковой части: энкодер CLIP удалён, поэтому модель загружается как LlamaForCausalLM. Модель содержит 33,9 млрд параметров, принимает текст и имеет контекст длиной 4096 токенов. В README приведены результаты Open LLM Leaderboard, включая средние оценки 70,73 и 25,97 в двух наборах испытаний. Модель распространяется под лицензией Apache-2.0. README не сообщает, на какой базовой модели основаны веса; по имеющимся данным нельзя определить специальные ограничения применения или качества.

Juanako-7B-v1 — диалоговая языковая модель, разработанная fblgit на архитектуре Mistral и содержащая 7,1 млрд параметров. Это дообученная версия fblgit/zephyr-lora-dpo-b1: автор провёл дополнительный этап DPO с методом Uniform Neural Alignment (UNA) на наборе HuggingFaceH4/ultrafeedback_binarized. Модель предназначена для генерации ответов в диалоге и следования инструкциям; контекст — до 32 768 токенов. В карточке приведены результаты ряда тестов на рассуждение, общие знания и понимание текста. Автор предупреждает, что более поздние версии Juanako показывают лучшие результаты. Модель распространяется под лицензией Artistic-2.0. Автор помечает применение как исследовательское; представленные оценки не гарантируют качество в конкретных задачах.

OsaurusAI подготовила JANG_4M-сборку инструктивной модели Kakao Kanana-2 30B-A3B для запуска на компьютерах Apple Silicon через MLX. Это текстовая диалоговая модель архитектуры DeepSeek V3 с общей ёмкостью 30,7 млрд параметров и примерно 3 млрд активных параметров на токен; контекст — до 32 768 токенов. В README метаданные указывают 2,9 млрд параметров, поэтому размер в каталоге может отражать активную часть модели, а не полное число параметров. Модель предназначена для диалогов и выполнения инструкций на корейском, а также на английском, японском, китайском, тайском и вьетнамском языках. Сборка использует смешанную квантизацию JANG_4M: основные веса экспертов сжаты до 4 бит, проекции внимания — до 8 бит, а маршрутизатор, нормализации и некоторые другие слои сохраняют более высокую точность. Пакет занимает около 17 ГБ и рассчитан на MLX-загрузчик с поддержкой DeepSeek V3 и JANG. Сборка преобразована из kakaocorp/kanana-2-30b-a3b-instruct-2601. README описывает шаблон диалога с поддержкой рассуждений и вызова инструментов, однако возможность инструментов зависит от runtime; режим рассуждений по умолчанию выключен. Качество корейского языка и производительность на Apple Silicon заявлены как сильные стороны, но отдельная оценка этой квантизированной сборки ещё не опубликована. Модель распространяется по Kanana License; метаданные Hugging Face обозначают лицензию как other.

ML6 Team разработала KBIR-OpenKP — модель на базе KBIR, дообученную на наборе OpenKP для извлечения ключевых фраз из английских документов. Она решает задачу как классификацию токенов с метками начала, продолжения и фона, после чего соседние фрагменты ключевой фразы объединяются в результат. Модель построена на архитектуре RoBERTa и содержит 454,1 млн параметров. Она предназначена для автоматического выделения важных фраз в веб-документах и корпусах, чтобы быстро получать краткое представление об их содержании. Контекст составляет до 514 токенов; доступны веса PyTorch. На тестовой выборке OpenKP указаны результаты F1@5 0,19, F1@10 0,11 и F1@M 0,39. Модель работает только с документами на английском языке и ограничивает количество предсказываемых ключевых фраз. Распространяется по лицензии MIT.

ko-llama2-v1 — 13-миллиардная плотная языковая модель семейства Llama 2, созданная Jiwoo Chris Jung. Она дообучена методом LoRA на небольшом наборе из 1 944 отобранных по качеству инструкций на корейском и английском языках; адаптер объединён с весами модели, и репозиторий содержит веса fp16. Модель предназначена для генерации текста и выполнения инструкций на корейском и английском. В октябре 2023 года она заняла первое место в снимке Open Ko-LLM Leaderboard среди 230 моделей. Модель принимает текст и генерирует текст; заявленная длина контекста — 2 048 токенов. Весовой чекпойнт занимает около 26 ГБ в fp16, для видеокарт с меньшим объёмом памяти README рекомендует загрузку в 8- или 4-битном формате. Это исследовательский чекпойнт октября 2023 года: модель не обучалась безопасному поведению и может выдавать неверную или вымышленную информацию. Указана лицензия MIT, при этом README отмечает, что базовая модель Llama 2 накладывает собственные условия лицензии.

kstc-1-8b — слитая языковая модель, созданная автором jaspionjader с помощью mergekit. В основе архитектура Llama с плотной структурой и классом LlamaForCausalLM; размер модели — 7,5 млрд параметров, формат весов — safetensors, длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для ведения беседы и создания текстовых ответов в задачах с длинным контекстом. В слияние вошли jaspionjader/Kosmos-EVAA-Franken-Immersive-v39-8B, v40-8B и v41-8B; в README указаны метод Model Stock и v41-8B как базовая модель. Лицензия и специальные ограничения применения в предоставленных данных не описаны.

kstc-2-8b — слитая с помощью mergekit языковая модель, разработанная jaspionjader. Она предназначена для генерации текста и диалогового общения. Модель построена на архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель создана методом breadcrumbs на основе jaspionjader/kstc-1-8b с включением Kosmos-EVAA-Franken-Immersive-v39-8B, v40-8B и v41-8B. Карточка не описывает целевые языки и специализированные области применения. Веса опубликованы в формате safetensors; для запуска используется библиотека Transformers. Лицензия в предоставленных данных не указана.

jaspionjader/kstc-3-8b — слитая модель генерации текста на архитектуре Llama, созданная автором с помощью mergekit методом SLERP из jaspionjader/kstc-2-8b и Kosmos-EVAA-Franken-Immersive-v41-8B. Модель содержит 7,5 млрд параметров и рассчитана на диалоговое общение и генерацию текста; заявленная длина контекста — до 131 072 токенов. Модель принимает текст и генерирует текст. Карточка не описывает отдельные прикладные специализации или языки. Файлы опубликованы в формате safetensors; используется библиотека Transformers. Лицензия в предоставленных данных не указана.

kunoichi-lemon-royale-v2-32K-7B-GGUF — это квантованная версия текстовой генеративной модели kunoichi-lemon-royale-v2-32K-7B, опубликованная bartowski. Исходная модель создана на основе объединения grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B и grimjim/kunoichi-lemon-royale-7B. Распространяется в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста в инструкционном формате, включая диалоговые и другие сценарии, где требуется следовать запросу пользователя. Заявлен контекст до 32K токенов, размер — 7B параметров. Поддерживается только текстовая модальность; сведения о языках обучения и целевой языковой специализации в README не указаны. Для запросов используется формат <s> [INST] {prompt} [/INST]</s>, системный промпт не поддерживается. Доступно множество вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M рекомендуются как обеспечивающие высокий или хороший баланс качества и размера, тогда как более сильное сжатие уменьшает требования к памяти, но снижает качество. Квантование выполнено с использованием imatrix и llama.cpp. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

djuna/L3.1-Romes-Ninomos — объединённая языковая модель на архитектуре Llama, созданная автором с помощью mergekit методом Model Stock. В объединение вошли пять моделей для инструкций и ролевых диалогов; базовой моделью при слиянии служила vicgalle/Roleplay-Hermes-3-Llama-3.1-8B. Модель содержит 7,5 млрд параметров и имеет контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, ролевого общения и написания историй. В метаданных указана поддержка чата; основным языком базовой модели назван английский. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

L3.3-Faust-70B-exp.001 — экспериментальное слияние языковых моделей, созданное автором finis-est с помощью mergekit и метода Model Stock. В качестве базовой модели использована unsloth/Llama-3.3-70B-Instruct; в слияние также вошли EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1, Sao10K/70B-L3.3-Cirrus-x1 и TheDrummer/Anubis-70B-v1. Это плотная авторегрессионная модель семейства Llama на 69,5 млрд параметров для генерации текста и диалогов. Она принимает текст, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors. Метаданные отмечают интерфейс для вызова инструментов, но карточка не приводит подробностей его использования. Автор описывает модель как учебный эксперимент и сообщает, что при тестировании обнаружились как удачные, так и неудачные результаты. Лицензия в предоставленных данных не указана.

Lfm2-MaleCNS-Titans-VL-3B-V2-PT — экспериментальная мультимодальная модель на базе LiquidAI/LFM2.5-VL-3B, дообученная автором карточки с MaleCNS-Titans и сохранением VAE-латентных представлений. Она принимает изображения и текст, сохраняя исходные языковую модель, визуальный модуль и проектор; дополнительные механизмы памяти подключены к визуальному входу и нескольким языковым слоям. Модель предназначена для визуальных запросов и задач, где нужно сохранять информацию между фрагментами или сессиями; README также описывает обновление памяти по наблюдениям и загрузку сохранённых данных из архива. Версия PT включает объединённые LoRA-веса и 536 обновлений в рамках двухчасового обучения; автор сообщает о последующих SFT-весах, сохранённых отдельно. Исходная длина контекста оставлена без изменений, а межфрагментная память управляется вызывающей программой и сессией. README указывает на обучение на материалах на традиционном китайском, отдельных математических и визуальных данных; метаданные также отмечают английский язык. Лицензия обозначена как other, конкретные условия следует смотреть в документах репозитория. Точность извлечения новой информации требует проверки на целевых задачах.

Llama-3.1-SauerkrautLM-8b-Instruct-GGUF — это квантованные версии инструкционной текстовой модели Llama-3.1-SauerkrautLM-8b-Instruct, разработанной VAGOsolutions. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp или LM Studio. Модель имеет размер 8 миллиардов параметров и поддерживает немецкий, английский, итальянский, французский, португальский и испанский языки. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-форматов; размер файлов варьируется примерно от 3,5 до 32,1 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а низкие требуют меньше оперативной памяти, но могут заметно ухудшать результаты. Размер контекстного окна и дополнительные модальности в README не указаны, поэтому модель следует считать текстовой. Модель удобна для локального использования на совместимом оборудовании, особенно когда требуется баланс между качеством, скоростью и потреблением памяти. Основные ограничения связаны с потерями качества при агрессивной квантизации и отсутствием подробных данных о бенчмарках, производительности и контекстном окне. Лицензия указана как llama3.1.

Llama-3.1-Sherkala-8B-Chat — языковая модель Inception (компании G42), MBZUAI и Cerebras Systems, дообученная для выполнения инструкций. Она предназначена прежде всего для казахского языка и также поддерживает английский, русский и турецкий. Модель принимает текст и генерирует текст, подходит для диалоговых помощников, ответов на вопросы и создания контента. В основе лежит причинный трансформер-декодер архитектуры Llama 3.1-8B с позиционным кодированием RoPE и grouped-query attention. Размер модели — 8 млрд параметров, контекст — 8192 токена. Для лучшей токенизации казахского словарь расширен высокочастотными казахскими токенами; обучение включало 45,3 млрд токенов и многоязычную настройку на инструкции. Модель может выдавать неточные, вводящие в заблуждение или предвзятые ответы, поэтому для чувствительных и важных решений необходима проверка человеком. Она не предназначена для коммерческого использования; в карточке указана лицензия CC BY-NC-SA 4.0, а README также требует соблюдать условия лицензии Meta Llama 3.1 Community и связанные политики.

Llama-3.1-SuperSwallow-70B-Instruct-v0.1 — объединённая авторегрессионная языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit на основе Meta Llama 3.1 70B, Llama-3.1-Tulu-3-70B и Llama-3.1-Swallow-70B-v0.1. Модель содержит 69,5 млрд параметров, принимает текст и рассчитана на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 131 072 токена. Модель ориентирована прежде всего на японский и английский языки. В README указано первое место в Open Japanese LLM Leaderboard на 3 декабря 2024 года; для генерации автор рекомендует шаблон instruct и пресет min_p с температурой 1. Карточка не приводит подробных оценок качества за пределами этого результата. Лицензия — Llama 3.1; применяются её условия использования.