I.3Извлечение и структурирование данных

Mistral7B-PairRM-SPPO-Iter3-GGUF — набор квантизированных версий языковой модели Mistral7B-PairRM-SPPO-Iter3, первоначально разработанной UCLA-AGI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны форматы GGUF с уровнями квантизации от Q8_0 до IQ2_XS. Модель предназначена для генерации текста на английском языке и обучалась с использованием датасета openbmb/UltraFeedback. Модель рассчитана на локальный запуск через llama.cpp и совместимые инструменты. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M рекомендуются для большинства сценариев, а низкобитные варианты позволяют сократить требования к оперативной памяти ценой качества. Поддерживается формат промпта «<s> [INST] {prompt} [/INST]</s>»; системный промпт не поддерживается. Модель является текстовой, сведения о контекстном окне и дополнительных модальностях не указаны. Распространяется по лицензии Apache-2.0.

Mistral-Small-Drummer-22B — дообученная автором nbeerbower инструкционная плотная языковая модель на базе mistralai/Mistral-Small-Instruct-2409. Модель обучена методом ORPO в течение одной эпохи на наборах jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo. Она предназначена для диалогов и генерации текста по запросу. Модель содержит 22 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных также указаны интерфейс вызова функций и библиотека Transformers. Карточка приводит отдельные результаты Open LLM Leaderboard: 29,45 в среднем, 63,31 на IFEval и 40,12 на BBH; этих данных недостаточно для вывода о качестве в других задачах. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория и базовой модели.

Azazelle/Mocha-SR-7b-ex — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit из нескольких предварительно обученных моделей. В основу объединения вошли Open-Orca/Mistral-7B-OpenOrca, WizardLM/WizardMath-7B-V1.1 и Mistral-7B-v0.1-Open-Platypus; в README указан метод rescaled_sample и базовая модель mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста; заявленное окно контекста — 32 768 токенов. Смешение моделей общего диалога, математики и инструкционного следования может быть полезно для ответов на вопросы и решения задач с текстовым вводом. Репозиторий использует формат safetensors, библиотека — Transformers. Лицензия — CC BY 4.0.

roky-dev/my-custom-llama-3.2-1b-merged — языковая модель, полученная разработчиком путём слияния моделей семейства Llama 3.2 с помощью mergekit и метода DARE TIES. В качестве базовой использована meta-llama/Llama-3.2-1B-Instruct; в слияние также вошли unsloth/Llama-3.2-1B-Instruct и meta-llama/Llama-3.2-1B. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, суммаризации и помощи в написании текста. Поддерживаемый контекст — до 131 072 токенов. Модель унаследовала многоязычную направленность базовой модели; конкретные языки карточка не перечисляет. Это компактная объединённая модель, поэтому качество ответов и следование инструкциям могут отличаться от исходных моделей и зависят от сценария. Лицензия в предоставленных данных не указана.

AlSamCur123/Nemo-InstructContinuedFine — дообученная разговорная модель AlSamCur123 на архитектуре Mistral, основанная на unsloth/mistral-nemo-instruct-2407-bnb-4bit. Для обучения использовались Unsloth и библиотека Hugging Face TRL; модель предназначена для генерации текста в диалоге и имеет интерфейс вызова инструментов. Модель содержит 12,1 млрд параметров, использует формат Safetensors и рассчитана на контекст до 1 024 000 токенов. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0.

NeuralsirkrishnaShadow_AlloyingotneoyExperiment26 — объединённая языковая модель семейства Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/AlloyingotneoyExperiment26-7B. Она предназначена для генерации текста и сценариев, где требуется продолжать или создавать текст по запросу. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Весовые файлы представлены в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

Norobara-ZLoss-8x7B-GGUF — квантизированная версия языковой модели Norobara ZLoss 8X7B, разработанной Doctor Shotgun и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста по инструкциям, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. Модель обучалась на наборах данных LDJnr/Capybara, unalignment/toxic-dpo-v0.1, LDJnr/Verified-Camel, HuggingFaceH4/no_robots и связанных наборах Doctor Shotgun. В метаданных указан английский язык. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между потреблением памяти, скоростью и качеством. Исходное обозначение 8x7B указывает на конфигурацию модели, однако точное число активных параметров и размер контекстного окна в README не указаны. GGUF-версии совместимы с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильной стороной является возможность запуска на CPU и GPU с разными уровнями квантования; ограничениями могут быть потери качества при использовании наиболее агрессивных вариантов квантования, а также отсутствие заявленной поддержки мультимодальных входов. Лицензия в README не указана, поэтому условия использования следует уточнять в репозитории исходной модели и у автора.

Карточка модели localized-ft/OLMo-3-7B-school-of-reward-hacks-inoculation-prompting-seed3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

OLMo 7B July 2024 Instruct — языковая модель Allen Institute for AI (AI2), основанная на авторегрессионном трансформере OLMo. Это дообученная версия OLMo 7B July 2024: её обучали методом SFT на смеси Tulu 2, а затем DPO на очищенном наборе UltraFeedback. Модель содержит 6,7 млрд параметров и принимает текстовые запросы, выдавая текстовые ответы; поддерживает диалог и рассчитана прежде всего на английский язык. Модель предназначена для ответов на вопросы и следования инструкциям в диалоговых сценариях. Контекстное окно — 4096 токенов. Для запуска через Transformers требуется версия 4.40.0 или новее. Модель распространяется по лицензии Apache 2.0. В карточке отмечено, что это исследовательский артефакт без специального фильтра безопасности или отдельного обучения на безопасность; ответы могут содержать вредный или чувствительный контент, быть предвзятыми либо звучать убедительно, оставаясь фактически неверными. Для практического применения результаты следует проверять и при необходимости дополнять мерами защиты.

Openbuddy Deepseek 67B V15 Base GGUF — это квантизированная версия большой языковой модели Openbuddy Deepseek 67B V15 Base, разработанной OpenBuddy и подготовленной в формате GGUF командой TheBloke. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые графические интерфейсы и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Модель относится к архитектуре DeepSeek, содержит 67 миллиардов параметров и работает в текстовой модальности. В README заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского, русского и финского языков. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Размер контекста и другие подробные архитектурные характеристики не указаны. К сильным сторонам относятся поддержка нескольких языков, возможность запуска на CPU и GPU и широкий выбор степеней квантования. Ограничения связаны с большим размером исходной модели, потенциальной потерей качества при агрессивном квантовании и отсутствием в README подробных результатов оценки, специальных возможностей диалога и рекомендуемых параметров генерации. Модель распространяется по лицензии DeepSeek; указана ссылка на лицензию deepseek-ai.

Ornith-1.5-35B-A3B-GGUF — это квантизированная версия модели Ornith-1.5-35B-A3B от ornith-ai, преобразованная и измеренная командой AtomicChat. Модель распространяется в формате GGUF для запуска с llama.cpp и предназначена для локального использования в диалоговых и мультимодальных сценариях; в метаданных указана задача image-text-to-text. Языки и максимальная длина контекста в карточке не указаны, однако оценки квантования проводились при контексте 4096 токенов. Модель использует разреженную MoE-архитектуру: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Маршрутизатор выбирает восемь экспертов из 256, что снижает вычислительную нагрузку, но требует размещения всех экспертов в памяти. Доступны варианты квантования от Q8_0 до низкобитных IQ-сборок объёмом примерно от 36,9 до 13,7 ГБ; для видеокарт с небольшим объёмом памяти эксперты можно размещать в системной RAM через параметры llama.cpp. Сильная сторона сборки — использование собственной importance matrix и специально подобранных раскладок квантования AtomicChat. Например, AD-Q6_K занимает 29,1 ГБ и сохраняет близкие к Q8_0 показатели: средняя KL-дивергенция 0,012961 и совпадение следующего токена 95,31% с полноточной моделью. Более компактные варианты требуют компромисса между размером и точностью, а запуск на системной RAM может снизить скорость из-за пропускной способности памяти. Лицензия модели — MIT.

Это квантизированная версия Phi-4-reasoning-plus, разработанная AMD на основе модели Microsoft с использованием LLM Compressor. Модель предназначена для генерации текста и задач рассуждения, включая сценарии локального вывода на процессорах AMD EPYC. Она поддерживает только текстовые входы и выходы, указанный язык — английский, а запуск рассчитан на Linux с использованием vLLM. Архитектура модели обозначена как Phi3ForCausalLM. Применена 4-битная квантизация только весов W4A16 методом GPTQ: веса INT4 имеют симметричное групповое представление с размером группы 128, а активации сохраняются в формате BF16. Квантизация выполнена в формате compressed-tensors, при этом lm_head не квантизировался. Для CPU-инференса предусмотрена оптимизация через ZenDNN и ZenTorch; заявлена совместимость с AMD EPYC, ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0 и vLLM 0.26.0. Главное преимущество модели — уменьшенный размер весов и возможность эффективного вывода на AMD CPU при сохранении качества, близкого к исходной BF16-модели: на GSM8K получено 0,8688 против 0,8704 у базовой версии, то есть восстановлено 99,82% результата. Ограничения включают привязку к указанным версиям программного стека, ориентацию на CPU AMD EPYC и возможное снижение точности из-за агрессивной 4-битной квантизации. Модель распространяется по лицензии MIT; README также указывает, что она предоставляется на условиях лицензии исходной модели.

PiVoT-10.7B-Mistral-v0.2-RP-GGUF — квантизированная версия языковой модели Pivot 10.7B Mistral V0.2 RP, разработанной Jeonghwan Park и преобразованной в формат GGUF пользователем TheBloke. Модель относится к семейству Mistral, предназначена для генерации текста и поддерживает английский язык. Модель имеет размер 10,7 млрд параметров и распространяется в вариантах GGUF с квантизацией от 2 до 8 бит, что позволяет запускать её локально с использованием CPU и GPU. Для взаимодействия рекомендуется шаблон Mistral «[INST] {prompt} [/INST]». Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильной стороной модели является возможность локального запуска на различном оборудовании благодаря нескольким уровням квантизации. При этом README не содержит данных о размере контекстного окна, результатах тестирования, качестве по отдельным задачам, мультимодальности или поддержке языков помимо английского. Квантизация может влиять на качество генерации по сравнению с исходной версией в формате FP16. Модель распространяется по лицензии CC BY-SA 4.0.

Prima-LelantaclesV6-7b — объединённая модель семейства Mistral с 7,1 млрд параметров, опубликованная ChaoticNeutrals. Она создана методом DARE TIES на основе Test157t/Lelantacles6-Experiment26-7B и Test157t/West-Pasta-Lake-7b и предназначена для генерации текста на основе текстового запроса. Веса доступны в формате Safetensors; заявленная длина контекста составляет 32 768 токенов. Модель подходит для диалогов, написания и продолжения текста, а также задач на рассуждение в сценариях, где требуется генеративная языковая модель. В README приведены результаты Open LLM Leaderboard, включая средний балл 73,41, но подробные результаты представлены не полностью. Указана лицензия other, поэтому условия использования следует сверять с лицензиями исходных моделей и репозитория; конкретные ограничения качества и поддерживаемые языки в доступных данных не описаны.

Qwen2.5-3B-Instruct-GGUF — набор GGUF-квантизаций инструкционной языковой модели Qwen2.5-3B-Instruct. Квантизации подготовлены пользователем bartowski с помощью llama.cpp и imatrix; исходная модель опубликована под именем Qwen/Qwen2.5-3B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Доступны варианты от полноразмерного F16 до более компактных форматов Q8_0, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством ответов и требованиями к памяти. Размер файлов составляет примерно от 1,35 до 6,18 ГБ. Указан английский язык; сведения о других языках, архитектуре и размере контекста в README отсутствуют. Для работы следует использовать шаблон сообщений Qwen с ролями system, user и assistant. Сильная сторона набора — широкий выбор уровней квантизации, включая варианты, оптимизированные для ARM, а также imatrix-квантизации с акцентом на сохранение качества. Более компактные варианты требуют меньше памяти, но могут заметно уступать старшим форматам по качеству; некоторые низкобитные версии прямо обозначены как низкокачественные или нерекомендуемые. Лицензия указана как qwen-research с отдельной лицензией исходной модели.

Модель kingofjoy/qwen3_1.7b_summary_v10_vllm — дообученная языковая модель семейства Qwen3, разработанная kingofjoy на базе unsloth/Qwen3-1.7B-unsloth-bnb-4bit. Это плотная авторегрессионная модель с архитектурой Qwen3ForCausalLM и 1,7 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке также указана поддержка интерфейса вызова инструментов. Модель принимает текст и выдаёт текст; её контекстное окно составляет до 40 960 токенов. В метаданных отмечен английский язык. Вес опубликован в формате safetensors и распространяется по лицензии Apache-2.0. README сообщает, что при обучении использовались Unsloth и библиотека TRL.

Это дообученная компанией clijo диалоговая языковая модель Qwen3-4B-Instruct-2507, обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и вопросы в формате диалога; карточка не уточняет отдельные специализации дообучения. Модель использует плотную архитектуру Qwen3ForCausalLM и содержит 3,7 млрд параметров. Нативная длина контекста — до 262 144 токенов. Репозиторий содержит веса в формате safetensors; метаданные указывают на поддержку чата. Лицензия в предоставленных данных не обозначена.

Это конверсия в формат Apple MLX дообученной мультимодальной модели Qwen3.5-4B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING. Репозиторий xv1rcn подготовил её с помощью mlx-vlm 0.6.3; веса представлены в safetensors, а энкодер изображений сохранён в BF16. Модель имеет около 4 млрд параметров и гибридную архитектуру Qwen3.5 с Gated Delta Networks и разреженными блоками Mixture-of-Experts. Нативная длина контекста исходной модели — 262 144 токена, с расширением до 1 010 000; для конверсии отдельные характеристики контекста не приведены. Модель предназначена для диалогов, рассуждений, творческого письма, ролевых сценариев и ответов на вопросы по изображениям. README отмечает исправленный шаблон чата для обработки повторов, чрезмерно длинного рассуждения, циклов и вызова инструментов. Указана поддержка 201 языка и диалектов для семейства Qwen3.5, однако карточка этой модели отдельно подтверждает английский и китайский. Конверсия ориентирована на запуск в Apple MLX; для других сред совместимость зависит от используемого формата и инструментов. Лицензия — Apache-2.0.

Карточка модели AtomicChat/Qwen3.8-27B-MLX-AD-5.00bpw-DWQ-17.7GB на Hugging Face совпадает с карточкой AtomicChat/Qwen3.8-27B-MLX-AD-3.80bpw-DWQ-13.7GB, поэтому описание составлено по ней. AtomicChat/Qwen3.8-27B-MLX-AD-3.80bpw-DWQ-13.7GB — мультимодальная плотная модель семейства Qwen3.5 на 27 млрд параметров, подготовленная AtomicChat на основе Qwen/Qwen3.8-27B для работы в формате MLX. Она предназначена для диалогов и задач, где нужно анализировать изображения и формировать текстовый ответ. Карточка также указывает поддержку vision и conversational-взаимодействия. Модель принимает текст и изображения, выдаёт текст. Репозиторий использует safetensors, а для базовой модели указана лицензия Apache-2.0. README описывает преобразование в MLX с помощью mlx-lm 0.31.3; сведений о контекстном окне и ограничениях качества карточка не приводит.

Qwen3.8-4B-Empero-AI-FullStack-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.8-4B-Empero-AI-FullStack, разработанной iBotIA и опубликованной в формате GGUF пользователем tinyopsec. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama или llama-cpp-python. Доступны варианты с точностью от 2 до 16 бит и размером примерно от 1,3 до 8,7 ГБ. Рекомендуемым вариантом по умолчанию указан Q4_K_M, обеспечивающий баланс между качеством и требованиями к памяти; варианты с более высокой точностью требуют больше VRAM, а варианты с сильнее сжатой квантизацией подходят для устройств с ограниченными ресурсами. В README указана поддержка английского языка и текстовая модальность. Архитектура исходной модели, размер контекста и дополнительные модальности не описаны. Основные преимущества набора — широкий выбор уровней квантизации, возможность локального запуска и совместимость с популярными инструментами для GGUF. Ограничения связаны с неизбежной потерей качества при использовании низкобитных вариантов, а также с отсутствием подробных сведений о качестве, обучении и возможностях исходной модели. В метаданных репозитория указана лицензия Apache 2.0; README также отсылает к лицензии оригинальной модели, которую следует проверить отдельно.

LaTexT/qwen3-8b-gz9-newlines-iter2-w0.2 — дообученная модель на базе Qwen/Qwen3-8B, созданная с помощью TRL. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров и контекстом до 40 960 токенов, предназначенная для диалоговой генерации текста. Карточка связывает её с экспериментом LaTexT и указывает обучающий набор shannons/ot3-1.2m-10k-converted. Модель можно использовать для генерации ответов в чате и выполнения инструкций в текстовом интерфейсе; метаданные также отмечают интерфейс вызова инструментов. Поддерживаемые языки отдельно не перечислены, поэтому описание не приписывает ей конкретный языковой охват. Репозиторий содержит веса в формате safetensors и рассчитан на использование через Transformers. Это экспериментальный чекпойнт из исследовательского проекта; README не приводит сравнительных оценок качества или гарантий поведения. Условия лицензии в предоставленных сведениях не указаны.

Qwen3.8-Next-Flash-ROCmFPX-MUTANT-RAZERFAST-GGUF — это квантизированная GGUF-сборка модели Qwen/Qwen3.8-Flash-Next, опубликованная hstolte. Она предназначена для генерации текста и локального запуска на системах AMD Strix Halo, включая Ryzen AI MAX+ 395 с Radeon 8060S. Модель использует специальные форматы квантования ROCmFPX и рассчитана на работу с ROCm и совместимым модифицированным runtime. Сборка содержит около 125 млрд параметров, из которых активно используется около 6 млрд, а также таблицу n-граммных embedding размером 51 млрд значений и совместимую 4-миллиардную MTP draft head для speculative decoding. Основной файл занимает около 90,1 ГБ, дополнительный MTP-файл — около 2,75 ГБ. Применяются 4-битные и 3-битные форматы с оптимизациями RZ5, UE4M4 и RZ-S3, которые, согласно приведённым калибровочным измерениям, снижают ошибку реконструкции относительно стандартных вариантов при той же разрядности. Главное преимущество модели — оптимизация под AMD Strix Halo, эффективное использование общей памяти или подгрузка крупной PLE-таблицы с NVMe и улучшенная точность квантования по сравнению с базовыми ROCmFP4 и ROCmFP3. Ограничение заключается в том, что это не стандартный GGUF: обычный llama.cpp такие файлы не загружает, требуется специальная ветка runtime ROCmFPX с соответствующими изменениями. Языки, размер контекстного окна и результаты прикладных тестов в README не указаны. Лицензия обозначена как qwen-community-1.0; применяется файл LICENSE из репозитория.

Это плотная модель для поиска по тексту, дообученная Steve0927 на базе Qwen3-Embedding-0.6B в рамках эксперимента для соревнования XIR 1170. Она создаёт эмбеддинги запросов и документов, чтобы находить семантически близкие документы и строить поиск по траекториям. Чекпойнт обучен на 91 324 строках, связанных с траекториями и связями запрос–документ; README сообщает, что внешние запросы, ответы и документы, а также лидербордные запросы и скрытые результаты не использовались.

Qwen3-Reranker-4B-AWQ-INT4 — это производная версия модели Qwen3-Reranker-4B, разработанная сообществом drawais на основе исходной модели Qwen. Она предназначена для переранжирования результатов поиска и построения полностью локальных стеков семантического поиска в сочетании с embedding-моделью. Модель может использоваться в задачах retrieval, где требуется уточнить порядок найденных документов или сопоставить запрос с кандидатами. Модель представляет собой 4-битную квантизацию весов в формате INT4 с использованием AWQ и имеет размер на диске около 2,7 ГБ. Указанная максимальная длина контекста составляет 32 768 токенов при использовании vLLM. Поддерживается английский язык; другие языки в карточке не заявлены. Это текстовая модель, доступная через библиотеку Transformers и совместимая с vLLM. Ключевое преимущество версии — существенно уменьшенный размер по сравнению с полной моделью, что упрощает локальное развертывание. Ограничения включают поддержку только английского языка, необходимость достаточного запаса видеопамяти для KV-кэша и потенциальные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Apache License 2.0; для производной работы указаны исходная модель и требования по атрибуции.

furiosa-ai/Qwen3-Reranker-8B — версия модели Qwen/Qwen3-Reranker-8B, подготовленная для запуска через Furiosa-LLM на ускорителе FuriosaAI RNGD. Это плотная трансформерная модель семейства Qwen3 с 7,6 млрд параметров. Она принимает текстовый запрос и набор кандидатных документов и возвращает оценки релевантности, по которым результаты можно переупорядочить; типичный сценарий — второй этап поиска в RAG-системах. Контекст составляет до 40 960 токенов. Модель работает в исходной точности BF16 без квантизации; для RNGD используется параллелизм по тензорам на 8 вычислительных элементах одной карты. Репозиторий также содержит Furiosa Executable Bundle, а README указывает совместимость с Sentence Transformers, vLLM и Transformers. Модель распространяется по лицензии Apache 2.0. Описание не приводит результатов сравнительной оценки качества; запуск с Furiosa-LLM на RNGD требует соответствующего оборудования и программной среды.

Weyaxi/Qwen-72B-Llama — преобразованная версия Qwen/Qwen-72B, созданная автором репозитория Weyaxi с помощью скрипта llamafy_qwen.py из LLaMA-Factory. Это плотная авторегрессионная языковая модель семейства Llama с 71 млрд параметров, предназначенная для генерации текста; веса опубликованы в формате safetensors, длина контекста составляет 32 768 токенов. Автор сообщает, что после преобразования весов использовал токенизатор из KnutJaegersberg/Qwen-14B-Llamafied. Модель подходит для генерации продолжений и ответов на текстовые запросы. В приведённом автором сравнении средний результат на Open LLM Leaderboard ниже, чем у исходной Qwen-72B: 69,53 против 73,6; оценки ARC и HellaSwag также немного ниже. Лицензия указана как other, поэтому условия использования следует проверять в карточке репозитория и у базовой модели.

Qwerus-7B-GGUF — набор GGUF-квантизаций модели Qwerus-7B, разработанный bartowski на основе модели mlabonne/Qwerus-7B. Квантизация выполнена с использованием llama.cpp версии b4418 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio и совместимые инструменты llama.cpp. В набор входят варианты от исходных весов F16 размером 15,24 ГБ до компактных квантов IQ2_M размером 2,78 ГБ. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более крупные варианты обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но сильнее теряют в качестве. Для большинства сценариев автор рекомендует Q4_K_M как сбалансированный вариант, а Q5_K и Q6_K — как более качественные. Из README не указаны архитектура исходной модели, размер контекстного окна, поддерживаемые языки и модальности. Приведён шаблон диалога с ролями system, user и assistant. Лицензия модели — MIT.

bartowski/Replete-LLM-V2.5-Qwen-32b-GGUF — это набор GGUF-квантизаций модели Replete-LLM-V2.5-Qwen-32b, разработанной rombodawg и опубликованной в квантизированном виде пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. Для работы используется формат prompt с ролями system, user и assistant. В набор входят варианты от исходных весов F16 размером 65,54 ГБ до квантизаций Q2, Q3, Q4, Q5, Q6, Q8 и IQ, размером примерно от 13,07 до 34,82 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp b3972. Наиболее качественными и рекомендуемыми автор считает варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты снижают качество, но подходят для систем с ограниченным объёмом оперативной памяти. README не содержит сведений о точной архитектуре базовой модели, размере контекста, поддерживаемых языках, мультимодальности, результатах тестирования или специализированных сценариях применения. Лицензия указана как Apache-2.0.

Модель cross-encoder-testing/reranker-bert-tiny-gooaq-bce-tanh-v3 — это англоязычный Cross Encoder, разработанный на базе prajjwal1/bert-tiny с использованием библиотеки Sentence Transformers. Модель дообучена на данных GooAQ и предназначена для оценки пар текстов: она получает два фрагмента на вход и вычисляет один числовой балл их смыслового соответствия. Основные сценарии применения включают семантический поиск и переранжирование результатов, оценку текстового сходства, поиск перефразировок, классификацию текстов и другие задачи, где требуется сравнивать два текстовых фрагмента. Максимальная длина последовательности составляет 512 токенов, модель поддерживает один выходной лейбл и рассчитана на работу с английским языком. В метаданных указаны метрики MAP, MRR@10 и NDCG@10; размер базовой модели обозначен как BERT-tiny, однако точное число параметров не приведено. К сильным сторонам относятся компактность базовой архитектуры и возможность напрямую ранжировать пары запрос–документ или другие пары текстов. Как Cross Encoder, модель совместно анализирует оба текста, что может обеспечивать более точную оценку соответствия, но обычно требует отдельного вычисления для каждой пары и потому менее удобна для первичного поиска по большим коллекциям. README не приводит численных результатов оценки, подробностей о составе обучающей выборки или ограничений по доменам. Лицензия — Apache-2.0.

HuggingJin выпустил чекпойнт третьего цикла SDPO + ReSAIL на базе Qwen/Qwen3-8B, дообученный на TextCraft. Это плотная причинная языковая модель с 7,6 млрд параметров, рассчитанная на генерацию текста и работу в диалоговом режиме; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 40 960 токенов. В экспериментах TextCraft авторы сообщают средний результат 73,3% по трём случайным начальным состояниям декодирования; режим рассуждений был отключён. Лицензия — Apache 2.0.