I.3Извлечение и структурирование данных

DeepSeek-R1-Distill-Qwen-7B-bnb-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Модель относится к семейству плотных языковых моделей Qwen, дистиллированных из DeepSeek-R1, и предназначена для исследовательских и прикладных задач, требующих рассуждений, включая решение математических задач, программирование, анализ и генерацию текста. В README также упоминается применение для диалоговых сценариев и текстового завершения через экосистему Transformers и инструменты Unsloth. Модель имеет размер 7B параметров и поддерживает английский язык; другие языки и мультимодальные возможности в предоставленных данных не указаны. Суффикс bnb-4bit указывает на 4-битное представление в формате, связанном с bitsandbytes, что снижает требования к памяти и делает запуск доступнее на ограниченных по ресурсам GPU, однако может сопровождаться компромиссом между качеством и точностью по сравнению с полной точностью. Архитектурные детали и размер контекста в README не приведены. Сильной стороной модели являются возможности рассуждения, унаследованные от DeepSeek-R1 и дистиллированные в компактную 7B-модель, а также более экономичное потребление памяти благодаря квантованию. Ограничения включают возможные ошибки, недостаточную читаемость или смешение языков, характерные для reasoning-моделей и упомянутые в контексте исходного семейства; конкретные результаты для этой версии не указаны. Модель распространяется по лицензии Apache-2.0.

blackbook-lm/DeepSeek-R1-Distill-Qwen-7B-heretic — разговорная языковая модель на архитектуре Qwen2, основанная на DeepSeek-R1-Distill-Qwen-7B. По метаданным, она содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов и рассуждений, в том числе для задач по математике и программированию. Это вариант с abliteration: в карточке приведено сравнение с исходной моделью, где число отказов на тесте из 100 запросов снизилось с 49 до 5, а KL-дивергенция составила 0,0071. Тегами также отмечено снижение ограничений на ответы. Эти результаты относятся к приведённой в карточке оценке и не гарантируют такого поведения на других запросах. Веса опубликованы в формате safetensors, библиотека для работы — Transformers, лицензия — MIT. Карточка не указывает отдельные языковые характеристики этого варианта; базовая модель семейства DeepSeek-R1 предназначена для рассуждений, математики и кода.

mlx-community/Dolphin-2.9.3-Mistral-Nemo-12b-bf16 — преобразованная в формат MLX версия Dolphin 2.9.3 на базе Mistral Nemo, подготовленная сообществом mlx-community. Это плотная языковая модель с архитектурой MistralForCausalLM и 12,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель дообучена на базе mistralai/Mistral-Nemo-Base-2407; среди датасетов указаны Dolphin-2.9, OpenHermes-2.5, наборы для программирования, математики, вызова функций и агентных сценариев. Каталог указывает контекст до 1 024 000 токенов. Репозиторий содержит веса safetensors, а README описывает конвертацию в MLX с помощью mlx-lm 0.16.1, поэтому модель рассчитана на запуск в экосистеме MLX. Подходит для ответов на вопросы, следования инструкциям, генерации кода и решения математических задач. В метаданных указана лицензия Apache-2.0. Практическая применимость заявленной длины контекста и качество на конкретных задачах отдельно не подтверждены в предоставленной карточке.

granite-4.1-8b-heretic — это децензурированная версия IBM Granite 4.1 8B Instruct, созданная пользователем RACER IS OP на основе модели ibm-granite/granite-4.1-8b-instruct. Модель предназначена для генерации текста, диалоговых сценариев, написания кода, задач на рассуждение и других случаев, где требуется прямое следование инструкциям без типичных отказов базовой модели. Она ориентирована на локальный запуск на потребительских GPU, CPU и Apple Silicon, а также может использоваться через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Модель имеет нативный размер около 8,4 млрд параметров; доступны веса BF16 и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. В README указана поддержка английского языка, архитектурные детали и размер контекста не приведены. Децензурирование выполнено с помощью Heretic 1.4.0 методом directional ablation («abliteration»): целевые изменения весов внесены в выходные проекции attention и down-projections MLP без дообучения. Заявляется, что знания и основные возможности базовой модели в значительной степени сохранены. Сильной стороной модели является сочетание возможностей 8B-модели, доступности различных уровней квантования и подавления отказов, что делает её удобной для локального использования. Ограничение состоит в намеренном отсутствии дополнительной фильтрации безопасности: модель может выполнять запросы, от которых отказалась бы базовая версия, в том числе нежелательные. Поэтому разработчик рекомендует не использовать её за незащищёнными публичными интерфейсами без собственного контроля и модерации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

HelixLM-CheckpointHub — текстовая авторегрессионная модель семейства HelixLM, поддерживаемого Nimbus AI Lab. Она предназначена для генерации ответов и диалогов, включая решение математических и логических задач, программирование и вызов функций. В карточке описаны улучшения рассуждений после дополнительной вычислительной подготовки и оптимизаций на этапе постобучения; заявлено повышение результата GPQA-Diamond с 58% до 76,5% по сравнению с предыдущей версией HelixLM. Модель доступна в формате PyTorch и использует библиотеку Transformers. README рекомендует температуру 0,6 и приводит системный промпт для ассистента. Также описаны сценарии вопросов по загруженным файлам и генерации с результатами веб-поиска. Размер модели и длина контекста в предоставленных данных не указаны. Для модели заявлена лицензия MIT. README отмечает улучшения в снижении галлюцинаций и поддержке вызова функций, но не приводит подробных оценок, методики сравнения или ограничений по применению; фактическое качество на конкретных задачах может отличаться от benchmark-результатов.

Hermes-Euryale-70B — объединённая диалоговая языковая модель на базе Llama 3.1, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-3-Llama-3.1-70B и Sao10K/L3.1-70B-Euryale-v2.2. Модель разработана владельцем репозитория harkov000; архитектура — плотная LlamaForCausalLM с 69,5 млрд параметров, для работы используется библиотека Transformers. Нативное контекстное окно составляет 131 072 токена. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. Она объединяет характеристики двух исходных моделей; метаданные описывают Hermes 3 как англоязычную модель для инструкций, кода, длинных бесед и работы с инструментами. Файлы модели представлены в формате safetensors. Лицензия в предоставленных данных не указана.

Hy3-295B-NVFP4 — квантованный экспорт базовой модели Tencent Hy3, подготовленный r0b0tlab с NVIDIA ModelOpt и проверенный в vLLM на двух системах NVIDIA GB10. Это MoE-модель для генерации диалогового текста; артефакт использует калиброванную квантизацию весов W4A4 NVFP4 для поддерживаемых проекций маршрутизируемых экспертов, а проверенный KV-кэш работает в FP8. В README описана практическая проверка контекста до 49 152 токенов, но это измеренная граница конкретного профиля, а не заявленный архитектурный максимум. Модель предназначена для диалогов, рассуждений, ответов на вопросы, задач на следование инструкциям и генерации кода. В README приведены результаты тестов на GSM8K, ARC-Challenge, PIQA, WinoGrande, TruthfulQA, MMLU, IFEval и HumanEval, а также измерения производительности на указанном оборудовании. Результаты относятся к конкретным конфигурациям запуска, данным и контрактам декодирования и не гарантируют качество для любых запросов. В метаданных указана лицензия other; README требует соблюдать лицензии и условия базовой модели, библиотек и наборов данных. Для запуска и заявленной производительности необходимы совместимые аппаратное обеспечение и программный стек; показатели проверки получены на двух GB10 с vLLM и FlashInfer.

Infinity-Instruct-3M-0625-Yi-1.5-9B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная следовать инструкциям. Это плотная авторегрессионная модель семейства Yi-1.5 с 8,6 млрд параметров, рассчитанная на генерацию текста и диалог в формате чата. Контекст составляет 4096 токенов; для работы используются веса SafeTensors. Модель дообучена на наборах Infinity-Instruct-3M и Infinity-Instruct-0625 без обучения с подкреплением на основе отзывов людей (RLHF). Она предназначена для ответов на вопросы и многошагового диалога, включая повседневные запросы, математику и код. Авторы сообщают о результатах на бенчмарках AlpacaEval 2.0 и MT-Bench. В карточке указана лицензия Apache-2.0, однако README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

Baekpica подготовил смешанно-квантованную версию GGUF модели IFM/K2-Horizon-375B-A23B для запуска крупной разреженной языковой модели на системах с ограниченной памятью. Репозиторий содержит веса в четырёх частях объёмом около 86,7 ГиБ; применены несколько типов квантования, включая Q8_0, IQ1_S, IQ1_M, IQ2_XXS и IQ2_XS. По карточке базовая модель имеет архитектуру MoE и контекст до 524 288 токенов. Модель предназначена для диалоговой генерации текста и сценариев с длинными запросами, рассуждениями, кодом и использованием инструментов. README описывает калибровку на данных для программирования, математики, науки и общих рассуждений, а также оптимизации инференса и проверки совместимости с llama.cpp. Указанные в README показатели скорости относятся к конкретной тестовой конфигурации и не гарантируют такую же производительность на другом оборудовании. Модель преобразована из BF16-чекпойнта, а не повторно квантована из FP8. Лицензия репозитория — Apache-2.0. Автор отмечает, что для производственного обслуживания ещё требуются проверки на DGX Spark GB10 и устранение проблемы согласования управления памятью; описана проверка на H200.

Liberated-Qwen1.5-7B — разговорная языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалог в формате ChatML. Базовая модель поддерживает контекст до 32 768 токенов; при дообучении использовались последовательности длиной 8 000 токенов. Модель дообучена методом qLoRA на открытых наборах данных, включая OpenHermes-2.5, Code-Feedback, CodeFeedback-Filtered-Instruction и синтетические многоходовые диалоги SystemChat. Она предназначена для ответов на запросы, ведения продолжительных диалогов и следования системным инструкциям, в том числе необычным или механическим. Также её можно использовать для генерации кода и инструкционного текста. В README указано, что при обучении не добавлялись защитные ограничения или цензура, поэтому модель может выдавать нежелательное содержание. Перед предоставлением доступа через сервис разработчик рекомендует добавить собственный слой выравнивания. Лицензия — tongyi-qianwen.

LongCat-Flash-Thinking-2601 — разработанная Meituan большая языковая модель для рассуждений и агентных сценариев. В карточке описана обновлённая версия семейства LongCat-Flash-Thinking с архитектурой Mixture-of-Experts и 560 млрд общих параметров; метаданные Hugging Face указывают 17,7 млрд параметров. Модель обучали на многошаговом использовании инструментов и поиске, включая подкрепляющее обучение в разнообразных средах с шумом. Модель предназначена для диалогов, сложных рассуждений, вызова инструментов, агентного поиска и задач, где нужно координировать несколько инструментов. Шаблон чата поддерживает чередование рассуждений и вызовов инструментов, а режим Heavy Thinking предназначен для особенно трудных задач. Метаданные указывают контекст до 983 040 токенов и формат safetensors. Модель принимает текст и генерирует текст, в том числе ответы в диалоге и структурированные вызовы инструментов. Карточка отмечает сильные результаты на агентных задачах и обобщение на новых сценариях, однако модель не оценивалась полноценно для всех прикладных задач. Лицензия — MIT.

Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

Mungert/MiniCPM5-1B-GGUF — это GGUF-версия компактной языковой модели MiniCPM5-1B, разработанной командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, включая сценарии on-device и edge AI. Формат GGUF рассчитан на использование с llama.cpp, Ollama и LM Studio; данный вариант создан с помощью llama.cpp. Модель является каузальной языковой моделью с архитектурой LlamaForCausalLM и 1 080 632 832 параметрами. Она содержит 24 слоя и использует групповое обобщённое внимание (GQA) с 16 головами для запросов и 2 головами для ключей и значений. Заявленная длина контекста составляет 131 072 токена. Поддерживаются английский и китайский языки, генерация текста, программирование, работа с инструментами, агентские сценарии и задачи, требующие рассуждений. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и гибридный режим рассуждений: один и тот же чекпойнт может работать как быстрый ассистент или включать режим пошагового размышления через параметр enable_thinking. По данным разработчиков, преимущества особенно заметны в использовании инструментов, генерации кода и сложных задачах рассуждения. Ограничения модели связаны с её компактным размером и текстовой специализацией; README не содержит подробных сведений о качестве на всех языках, требованиях к аппаратным ресурсам и конкретных вариантах квантования GGUF. Модель распространяется по лицензии Apache-2.0.

Occamy-1.0 APEX-I-MiniPlus-V2.1 Abliterated GGUF — это квантизированная версия Occamy-1.0, разработанная IsValorum на базе Accio-Lab/occamy-1.0. Модель предназначена для генерации текста, рассуждений, программирования и работы с большими контекстами, включая сценарии локального запуска через llama.cpp на системной RAM и GPU. Это аблитерированная версия без стандартных отказов и защитных ограничений, поэтому она ориентирована на пользователей, которым требуется более свободное выполнение запросов, в том числе в задачах кибербезопасности и пентестинга. Модель использует разреженную архитектуру Mixture-of-Experts с 40 слоями и 256 микроэкспертами. В сборке применена кастомная тензорная квантизация: основные эксперты используют IQ3_XXS, периферийные — Q3_K, shared-эксперты — Q5_K, attention-компоненты — Q4_K и Q6_K, выходная голова — Q6_K, а маршрутизаторы — F32. Заявлен контекст до 256K токенов. Поддерживаются английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Сильными сторонами заявлены компактный размер около 13,74 GiB, сохранение качества рассуждений при квантизации, отсутствие отказов в протестированном наборе запросов и эффективная работа при частичной или полной выгрузке в системную память. Ограничения включают потенциальные риски неконтролируемой генерации из-за удаления защитных механизмов, зависимость производительности от GPU, процессора и пропускной способности памяти, а также отсутствие в представленном README подробных независимых бенчмарков. Лицензия — Apache-2.0.

Olmo-3-7B-Instruct-SFT — англоязычная авторегрессионная Transformer-модель для диалогов и выполнения инструкций, разработанная Allen Institute for AI (Ai2). Это плотная языковая модель семейства OLMo 3 с 6,9 млрд параметров, дообученная методом SFT на наборах Dolci, включающих диалоги, общие знания, математику и программирование. Модель принимает текст и генерирует текст; контекстное окно составляет 65 536 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, задач по математике и программированию, а также следования инструкциям. В карточке приведены результаты тестов, включая MATH и AIME, но качество ответов может варьироваться. Лицензия Apache 2.0; разработчик рекомендует учитывать свои правила ответственного использования. Модель может выдавать неточные сведения и небезопасный или предвзятый контент, поэтому ответы следует проверять.

Карточка модели Openintelligent123/phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

Карточка модели Fbjfhvgv/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели Hellbound237/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели ripgermany/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели sagar-rasakonda/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

FreedomAISVR публикует квантованную в NVFP4 модель Qwen3.5-9B-Instruct в формате GGUF. Это мультимодальная модель семейства Qwen на 9 млрд параметров для диалога и выполнения инструкций; карточка указывает поддержку генерации текста, понимания изображений, рассуждений и генерации кода. В архитектуре сочетаются GQA и MLA, чередование блоков SSM (Mamba-2), а для изображений используется визуальный энкодер SigLIP ViT с мультимодальным проектором. Режим рассуждений по умолчанию выключен. Квантование NVFP4 рассчитано прежде всего на ускорение инференса на GPU NVIDIA Blackwell с 4-битными тензорными ядрами. В репозитории есть текстовая модель размером 5,31 ГБ и проектор изображений F16 размером 0,92 ГБ. Для запуска с изображениями README описывает использование llama.cpp и отдельного файла проектора. Метаданные указывают лицензию Apache-2.0. Модель подходит для диалоговых помощников, ответов на вопросы об изображениях, программирования и многоязычных текстовых задач. README рекомендует традиционные форматы квантования для оборудования до поколения Blackwell, GPU AMD и CPU; качество и скорость этой сборки на иных конфигурациях не охарактеризованы. Языковая поддержка включает английский, китайский и другие языки, но основной язык для этой сборки не выделен.

Карточка модели RRavens/Test на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Это GGUF-сборка Qwen3.8 27B, подготовленная zhangrover для локального запуска на компьютерах с ограниченной видеопамятью. В основе лежит unsloth/Qwen3.8-27B-GGUF; веса подвергнуты смешанной квантизации KQV-Q4 + IQ3 Floor, а полный MTP-блок из 15 тензоров сохранён в файле размером около 10,13 ГиБ. Модель предназначена для диалогов и генерации текста, включая рассуждения и программирование. По заявлению автора, на видеокарте с 16 ГБ памяти при кэше KV Q4 помещается контекст свыше 130 тысяч токенов. В полной точности ключевые K/Q/V-блоки оставлены на уровне Q4_K, нормализации — F32, а значительная часть FFN-контуров снижена до IQ3_XXS; MTP позволяет использовать спекулятивное декодирование в llama.cpp. Сборка рассчитана на запуск через llama.cpp; производительность и качество зависят от оборудования, настроек квантизации и совместимости используемой версии. Автор указывает, что модель предоставляется без гарантий. Лицензия — Apache-2.0.

Dans-PersonalityEngine-V1.3.0-24b — языковая модель PocketDoc, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров, рассчитанная на генерацию текста и диалог в формате DanChat-2. Контекстное окно составляет 131 072 токена; автор указывает, что при длине свыше 32 768 токенов качество извлечения информации снижается. Модель предназначена для ролевых диалогов, совместного написания прозы и историй, генерации кода, вызова инструментов и решения сложных задач. Она дообучалась на более чем 50 специализированных наборах данных; основной язык — английский, также заявлена поддержка арабского, китайского, французского, немецкого, хинди, японского, корейского, португальского и испанского. В метаданных среди возможностей отмечены чат и код. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Автор сообщает о тренировке с помощью Axolotl на восьми GPU H100 в течение 50 часов. Качество ожидается наивысшим для английского языка; для контекста длиннее 32 768 токенов автор предупреждает о снижении точности извлечения информации.

Это конвертированная в формат MLX версия DeepSeek-R1-Distill-Qwen-32B, подготовленная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.20.2. Модель построена на плотной архитектуре Qwen2 и содержит 32 млрд параметров; для генерации текста поддерживается контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста и решения задач рассуждения, в том числе по математике и программированию. Репозиторий содержит веса safetensors в формате MLX. Лицензия в предоставленных данных не указана.

unsloth/DeepSeek-R1-Distill-Qwen-32B-bnb-4bit — 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-32B, опубликованная Unsloth на основе модели DeepSeek. Модель относится к семейству плотных языковых моделей, дистиллированных из DeepSeek-R1 и построенных на базе Qwen. Разработчики DeepSeek указывают, что эта версия предназначена для задач рассуждения и превосходит OpenAI o1-mini на ряде бенчмарков для плотных моделей. Модель ориентирована на решение сложных задач, включая математические рассуждения, программирование, пошаговый анализ и генерацию текста. В README заявлены способности, связанные с самопроверкой, рефлексией и построением длинных цепочек рассуждений. Указан размер 32B, библиотека Transformers и английский язык; сведения о поддерживаемых модальностях, размере контекста и точной архитектуре в предоставленных данных отсутствуют. Ключевое преимущество варианта — 4-битное представление, потенциально снижающее требования к памяти по сравнению с полноразмерными весами, однако README не содержит точных характеристик производительности или качества именно этой квантованной сборки. Возможными ограничениями являются зависимость результатов от качества квантования и отсутствие подтверждённых данных о контекстном окне и мультиязычности. Модель распространяется по лицензии Apache-2.0.

Это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, подготовленная mlx-community для запуска в формате MLX. Исходная модель основана на плотной архитектуре Qwen3 с 7,6 млрд параметров; версия создана конвертацией с применением AWQ-квантизации через mlx-lm 0.25.2. Контекстное окно составляет 131 072 токена. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, программирования и логики. Репозиторий предоставляет интерфейс для вызова инструментов. Метаданные указывают на лицензию MIT; запуск рассчитан на экосистему MLX.

Dolphin-2.9.1-Phi-3-Kensho-4.5B-abliterated-v3 — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations; uncensored-настройку выполнил FailSpy. Модель основана на Phi-3-Mini-Instruct-4k в Mistral-совместимой архитектуре и дообучена методом qLoRA на данных для инструкций, диалогов, программирования, математики и вызова функций. Веса также изменены для ослабления отказов на запросы. Модель предназначена для ответов на инструкции, диалогов, помощи с кодом и математическими задачами, а также для начального использования в агентных сценариях и вызова функций. Она принимает текст и генерирует текст, использует шаблон ChatML и имеет контекст 4096 токенов. В репозитории доступны веса Safetensors; при использовании адаптера его следует подключать к базовой модели Unsloth Phi-3-mini-4k-instruct. В метаданных указано 6,4 млрд параметров. Модель ориентирована на английский язык. Ослабленная фильтрация отказов повышает соответствие запросам, поэтому перед предоставлением модели пользователям разработчики рекомендуют добавить собственный уровень ограничений. Лицензия MIT разрешает коммерческое использование; в README также отмечено, что при обучении использовались данные, сгенерированные GPT-4.

Это 4-битная версия Dolphin 2.9.3 на базе Mistral Nemo, преобразованная mlx-community из cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную причинную языковую модель Mistral с 12,1 млрд параметров и предназначена для генерации текста в диалоговом формате; среди возможных сценариев — ответы на вопросы, помощь с кодом, математические задачи и вызов инструментов, на которые указывают обучающие наборы данных и возможности базовой Dolphin-модели. Модель дообучена на Mistral-Nemo-Base-2407, а данный репозиторий содержит её MLX-представление для запуска на устройствах Apple с MLX. Метаданные указывают контекст до 1 024 000 токенов и лицензию Apache-2.0. В README не описаны отдельные ограничения качества; применимость столь длинного контекста и заявленные сценарии зависят от конкретной конфигурации запуска.

ECE-TW3-JRGL-V2 — чат-модель объёмом 71 млрд параметров, созданная слиянием моделей Qwen/Qwen1.5-72B-Chat и vilm/Quyen-Pro-Max-v0.1 с помощью mergekit. Она предназначена для диалогов и генерации текста, включая ответы на запросы в формате чата. Модель построена на плотной архитектуре Qwen2 и принимает текст, выдавая текст; длина контекста составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.