I.3Извлечение и структурирование данных

akjindal53244/Mistral-7B-v0.1-Open-Platypus — инструкционно дообученная языковая модель на архитектуре Mistral, созданная на основе набора данных Open-Platypus. Она предназначена для генерации текста и ответов на инструкции и вопросы. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard, включая ARC и HellaSwag. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README не уточняет поддерживаемые языки и ограничения качества; результаты оценки не гарантируют точность ответов в конкретных сценариях.

bartowski/Mistral-NeMo-Minitron-8B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые среды локального вывода. Для взаимодействия используется специальный шаблон с ролями System, User и Assistant. Доступны варианты от полноразмерных весов F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 4,2 до 16,8 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Квантизации выполнены с использованием imatrix; версии Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 — как хороший компромисс для ограниченных ресурсов. Отдельные варианты оптимизированы для ARM и требуют соответствующих аппаратных возможностей. README не указывает поддерживаемые языки, размер контекстного окна, точные архитектурные характеристики исходной модели или результаты бенчмарков. Для ARM-оптимизированных вариантов имеются ограничения совместимости: их не рекомендуется использовать на Mac и Windows. Условия лицензирования в предоставленных данных не указаны.

Sabomako/Mistral-Small-3.2-24B-Instruct-2506-heretic — декензурированная версия Mistral-Small-3.2-24B-Instruct-2506 от Sabomako. Модель создана с помощью Heretic v1.3.0 и метода ORBA abliteration; в тесте с оценкой LLM-судьи Gemma4-12B-it-Heretic она отказала в 1 из 100 случаев против 98 из 100 у исходной модели. Это плотная мультимодальная модель семейства Mistral 3 с 24 млрд параметров, предназначенная для диалогов по инструкциям, работы с изображениями и интерфейса вызова инструментов. Принимает текст и изображения, выдаёт текст. В метаданных указана лицензия Apache-2.0. Снижение числа отказов может привести к ответам на запросы, которые исходная модель отклоняла; результат теста отказов не характеризует точность и безопасность в целом.

Mistral-Starling-merge-trial3-7B — объединённая языковая модель, созданная grimjim с помощью mergekit методом SLERP на основе Nexusflow/Starling-LM-7B-beta и grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B. Модель с архитектурой Mistral содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате, включая задачи рассуждения; заявленная длина контекста составляет 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. В метаданных Hugging Face указаны библиотека Transformers и лицензия Apache-2.0. README сообщает о цели объединить сильные стороны рассуждения с контекстом 32K, но не приводит оценок качества или подробных результатов проверки.

Это конверсия модели распознавания речи Whisper large-v3-turbo от OpenAI в формат CTranslate2. Репозиторий Mobius Labs предназначен для использования с CTranslate2 и совместимыми проектами, включая faster-whisper; модель автоматически используется в форке faster-whisper от Mobius Labs. Модель принимает аудио и преобразует речь в текст. В метаданных перечислена поддержка многих языков, включая русский, английский, китайский, немецкий, испанский, французский и другие. Репозиторий распространяется по лицензии MIT. Это конверсия весов, а не отдельное дообучение.

MonarchPipe-7B-slerp — текстовая генеративная модель на архитектуре Mistral, созданная сообществом ichigoberry путём слияния OpenPipe/mistral-ft-optimized-1227 и mlabonne/AlphaMonarch-7B с помощью LazyMergekit. Слияние выполнено методом SLERP; репозиторий содержит веса в формате Safetensors, размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, ответов на вопросы и рассуждений в текстовом формате. В README приведены результаты бенчмарка Nous: средний балл MonarchPipe-7B-slerp составляет 58,77; таблица показывает результаты по AGIEval, GPT4All, TruthfulQA и Bigbench. Модель распространяется по лицензии CC BY-NC 2.0, которая ограничивает коммерческое использование. README не описывает отдельные языки или специальные прикладные области; их не следует считать подтверждёнными характеристиками модели.

cross-encoder/ms-marco-MiniLM-L4-v2 — англоязычная модель Sentence Transformers для переранжирования результатов поиска. Она обучена на задаче ранжирования отрывков MS MARCO и оценивает релевантность пары «запрос — текст», после чего найденные документы можно отсортировать по оценке. Модель построена на архитектуре BERT с классом BertForSequenceClassification и содержит 21,2 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для этапа reranking в системах информационного поиска: сначала поисковик извлекает кандидатов, затем cross-encoder оценивает каждую пару запроса и отрывка. Она подходит для улучшения порядка результатов поиска и оценки релевантности; README также приводит сравнительные показатели моделей семейства на наборах TREC Deep Learning 2019 и MS MARCO, но не показывает численные результаты именно этой версии L4-v2. Поддерживаются форматы PyTorch, Safetensors, ONNX, OpenVINO и Flax. Лицензия — Apache-2.0.

zelk12/MT2-Gen2-gemma-2-9B — слитая модель генерации текста на основе Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT2-Gen2-BGMAMU-gemma-2-9B и zelk12/MT2-Gen2-IMM-gemma-2-9B. Модель разработана автором репозитория zelk12; README указывает, что в объединении использована конфигурация с коэффициентом t=0,25 и типом данных bfloat16. Модель с архитектурой Gemma2ForCausalLM и 9 млрд параметров предназначена для генерации текста и диалогового общения. Её контекст составляет 8192 токена. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH; эти показатели дают ориентир по следованию инструкциям и решению сложных задач, но не гарантируют качество в конкретном сценарии. Метаданные указывают библиотеку Transformers и формат весов safetensors. Сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют, поэтому условия использования и языковую специализацию определить нельзя.

Mungert/mxbai-rerank-large-v2-GGUF — это набор GGUF-вариантов модели mxbai-rerank-large-v2 для ранжирования текстов. Модель предназначена для задач text-ranking, включая переранжирование результатов поиска и выбор наиболее релевантных документов или фрагментов для заданного запроса. Разработчик в README не указан. Доступны версии с форматами BF16 и F16, а также квантованные варианты Q8_0, Q6_K, Q4_K и другие, рассчитанные на различный баланс между точностью, скоростью и потреблением памяти. Квантованные файлы подходят для CPU и устройств с ограниченным объёмом VRAM, тогда как BF16 и F16 ориентированы на оборудование с соответствующей аппаратной поддержкой. Точный размер модели, архитектура, максимальная длина контекста и поддерживаемые модальности не указаны. В README заявлена поддержка английского, китайского, немецкого, японского, корейского, испанского, французского, арабского, бенгальского, русского, индонезийского, суахили, телугу и тайского языков. Основные ограничения связаны с компромиссом квантования: низкобитные варианты требуют меньше памяти, но могут уступать полноразмерным версиям по точности. Модель распространяется по лицензии Apache-2.0.

Mystical-dare7-7b — языковая модель семейства Mistral, созданная mvpmaster путём слияния шести моделей с помощью LazyMergekit. Она предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы и других задач на основе текстовых запросов. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает и генерирует текст. В README и метаданных не указаны целевые языки или специализированные прикладные области. Репозиторий содержит веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

fengminqi/my-tg-qwen2.5-7b — дообученная fengminqi языковая модель семейства Qwen2.5 с плотной архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель предназначена для генерации текста и диалогового общения. Указанный в метаданных контекст — 32 768 токенов; карточка также отмечает интерфейс вызова инструментов. Среди тегов языка указан английский. Веса представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специализацию дообучения, поэтому конкретные преимущества и ограничения в отдельных предметных областях установить нельзя.

QuantFactory/Nous-Hermes-2-Mistral-7B-DPO-GGUF — квантизированная версия модели Nous-Hermes-2-Mistral-7B-DPO, разработанной NousResearch. Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска и диалогового применения. Она создана с использованием llama.cpp и распространяется в формате GGUF. В основе лежит Mistral с 7 миллиардами параметров, дообученная с применением DPO; в описании также упоминаются RLHF и синтетические данные. Доступны варианты квантизации IQ3_S, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством генерации. Сильной стороной модели является возможность запуска через llama.cpp с выбором подходящего уровня квантизации. README не содержит результатов тестирования, сведений о контекстном окне, поддерживаемых модальностях кроме текста, а также подробного описания ограничений качества, поэтому производительность в конкретных задачах требует самостоятельной проверки. Лицензия — Apache 2.0.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-14B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет размер 14 миллиардов параметров; README не сообщает точную архитектуру, поддерживаемые языки и размер контекстного окна. Доступны варианты от полноточного BF16 до более компактных форматов Q8, Q6, Q5, Q4, Q3 и IQ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее теряют в качестве. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L; Q4_1 и Q4_0 используют устаревший формат, но могут быть полезны на некоторых CPU и Apple silicon. Сильная сторона этой версии — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения связаны с неизбежной потерей качества при низких уровнях квантизации, а также с отсутствием в README подробностей о возможностях исходной модели, языках и контекстном окне. Лицензия в предоставленных данных не указана.

OLMo-2-1124-13B-RM — англоязычная плотная языковая модель Allen Institute for AI на 13,2 млрд параметров, предназначенная для диалогов и разнообразных задач генерации текста. Это постобученная версия OLMo-2-13B: после контролируемого дообучения на варианте набора Tülu 3 модель прошла DPO-обучение на данных предпочтений. Карточка описывает задачи вроде математики, следования инструкциям и общения. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и работает через библиотеку Transformers. Модель ориентирована прежде всего на английский язык. Лицензия Apache 2.0 разрешает её использование на условиях этой лицензии. В карточке отмечено, что обучение безопасности ограничено и без дополнительной фильтрации ответы могут содержать проблемный контент.

DevQuasar/openai.gpt-oss-120b-GGUF — это квантованная версия текстовой генеративной модели openai/gpt-oss-120b, подготовленная разработчиком DevQuasar. Модель предназначена для генерации текста в диалоговых и других сценариях, поддерживаемых базовой моделью. В README также указано наличие фиксированного chat template, что обеспечивает заранее заданный формат взаимодействия с моделью. Из доступных данных известно только, что модель относится к семейству с обозначением 120b и распространяется в формате GGUF; сведения о конкретном варианте квантования, архитектуре, размере файлов, поддерживаемых языках, длине контекста и модальностях отсутствуют. Квантование обычно позволяет снизить требования к памяти по сравнению с исходной моделью, но может сопровождаться потерей качества; степень этого компромисса для данного варианта не указана. Лицензия и условия использования в README не приведены.

giraffe176/Open_Maid_Samantha_Hermes_Orca — языковая модель на архитектуре Mistral, созданная объединением предварительно обученных моделей с помощью mergekit и метода SLERP. В объединение вошли cognitivecomputations/samantha-1.1-westlake-7b, NeverSleep/Noromaid-7B-0.4-DPO, OpenHermes-2.5-Mistral-7B и Open-Orca/Mistral-7B-OpenOrca. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста. Максимальная длина контекста — 32 768 токенов. Карточка приводит результаты оценки на Open LLM Leaderboard, включая средний балл 68,81, ARC и HellaSwag. Модель может использоваться для диалога, ответов на вопросы, рассуждений и создания текстов. Языки в доступных сведениях не перечислены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

OpenThaiLLM-Prebuilt-7B — базовая языковая модель, разработанная командой OpenThaiLLM и продолжающая предобучение Qwen2.5-7B. Это плотная авторегрессионная модель с 7,1 млрд параметров для генерации текста; заявленная длина контекста составляет 131 072 токена. В карточке указаны тайский, китайский и английский языки. Модель предназначена для прикладной адаптации и сценариев генерации, включая RAG, генерацию с ограничениями и задачи рассуждения. README приводит сравнительные результаты на тайских экзаменационных и языковых тестах. Авторы не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения; для адаптации упоминается LoRA. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0.

OrcaMaid V2 Fix 13B 32K — языковая модель для генерации текста и выполнения инструкций, разработанная ddh0. Представлена в формате GGUF и квантована TheBloke для запуска на CPU и GPU через llama.cpp и совместимые приложения. Модель относится к семейству Llama и имеет около 13 миллиардов параметров; заявлено контекстное окно до 32 000 токенов. Сведения о языках обучения и поддерживаемых модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. Модель предназначена для диалогов, ответов на инструкции, генерации и продолжения текста, а также сценариев локального запуска, включая использование через text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. GGUF доступен в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством, однако более сильное квантование может снижать точность ответов. В README не приведены независимые оценки качества, подробности датасета или конкретные сильные стороны модели. Лицензия указана как microsoft-research-license, при этом автор README отмечает возможное одновременное действие лицензии исходной модели и Meta Llama 2 License. Условия такого двойного лицензирования требуют дополнительной проверки в репозитории исходной модели перед использованием.

pankajmathur/orca_mini_v3_13b — языковая модель Pankaj Mathur на архитектуре Llama 2 с 12,9 млрд параметров. Модель дообучена на наборах данных в стиле Orca и предназначена для генерации текста и выполнения инструкций в формате диалога с системным сообщением. Модель подходит для ответов на вопросы, объяснений и других текстовых задач общего назначения. В карточке приведены результаты оценки на нескольких наборах задач, включая ARC и HellaSwag; они служат ориентирами и не гарантируют точность в конкретном сценарии. Контекст составляет 4096 токенов, модель принимает и генерирует текст, в метаданных указан английский язык. Модель доступна в форматах PyTorch и Safetensors и использует библиотеку Transformers. Карточка указывает лицензию как «other», поэтому перед применением следует проверить условия лицензии репозитория. Модель может давать ошибочные или вводящие в заблуждение ответы, а также генерировать предвзятый или оскорбительный текст; важные сведения следует проверять.

OWSM v4 base 102M — открытая мультиязычная модель распознавания речи из серии Open Whisper-style Speech Model, разработанная командой ESPnet под руководством Yifan Peng из CMU. Это encoder-decoder модель с 102 млн параметров, обученная на 320 тысячах часов публичных аудиоданных. Она предназначена для распознавания речи, определения языка, перевода речи и предсказания временных меток высказываний; поддерживает также длинные записи и перевод. Модель принимает аудио с частотой 16 кГц, обрабатывает его фрагментами до 30 секунд и доступна для запуска через ESPnet. OWSM v4 улучшает качество определения языка и мультиязычного распознавания по сравнению с OWSM v3.1. Она использует восьмикратное прореживание log-Mel-признаков, что даёт разрешение энкодера 80 мс. В карточке модели не перечислены отдельные поддерживаемые языки, поэтому конкретные языки здесь не указаны. Лицензия — CC BY 4.0.

Это GGUF-квантизированная версия модели r1-1776-distill-llama-70b, разработанной perplexity-ai и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b4738 и метода imatrix. Модель предназначена для генерации текста и может запускаться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Архитектура основана на Llama, размер исходной модели — 70 миллиардов параметров. В README не указаны поддерживаемые языки, длина контекста и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 27,47 до 74,98 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5_K и Q4_K_M отмечены как рекомендуемые для различных сценариев. Сильными сторонами являются широкий выбор размеров файлов, совместимость с локальными инструментами llama.cpp и сохранение высокого качества в старших вариантах квантизации. Ограничения включают значительные требования к оперативной или видеопамяти, особенно для версий с высоким качеством, а также потенциальное снижение качества в компактных вариантах. Модель распространяется по лицензии MIT.

bartowski/p-e-w_Llama-3.1-8B-Instruct-heretic-GGUF — это квантизированная версия инструкционной модели Llama 3.1 с примерно 8 млрд параметров, опубликованная в формате GGUF. Базовая модель разработана Meta, а квантизацию выполнил bartowski; обозначение heretic указывает на вариант модели, но README не содержит подробностей о внесённых изменениях. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Поддерживается только текстовая модальность. Сведения о конкретном методе и уровне квантизации, длине контекста, требованиях к памяти и результатах тестирования в README отсутствуют. Ключевое преимущество модели — сочетание инструкционного обучения, относительно компактного размера и формата GGUF, удобного для локального запуска совместимыми средствами. Ограничения включают возможное снижение качества из-за квантизации, отсутствие подтверждённых характеристик варианта heretic и неполную информацию о производительности. Использование регулируется Llama 3.1 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными условиями для распространения; перед применением необходимо проверить полный текст лицензии.

p-e-w_Qwen3-4B-Instruct-2507-heretic-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-4B-Instruct-2507-heretic. Исходную модель разработал p-e-w, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций при локальном запуске через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 4 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 2,24 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. В README не указаны поддерживаемые языки, длина контекста, точная архитектура или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются компактный размер, возможность локального запуска и широкий выбор квантизаций; варианты Q4–Q6 позиционируются как обеспечивающие хорошее или очень высокое качество при сниженных требованиях к памяти. Ограничения включают возможную потерю качества при использовании низких уровней квантизации и отсутствие указанного в README chat template, из-за чего форматирование запросов может потребовать проверки по карточке исходной модели. Распространение заявлено по лицензии Apache-2.0.

MaziyarPanahi/phi-4-GGUF — это набор квантизированных файлов модели microsoft/phi-4 в формате GGUF. Исходную модель разработала Microsoft, а квантизированные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых инструментах и библиотеках, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие приложения с поддержкой GGUF. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, в том числе с ускорением на GPU, однако конкретные архитектурные характеристики, размер модели, длина контекста, поддерживаемые языки и модальности в README не указаны. Основные преимущества — возможность локального использования и широкий выбор уровней квантизации. Ограничения связаны с потенциальной потерей качества по сравнению с исходной моделью при использовании низкой разрядности, а также с тем, что совместимость и производительность зависят от выбранного клиента и аппаратного обеспечения. Лицензия в предоставленных данных не указана.

Q2.5-Veltha-14B-0.5 — объединённая языковая модель на архитектуре Qwen2.5, созданная автором djuna с помощью mergekit. Для слияния использован метод della_linear; базой служила arcee-ai/SuperNova-Medius, также в объединение вошли четыре другие модели семейства Qwen2.5. Модель содержит 14 млрд параметров, работает через Transformers и распространяется в формате safetensors; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалогового общения. Её можно применять для ответов на запросы, ролевых диалогов и творческого письма; исходные модели в составе объединения ориентированы на инструкции и генерацию историй. Карточка приводит результаты нескольких тестов, включая IFEval и BBH, но не раскрывает полную таблицу оценок. Лицензия в предоставленных данных не указана.

TheRains/Qwen2.5-14B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-14B-Instruct, преобразованная в формат GGUF разработчиком TheRains с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в режиме командной строки или сервера. Модель содержит 14 миллиардов параметров, относится к инструкционно настроенным текстовым моделям и поддерживает английский язык. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска на совместимом CPU или GPU. В README указан пример использования с контекстом 2048 токенов, однако это может быть параметром конкретного запуска, а не максимальным контекстом модели. К сильным сторонам относятся локальное выполнение, совместимость с экосистемой llama.cpp и более низкие аппаратные требования благодаря квантизации. Ограничения включают поддержку только текстовой модальности, отсутствие в карточке подробных характеристик качества, языкового охвата и производительности, а также возможные потери точности из-за квантизации. Указана лицензия Apache-2.0; подробности следует уточнять в лицензии исходной модели Qwen2.5-14B-Instruct.

bartowski/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций чат-модели Qwen2.5-7B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск в LM Studio и других совместимых приложениях. Для общения используется шаблон сообщений с ролями system, user и assistant. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и, согласно README, заявлена для английского языка. В репозитории доступны варианты от F16 до низкобитных Q2–Q8-квантизаций размером примерно от 3,5 до 15,2 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти; отдельные варианты оптимизированы для ARM-процессоров и требуют поддержки SVE или i8mm. README также сообщает об обновлении настроек длины контекста и токенизатора, но точное значение контекстного окна не указано. Сильной стороной является широкий выбор квантизаций для запуска на оборудовании с различными ограничениями по памяти, при этом варианты Q4–Q6 отмечены как рекомендуемые по соотношению качества и размера. Ограничения связаны с компромиссом между качеством и размером низкоразрядных вариантов, а также с необходимостью совместимого программного обеспечения и аппаратных инструкций для некоторых ARM-версий. Указана лицензия Apache-2.0.

MaziyarPanahi/Qwen3-30B-A3B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-30B-A3B, разработанной командой Qwen. Квантованием и публикацией файлов занимался MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими совместимыми решениями, что позволяет использовать модель с GPU-ускорением, локальными графическими интерфейсами или API-серверами. Архитектура, число параметров базовой модели, поддерживаемые языки, модальности и размер контекста в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. Ограничения зависят от выбранного варианта квантования и конкретного средства запуска; подробности о качестве, производительности, лицензии и требованиях к оборудованию в предоставленных данных отсутствуют.

mlx-community/Qwen3-32B-4bit — это 4-битная квантизированная версия языковой модели Qwen3-32B, преобразованная сообществом mlx-community из исходной модели Qwen/Qwen3-32B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с сообщениями через chat template. Ключевая характеристика модели — размер исходной модели 32B параметров и 4-битное представление, что снижает требования к памяти по сравнению с полноточной версией и делает модель подходящей для запуска в экосистеме MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и результаты оценки качества. Сильными сторонами являются совместимость с MLX и более экономичное потребление памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за 4-битного представления, зависимость от инструментов mlx-lm и отсутствие в предоставленных данных подробных сведений о производительности и языковой поддержке. Модель распространяется по лицензии Apache-2.0.

Aimin12/Qwen3-4B-Thinking-2507-Distill-Claude-Opus-4.6-Reasoning-Abliterated — плотная языковая модель семейства Qwen3 с 3,7 млрд параметров для генерации текста и диалоговых ответов. Модель дообучена на наборе Opus-4.6-Reasoning-3000x-filtered; в README указаны LLaMA-Factory и Unsloth как использованные инструменты обучения. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 262 144 токена. Карточка связывает её с базовой Huihui-Qwen3-4B-Thinking-2507-abliterated, описанной в каталоге как Qwen3 с уменьшенной склонностью к отказам. Репозиторий распространяется под лицензией Apache-2.0.