I.3Извлечение и структурирование данных

Stockmark-2-100B-Instruct-beta — большая языковая модель Stockmark Inc. с архитектурой Llama, содержащая 95,1 млрд параметров и предназначенная для генерации текста и диалогового взаимодействия. Модель обучена с нуля на примерно 1,5 трлн токенов: около 60% данных на английском языке, 30% на японском и 10% кода. После предварительного обучения она прошла постобучение на синтетических японских данных для улучшения следования инструкциям; синтетические данные были созданы с помощью Qwen2.5-32B-Instruct. Модель ориентирована прежде всего на японский язык, также обучалась на английском языке и коде. Контекст составляет 4096 токенов. Выпуск обозначен как beta, поэтому модель всё ещё проходит оценку и доработку. Распространяется по лицензии MIT.

StrangeMerges_37-7B-dare_ties — объединённая языковая модель на архитектуре Mistral, собранная Gille с помощью LazyMergekit из liminerity/M7-7b, Gille/StrangeMerges_30-7B-slerp и ContextualAI/Contextual_KTO_Mistral_PairRM. В конфигурации указано объединение DARE-TIES с точностью bfloat16; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. В README приведены результаты оценивания на бенчмарках, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Kyutai STT — потоковая модель автоматического распознавания речи, разработанная Kyutai. Вариант kyutai/stt-1b-en_fr предназначен для транскрибации английской и французской речи и содержит около 1,1 млрд параметров. Модель использует декодерную архитектуру Transformer и многопоточный подход Moshi: аудио кодируется токенизатором Mimi, а модель предсказывает текстовые токены с задержкой около 0,5 секунды. Модель начинает выдавать транскрипт по мере поступления аудио, поддерживает потоковую обработку и работает с длинными записями. Она рассчитана на шумные условия и формирует текст с заглавными буквами и пунктуацией; временные метки текста можно восстановить с учётом задержки потока. Для работы через Transformers требуется версия 4.53.0 или новее. Веса распространяются по лицензии CC-BY 4.0.

TheDrummer_Gemma-3-R1-12B-v1-GGUF — это набор квантизированных версий модели Gemma-3-R1-12B-v1, разработанной TheDrummer и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения на базе llama.cpp. Доступны варианты от BF16 до низкобитных квантизаций размером примерно от 5,21 до 23,54 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. К сильным сторонам относятся широкий выбор вариантов сжатия и применение imatrix-калибровки, призванной сохранить качество при квантизации. Рекомендуемыми обозначены, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты Q4–Q6; низкобитные версии рассчитаны на системы с ограниченным объёмом RAM, но могут заметно уступать по качеству. В README не указаны контекстное окно, языки, поддерживаемые модальности, точная архитектура исходной модели и лицензия. Формат промпта также не приведён, поэтому его следует уточнять на странице исходной модели TheDrummer/Gemma-3-R1-12B-v1.

Unbound E4B — мультимодальная модель для диалога, дообученная командой Chromia & Eval Engine на Google Gemma 4 E4B Instruct. Она принимает текст и изображения и генерирует текст; предназначена для открытых диалогов, ответов на вопросы, рассуждений и анализа изображений. В карточке сообщается, что по знаниям и рассуждениям она сильнее младшей Unbound E2B и сохраняет результаты базовой модели на GPQA-Diamond и BBH в пределах статистической погрешности. Модель снижает частоту отказов на тесте AdvBench с 98,08% у базовой модели до 2,69%, поэтому чаще отвечает на запросы, от которых базовая модель отказалась бы. Разработчики также отмечают увеличение галлюцинаций на вредоносных запросах с 1,35% до 13,08%. Модель может выдавать вредные, ложные, предвзятые или небезопасные ответы; используйте результаты с проверкой. В репозитории находятся объединённые веса Transformers в формате Safetensors; для запуска на устройстве доступны отдельные сборки GGUF. Лицензия — Apache-2.0.

UwU-1 — объединённая языковая модель на 32 млрд параметров, опубликованная пользователем estrogen. Она создана методом TIES с помощью mergekit на основе Qwen/Qwen2.5-32B и включает веса EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2 и Qwen/QwQ-32B-Preview. Модель использует архитектуру Qwen2 для генерации текста и диалогов, поддерживает контекст до 131 072 токенов и доступна в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка указывает на интерфейс вызова инструментов, однако не описывает его настройку или качество. Лицензия в предоставленных данных не указана.

UwU-7B-Instruct — дообученная модель для генерации текста, разработанная автором репозитория qingy2024. Она создана на базе Qwen/Qwen2.5-7B и полностью дообучена на наборе FineQwQ-142k. Автор позиционирует её как универсальную модель для рассуждений и диалогового использования. Модель использует плотную архитектуру Qwen2, содержит 7,1 млрд параметров и поддерживает контекст до 131 072 токенов. Она принимает текст и генерирует текст; в метаданных заявлены русский, английский, китайский и другие языки. Лицензия — Apache-2.0. README не приводит количественных оценок качества или подробных результатов тестирования.

Это набор GGUF-квантизованных файлов модели varox34/Llama-3-Mistral-v0.2-Instruct-slerp, подготовленный организацией featherless-ai-quants. Модель предназначена для генерации текста и инструкционного взаимодействия, включая запуск локально или в совместимых средах инференса, поддерживающих формат GGUF. README не содержит сведений о точной архитектуре, числе параметров, языках, размере контекста или мультимодальности. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,6 до 7,35 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством генерации, однако конкретные характеристики производительности в README не приведены. Сильная сторона набора — широкий выбор степеней квантизации и совместимость с экосистемой GGUF. Ограничения и условия лицензирования исходной модели или квантизованных файлов в README не указаны, поэтому перед использованием необходимо проверить лицензию базовой модели отдельно.

vishnukv/WestSeverusJaskier — объединённая автором модель семейства Mistral, созданная с помощью mergekit методом SLERP из PetroGPT/WestSeverus-7B-DPO и bardsai/jaskier-7b-dpo-v6.1. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров, предназначенная для генерации текста и ответов на запросы. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Модель подходит для диалоговых сценариев, ответов на вопросы и генерации текста общего назначения. В README приведены результаты оценки на Open LLM Leaderboard: среднее значение 75,67, включая показатели на AI2 Reasoning Challenge и HellaSwag; эти цифры сами по себе не гарантируют качество в конкретном применении. В метаданных указана лицензия MIT. Карточка не сообщает о специальных ограничениях или подтверждённой поддержке конкретных естественных языков.

YamshadowInex12_YamshadowT3q — слитая модель для генерации текста, созданная MaziyarPanahi на основе automerger/YamshadowInex12-7B и automerger/YamshadowT3q-7B. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации продолжений и ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-6B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной компанией 01-ai и подготовленной для публикации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через LlamaEdge. Для работы используется шаблон запросов ChatML, а заявленный размер контекста составляет 4096 токенов. Модель основана на архитектуре Yi и содержит около 6 миллиардов параметров. Она поддерживает текстовый ввод и вывод; сведения о конкретном наборе языков в README не указаны. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 2,34 до 12,1 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества. Более сильная квантизация уменьшает требования к памяти, но может заметно снизить качество. Модель подходит для локальных чат-приложений и сервисов генерации текста при использовании LlamaEdge версии 0.10.0 или новее. Ограничения включают контекст длиной 4096 токенов, возможную потерю качества у компактных вариантов квантизации и отсутствие в README подробных данных о производительности, языках и результатах оценки. Лицензия указана как yi-license; её текст доступен в файле LICENSE.

Yi-34B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi 34B Chat, разработанной компанией 01-ai и подготовленной в формате GGUF сообществом TheBloke. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Модель имеет архитектуру Yi и размер 34 млрд параметров. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью работы и сохранением качества. Формат GGUF поддерживает запуск на CPU и GPU; среди совместимых инструментов указаны llama.cpp, text-generation-webui, KoboldCpp, LM Studio, ctransformers, llama-cpp-python и другие. Для диалогов используется шаблон ChatML. Сильными сторонами модели являются большой размер, специализация на чат-сценариях и возможность локального запуска на широком спектре программных платформ. При этом README не содержит результатов бенчмарков, сведений о поддерживаемых языках и размере контекста, поэтому эти характеристики нельзя подтвердить. Квантизация уменьшает требования к памяти, но конкретный вариант может влиять на качество и скорость работы. Модель распространяется по лицензии yi-license; подробные условия указаны в файле LICENSE.

GLM-4.5-Air-GGUF — это набор квантизированных версий языковой модели GLM-4.5-Air, разработанной zai-org и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b6085 и метода imatrix с отдельным датасетом. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В README не указаны архитектура исходной модели, количество параметров, поддерживаемые языки, размер контекста или дополнительные модальности, поэтому эти характеристики нельзя подтвердить. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 39,62 до 117,46 ГБ; Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и ряд других вариантов отмечены как рекомендуемые. Более компактные варианты экономят память, но снижают качество, а Q2 и IQ1-варианты описаны как низкокачественные или очень низкокачественные. Для модели не найден формат промпта, его следует уточнять на странице исходной модели. Лицензия в README не указана.

bartowski/zai-org_GLM-4.5-GGUF — это набор GGUF-квантизаций модели GLM-4.5, разработанной zai-org. Квантизация выполнена bartowski с использованием llama.cpp b6115 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Доступны варианты с разными уровнями сжатия: от Q8_0 размером около 381 ГБ до IQ1_S размером около 80 ГБ. В README наиболее рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты Q3, Q2 и IQ2 обеспечивают экономию памяти ценой снижения качества, а IQ1 характеризуются крайне низким качеством. Все файлы разделены на части. Сильная сторона набора — широкий выбор квантизаций для подбора баланса между качеством и требованиями к памяти, включая варианты, ориентированные на CPU и Apple Silicon. Ограничения — очень большой размер даже у наиболее сжатых файлов, отсутствие в README сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста и формате промпта. Лицензия в предоставленных данных не указана.

Это контрольная точка модели в стандартном формате Hugging Face, предназначенная для загрузки через AutoModelForCausalLM. По метаданным это плотная Qwen2ForCausalLM с 7,1 млрд параметров и контекстом до 16 384 токенов; модель работает с текстом и поддерживает диалоговый режим и интерфейс вызова инструментов. README называет её резервной копией исследовательского артефакта. Модель подходит для генерации текста и диалоговых сценариев. В карточке не описаны специальные области применения, языки, обучающие данные или результаты оценки качества. Указан формат safetensors и библиотека Transformers; сведения о лицензии отсутствуют.

Assistify Recommendation Model — модель Sentence Transformers, дообученная на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 для поиска и сопоставления текстов. Она использует архитектуру BERT с усредняющим pooling и преобразует предложения и абзацы в плотные векторы размерности 384; сходство оценивается косинусной мерой. Модель принимает текст. В README указана максимальная длина последовательности 128 токенов, а метаданные каталога указывают контекстное окно 512 токенов. Модель предназначена для семантического поиска, извлечения подходящих документов и рекомендаций по текстовому запросу. Обучение проводилось на 35 910 парах предложений с MultipleNegativesRankingLoss; примеры включают запросы о медицинских товарах на арабском и английском языках. Лицензия в предоставленных данных не указана.

Athena-7B-Instruct — многоязычная языковая модель семейства Llama, представленная пользователем Mewingk. Это плотная decoder-only архитектура LlamaForCausalLM с 7,2 млрд параметров по README; метаданные каталога при этом указывают 2,1 млн параметров. Модель прошла инструкционное дообучение и предназначена для генерации текста и выполнения инструкций на разных языках. Модель можно применять для диалогов, ответов на вопросы, написания и преобразования текста. В README заявлены предварительное обучение на 2,5 трлн токенов более чем на 60 языках, 32 слоя, GQA с 8 KV-головами и контекст 8192 токена; метаданные указывают нативный контекст 512 токенов. Лицензия — Apache-2.0. Заявленные характеристики размера и контекста расходятся между README и метаданными, поэтому фактическую конфигурацию следует сверить с файлами весов. Нет сведений о специализированной предметной области или оценках качества.

duyntnet/aya-expanse-8b-imatrix-GGUF — набор GGUF-квантизаций модели Aya Expanse 8B, разработанной Cohere For AI. Это открытая исследовательская большая языковая модель для генерации текста и диалоговых сценариев с выраженной ориентацией на мультиязычность. Модель основана на предварительно обученном семействе Command и дополнительно улучшалась с применением исследований Cohere For AI в области оптимизации данных, мультиязычного обучения на предпочтениях, настройки безопасности и объединения моделей. Модель содержит около 8 миллиардов параметров и поддерживает 23 языка: арабский, китайский упрощённый и традиционный, чешский, нидерландский, английский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, испанский, турецкий, украинский и вьетнамский. README не указывает размер контекста и точную архитектуру. Для работы с GGUF-квантизациями заявлена совместимость с llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Сильная сторона модели — широкая языковая поддержка и ориентация на мультиязычную генерацию текста. Ограничения включают исследовательский статус, отсутствие сведений о конкретных вариантах квантизации, контекстном окне и результатах бенчмарков. Исходная модель распространяется по лицензии CC-BY-NC с обязательным соблюдением политики допустимого использования C4AI; условия для данного набора квантизаций следует проверять отдельно.

BitCPM-CANN-8B-gguf — языковая модель семейства BitCPM-CANN, разработанная OpenBMB. Это GGUF-версия модели BitCPM-CANN-8B для генерации текста и диалогового взаимодействия на китайском и английском языках; репозиторий ориентирован на использование с llama.cpp и совместимыми инструментами, а в метаданных указана библиотека Transformers. Модель основана на системе обучения с квантизацией с учётом обучения и использует тернарные значения весов {-1, 0, 1} с эффективной разрядностью 1,58 бита. Для семейства заявлены примерно шестикратное снижение памяти при инференсе и сохранение 95,7–97,2% производительности полноточных аналогов для моделей размером 1B–8B. В README также указано, что веса представлены в формате псевдоквантизации и могут запускаться как обычные модели с плавающей точкой без специальных квантизационных библиотек или ядер. Модель подходит для генерации ответов, диалоговых приложений, написания текстов, рассуждений и вопросов-ответов на китайском и английском языках, особенно при ограниченных ресурсах памяти. Ограничения включают возможное снижение качества по сравнению с полноточной версией, зависящее от задачи и языка, а также необходимость учитывать совместимость конкретного GGUF-файла с используемым рантаймом. Модель распространяется по лицензии Apache-2.0.

Blur-7b-v1.22 — плотная языковая модель семейства Mistral с 7,1 млрд параметров, созданная объединением трёх моделей с помощью LazyMergekit: s3nh/Sonya-Panda-7B-slerp, argilla/distilabeled-Marcoro14-7B-slerp и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Она предназначена для генерации текста, диалогов и ответов на математические вопросы. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее значение 63,35, результат ARC (25-shot) — 62,29, HellaSwag (10-shot) — 82,00. Это ориентиры из оценки, а не гарантия качества для конкретных задач. Модель опубликована 18 января 2024 года и распространяется по лицензии Apache-2.0.

BRAG-Qwen2-1.5b-v0.1 — компактная языковая модель серии BRAG, разработанная Pratik Bhavasar и Ravi Theja на базе архитектуры Qwen2 и дообученная для генерации ответов с использованием найденного контекста (RAG). Модель предназначена для работы с текстом и таблицами, а также для диалоговых сценариев RAG: она отвечает на вопросы по переданному контексту и должна сообщать, если ответа в нём нет. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов по метаданным. В README указана поддержка до 32 тыс. токенов и отмечено, что модель обучалась и оценивалась на английском языке, хотя базовая модель обладает многоязычными возможностями. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Модель рассчитана на короткие контексты и может хуже работать с длинными, несмотря на указанное в метаданных окно контекста. README предупреждает о возможных галлюцинациях и рекомендует использовать заданный авторами системный промпт. Метаданные не указывают результаты этой версии в приведённой таблице сравнения.

calme-3.1-instruct-78b — экспериментальная чат-модель MaziyarPanahi для генерации текста в широком круге задач. По карточке, Qwen2.5-72B объединили с самой собой, а полученную модель дообучили на пользовательских наборах данных; в метаданных указана связь с MaziyarPanahi/calme-3-selfmerge-qwen2-78b. Архитектура — плотная Qwen2, размер — 76,7 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель использует шаблон диалога ChatML и имеет контекстное окно 32 768 токенов. Модель предназначена для диалогов и общих задач генерации текста; карточка приводит результаты Open LLM Leaderboard, в том числе IFEval и BBH. В метаданных указан английский язык. Автор отмечает экспериментальный характер модели, чувствительность к гиперпараметрам и возможное слабое качество на отдельных запросах. Лицензия обозначена как other; конкретные условия в предоставленных данных не раскрыты.

Citaman/command-r-13-layer — это объединённая модель для генерации текста, созданная разработчиком Citaman на основе Citaman/command-r-14-layer с помощью mergekit и метода SLERP. Конфигурация комбинирует слои одной базовой модели в диапазонах [0, 13] и [1, 14]; веса сохранены в формате safetensors и типе bfloat16. Архитектура — плотная CohereForCausalLM, размер — 12,8 млрд параметров, контекст — до 8192 токенов. Модель предназначена для диалоговой генерации текста и интерфейса вызова инструментов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках и сценариях. Лицензия в предоставленных данных не указана.

Citaman/command-r-36-layer — объединённая автором Citaman языковая модель на архитектуре Cohere с 31,7 млрд параметров. Репозиторий создан 15 апреля 2024 года; веса опубликованы в формате Safetensors для использования с Transformers. Модель предназначена для генерации текста и диалогов, также заявлен интерфейс вызова инструментов. Модель получена слиянием SLERP на основе Citaman/command-r-37-layer: использованы диапазоны слоёв [0, 36] и [1, 37] одной базовой модели. Контекст составляет 8192 токена. README не уточняет языки и специализированные предметные области; из доступных данных нельзя заключить, насколько хорошо реализован вызов инструментов или каково качество ответов. Лицензия в предоставленных данных не указана.

CORe Pico V2 — компактная разговорная языковая модель, разработанная CORe Technologies. Модель предназначена для генерации текста, ответов на вопросы и многошагового диалога, особенно в сценариях, где важны небольшой размер и возможность локального запуска. Она поддерживает структурированный вызов инструментов через блоки <tool_call> с JSON и режимы расширенного рассуждения /think и прямых ответов /no_think. Модель имеет архитектуру causal language model и содержит около 596 млн параметров. Длина контекста составляет 40 960 токенов, используется BPE-токенизатор на 151 936 токенов со встроенным шаблоном чата. Основной язык — английский. Доступны веса в формате safetensors, а также варианты GGUF с полной точностью, 8-битным и 4-битным квантованием; модель можно запускать через Transformers, llama.cpp, LM Studio или Ollama. Сильные стороны CORe Pico V2 — компактность, пригодность для работы на широком спектре устройств, стабильные ответы на вопросы об идентичности модели, короткие ответы и нативная поддержка многораундового диалога. Ограничения обусловлены небольшим размером: модель может допускать фактические ошибки, испытывать трудности с арифметикой и выдумывать ответы при недостатке знаний, поэтому результаты требуют проверки и не должны считаться достоверным источником. Модель распространяется по лицензии Apache-2.0 и является модифицированным производным от чекпойнта с той же лицензией.

Cosmosis-3x34B — разговорная языковая модель Weyaxi, построенная на архитектуре Mixtral с разреженной экспертной структурой MoE. В репозитории указано 33,9 млрд параметров; модель распространяется в формате safetensors и рассчитана на генерацию текста и диалоговое взаимодействие. Метаданные указывают контекст длиной до 200 000 токенов. Модель подходит для ведения диалогов и генерации ответов на текстовые запросы. В README приведены варианты шаблонов запросов ChatML, Human Assistant, Alpaca и Vicuna, но автор не определяет предпочтительный шаблон и отсылает к шаблонам модели bagel-dpo-34b-v0.2. В README также приведены результаты оценки на бенчмарках, включая средний результат 75,39. Модель основана на объединении нескольких экспертных моделей; точная схема создания описана в конфигурации воспроизведения, однако доступный текст README её не раскрывает. Лицензия обозначена в метаданных как other, поэтому условия использования следует проверять в репозитории. Автор отмечает неопределённость с выбором шаблона промпта.

bcoding/deepseek-llvm-sft-merged-8b — дообученная языковая модель семейства Qwen3, разработанная bcoding на базе unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 7,6 млрд параметров; поддерживает генерацию текста и диалоговый режим, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста в диалоге. В карточке указано, что дообучение выполнялось с Unsloth и библиотекой TRL; подробности обучающего набора и специализация по задачам не приведены. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Qwen-14B, подготовленная Unsloth на основе модели DeepSeek. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие пошагового рассуждения; в README приведён пример решения простой арифметической задачи. Для запуска рекомендуется использовать llama.cpp с соответствующим чат-шаблоном и специальными токенами <｜User｜> и <｜Assistant｜>. Модель относится к семейству Qwen и имеет размер 14B параметров. Доступны варианты с разными уровнями GGUF-квантизации, включая Q4_K_M и Q8_0; конкретные характеристики зависят от выбранного файла. Указан английский язык. README не содержит данных о длине контекста, мультимодальности, точной архитектуре или результатах тестирования, поэтому эти свойства нельзя надёжно оценить. К сильным сторонам относятся возможность локального запуска через llama.cpp и ускорение обработки за счёт GPU-offload; для работы требуется достаточно производительное оборудование, а качество и потребление памяти зависят от квантизации. Модель распространяется по лицензии Apache-2.0.

NVIDIA DeepSeek-R1-NVFP4 — версия DeepSeek R1, квантованная NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная трансформерная языковая модель семейства DeepSeek V3 с 37,6 млрд параметров, предназначенная для генерации текста и диалогов. По метаданным, базовая модель — deepseek-ai/DeepSeek-R1; в README указаны FP4-квантизация весов и активаций линейных операторов в блоках трансформера, формат safetensors и контекст до 128 тыс. токенов в README и 163 840 токенов в метаданных. Модель принимает текст и выдаёт текст. Для запуска предназначена связка TensorRT-LLM на Linux и оборудовании NVIDIA Blackwell; в README для приведённого сценария развёртывания указаны восемь GPU B200 и сборка TensorRT-LLM из исходников. По заявлению README, квантизация уменьшает размер весов и требования к памяти GPU примерно в 1,6 раза. Репозиторий указывает лицензию MIT и возможность коммерческого и некоммерческого использования; README уточняет, что модель разработана не NVIDIA, а построена для требований стороннего проекта.

Это пакет слоёв GGUF-модели DeepSeek-V3.2-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска. Он основан на unsloth/DeepSeek-V3.2-GGUF и сохраняет её веса в отдельных артефактах по слоям; вариант квантования — UD-Q4_K_XL. Пакет предназначен для локального и приватного чат-инференса, в том числе на нескольких машинах, когда полная модель не помещается на одном узле. Через Mesh LLM он поддерживает подачу запросов на генерацию текста и совместимый с OpenAI интерфейс chat completions. В метаданных указана библиотека mesh-llm; исходная карточка модели содержит дополнительные сведения об архитектуре и условиях лицензии, которых в предоставленных данных нет.