I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельЭто GGUF-квантизированная версия языковой модели Qwen3-235B-A22B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. Архитектура и точные характеристики исходной модели, включая число активных параметров, контекст, поддерживаемые языки и модальности, в представленном README не описаны. Указано обозначение 235B-A22B, а также наличие множества вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Размер файлов составляет примерно от 83,33 до 249,94 ГБ. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как низкобитные варианты экономят память, но снижают качество. Основные преимущества модели — доступность высококачественных квантований и возможность локального запуска на совместимом оборудовании. Ограничения связаны с очень большим размером файлов и зависимостью качества от выбранного типа квантования. Лицензия в README не указана.
RandomMergeWEIGHTEDv2-7B-DARETIES — слитая языковая модель на базе архитектуры Mistral, созданная с помощью LazyMergekit из paulml/OGNO-7B, nlpguy/AlloyIngot и mlabonne/Monarch-7B. Веса объединены методом dare_ties с разреженными масками и взвешиванием; модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и общих языковых задач в приложениях на базе Transformers. В репозитории представлены веса Safetensors; конфигурация слияния указывает тип данных bfloat16. В карточке не приведены сведения о специализированных областях применения или поддерживаемых естественных языках. Лицензия в предоставленных данных не указана.
Shisa Base 7B v1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и augmxnt/shisa-base-7b-v1 методом SLERP. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и диалоговые запросы и генерирует текстовые ответы. Поддерживает английский и японский языки; длина контекста — до 32 768 токенов. Модель подходит для диалоговых приложений и генерации ответов на инструкции. Опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не приводит оценок качества или специальных ограничений применения.
SmolLM3-3B-Base — базовая языковая модель HuggingFaceTB, обученная предсказывать продолжение текста. Это плотный decoder-only Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель опубликована в форматах Safetensors и ONNX. По карточке, предобучение проводилось на 11,2 трлн токенов из веб-текстов, кода, математики и материалов для рассуждений. Это базовая версия семейства; instruct-модель опубликована отдельно. Модель предназначена для генерации и продолжения текста, а также может служить основой для адаптации под прикладные задачи. Она обучалась на английском, французском, испанском, немецком, итальянском и португальском языках; в меньшем объёме также использовались арабский, китайский и русский. Контекст конфигурации — 65 536 токенов; README описывает расширение до 128k токенов с YaRN. Карточка приводит результаты тестирования на задачах рассуждения, математики, кода и многоязычного понимания, но они не гарантируют точность ответов в практическом использовании. Разработчик предупреждает, что текст может содержать фактические ошибки, логические несоответствия и предубеждения из обучающих данных; важную информацию следует проверять. Модель распространяется по лицензии Apache-2.0.
SmolLM3-3B-MOPD-Top64-DR-NoThinking-500 — это исследовательский чекпойнт языковой модели SmolLM3, подготовленный Huangsssz на основе BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель содержит 3,1 млрд параметров, использует плотную архитектуру SmolLM3ForCausalLM и принимает текстовые запросы для генерации текста; заявленная длина контекста — 65 536 токенов. Чекпойнт получен после 500 шагов дообучения методом дистилляции с пересечением наборов наиболее вероятных 64 токенов студента и учителей. Учителя специализировались на математике, коде и следовании инструкциям; генерация и оценивание выполнялись с отключённым режимом рассуждений. Для запуска автор рекомендует явно передавать enable_thinking=False. В README приведены результаты отдельных фиксированных оцениваний по математике, программированию и следованию инструкциям; они не доказывают устойчивого улучшения. Модель ориентирована на исследовательские эксперименты и генерацию ответов общего назначения, особенно в математике, программировании и выполнении инструкций. Это полный экспорт весов BF16 для Hugging Face Transformers с токенизатором и исходным шаблоном чата. Репозиторий указывает лицензию Apache-2.0. Чекпойнт является ранней исследовательской версией после ограниченного числа шагов; опубликованные оценки имеют фиксированный протокол и ограниченную статистическую надёжность.
SynthIQ-7b — диалоговая языковая модель на архитектуре Mistral, созданная автором репозитория объединением нескольких моделей через mergekit. В карточке указан merge методом Slerp; конфигурация также описывает объединение слоёв двух моделей, а метаданные связывают SynthIQ с несколькими базовыми моделями семейства Mistral. Размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель рассчитана на генерацию текста и диалог на английском языке; автор сообщает о проверке совместимости с AutoGen и CrewAI. Модель подходит для ответов на вопросы, диалоговых ассистентов, рассуждений и выполнения инструкций. README приводит результаты нескольких бенчмарков и варианты квантованных GGUF-файлов, доступные отдельно. Для использования указана лицензия Llama 2; её условия следует учитывать при распространении и коммерческом применении.
T3qm7xNeuralsirkrishna_Multi_verse_modelYam — объединённая модель семейства Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/Multi_verse_modelYam-7B. Она предназначена для генерации текста и диалоговых ответов, в том числе в сценариях, где требуется обрабатывать длинные запросы и контекст. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает контекст длиной до 32 768 токенов. Данные карточки не уточняют поддерживаемые естественные языки и конкретные сильные стороны слияния. Модель распространяется в формате Safetensors по лицензии Apache-2.0.
T3qT3qm7-7B — автоматически объединённая языковая модель на архитектуре Mistral, созданная Maxime Labonne методом DARE-TIES на основе chihoonlee10/T3Q-Mistral-Orca-Math-DPO и nlpguy/T3QM7. Она предназначена для генерации текста и диалоговых ответов, включая ответы на математические запросы. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors; метаданные указывают лицензию Apache-2.0. Сведения о языках и специальных ограничениях модели в предоставленной карточке отсутствуют.
Google T5Gemma 9B-9B UL2 — предварительно обученная текстовая encoder-decoder модель семейства T5Gemma с энкодером и декодером по 9 млрд параметров. Она получена адаптацией предварительно обученной decoder-only модели Gemma 2 к архитектуре encoder-decoder и обучена с использованием UL2. Модель принимает текст и генерирует текст; заявленные сценарии включают ответы на вопросы, суммаризацию и рассуждения. В README указана поддержка английского языка и открытые веса для предварительно обученных вариантов. Модель работает через библиотеку Transformers; веса доступны в формате safetensors. Размер модели позволяет рассматривать её для развёртывания на локальных компьютерах или в облаке, однако конкретные требования к ресурсам и длина контекста в доступных данных не приведены. Среди ограничений — возможные фактические ошибки, предвзятость обучающих данных, трудности с неоднозначностью и сложными задачами, а также риск генерации вредоносного или вводящего в заблуждение текста. Лицензия — Gemma; для использования следует учитывать условия лицензии и политику запрещённого использования Gemma.
Tema_Q-X6-Thinking — созданная TemaQants доработка большой языковой модели Agent A1 от InternScience для агентных сценариев. Она предназначена для генерации ответов и рассуждений в составе Tema_Q Agent, включая работу со сложными запросами и вызов инструментов. Модель основана на архитектуре семейства Qwen 3.5 MoE, распространяется в формате safetensors и доступна в 2-битном представлении. В карточке заявлена устойчивость при контексте свыше 16 тысяч токенов. Поддерживаются японский, английский и китайский языки. Модель ориентирована на гибкие ответы для агентных задач; заявленные возможности включают следование инструкциям и интерфейс вызова инструментов. README запрещает использовать её для дискриминации, травли, насилия, незаконных и иных вредоносных целей. Лицензия в предоставленных данных не указана.
Typhoon2.5-Qwen3-30B-A3B — инструктивная языковая модель, разработанная OpenTyphoon для генерации ответов на тайском и английском языках. Она предназначена для диалогов, следования инструкциям и вызова инструментов в приложениях на основе чат-моделей. Модель построена на архитектуре Qwen3 как декодерная Mixture-of-Experts с 30 млрд параметров и примерно 3 млрд активных параметров. Она поддерживает контекст до 256 тыс. токенов и доступна в формате safetensors для Transformers. Указана лицензия Apache 2.0; для использования README также требует принять условия OpenTyphoon и ознакомиться с уведомлением о конфиденциальности. Модель ещё находится в разработке. Несмотря на защитные ограничения, ответы могут быть неточными, предвзятыми или нежелательными, поэтому её следует оценивать с учётом конкретного сценария применения.
Sakalti/ultiima-14B-v0.2 — объединённая языковая модель Sakalti, созданная методом TIES с помощью mergekit на основе sometimesanotion/Lamarck-14B-v0.7 и sometimesanotion/Lamarck-14B-v0.6. Это плотная модель Qwen2 с 14 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Нативная длина контекста составляет 131 072 токена. Модель подходит для диалогов и других задач генерации текста. Описание базовой модели в каталоге также относит семейство Lamarck к многошаговым рассуждениям, написанию прозы и переводу, но для этой модели подтверждённая задача — text-generation. Языки, на которые модель рассчитана, в предоставленных источниках не обозначены. Файлы модели представлены в формате Safetensors; README указывает тип данных float16. Условия лицензии в предоставленных данных не приведены.
VAETKI — большая языковая модель консорциума NC-AI, в котором участвуют 13 организаций. Это авторегрессионная модель семейства VAETKI для генерации текста и диалогов; в карточке Hugging Face указана архитектура dense, тогда как README описывает VAETKI-100B-A10B как Transformer с архитектурой Mixture-of-Experts. Метаданные указывают 10,4 млрд параметров и контекст до 131 072 токенов; README для варианта VAETKI-100B-A10B приводит 112,2 млрд параметров всего, 10,1 млрд активных и контекст 32 тыс. токенов, поэтому эти характеристики могут относиться к разным вариантам модели. Модель предназначена для следования инструкциям, диалогов, рассуждений, перевода и агентных сценариев с использованием инструментов. Она поддерживает корейский, английский, китайский и японский языки. README сообщает о режимах thinking для большинства задач и non-thinking для агента с инструментами, а также о выравнивании по человеческим предпочтениям. Лицензия — MIT. Модель может выдавать фактически неточные или неполные ответы и галлюцинации, испытывать трудности со сложными многошаговыми рассуждениями, точными математическими вычислениями и корректной генерацией кода; она не проверяет факты самостоятельно. Разработчик не рекомендует применять её в критически важных и регулируемых областях, включая медицину, право, финансы и военную сферу.
ricepaper/vi-gemma-2-2b-function-calling — языковая модель, разработанная hiieu, himmeow the coder и cuctrinh и дообученная на базе unsloth/gemma-2-2b-it-bnb-4bit. Она предназначена для диалогов и вызова одной или нескольких функций по запросу пользователя; обучающие данные включали диалоги с вызовами функций в формате ChatML и многоязычные данные, переведённые на вьетнамский язык. Модель также подходит для чат-ботов, систем вопросно-ответного поиска, суммаризации, перевода и агентных сценариев. Это плотная авторегрессионная Gemma 2 с 2,7 млрд параметров и контекстом до 8192 токенов. Основные языки — вьетнамский и английский; заявлена также работа с многоязычными данными. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Качество выполнения вызовов зависит от предоставленных функций и настроек генерации. README отмечает, что для эффективной работы могут потребоваться подходящая аппаратная конфигурация и настройка параметров генерации.
YamshadowInex12_NeuralsirkrishnaShadow — слитая текстовая модель MaziyarPanahi на архитектуре Mistral. Она объединяет модели automerger/YamshadowInex12-7B и automerger/NeuralsirkrishnaShadow-7B и предназначена для генерации текста. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Доступна в формате safetensors по лицензии Apache-2.0.
Zamba2-2.7B-Instruct-v2 — диалоговая языковая модель Zyphra, дообученная на базе Zyphra/Zamba2-2.7B с помощью SFT и DPO на наборах инструкций, диалогов, рассуждений, математики и предпочтений. Она предназначена для генерации ответов и следования текстовым инструкциям в чат-сценариях. Модель использует гибридную плотную архитектуру: слои Mamba2 чередуются с общими слоями внимания Transformer, дополненными LoRA-проекциями. В карточке указано 2,66 млрд параметров, тогда как метаданные каталога сообщают 5,7 млрд; контекст составляет до 4096 токенов. Модель работает с текстом и выдаёт текст. Разработчик заявляет о низкой задержке и меньшем расходе памяти по сравнению с сопоставимыми Transformer-моделями; для ускоренного запуска рекомендуются ядра Mamba2, поскольку без них задержка и расход памяти заметно возрастают. Модель опубликована под лицензией Apache-2.0. В README приведены результаты на ряде тестов, но они не гарантируют качество для конкретных запросов; сведения о поддерживаемых языках не приведены.
Карточка модели PS4Research/9DgDaWTmX85XRwSq на Hugging Face совпадает с карточкой PS4Research/IKn8jwlNamPNIS15, поэтому описание составлено по ней. Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.
AMALIA-9B-0626-SFT — языковая модель, созданная консорциумом португальских университетов и исследовательских центров при поддержке правительства Португалии. Это плотная causal language model семейства Llama с 8,6 млрд параметров, реализованная для Transformers; модель опубликована в формате safetensors и поддерживает контекст до 32 768 токенов. В карточке описаны этапы предварительного обучения и постобучения с supervised fine-tuning и Direct Preference Optimization; для этой версии указана задача text-generation и диалоговый режим. Модель предназначена прежде всего для понимания и генерации текста на европейском португальском (pt-PT): она подходит для ответов на вопросы, следования инструкциям, кратких сводок, редактирования, перевода и черновиков, а также для исследований португальского языка и дальнейшей адаптации. AMALIA также рассчитана на сценарии с RAG, где ответы опираются на предоставленные документы. В некоторой степени она работает с другими вариантами португальского и английским, но оптимизирована именно для pt-PT. Модель может галлюцинировать, воспроизводить предвзятость и выдавать вредный или небезопасный текст; фактические ответы следует проверять, а перед внедрением в прикладную систему модель необходимо оценить для конкретной задачи и дополнить подходящими мерами контроля. Она не предназначена для самостоятельных решений с высокими последствиями без квалифицированного надзора. Лицензия — Apache-2.0.
Карточка модели ganesh714/arq_m1_chairs на Hugging Face совпадает с карточкой ganesh714/arq_m1_chairs_think_Q7b_C, поэтому описание составлено по ней. Модель ganesh714/arq_m1_chairs_think_Q7b_C — дообученная языковая модель семейства Qwen2 на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Она построена на архитектуре Qwen2ForCausalLM и содержит 7,1 млрд параметров; модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. В README указано, что обучение выполнялось с Unsloth и библиотекой TRL. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0. В карточке нет подробностей о специализации дообучения или оценках качества, поэтому пригодность для конкретных задач следует проверять на собственных примерах.
aya-23-35B-GGUF — это набор квантизированных моделей в формате GGUF для запуска через llama.cpp. Основой служит языковая модель aya-23-35B, разработанная CohereForAI, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, написание и преобразование текста на нескольких языках. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского, арабского, греческого, персидского, польского, индонезийского, чешского, иврита, хинди, нидерландского, румынского, русского, турецкого, украинского и вьетнамского языков. Размер базовой модели — 35B параметров; сведения об архитектуре и размере контекста в README не указаны. Доступны варианты с разными уровнями квантизации: от IQ1 и IQ2 с минимальным размером и более низким качеством до Q6_K и Q8_0 с высоким качеством, но большими требованиями к памяти. Рекомендуемыми названы варианты Q4_K_M, Q5_K_M и Q6_K, а также некоторые IQ-квантизации. Главное преимущество модели — возможность локального запуска в llama.cpp при выборе подходящего уровня квантизации, включая варианты для ограниченного объёма оперативной памяти. Ограничения связаны с компромиссом между качеством и размером: низкобитные варианты заметно уступают по качеству, а высококачественные требуют десятки гигабайт памяти. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая запрет коммерческого применения.
Bamba-9B-v2 — базовая авторегрессионная языковая модель IBM AI Platform для генерации текста. Она построена на гибридной архитектуре Mamba-2 и Transformer с декодерной архитектурой и выпущена под лицензией Apache 2.0. В метаданных указано 7,5 млрд параметров; README приводит для семейства Bamba конфигурацию 9B (9,78B), 32 слоя и размер скрытого состояния 4096. Модель обучена дополнительно на 1 трлн токенов относительно Bamba v1; в карточке заявлено превосходство над Llama 3.1 8B по результатам L1 и L2 лидербордов. Модель предназначена для широкого круга задач генерации текста. Метаданные указывают контекст до 262 144 токенов, тогда как таблица README для Bamba приводит 4096 токенов; фактическое ограничение зависит от доступного чекпойнта и конфигурации. Репозиторий содержит веса Safetensors. Для запуска нужны PyTorch и дополнительные зависимости для Mamba; описанная поддержка llama.cpp предварительная, ограничена CPU, а квантование llama.cpp может заметно ухудшать качество.
Bellatrix-Tiny-0.5B — компактная авторегрессионная языковая модель на архитектуре Qwen2, разработанная prithivMLmods и дообученная на базе Qwen/Qwen2.5-0.5B-Instruct. Модель содержит 494 млн параметров, рассчитана на контекст до 32 768 токенов и принимает и выдаёт текст. В README заявлены многоязычный диалог, следование инструкциям, рассуждения, агентный поиск информации и суммаризация; доступны интерфейс чата и интерфейс вызова инструментов. Модель подходит для диалоговых приложений, обобщения текстов и ответов по найденной информации. Карточка описывает настройку с помощью supervised fine-tuning и RLHF, однако не приводит отдельных результатов оценки качества. Репозиторий содержит веса Safetensors и формат ONNX. Лицензия — Apache-2.0. Качество может снижаться на узкоспециализированных задачах, а ответы могут содержать ошибки и смещения из-за обучающих данных. Поддержка менее распространённых языков и диалектов может быть слабее; модели также может быть трудно разбирать неоднозначные реальные ситуации. Инференс и дообучение требуют вычислительных ресурсов.
win10/BigLiberated-20B-V2 — разговорная языковая модель на архитектуре Qwen2, созданная слиянием предварительно обученных моделей с помощью mergekit и метода passthrough. В README указана участвовавшая в слиянии модель abacusai/Liberated-Qwen1.5-14B. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 19,4 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия в предоставленных данных не указана.
BLOSSOM-v4-qwen-18b — диалоговая языковая модель, разработанная командой Blossom и полученная дообучением Qwen-1_8B на смесях данных Blossom Orca, Wizard, Chat и Math. Модель использует плотную архитектуру Qwen с 2,3 млрд параметров и контекстом до 8192 токенов; репозиторий содержит веса PyTorch. Она предназначена для генерации ответов в формате диалога и общего следования инструкциям, включая задачи на понимание текста и математику. Обучение проходило в два этапа на одно- и многоходовых примерах.
Bonsai-4B-gguf — компактная языковая модель, разработанная Prism ML и представленная в формате GGUF для запуска через llama.cpp. Она предназначена для локальной генерации текста, чат-ассистентов и интеграции в приложения на устройствах с ограниченными ресурсами, включая компьютеры, смартфоны и планшеты. Модель основана на плотной архитектуре Qwen3-4B с 4 млрд параметров, из которых около 3,6 млрд не относятся к эмбеддингам. Она использует 36 блоков Transformer-декодера, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Контекст составляет 32 768 токенов, размер словаря — 151 936 токенов. Все основные веса, включая эмбеддинги, проекции внимания, MLP и LM head, сжаты до 1-битного формата GGUF Q1_0 с группами по 128 весов и общими FP16-масштабами; эффективная разрядность — 1,125 бита на вес. Ключевые преимущества модели — размер около 0,57 ГБ, существенное снижение требований к памяти и поддержка CUDA, Metal, CPU, iOS и Android. По данным разработчика, она в 14,1 раза компактнее версии FP16 и может работать практически на любом устройстве с GPU. Однобитное квантование уменьшает потребление ресурсов, но может ограничивать качество по сравнению с полноформатными версиями; конкретные языки и результаты бенчмарков в README не указаны. Распространяется по лицензии Apache 2.0.
Celestial-Order-24B-V3 — языковая модель для генерации текста и диалогов, созданная Sorihon с помощью mergekit. В README указано, что это слияние методом Karcher Mean моделей Celestial-Order-V2.75, Celestial-Order-V2.5 и Celestial-Order-24B-V2; метаданные каталога связывают её базовую модель с Sorihon/Celestial-Order-24B-V2. Архитектура — плотная MistralForCausalLM, размер — 23,4 млрд параметров, формат файлов — safetensors, нативное окно контекста — 131 072 токена. Модель предназначена для генерации текста и использования в чат-сценариях. Карточка и метаданные не приводят специальных отраслевых назначений или поддерживаемых языков. Лицензия в предоставленных данных не указана.
Это набор GGUF-квантизированных версий языковой модели Gemma 3 40B, разработанной ddh0 и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio, llama.cpp и другие проекты на его основе. В набор входят варианты от BF16 до низкобитных Q2 и IQ-квантизаций размером примерно от 15,5 до 79,6 ГБ. Доступны различные уровни компромисса между качеством, требованиями к памяти и скоростью инференса; наиболее качественными и рекомендуемыми в README названы варианты Q6_K, Q6_K_L, Q5 и Q4. Архитектура, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Сильной стороной модели является широкий выбор квантизаций, позволяющий адаптировать запуск к доступным ресурсам, при этом старшие варианты сохраняют качество, близкое к исходной модели. Низкобитные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для модели не указан отдельный chat template, поэтому используется шаблон по умолчанию, который может быть некорректным; рекомендуется сверяться с карточкой исходной модели. Лицензия указана как Gemma.
mlx-community/DeepSeek-R1-Distill-Llama-70B-8bit — это 8-битная версия модели DeepSeek-R1-Distill-Llama-70B, преобразованная в формат MLX сообществом mlx-community. Конвертация выполнена из исходной модели deepseek-ai/DeepSeek-R1-Distill-Llama-70B с использованием mlx-lm версии 0.20.2. Модель предназначена для генерации текста и диалоговых сценариев в экосистеме MLX, включая запуск через библиотеку mlx-lm. README не содержит подробных сведений об архитектуре, числе параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования или сильных и слабых сторонах модели. Известно только, что используется 8-битное представление и предусмотрена поддержка chat template при наличии соответствующей конфигурации токенизатора. Для использования требуется установить mlx-lm и загрузить модель по её идентификатору. Лицензия в README не указана, поэтому условия использования определить по предоставленным данным невозможно.
Это пакет GGUF для распределённого запуска DeepSeek-R1-Distill-Qwen-14B в Mesh LLM. Разработчик Mesh LLM разделил вариант Q4_K_M на артефакты по слоям, чтобы модель можно было запускать на нескольких машинах локального кластера и предоставлять через локальный API, совместимый с OpenAI.
Devstral-Small-2507-MLX-4bit — это 4-битная квантованная версия модели Devstral-Small-2507, разработанной Mistral AI и подготовленной командой LM Studio с использованием MLX и mlx_lm. Модель предназначена для генерации и обработки текста, а также для локального запуска на устройствах Apple с процессорами Apple Silicon. В README указано, что модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский и ряд других языков. Ключевые характеристики исходной архитектуры Devstral-Small-2507, количество параметров, размер контекста и поддерживаемые модальности в предоставленных данных не указаны. Квантование до 4 бит уменьшает требования к памяти, однако может повлиять на точность по сравнению с полноразмерной версией; оптимизация ориентирована на экосистему Apple Silicon. Модель распространяется по лицензии Apache-2.0. README не содержит дополнительных сведений о конкретных сильных сторонах, ограничениях качества или рекомендуемых сценариях применения, поэтому результаты генерации следует проверять, особенно при использовании в задачах, требующих высокой точности.