II.1Анализ требований и архитектура ПО

ishikaa/acquisition_generator_AS_GT_confidence_omnimath_qwen14b — языковая модель для генерации текста, опубликованная на Hugging Face и предназначенная для работы через библиотеку Transformers. По метаданным модель относится к семейству Qwen2, поддерживает conversational-сценарии и содержит около 7,1 млрд параметров. Максимальная длина контекста составляет 32 768 токенов. Модель может применяться для генерации и продолжения текста, диалоговых ответов, прототипирования ассистентов и других задач, совместимых с pipeline text-generation. README не содержит сведений о разработчике, языках, данных обучения, результатах оценки, точной архитектуре, специализации по названию модели или рекомендуемых сценариях использования. Лицензия в доступных данных не указана. Из-за отсутствия описания обучения и оценки качество, фактическая языковая поддержка, устойчивость ответов и пригодность для специализированных задач не подтверждены; результаты следует проверять перед использованием в критически важных сценариях.

AgentLM-70B — языковая модель команды Z.ai, дообученная на траекториях взаимодействия с агентами и диалогах. Она предназначена для генерации текста в формате беседы и выполнения инструкций, включая задачи агентного взаимодействия. Модель основана на Llama 2 Chat и обучена на смеси AgentInstruct и ShareGPT; использует плотную архитектуру LlamaForCausalLM и содержит 68,7 млрд параметров. Контекст составляет 4096 токенов. Модель ориентирована на обобщение на незнакомые агентные задачи при сохранении общих языковых возможностей. Она принимает текст и генерирует текст, следуя формату диалога Llama 2 Chat с фиксированным системным промптом. В карточке приведён формат весов safetensors. Сведения о лицензии в доступных данных отсутствуют.

Airochronos L2 13B GGUF — это квантизированная версия текстовой языковой модели Airochronos L2 13B, созданной kingbri и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре LLaMA 2 и предназначена для генерации текста и диалогового взаимодействия на английском языке. Доступны варианты с квантизацией от 2 до 8 бит, что позволяет запускать модель для CPU+GPU-инференса с различными требованиями к памяти и компромиссами между качеством и производительностью. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами. В README приведены шаблоны запросов Alpaca 2 и Airoboros. Размер модели составляет 13 млрд параметров; сведения о длине контекста, мультимодальности и результатах бенчмарков не указаны. Сильными сторонами являются широкий выбор уровней квантизации, возможность локального запуска и поддержка множества интерфейсов и библиотек. Ограничения включают отсутствие подтвержденных характеристик качества, неизвестную длину контекста и отсутствие мультимодальных возможностей в заявленных данных. Модель распространяется по лицензии llama2.

Airolima Chronos Grad L2 13B — это текстовая языковая модель для генерации ответов и ведения диалога, созданная kingbri. Модель представляет собой объединение (merge) проектов Airoboros и Chronos на базе архитектуры Llama 2 с 13 млрд параметров. В данном репозитории опубликованы квантизированные файлы в формате GGUF, подготовленные TheBloke для запуска на CPU и GPU. Модель предназначена для общего текстового общения, генерации и продолжения текста, а также сценариев, поддерживаемых интерфейсами llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другими совместимыми библиотеками. Указан английский язык. Поддерживаются шаблоны запросов Alpaca 2 и Airoboros; рекомендуемый размер контекста и другие параметры инференса в представленном README не указаны. К сильным сторонам относятся относительно крупный размер 13B, совместимость с широким набором локальных инструментов и наличие вариантов квантизации от 2 до 8 бит, позволяющих выбирать компромисс между качеством и требованиями к памяти. Ограничения связаны с тем, что это квантизированная версия, а сведения о результатах тестирования, точности, безопасности и поддерживаемых модальностях отсутствуют; модель является текстовой и не заявлена как мультимодальная. Лицензия указана как llama2.

openhands-lm-7b-v0.1-GGUF — это квантизированная GGUF-версия языковой модели openhands-lm-7b-v0.1, разработанной all-hands и подготовленной bartowski с использованием llama.cpp. Модель предназначена для генерации текста и сценариев, связанных с агентным программированием и разработкой программного обеспечения; среди указанных данных обучения присутствует SWE-Gym. Поддерживаемый язык — английский. Модель имеет размер 7B параметров и поставляется в нескольких вариантах точности, включая BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K. Квантизация позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти: рекомендуемые варианты обеспечивают высокое или хорошее качество, а варианты с меньшим размером экономят ресурсы за счёт снижения качества. Доступны запуск через LM Studio, llama.cpp и другие проекты на базе llama.cpp; для работы следует использовать указанный формат промпта с ролями system, user и assistant. Сильными сторонами являются специализация на задачах программирования, агентных сценариях и возможность локального запуска в различных квантизированных конфигурациях. Ограничения включают отсутствие сведений о точной архитектуре, размере контекста, мультимодальности и результатах оценки; модель заявлена только для английского языка. Лицензия — MIT.

Модель dice-research/amharic-property-retriever-afro-xlmr-base — Sentence Transformer, дообученный исследовательской группой DICE Research на базе Davlan/afro-xlmr-large-76L для сопоставления амхарских обозначений полей и свойств с соответствующими названиями на английском языке. Она преобразует предложения и короткие фрагменты текста в плотные векторы размерности 1024; близость векторов оценивается косинусным сходством. Модель построена на XLM-RoBERTa и предназначена для семантического поиска и ранжирования соответствий, в том числе для поиска названий свойств в схемах данных. Обучение проводилось на 1 224 парах примеров из набора amharic-property-mapping с функцией потерь MultipleNegativesRankingLoss. В README указана максимальная длина последовательности 64 токена; метаданные каталога приводят контекст 514 токенов. Для практического использования стоит ориентироваться на ограничение 64 токена, описанное в карточке Sentence Transformers. На тестовой выборке из 186 пар приведены метрики поиска, однако они не гарантируют качество на других данных. Модель распространяется по лицензии MIT.

Archon-8B-i1-GGUF — это квантизированная версия языковой модели DuoNeural/Archon-8B, подготовленная mradermacher в формате GGUF. Модель предназначена для генерации текста и задач, связанных с рассуждением; в метаданных она также отмечена как модель на базе Qwen3 и как uncensored. Доступны варианты для локального запуска с разными уровнями квантизации. Заявлена поддержка английского, китайского, французского, немецкого, испанского, японского и корейского языков. Размер базовой модели — 8 млрд параметров, однако сведения о длине контекста, точной архитектуре, мультимодальности и результатах бенчмарков отсутствуют; по имеющимся данным модель является текстовой. Главное преимущество набора — широкий выбор GGUF-квантизаций с размером файлов примерно от 2,2 до 6,8 ГБ, что позволяет подобрать баланс между требованиями к памяти, скоростью и качеством. Низкобитные варианты экономичнее, но могут заметно уступать по качеству; README отдельно рекомендует IQ-квантизации и варианты Q4_K_M или Q4_K_S как практичный выбор. Модель и её производительность могут существенно различаться в зависимости от выбранного варианта квантизации. Распространение указано по лицензии Apache-2.0. В карточке также приведены ссылки на исходную модель и инструкции по работе с GGUF-файлами.

Модель senaro/atlasv25-oss20b-bf16 разработана senaro и представляет собой дообученную языковую модель семейства gpt_oss с архитектурой MoE. Она основана на senaro/atlasv25-trm-gptoss-20b-unsloth; в карточке указано обучение с использованием Unsloth и библиотеки TRL. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогового общения; также заявлен интерфейс вызова инструментов. Контекстное окно составляет 131 072 токена. Метаданные указывают 1,6 млрд параметров, английский язык и задачу text-generation. Данных о специальных предметных областях или дополнительных модальностях нет.

AX-DeepSeek-V4-Flash-MLX-AXQ-2bit-MTP — это экспериментальный MLX-чекпойнт, разработанный AutomatosX на основе модели DeepSeek-V4-Flash от deepseek-ai. Модель предназначена для генерации текста и запуска на компьютерах Apple Silicon через MLX-LM или AX Engine. Архитектура исходной модели — DeepseekV4ForCausalLM с mixture of experts; основной путь обработки текста квантизирован, а MTP-компонент сохранён в BF16. Модель содержит около 284,33 млрд логических параметров, использует смешанную точность с преобладанием 2-битных весов и имеет измеренный общий размер 3,1605 BPW. Размер Safetensors-весов составляет около 114,94 ГБ, а полный объём загрузки — около 115,02 ГБ. Заявленный максимальный контекст — 1 048 576 токенов, однако практическая длина зависит от объёма unified memory устройства. Модель поддерживает только текстовую модальность: vision и audio отсутствуют. Основное преимущество — существенно сниженные требования к хранению по сравнению с полноточной моделью при сохранении совместимости с MLX и возможностью прямого запуска в AX Engine. К ограничениям относятся экспериментальный статус 2-битной квантизации, высокая потребность в дисковом пространстве и памяти, отсутствие калибровки, а также то, что стандартный MLX-LM не активирует MTP-sidecar и не подтверждает ускорение speculative decoding. Проверенная сертификация привязана к конкретной ревизии Hub и конфигурации df-macstudio-m2. Репозиторий распространяется по лицензии Apache-2.0 и содержит MLX Safetensors, но не PyTorch- или GGUF-веса.

duyntnet/aya-23-8B-imatrix-GGUF — это набор квантованных форматов GGUF с использованием imatrix для модели Aya-23-8B, разработанной CohereForAI. Модель предназначена для генерации текста и может применяться в диалоговых сценариях, написании текстов и других задачах на основе языковой генерации. Известно, что это каузальная языковая модель размером 8B параметров, работающая с текстовой модальностью. В README явно указан английский язык, однако пример использования демонстрирует запрос на турецком языке; полный перечень поддерживаемых языков и размер контекста не приведены. Для работы требуется совместимая поддержка GGUF и соответствующее программное обеспечение; исходная модель использует Transformers и шаблон чата Command R Plus. Ключевое преимущество этой версии — квантованные представления, потенциально снижающие требования к памяти и вычислительным ресурсам по сравнению с полной моделью, однако конкретные уровни квантования и их влияние на качество не указаны. Лицензия обозначена как other, без дополнительных условий в README.

Boomba-AI — дообученная текстовая модель от 007Arijit на базе unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit. Она предназначена для генерации текста и диалогового взаимодействия; в метаданных также указана поддержка интерфейса вызова инструментов. Модель использует плотную архитектуру Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. По карточке, модель обучали с помощью Unsloth и библиотеки TRL от Hugging Face. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache-2.0. README не описывает специализацию, результаты оценки или конкретные ограничения качества.

Boomerang Qwen3 2.3B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная Harvard-DCML. Это студент, полученный дистилляцией Qwen3-4B-Base; в исследовании Boomerang Distillation его слои можно комбинировать со слоями модели-учителя, чтобы без дополнительного обучения собирать промежуточные по размеру варианты. Для интерполяции авторы рекомендуют использовать функцию build_intermediate_model из своего репозитория и не патчить первые слои студента. Модель содержит около 2,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Она подходит для генерации текста и диалоговых сценариев; также заявлен интерфейс вызова инструментов. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0. README описывает исследовательский метод комбинирования слоёв, но не приводит сравнительных оценок качества; результат интерполяции зависит от выбранного числа патчируемых слоёв.

MaziyarPanahi/calme-2.8-qwen2-7b — дообученная Maziyar Panahi чат-модель на архитектуре Qwen2 с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста и улучшения ответов базовой Qwen2-7B; в карточке приведены результаты оценки на нескольких бенчмарках. Модель использует шаблон запросов ChatML, работает с текстом и рассчитана на контекст до 131 072 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста на английском языке. В качестве данных для дообучения указаны HelpSteer2, OpenHermes-2.5, Orca Math Word Problems и SlimOrca. Доступны веса в формате safetensors; лицензия — Apache-2.0. Результаты бенчмарков не гарантируют качество в конкретном применении.

Captain-Eris-Diogenes_Twilight-V0.420-12B-GGUF — это 12-миллиардная языковая модель для генерации текста, созданная на основе модели Nitral-AI/Captain-Eris-Diogenes_Twilight-V0.420-12B. Данный репозиторий содержит её GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и imatrix. Модель предназначена для локального запуска и текстовой генерации; рекомендуется использовать её через LM Studio или совместимые инструменты на базе llama.cpp. Указан формат промпта <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 6,08 до 13,02 ГБ. Старшие варианты Q5 и Q6 обеспечивают высокое качество, а Q4_K_M указан как подходящий вариант по умолчанию для большинства сценариев; версии Q3 предназначены для систем с ограниченным объёмом оперативной памяти, но дают более низкое качество. Модель текстовая: сведения о поддержке изображений, языках, размере контекста и специализированных задачах в README отсутствуют. Лицензия также не указана.

MaziyarPanahi/Chocolatine-3B-Instruct-DPO-Revised-GGUF — это набор файлов модели в формате GGUF для локального запуска. В основе лежит jpacifico/Chocolatine-3B-Instruct-DPO-Revised; автор исходной модели — jpacifico, а квантизацию и публикацию GGUF-версии выполнил MaziyarPanahi. Модель относится к классу текстовых генеративных моделей с инструкционным дообучением и DPO-настройкой, имеет размер около 3 миллиардов параметров и предназначена для работы с текстом. Модель ориентирована на выполнение текстовых инструкций и генерацию ответов в локальных приложениях и библиотеках, совместимых с GGUF, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, результатах бенчмарков, мультимодальности и лицензии, поэтому эти характеристики нельзя достоверно оценить.

Модель mcikalmerdeka/cikal_merdeka_corp-qwen3-8b-merged — дообученная разговорная языковая модель на архитектуре Qwen3, разработанная mcikalmerdeka на основе unsloth/Qwen3-8B-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалоговых сценариев; также репозиторий поддерживает интерфейс вызова инструментов. Модель содержит 7,6 млрд параметров и рассчитана на контекст до 40 960 токенов. В карточке указан английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не описывает специализированную предметную область, конкретные результаты оценки качества или ограничения применения; это дообученная модель общего назначения, и её ответы следует проверять в задачах, где важна точность.

CloudSurf-4B-FC-GGUF — официальный набор GGUF-квантизаций модели CloudSurf-4B-FC, разработанной CloudSurf Software. Модель основана на архитектуре Gemma-4 E4B: около 4 млрд эффективных активных параметров и примерно 8 млрд общих параметров. Основное назначение — генерация текста с поддержкой function calling и tool use, включая выбор инструментов, многоаргументные и параллельные вызовы, обмен сообщениями роли tool и отказ от нерелевантных вызовов. Модель ориентирована на работу через llama.cpp, LM Studio, Ollama и OpenAI-совместимый локальный сервер. Доступны варианты с квантованием от Q3_K_M до Q8_0, а также BF16; рекомендуемый вариант Q4_K_M занимает около 5,3 ГБ и рассчитан на системы с 8 ГБ RAM или VRAM. Для каждого файла заявлена успешная проверка базового набора из шести сценариев вызова инструментов. Поддерживается ввод изображений через отдельный mmproj-файл, поскольку визуальные возможности унаследованы от базы Gemma-4, однако ключевая специализация модели — function calling. Обучение и оценка проводились в контексте класса 131K, а практический пример запуска использует 16 384 токена. Качество квантованных вариантов отдельно пока не оценено: опубликованные показатели BFCL относятся к исходным BF16-весам и не должны напрямую переноситься на GGUF-файлы. Для вариантов ниже Q8_0 следует ожидать некоторое снижение качества, усиливающееся при уменьшении разрядности. Лицензия — Apache-2.0, при этом базовые веса Gemma-4 также регулируются условиями Google Gemma.

QuantFactory/Codepy-Deepthink-3B-GGUF — квантизированная версия Codepy-Deepthink-3B, созданная QuantFactory с использованием llama.cpp. Исходная модель дообучена на базе meta-llama/Llama-3.2-3B-Instruct и предназначена для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Модель ориентирована на сценарии, требующие пошаговых решений, логического анализа и генерации кода, а также может применяться в образовании и творческом письме. В README заявлена поддержка текстовой генерации на английском языке. Указан размер базовой модели около 3B параметров; сведения о точном формате квантизации, длине контекста, конкретных вариантах GGUF, производительности и системных требованиях отсутствуют. К сильным сторонам относятся компактный размер по сравнению с более крупными моделями, специализация на рассуждениях и программировании, а также совместимость с llama.cpp и Ollama. Ограничения включают неизвестные характеристики квантизации и отсутствие представленных объективных оценок качества; заявленные возможности следует проверять на собственных задачах. Лицензия указана как CreativeML OpenRAIL-M.

CollectiveLM-Falcon-3-7B-GGUF — это GGUF-квантизированная версия языковой модели CollectiveLM-Falcon-3-7B, опубликованная и квантизированная bartowski на основе модели Locutusque. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, поддерживающих llama.cpp, включая LM Studio. Она обучалась на датасете Locutusque/Collective-Evol-Instruct-v0.1 и рассчитана на англоязычные задачи. Модель относится к классу Falcon и содержит около 7 миллиардов параметров. В репозитории представлены варианты от полноточного F32 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы K-quants и IQ-quants. Квантизация выполнена с использованием imatrix в llama.cpp; это позволяет выбирать компромисс между качеством, размером файла и требованиями к памяти. Рекомендуемыми указаны варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS, при этом Q4_K_M описан как стандартный вариант для большинства сценариев. Сильными сторонами являются возможность локального запуска, широкий выбор размеров и сохранение высокого качества у старших вариантов квантизации. Ограничения включают ориентацию на английский язык, отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности, результатах оценки и практических ограничениях применения. Для работы рекомендуется использовать шаблон промпта с тегами system, user и assistant, приведённый в README. Лицензия указана как other; её конкретные условия в предоставленных данных не раскрыты.

CRIA v1.3 — языковая модель на базе Llama 2, созданная автором davzoku для чат-платформы и быстрого прототипирования приложений с открытыми LLM. Модель дообучена методом QLoRA на наборе mlabonne/CodeLlama-2-20k, а затем объединена с базовой моделью. В репозитории представлены веса PyTorch и Safetensors; указанный размер — 6,6 млрд параметров, контекст — до 4096 токенов. Модель предназначена для диалоговой генерации текста и задач, связанных с кодом, в составе чат-приложений. README указывает на дообучение Llama 2 Chat, но карточка не приводит результаты оценки качества или подробные сведения о поддерживаемых языках; метаданные отмечают английский. Лицензия — Llama 2 Community License.

Cyrax-7B — языковая модель семейства Mistral с 7,1 млрд параметров, опубликованная touqir. Она предназначена для генерации текста и ответов на запросы; в карточке приведены результаты Open LLM Leaderboard по тестам ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K. Модель использует плотную архитектуру MistralForCausalLM, работает с текстом и поддерживает контекст до 32 768 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. README не сообщает дополнительных сведений о методе обучения или ограничениях модели.

Это GGUF-квантизированная версия языковой модели cogito-v2-preview-llama-109B-MoE, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Архитектура модели — Mixture of Experts (MoE), общий заявленный размер — 109B параметров. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, с размером файлов примерно от 47,62 до 114,52 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b6014. Более высокие варианты обеспечивают лучшее сохранение качества, а менее точные требуют меньше оперативной памяти; среди рекомендуемых указаны Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Модель подходит для локального текстового инференса при наличии значительных вычислительных ресурсов и объёма памяти, соответствующего выбранному варианту квантизации. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности, точные характеристики базовой архитектуры, лицензия и формальные ограничения использования. Шаблон чата не задан; предложенный формат является значением по умолчанию и может быть некорректным, поэтому его следует сверять с исходной карточкой модели.

DeepSeek-V4.1-Flash-MLX-mixed-4_8bit — это квантованная сборка DeepSeek-V4.1-Flash для Apple Silicon на базе MLX, подготовленная PipeNetwork. Модель предназначена для генерации текста и запуска локального инференса на компьютерах Mac с большим объёмом unified memory. Для работы требуется специальный runtime deepseek-v41-mlx, поскольку стандартные transformers, mlx-lm и mlx-vlm эту архитектуру не поддерживают. Модель содержит около 754,6 млрд параметров и построена на архитектуре mixture-of-experts: 40 слоёв с 384 маршрутизируемыми экспертами. Она использует MLA с межслойным разделением KV-кэша, двухслойные hashed n-gram engram-таблицы, hyper-connections и attention sinks. Экспертные веса квантованы до 4 бит, attention, shared-части, embeddings и head — до 8 бит, а engram-таблицы также представлены в 8-битном формате; часть служебных компонентов остаётся в bf16 или fp32. Размер файлов составляет около 427,6 ГБ, поэтому для запуска практически требуется Mac с 512 ГБ оперативной памяти. Vision tower и aligner сохранены, но данный runtime работает только с текстом. Сборка прошла проверку на численное соответствие эталонной реализации DeepSeek, а заявленная perplexity на тестовой части wikitext-2 составляет 2,8963; авторы также отмечают связную жадную генерацию. Основные ограничения — очень высокие требования к памяти, зависимость от нестандартного runtime, текстовый режим без поддержки мультимодального вывода и отсутствие трёх слоёв multi-token prediction. Модель распространяется по лицензии MIT, как и исходная модель.

DeepSeek-V4-Flash-0731-ROCmFP4 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанная пользователем kingjones777 на основе модели deepseek-ai. Модель распространяется в формате GGUF для генерации текста и предназначена прежде всего для локального запуска на одной системе AMD Strix Halo с 128 ГБ объединённой памяти и полной выгрузкой на GPU. Архитектура модели — sparse MoE с 256 экспертами и механизмами indexer/DSA attention; указанный язык — английский. Основная сборка Q3 использует смешанную квантизацию ROCmFP4/ROCmFPX с размером около 101 ГБ и общей плотностью около 2,92 BPW, что позволяет вместить её в 128 ГБ памяти. Также доступна сборка Q4_0_ROCMFP4_STRIX размером около 141 ГБ. Модель рассчитана на AMD gfx1151, включая Ryzen AI MAX+ 395, и требует специальной ветки ROCmFPX для llama.cpp; стандартный llama.cpp эти тензоры загрузить не может. Сильная сторона сборки — возможность полностью разместить крупную MoE-модель на одной совместимой AMD-системе, избежав выгрузки части параметров на CPU. Заявленная скорость составляет примерно 5–8 токенов в секунду, однако она зависит от оборудования и конфигурации. Ограничения включают узкую аппаратную совместимость, необходимость специального загрузчика и рекомендуемый контекст 8192 токена для стабильной работы на указанной конфигурации. MTP включён в поставку, но для этой аппаратно-программной связки отключён, поскольку оказался медленнее обычной генерации; режим рассуждений можно включать отдельно. Модель является производной от DeepSeek-V4-Flash-0731, поэтому её возможности и ограничения определяются базовой моделью. Лицензия указана как other с названием deepseek; применяются условия лицензии исходной модели DeepSeek, ссылка на которую приведена в карточке.

Модель laion/delphi-3e19-p33m67-k0p20-lr83-a002-magpie_lr1e5-sft — разговорная языковая модель семейства Qwen3, обученная с нуля на наборах данных magpie и delphi_warmup. Она предназначена для генерации текста в диалоговом формате. Модель содержит 801 млн параметров, использует плотную архитектуру Qwen3ForCausalLM и принимает контекст длиной до 4096 токенов. В метаданных указана библиотека Transformers и формат весов safetensors; модель поддерживает чат. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Карточка не содержит сведений об оценке качества или специальных ограничениях.

dolphin-2.1-mistral-7b-snr-math-laser — разговорная языковая модель на архитектуре Mistral с 7,1 млрд параметров, разработанная на основе Mistral AI и обученная командой Dolphin. В карточке описан метод частичной заморозки слоёв по анализу laserRMT, призванный уменьшать забывание ранее усвоенных знаний при обучении новым навыкам. Модель принимает текстовые запросы в формате ChatML и предназначена для диалогов с ассистентом, включая помощь с задачами и вызов функций. Контекст — до 32 768 токенов; в качестве обучающих данных указаны Dolphin и Airoboros 2.2.1, а в метаданных основным языком карточки отмечен английский. Авторы характеризуют модель как uncensored и более склонную выполнять запросы, поэтому для публичного сервиса рекомендуется самостоятельно добавить слой выравнивания поведения. Это повышает риск выдачи небезопасного или нежелательного контента. Модель распространяется под лицензией Apache-2.0, допускающей коммерческое и некоммерческое использование.

hlo-world/dolphin-2.1-mistral-7b-tgi — это перепакованная версия ehartford/dolphin-2.1-mistral-7b для запуска через Text Generation Inference. Репакер исправил проблему с индексами добавленных токенов и включил веса в формате safetensors, чтобы упростить развёртывание. В основе — плотная авторегрессионная модель Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель работает с текстом и поддерживает диалог в формате ChatML. Модель обучена на датасетах Dolphin и Airoboros 2.2.1 и предназначена для генерации текста и ответов в диалоге на английском языке. В README она описана как модель без встроенных ограничений на содержание, поэтому перед предоставлением пользователям может потребоваться собственный слой выравнивания и модерации. Лицензия Apache 2.0 допускает коммерческое и некоммерческое использование.

ylalain/ECE-PRYMMAL-YL-1B-SLERP-V8 — языковая модель для генерации текста, опубликованная на Hugging Face в формате safetensors и предназначенная для использования с библиотекой Transformers. Она построена на плотной архитектуре Qwen2 с примерно 1,4 млрд параметров и контекстом до 131 072 токенов. Модель создана слиянием Youlln/ECE-PRYMMAL-YL-1B-SLERP-V1; метаданные также указывают возможности чата и интерфейс вызова инструментов. Модель подходит для диалоговой генерации и других задач продолжения текста. README содержит лишь автоматически созданное описание и фрагмент результатов Open LLM Leaderboard, поэтому конкретные сильные стороны, обучение, поддерживаемые языки и рекомендации по применению установить по карточке нельзя. Лицензия — Apache-2.0.

EOPSA-DeepSeek-R1-7B — модель генерации текста, созданная neuqrui методом Efficient On-Policy Self-Distilled Safety Alignment (EOPSA) на основе DeepSeek-R1-Distill-Qwen-7B. Это плотная причинно-языковая модель архитектуры Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста с настройкой на безопасное поведение. Модель принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. Модель подходит для интеграции в чат-боты и другие приложения, которым нужны диалоговые ответы с учётом safety alignment. В карточке указана лицензия Apache-2.0. README не приводит результаты оценки безопасности, подробности обучения или количественные сравнения качества, поэтому эффективность выравнивания и поведение в конкретных сценариях по этим данным оценить нельзя.

EsotericSage-12B — плотная языковая модель на архитектуре Mistral, созданная yamatazen слиянием предварительно обученных моделей yamatazen/LinearWriter-12B и yamatazen/ForgottenMaid-12B методом NearSwap с помощью mergekit. Модель содержит 12,1 млрд параметров, распространяется в формате safetensors и рассчитана на генерацию текста и диалоговое применение; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Заявленная длина контекста — 131 072 токена. В карточке отмечены английский и японский языки. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.