II.10Разработка и эксплуатация AI/ML-систем

Это диалоговая языковая модель семейства Mistral, дообученная ShenaoZ на обновлённом и исходном датасетах поверх ShenaoZ/0.0001_sft_nodpo_5iters_bs256_5102lr_iter_3. Модель с архитектурой MistralForCausalLM содержит 7,1 млрд параметров и принимает текст для генерации текста в диалоговом формате; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации ответов в чате и других задач продолжения текста. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. README не приводит подробностей об обучении, оценках качества, языковой поддержке или специальных ограничениях применения.

ShenaoZ/0.001_ablation_iter_2 — диалоговая текстовая модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она дообучена на основе ShenaoZ/0.001_ablation_iter_1 на обновлённом и исходном наборах данных; карточка также связывает обучение с DPO и alignment-handbook. Модель предназначена для генерации текста и диалогового общения. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — MIT. Карточка не сообщает конкретные результаты оценки качества или подробные ограничения; пригодность ответов следует проверять для целевых сценариев.

Это исследовательский чекпойнт на 1,7 млрд параметров семейства Qwen3, опубликованный пользователем yuq-zhou в стандартном формате Hugging Face Safetensors для загрузки через Transformers. Модель предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Контекст модели составляет 40 960 токенов. Карточка называет репозиторий резервной копией исследовательского артефакта, но не описывает специальную предметную область, поддерживаемые языки или результаты оценки качества. Лицензия в предоставленных данных не указана.

Alchemist_06_2b — языковая модель семейства Gemma, созданная Sumail слиянием моделей через mergekit. Она предназначена для генерации текста и диалогового общения. Модель содержит 2,5 млрд параметров, использует плотную архитектуру GemmaForCausalLM и поддерживает контекст до 8192 токенов. В README указано слияние двух экземпляров zzttbrdd/sn6_01_new методом slerp; этот же репозиторий указан базовой моделью в метаданных. Веса представлены в формате safetensors, лицензия — Apache-2.0. Данных о языковой специализации и ограничениях качества в карточке нет.

bartowski/arcee-ai_Arcee-Blitz-GGUF — набор GGUF-квантизаций модели Arcee-Blitz, разработанной arcee-ai. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; в README приведён формат промпта с системной инструкцией и пользовательским запросом. Доступны варианты квантования от Q2_K и IQ2_M до Q8_0, размер файлов составляет примерно от 8,89 до 25,05 ГБ. Более качественными и рекомендуемыми указаны варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L, тогда как низкоразрядные варианты экономят оперативную память за счёт снижения качества. README не содержит достоверных сведений о точной архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекстного окна. Основные преимущества — широкий выбор уровней квантования, возможность локального запуска и оптимизация imatrix. Ограничения связаны с компромиссом между качеством и требованиями к памяти, а также с тем, что характеристики исходной модели и результаты бенчмарков в карточке не приведены. Указанная лицензия — Apache-2.0.

Homunculus-GGUF — это квантованные версии языковой модели Homunculus, разработанной arcee-ai и преобразованной пользователем bartowski в формат GGUF с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на его основе. В README указан английский язык и шаблон диалога с ролями system, user и assistant. Доступны варианты от полного BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 5 до 25 ГБ; наиболее качественными считаются BF16, Q8_0, Q6 и Q5, а варианты с более низкой разрядностью требуют меньше оперативной памяти, но могут заметно уступать в качестве. Архитектура, количество параметров, поддерживаемый размер контекста и дополнительные модальности в README не указаны, поэтому модель следует рассматривать как текстовую. Основные преимущества — возможность локального запуска, широкий выбор квантований и баланс между качеством и требованиями к памяти. Ограничения связаны с потерями качества при сильном квантовании, зависимостью от совместимого программного обеспечения и отсутствием подробных данных о возможностях исходной модели. Распространение указано по лицензии Apache-2.0.

Athene-70B-GGUF — это набор GGUF-квантизаций языковой чат-модели Athene-70B, разработанной Nexusflow и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен через llama.cpp и совместимые приложения, включая LM Studio. В README указан английский язык и формат prompt с системными, пользовательскими и ассистентскими сообщениями. Модель содержит около 70 миллиардов параметров и распространяется в вариантах квантизации от Q8_0 до Q2_K и IQ2_XXS. Размер файлов варьируется примерно от 19 до 75 ГБ, поэтому выбор варианта зависит от доступного объёма RAM и VRAM. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S и некоторые варианты Q4 отмечены как рекомендуемые. Для отдельных конфигураций применена квантизация imatrix с калибровочным набором данных. Сильной стороной набора является широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при низких уровнях квантизации, высокие аппаратные требования и отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности и результатах оценивания. Модель распространяется по лицензии CC BY-NC 4.0, что ограничивает коммерческое использование.

Beast-Soul-new — слитая языковая модель семейства Mistral, созданная с помощью LazyMergekit из udkai/Turdus и flemmingmiguel/MBX-7B. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста по запросу. Её контекстное окно составляет 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. В карточке не описаны целевые предметные области и поддерживаемые естественные языки.

Alesub/bert-finetuned-ner — модель семейства BERT, дообученная для классификации токенов и распознавания именованных сущностей. Она принимает текст и присваивает метки отдельным токенам; подходит для извлечения сущностей из текста в задачах обработки естественного языка. Модель основана на google-bert/bert-base-cased, содержит 135,5 млн параметров и поддерживает контекст до 512 токенов. Используются библиотека Transformers и формат весов Safetensors. В карточке приведены результаты оценки: precision 0,375, recall 0,6, F1 0,4615 и accuracy 0,4. Датасет указан как None, поэтому назначение меток и языки обучения определить нельзя. Лицензия — Apache-2.0.

Captain_Eris_Noctis-12B-v0.420 — разговорная языковая модель на архитектуре Mistral, опубликованная ChaoticNeutrals. Это объединённая модель объёмом 12,1 млрд параметров для генерации текста и диалогов; карточка указывает формат ChatML и поддержку чата. Модель предназначена для использования через библиотеку Transformers, веса представлены в формате safetensors. В метаданных заявлен контекст длиной до 1 024 000 токенов. Модель создана слиянием Captain-Eris-Diogenes_Twilight-V0.420-12B и Nera_Noctis-12B-v0.420. Карточка не приводит сведений о целевых языках, обучающих данных или специализированной предметной области, поэтому обоснованно отнести её к русскому либо иному конкретному языку нельзя. Лицензия в предоставленных данных не указана.

CodeMix-JPID-3B-Llama3.2 — объединённая языковая модель, созданная сообществом mergekit на основе нескольких моделей семейства Llama 3.2. Для слияния применён метод TIES; базовой указана pankajmathur/orca_mini_v9_7_3B-Instruct. В объединение также вошли модели с настройками для математики, финансов, диалога и других задач. Модель предназначена для генерации текста и диалоговых сценариев. Она имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. README и метаданные не сообщают о лицензии, целевых языках и результатах оценки качества. Возможности модели могут различаться по задачам, представленным в исходных моделях; отдельные количественные гарантии качества не приведены.

ColorShadow-7B-v2 — разговорная языковая модель на 7,1 млрд параметров, опубликованная nlpguy. Это слияние Gradient-SLERP двух моделей на базе Mistral 7B: diffnamehard/Mistral-CatMacaroni-slerp-7B и cookinai/Valkyrie-V1. Репозиторий содержит веса в формате safetensors; модель использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате, в том числе для ответов на запросы и рассуждений. В README приведены результаты Open LLM Leaderboard, включая оценки по AI2 Reasoning Challenge и HellaSwag. Указана лицензия Apache-2.0. README не описывает отдельные специализированные области применения или языки.

TheWirelessPhoenix/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-mlx_4bit — это конвертированная в формат MLX версия модели huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2. Конвертация выполнена с использованием mlx-lm версии 0.32.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих экосистему MLX. Модель основана на варианте DeepSeek-R1-Distill-Qwen-14B и имеет размер 14B параметров; доступная версия использует 4-битное представление, что может снизить требования к памяти при запуске. Указана текстовая модальность и задача text-generation. Поддержка языков и размер контекстного окна в README не указаны. Для работы требуется установить mlx-lm и загрузить модель через API load и generate; при наличии chat_template можно применять диалоговый формат сообщений. К заявленным особенностям относятся теги abliterated и uncensored, однако README не содержит подробного описания методики, качества, результатов тестирования или ограничений такого варианта. Лицензия в предоставленных данных не указана, поэтому условия использования и допустимость коммерческого применения необходимо уточнять по карточке исходной модели и репозиторию модели.

Delexa-Instruct-V0.1-7b — диалоговая инструкция-модель семейства Mistral, выпущенная командой lex-hue. Она предназначена для генерации ответов и выбора наиболее подходящего варианта из нескольких ответов на вопрос. В README описано обучение на примерах с одним вопросом и тремя вариантами ответа; модель также оценивали на вопросах с выбором ответа и задачах общего рассуждения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Карточка указывает разрешённый взрослый и откровенный контент, но заявляет ограничения на незаконный контент; jailbreak может обходить эти ограничения. Доступна под лицензией Apache-2.0.

Экспериментальная копия весов dots.ocr от RedNote HiLab с исправленной конфигурацией для запуска через Transformers. Модель предназначена для анализа изображений документов и преобразования их содержимого в текст, в том числе в формате Markdown; архитектура — плотная модель DotsOCRForCausalLM с 1,5 млрд параметров, работающая с изображениями и текстом. В метаданных указан контекст до 131 072 токенов и поддержка английского языка. Исправление устраняет ошибку инициализации video_processor, из-за которой инференс не запускался в актуальных версиях Transformers. Репозиторий содержит веса в формате safetensors и имеет лицензию MIT. Автор карточки называет эту версию экспериментальной и рекомендует более новые версии исходной модели; также указано, что скопированные веса нельзя использовать для других целей.

83fonseca/epicogames-Qwen3-4B-Instruct — дообученная текстовая модель семейства Qwen3, разработанная 83fonseca на базе unsloth/qwen3-4b-unsloth-bnb-4bit. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс для вызова инструментов. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 40 960 токенов. В карточке заявлено обучение с помощью Unsloth и библиотеки TRL. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специализацию дообучения, конкретные наборы данных и результаты оценки качества, поэтому пригодность для отдельных предметных областей не установлена.

Experiment26Neuralsirkrishna_Multi_verse_modelYam — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Neuralsirkrishna-7B и automerger/Multi_verse_modelYam-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов. Её контекстное окно составляет до 32 768 токенов. Данных о специализации по языкам или прикладным областям в карточке нет. Модель распространяется по лицензии Apache-2.0.

Experiment26Neuralsirkrishna_Ognoexperiment27Multi_verse_model — объединённая модель для генерации текста, созданная MaziyarPanahi на основе двух моделей: automerger/Experiment26Neuralsirkrishna-7B и automerger/Ognoexperiment27Multi_verse_model-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации продолжений текста и других сценариев, поддерживаемых задачей text-generation. Веса доступны в формате Safetensors. Модель распространяется по лицензии Apache-2.0.

Experiment26Yam_Experiment27Yam — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yam-7B и automerger/Experiment27Yam-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста; контекстное окно составляет до 32 768 токенов. Лицензия Apache-2.0 разрешает использование на её условиях. README и метаданные не уточняют специализацию слияния, поддерживаемые языки или отдельные возможности сверх генерации текста.

Experiment26Yamshadow_T3qM7 — объединённая модель Mistral, созданная на основе automerger/Experiment26Yamshadow-7B и automerger/T3qM7-7B. Она предназначена для генерации текста и диалоговых сценариев на базе причинной языковой модели с 7,1 млрд параметров и контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель может использоваться для продолжения текста и создания ответов на текстовые запросы. Для неё указана лицензия Apache 2.0. Карточка не описывает специализированные области применения или конкретные языковые возможности, поэтому модель следует считать общего назначения.

Experiment28M7_AlloyingotneoyExperiment28 — объединённая модель MaziyarPanahi на базе двух чекпойнтов automerger: Experiment28M7-7B и AlloyingotneoyExperiment28-7B. Это плотная авторегрессионная языковая модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальные области применения или отдельные возможности объединённой модели.

FofoNet-CatDolphin-PPT-slerp — языковая модель для генерации текста, созданная слиянием CatPPT-base и dolphin-2.6-mistral-7b-dpo-orca-v2 методом slerp с помощью LazyMergekit. Она предназначена для генерации ответов и диалогового взаимодействия на основе текстовых запросов. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Карточка не сообщает о специализированных областях применения или языках. Лицензия в предоставленных данных не указана.

najahaja/ftbench-qlora-llama3.2-3b — языковая модель для генерации текста на базе семейства Llama с размером 3,2 млрд параметров. Модель опубликована пользователем najahaja и предназначена для работы через библиотеку Transformers; поддерживает задачу text-generation и имеет контекстное окно до 131 072 токенов. Модель можно применять для генерации ответов, продолжения текста, диалоговых сценариев и встраивания в приложения, которым требуется локальная или серверная генерация текста. Метаданные содержат тег conversational, поэтому модель может использоваться в чатовых интерфейсах, однако подробности о формате диалога, данных дообучения и методе QLoRA в карточке не описаны. Сильными сторонами являются относительно компактный размер для языковой модели и длинный контекст. В README отсутствуют сведения о разработчике, языках, лицензии, обучающих данных, результатах оценки, ограничениях и рекомендуемых сценариях использования, поэтому качество, безопасность и юридические условия применения необходимо проверять отдельно.

QuantFactory/gemma-2-27b-it-abliterated-GGUF — это квантованная версия модели byroneverson/gemma-2-27b-it-abliterated, созданная командой QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через инструменты и экосистему llama.cpp. В карточке указана поддержка английского языка и библиотека Transformers. Модель относится к семейству Gemma 2, имеет размер 27B параметров и распространяется в формате GGUF. Она основана на instruct-версии Gemma 2, а также прошла процедуру abliteration: из весов удалялось направление, связанное с отказами модели, с последующей ортогонализацией файлов .safetensors. Это может сделать модель менее склонной к отказам, но одновременно снижает предсказуемость защитного поведения и не гарантирует безопасные ответы. Квантование может уменьшать требования к памяти и вычислительным ресурсам по сравнению с полной версией модели, однако точный метод и уровень квантования в представленном README не указаны. Размер контекста, поддерживаемые дополнительные модальности, точные аппаратные требования и результаты тестирования не приведены. Модель распространяется по лицензии Gemma.

Это квантованная версия MXFP4 в формате GGUF модели FreedomAISVR/Gemma-4-12B-it-Uncensored-Heretic-MXFP4-GGUF, основанная на дообученной Gemma 4 12B от Google. Репозиторий включает текстовую модель с квантованием 4,45 бита на вес и отдельный vision encoder в формате F16 для работы с изображениями. Модель поддерживает диалог и анализ изображений; в карточке указана задача image-text-to-text. Вариант Heretic описан как abliterated fine-tune с ослабленными ограничениями safety alignment. В README также заявлены гибридная архитектура внимания Gemma 4 и поддержка вызова инструментов у исходной модели. Для запуска предлагается llama.cpp; для обработки изображений требуется mmproj-файл. Модель рассчитана на локальный инференс, для которого указаны минимум около 7 ГБ VRAM или использование CPU, а также рекомендация иметь около 16 ГБ RAM. Лицензия репозитория — Apache-2.0.

Это GGUF-квантизация MXFP4_MOE модели GLM-4.5-Air-REAP-82B-A12B; в репозитории также размещена версия с imatrix. Она предназначена для генерации текста в диалогах и чат-сценариях. Базовая модель описана в каталоге как сжатая MoE-версия GLM-4.5-Air для генерации текста и кода, агентных сценариев и вызова функций при сниженных требованиях к памяти. Карточка не приводит сведения о размере файлов, длине контекста, поддерживаемых языках или условиях лицензии. Указанная в метаданных задача — text-generation, а формат файлов — GGUF. Количественная оценка качества этой квантизации в карточке отсутствует.

GLM-4-9B-Chat-Abliterated — языковая чат-модель семейства GLM объёмом около 9 млрд параметров. Исходную модель разработал byroneverson, а данный репозиторий содержит её GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые средства локального запуска. Модель поддерживает китайский и английский языки. Она работает в текстовой модальности, использует формат GGUF и доступна в вариантах от F16 до компактных 2- и 3-битных квантизаций. Более точными считаются F16, Q8_0, Q6_K_L и Q6_K, а Q4- и Q3-варианты позволяют снизить требования к памяти ценой некоторой потери качества; отдельные сборки оптимизированы для ARM и CPU. В README не указаны размер контекста, точная архитектура и результаты сравнительных тестов. Для корректного диалога требуется специальный шаблон prompt с токенами GLM. Преимущество модели — возможность локального запуска при выборе подходящего уровня квантизации и сохранение качества в старших вариантах. Ограничения связаны с отсутствием заявленной мультимодальности, поддержкой только китайского и английского языков и возможным ухудшением качества в низкобитных вариантах. Лицензия указана как glm-4; подробные условия приведены в лицензии исходной модели GLM-4-9B-Chat.

GLM-5.3-Flash W4A16 NVFP4 GGUF — преобразованная в формат GGUF версия модели axiomofmind/GLM-5.3-Flash-W4A16-NVFP4, основанной на zai-org/GLM-5.3-Flash-BF16. Это разговорная текстовая модель семейства GLM5Next с архитектурой MoE. Основные маршрутизируемые эксперты используют квантование W4A16 NVFP4 с размером группы 16; внимание, общие эксперты, маршрутизаторы, эмбеддинги, выходной слой, веса MTP и другие сохранённые тензоры остаются в BF16 или F32. Файл модели с весами MTP занимает 204,1 ГБ. Модель предназначена для генерации текста и диалогов. Для запуска требуется сборка llama.cpp с поддержкой GLM5Next и GGUF NVFP4. Репозиторий распространяется по лицензии MIT.

GLM-5.3 NVFP4 GGUF — это квантованная в формате NVFP4 сборка модели GLM-5.3 от Z.ai, подготовленная incoai и опубликованная emwesoft в формате GGUF для запуска через llama.cpp. Модель относится к семейству glm-dsa и имеет архитектуру на 753 млрд параметров с 78 блоками и 256 экспертами. Веса NVFP4 сохранены без повторной квантизации; размер набора файлов — около 445 ГБ. Модель предназначена для генерации текста и диалогов, включая ответы с вызовом инструментов при корректной поддержке шаблона чата средой запуска. Для работы требуется llama.cpp с поддержкой glm-dsa и GGML_TYPE_NVFP4. Эта сборка не содержит MTP head, поэтому режим draft-mtp недоступен; README приводит измерения скорости на мощной многовидеокартной конфигурации, а не универсальную оценку производительности. Лицензия — MIT. Указанные в README версии llama.cpp требуют нескольких исправлений, которые на момент публикации ещё не вошли в upstream: без них могут не работать вызовы инструментов, подключение DFlash и разбор некоторых потоковых ответов. Модель рассчитана на текстовый ввод и текстовую генерацию; README описывает возможность контекста 400K в приведённой конфигурации.

Это GGUF-квантизированная версия Gemma 3 1B IT — инструкционно дообученной модели Google с примерно 1 миллиардом параметров. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована Google. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, включая LM Studio и проекты на базе llama.cpp. Доступно множество вариантов точности и размера — от BF16 примерно на 2,01 ГБ до низкобитных форматов около 0,69 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. В README не указаны поддерживаемые языки, размер контекста, архитектурные детали и модальности, поэтому эти характеристики нельзя подтвердить. Сильными сторонами являются компактность, возможность локального запуска и широкий выбор квантизаций; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но снижает качество. Для доступа к модели на Hugging Face требуется принять лицензию Google Gemma; конкретные условия лицензии в README не раскрыты.