II.2Создание и понимание программного кода

Rarri/DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанная на основе релиза deepseek-ai и подготовленная с помощью NVIDIA Model-Optimizer. Модель предназначена для генерации текста и высокопроизводительного инференса с использованием vLLM или TensorRT-LLM на GPU NVIDIA Blackwell с поддержкой NVFP4. Она ориентирована на сценарии, где важны высокая скорость декодирования и использование длинного контекста, включая speculative decoding с механизмом DSpark. Модель содержит 304 млрд параметров, 43 слоя MoE, 256 маршрутизируемых экспертов в каждом MoE-слое и три слоя multi-token prediction (MTP). Все маршрутизируемые экспертные веса, включая MTP-экспертов, переведены в NVFP4 W4A4; attention, роутеры, shared experts, embeddings и lm_head сохранены в исходном формате FP8. Поддерживается контекст до 131K токенов. Экспертные веса преобразованы без потери значений исходных MXFP4-весов, а speculative decoding в тестовой конфигурации примерно удваивал скорость однопоточного декодирования, достигая типичных 200–240 токенов в секунду. Ключевые ограничения — зависимость от GPU Blackwell (sm_120+), специализированных сборок инференсных фреймворков и гибридной FP8/NVFP4-MoE-разметки. Рекомендуемые параметры speculative decoding включают жадное семплирование, пять draft-токенов и bf16 draft head; вероятностное семплирование может приводить к некорректному выводу в NVFP4-пути. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Dolphin Mistral 24B Venice Edition — языковая модель для генерации текста, разработанная Dolphin в сотрудничестве с Venice.ai на базе Mistral-Small-24B-Instruct-2501 от Mistral AI. Модель предназначена для общего назначения: диалоговых систем, ассистентов и встраивания в приложения, где владельцу нужен контроль над системным промптом, настройками выравнивания и данными. Она позиционируется как максимально неограниченная версия Mistral 24B и используется в экосистеме Venice, где представлена под названием Venice Uncensored. Модель относится к классу text-generation и совместима с Transformers, vLLM, Ollama, LM Studio, SGLang и TGI. Указан формат FP8; размер базовой модели — 24B параметров. Сохраняется стандартный chat template Mistral. Для инференса рекомендуется низкая температура, например 0,15; в примере для vLLM заявлена поддержка контекста до 131 072 токенов, вызова инструментов и изображений, однако архитектура мультимодальности и точный набор поддерживаемых языков в README не описаны. Сильная сторона модели — управляемость: системный владелец самостоятельно задаёт тон, правила поведения и ограничения, а также может разворачивать модель локально или в собственной инфраструктуре. Ограничение заключается в намеренно минимальном уровне встроенных этических и безопасностных ограничений, поэтому результаты требуют внешнего контроля и настройки политик применения. Модель распространяется по лицензии Apache-2.0.

FastLlama-3.2-1B-Instruct-GGUF — набор GGUF-квантизаций модели FastLlama-3.2-1B-Instruct, подготовленный bartowski на базе модели suayptalha. Квантизация выполнена с использованием llama.cpp и метода imatrix. Это текстовая instruction-модель для генерации ответов и работы с пользовательскими запросами. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач, связанных с математикой, наукой, химией, биологией и программным кодом. В метаданных заявлена поддержка английского, немецкого, испанского, французского, итальянского, португальского, хинди и тайского языков. Размер базовой модели — 1B параметров; модальность — текстовая. Точный размер контекста в README не указан. Основное преимущество — наличие большого набора вариантов с разным соотношением качества, размера и требований к памяти: от F32 и F16 до Q2–Q8 и IQ-квантизаций. В README рекомендуются, в частности, Q4_K_M как вариант общего назначения, а также Q5 и Q6 для более высокого качества; малые варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для корректной работы следует использовать указанный формат prompt и совместимый inference-инструмент, например llama.cpp или LM Studio. Модель распространяется по лицензии Apache-2.0.

AEON-7/Gemma-4-12B-it-AEON-Abliterated-MLX-8bit — это 8-битная MLX-квантизованная версия модели AEON-7/Gemma-4-12B-it-AEON-Abliterated-K4-BF16, созданная сообществом AEON-7 на базе Gemma 4. Модель предназначена для локального запуска на компьютерах с Apple Silicon через mlx-vlm и поддерживает диалоговые, агентские, программные и рассуждающие сценарии, а также вызов функций и инструментов. Модель содержит около 12 млрд параметров и использует формат mxfp8 с группами по 32 элемента для линейных слоёв языкового декодера; связанная выходная голова и проекторы для vision и audio сохранены в bf16. Поддерживаются текст, изображения и аудио, включая описание изображений и транскрибацию речи. В README явно указан английский язык. Для сервера MLX заявлен размер KV-кэша до 32768 токенов, однако точное максимальное контекстное окно модели не указано. Ключевое преимущество — высокая близость к исходной BF16-версии при существенно меньших требованиях к памяти: заявлены near-lossless качество, 0,924 совпадения top-1 токенов и медианный KL около 0,002 ната на собственной выборке. Модель рассчитана на Apple Silicon, оптимально с 24 ГБ и более unified memory; размер на диске около 13,4 ГБ, рекомендуемый объём памяти — от 32 ГБ, поэтому для Mac с 16 ГБ она может быть непрактична. Это abliterated-версия с удалёнными или ослабленными механизмами отказа, что может расширять диапазон ответов, но также снижать предсказуемость защитного поведения. Указана лицензия Gemma.

GPT-6.1 Sol — модель OpenAI из серии GPT-6, представленная как обновление GPT-6 Sol и расположенная ниже флагманской GPT-6 Astra. Она предназначена для агентного программирования, управления компьютером и работы с документами в профессиональных сценариях. Метаданные каталога классифицируют её как image-text-to-text, что указывает на обработку изображений и выдачу текста. Доступные сведения не позволяют определить размер, архитектуру, языки, контекст или лицензию модели. README обрывается на описании назначения, поэтому её характеристики и условия использования нельзя уточнить.

GPT Chat Latest — псевдоним API OpenAI `chat-latest`, который указывает на актуальную Instant-модель для чата в ChatGPT. По мере выпуска обновлений OpenAI псевдоним переключается на новую версию модели. Модель предназначена для диалогов и задач, выполняемых через API OpenAI. Конкретные характеристики версии, на которую указывает псевдоним, могут меняться; README и метаданные не сообщают её архитектуру, размер, контекстное окно, языки, лицензию или отдельные ограничения.

K2-Horizon-0.9B-NVFP4-GGUF — квантизированная версия компактной плотной языковой модели семейства K2-Horizon; автор репозитория WhiskyAKM. Модель с архитектурой decoder-only и 0,9 млрд параметров предназначена для диалоговой генерации текста и рассуждений, включая задачи по математике, программированию, науке и STEM. В README указано окно контекста до 128K токенов (131 072) с масштабированием RoPE YaRN; модель оценивалась на бенчмарках математики, кода, науки и использования инструментов. Репозиторий содержит веса GGUF в формате NVFP4, рассчитанные на запуск в llama.cpp и совместимых движках; заявлена оптимизация для NVIDIA Blackwell. Базовая модель IFM/K2-Horizon-0.9B обучалась с дистилляцией знаний от нескольких специализированных моделей-преподавателей. Репозиторий распространяется по лицензии Apache-2.0. Квантизация до 4 бит может влиять на качество ответов; результаты бенчмарков относятся к исходному описанию семейства и сами по себе не гарантируют аналогичное качество этой сборки.

IFM/K2-Horizon-32B-GGUF — GGUF-версия модели K2-Horizon-32B-Stage1, разработанной IFM. Это открытая плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, а также для задач, связанных с агентными сценариями, программированием и рассуждениями. Указан английский язык; модель относится к текстовой модальности. Модель поддерживает контекстное окно размером 524 288 токенов. Тензоры сохранены в исходной точности BF16, а файлы GGUF содержат метаданные токенизатора и шаблон чата, совместимый с llama.cpp. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а доступный checkpoint относится к первой стадии обучения. К сильным сторонам относятся большой контекст, полностью открытая модель, публикация обучающих данных, рецепта и кода обучения, а также наличие промежуточных checkpoint для изучения изменений возможностей в процессе обучения. Ограничения связаны с необходимостью специальной поддержки архитектуры в llama.cpp и с тем, что это Stage 1, тогда как финальный checkpoint ещё должен быть выпущен. Лицензия — Apache 2.0.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

Abiray/K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Это текстовая генеративная модель для диалогов, написания и обработки текста, программирования и других задач, выполняемых через llama.cpp. Модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values Attention (MoVA): всего 36 млрд параметров, из которых на каждом токене активируется около 4 млрд. Заявленное преимущество — скорость инференса, близкая к моделям меньшего размера, при сохранении возможностей модели масштаба 36B. Указан английский язык; поддержка других языков и дополнительные модальности не заявлены. Репозиторий содержит варианты квантизации от Q3_K_S до Q8_0 размером примерно от 16,4 до 39,8 ГБ. Q4_K_M обозначен как рекомендуемый баланс качества и потребления памяти, а Q8_0 обеспечивает точность, близкую к исходной BF16-модели. Точные характеристики контекстного окна в README не указаны. Для запуска требуется специальная версия llama.cpp из форка MBZUAI-IFM с веткой model/K2Horizon; стандартная upstream-версия на указанном этапе не поддерживает архитектуру k2-horizon. Модель использует ChatML-подобный формат с тегами рассуждений. Лицензия — Apache-2.0. Требования к ресурсам зависят от квантизации: для вариантов Q4_K_M рекомендуется от 24 ГБ VRAM при полной выгрузке на GPU и 32 ГБ системной RAM, тогда как для Q8_0 требуется около 48 ГБ VRAM и RAM. README не содержит независимых результатов бенчмарков или подробного описания ограничений качества.

K2-Horizon-MoVA-36B-A4B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной IFM и опубликованной пользователем ngquocvinh. Модель предназначена для запуска через llama.cpp и задач генерации текста, рассуждений, программирования, агентских сценариев и работы с длинным контекстом. Исходная модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values attention (MoVA): всего заявлено 36 млрд параметров, из которых на каждый токен активируется около 4 млрд. Указано нативное контекстное окно до 524 288 токенов и поддержка английского языка. В набор входят варианты квантизации от Q8_0 до крайне компактных профилей Q1_0; они различаются размером файлов, требованиями к памяти и близостью поведения к эталонной BF16-модели. Практическими вариантами названы Q5_K_M с повышенной точностью, Q4_K_M как сбалансированный профиль и IQ3_M как компактный вариант с квантизацией с учётом важности. Измерения на ограниченном наборе WikiText показывают высокое совпадение старших вариантов с BF16, однако не являются прямой оценкой сохранённых способностей. Профили с экстремальным сжатием, особенно Q1_0, существенно отклоняются от эталона и должны рассматриваться как экспериментальные. Для работы требуется совместимая сборка llama.cpp; длинный контекст может потребовать значительно больше памяти, а полная выгрузка модели на ускоритель может быть недоступна. В метаданных указана лицензия Apache-2.0. README описывает именно квантизированные GGUF-файлы и не содержит полного набора результатов или подробностей исходной модели; за ними рекомендуется обращаться к официальной карточке IFM/K2-Horizon-MoVA-36B-A4B.

drowzeys/keys-GLM-5.3-EXL3-Abliterated — производная версия GLM-5.3 от drowzeys с правкой весов, основанной на derisk-проекции Blackfrost AI. Это полноразмерная разреженная MoE-модель с 78 слоями и 256 маршрутизируемыми экспертами. Экспертные матрицы квантованы до 3 бит в формате EXL3; остальные компоненты сохранены в bf16/fp16. Репозиторий содержит веса в safetensors и предназначен для диалоговой генерации текста. Модель рассчитана на запуск через описанный авторами стек vLLM на четырёх NVIDIA DGX Spark с контекстом до 1 000 000 токенов. README сообщает, что изменение весов направлено на снижение отказов на безвредных запросах, а проверки включали рассуждения, код, фактические вопросы и творческий текст. Это заявление авторов карточки, не независимая оценка качества. В метаданных базовой указана zai-org/GLM-5.3; лицензия — MIT. Для запуска требуются значительные аппаратные ресурсы и совместимый стек, описанный в репозитории.

Kwai-AutoSQL-14B — 14-миллиардная плотная авторегрессионная языковая модель семейства Qwen3, дообученная Kwai-AutoSQL на базе Qwen/Qwen3-14B. Репозиторий содержит только веса в формате safetensors, без скриптов обучения и запуска. Модель предназначена для генерации текста в диалоговом режиме и специализирована на задачах, связанных с AutoSQL. Метаданные указывают контекст длиной до 40 960 токенов. Конкретные языки и подробности обучения в доступных материалах не описаны. Лицензия модели — Apache 2.0. Для работы потребуется совместимая среда инференса, например Transformers; README не приводит инструкций по настройке или оценок качества.

ProCreations/MiMo-V2.6-Flash-RL-NVFP4 — это вариант модели MiMo-V2.6-Flash-RL, опубликованной XiaomiMiMo, преобразованный в формат NVFP4. Репозиторий содержит точную перекодировку уже квантизированных MXFP4-весов маршрутизируемых экспертов без калибровки, обрезания, оптимизации или округления к ближайшему коду. Модель предназначена для генерации текста, включая работу с кодом, математическими задачами, английским и китайским языками. В конфигурации указана архитектура Mixture-of-Experts; точное общее число параметров и размер контекста исходной модели в README не приведены. Сохранены мультимодальные энкодеры, аудиотокенизатор и сопутствующие файлы, однако конкретные поддерживаемые модальности не описаны. Ключевое отличие — смешанная точность W4A16_NVFP4 для экспертных весов при отсутствии требования квантизации активаций FP4. Корневой массив тензоров занимает около 193,96 ГБ без вспомогательных файлов. Полная проверка заявляет идентичность кодов экспертных весов и практически полное совпадение значений при сравнении с исходной моделью; в тесте на 65 504 токенах показатели perplexity совпали с исходной MXFP4-версией, а согласие наиболее вероятного токена составило 99,988–100% в зависимости от домена. Это не гарантирует идентичность результатов при других типах вычислений, ядрах внимания, квантизации активаций или настройках генерации. Проверенный путь загрузки использует vLLM 0.29.0, tensor parallelism 2 и две видеокарты RTX PRO 6000 Server Edition по 96 ГБ; заявленный максимальный контекст в примере запуска — 12 288 токенов. README не содержит широких бенчмарков качества, подтверждений производительности, валидации CPU-offloading или speculative decoding. Модель и исходный чекпойнт распространяются по лицензии MIT.

MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-heretic — небольшая языковая модель на базе openbmb/MiniCPM5-1B и производного дообучения GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking. Модель создана автором saidutta69 с использованием Heretic 1.4.0 и метода directional ablation («abliteration»): целевые изменения весов подавляют поведение отказа без дополнительного дообучения. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, tool calling и function calling, а также локальных агентов, ролевых сценариев и исследований механизмов отказов и выравнивания. Модель имеет размер около 1,1 млрд параметров, поддерживает режимы Think и No-Think, контекст до 128K токенов и языки английский и китайский. Для локального запуска доступны версии GGUF, включая F16 и различные варианты квантования; заявлена совместимость с llama.cpp, Ollama, LM Studio и Jan. Благодаря небольшому размеру она подходит для потребительских GPU, CPU и edge-устройств. В README также заявлены сохранение возможностей базовой модели, сильные стороны в tool calling, кодинге и рассуждениях, а также снижение числа отказов с 93 до 3 на 100 тестовых запросов; эти показатели приведены автором модели и не подтверждены независимой оценкой. Ограничения включают малый размер модели по сравнению с современными крупными LLM, возможное ухудшение качества при агрессивном квантовании и потенциальные риски, связанные с подавлением защитного поведения. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия Devstral-Small-2505, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. README не уточняет её специализированные сценарии применения, однако формат и базовая модель ориентированы на работу с текстовыми запросами и, вероятно, задачами разработки, соответствующими семейству Devstral. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 11,47 до 47,15 ГБ. Указаны языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других. README не содержит сведений о числе параметров, архитектуре, размере контекста или точных характеристиках качества. Для vision предусмотрен файл mmproj от Mistral Small 3.1, но эта поддержка неофициальна и может работать неидеально. Сильными сторонами являются широкий выбор квантизаций для разного объёма памяти и возможность локального запуска; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как подходящий вариант по умолчанию. Ограничениями являются значительные требования к дисковому пространству и памяти, а также возможное снижение качества в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

MPT-1b-RedPajama-200b — языковая модель MosaicML с 1,3 млрд параметров, обученная на 200 млрд токенов из набора RedPajama. Это плотный авторегрессионный трансформер-декодер MosaicGPT: 24 слоя, 16 голов внимания и ширина 2048. В архитектуре используются ALiBi и нормализация QK; позиционные эмбеддинги и смещения не применяются. Модель предназначена для продолжения текста и генерации ответов по текстовой подсказке. Обучающие данные включают веб-страницы, код, Википедию, книги, научные статьи и StackExchange; использован токенизатор GPT-NeoX-20B. Для загрузки через Transformers требуется разрешить выполнение пользовательского кода модели параметром trust_remote_code=True. Репозиторий распространяется по лицензии Apache-2.0. Карточка описывает предобученную модель и её архитектуру, но не приводит оценок качества или специальных гарантий для отдельных языков и прикладных задач.

Muse-Glimmer-30B-CoreAI — это квантованный текстовый декодер модели Meta Muse-Glimmer-30B, подготовленный для запуска в Apple Core AI, преемнике Core ML. Модель предназначена для локальной генерации текста на устройствах Apple с macOS 27 и соответствующей поддержкой Core AI; заявлены сценарии диалога, работы с кодом, пошаговых рассуждений и вызова инструментов. Перцептивный энкодер исходной агентной VLM в комплект не входит, поэтому данная версия работает только с текстом. Модель имеет около 30 млрд параметров; используется формат Core AI .aimodel и 4-битная квантизация int4hu. Размер артефакта составляет 16,35 ГБ. В описании упоминается окно контекста до 2048 токенов и запуск на GPU или Neural Engine через Apple Core AI. На Mac Studio с M4 Max заявлена скорость декодирования около 26,69 токена в секунду без спекулятивного декодирования, а для отдельных задач с n-gram drafting — до 53,71 токена в секунду. Спекулятивное декодирование не требует дополнительных весов и, по приведённым тестам, сохраняет побайтно идентичный результат. Сильными сторонами являются локальный запуск, сравнительно небольшой для 30B-модели размер, поддержка Apple Silicon и высокая скорость генерации; результаты зависят от сценария, длины генерации, охлаждения устройства и параметров спекулятивного декодирования. Ограничения включают отсутствие визуального энкодера, ограниченное контекстное окно, зависимость производительности от оборудования и отсутствие универсальности приведённых бенчмарков. Модель распространяется по лицензии Apache-2.0.

Muse Spark 1.3 — мультимодальная reasoning-модель от Meta, предназначенная для длительных агентных, многоагентных и связанных с программированием сценариев. По имеющимся сведениям, она рассчитана на отслеживание информации и выполнение многоэтапных задач. Метаданные каталога относят модель к задаче image-text-to-text, что указывает на обработку изображений и формирование текстового ответа. Данных о размере, архитектуре, длине контекста, поддерживаемых языках и лицензии в предоставленных источниках нет. Полная карточка обрывается, поэтому подробности о возможностях и ограничениях подтвердить нельзя.

heretic-org/Nanbeige4.1-3B-heretic — англо-китайская разговорная языковая модель на 3,5 млрд параметров, созданная на основе Nanbeige/Nanbeige4.1-3B. Это вариант с abliteration: в карточке приведено сравнение, где доля отказов снизилась с 96 до 4 из 100, а KL-дивергенция относительно исходной модели указана как 0,0001. Модель рассчитана на генерацию текста и диалоги; базовая модель ориентирована на многошаговые рассуждения, программирование, поиск и работу с инструментами. Модель использует плотную архитектуру семейства Llama и доступна в формате Safetensors для Transformers. Заявленная длина контекста — 262 144 токена. В README базовой модели описаны сильные результаты в задачах рассуждения и агентного поиска, включая многошаговое решение задач с вызовами инструментов; метаданные указывают поддержку английского и китайского языков. Лицензия — Apache-2.0. В README отмечено, что модель может выдавать неожиданные ответы, включая предвзятое или дискриминационное содержание. Снижение числа отказов может означать, что модель чаще отвечает на запросы, которые исходная версия отклоняет; при применении следует учитывать это поведение.

Nomic Embed Code GGUF — модель для создания эмбеддингов, разработанная Nomic и представленная в формате GGUF с квантованиями для llama.cpp. Это квантованная версия базовой модели nomic-ai/nomic-embed-code, предназначенная для поиска и сопоставления программного кода по смыслу, извлечения признаков и использования в системах семантического поиска и RAG. Модель работает с кодом и текстовыми запросами к нему; для запросов требуется префикс «Represent this query for searching relevant code:». Она поддерживает запуск через llama.cpp server и совместимые инструменты с embedding-моделями. Доступны варианты от полноточных FP32, FP16 и BF16 до квантований Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4 и других, что позволяет выбирать баланс между качеством и размером: размер файлов указан примерно от 3,84 до 26,35 GiB. Архитектура, размер контекстного окна, перечень поддерживаемых языков программирования и точные размерности эмбеддингов в README не указаны. Сильная сторона модели — специализация на семантическом поиске по коду и наличие широкого набора квантованных вариантов для локального запуска. Ограничения включают необходимость использовать специальный префикс для запросов и зависимость качества от выбранного уровня квантования; сведения о производительности, поддерживаемых языках и ограничениях по контексту отсутствуют. Лицензия — Apache-2.0.

Nostr-Llama-3.1-8B — дообученная модель на базе Meta Llama 3.1 8B, созданная some1nostr. При обучении использовались заметки Nostr примерно от 7000 пользователей и наборы инструкций по программированию и математике. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. В репозитории указаны веса Safetensors. README не уточняет языковую специализацию и результаты оценки качества. Лицензия в предоставленных данных не указана.

bartowski/Phi-3.1-mini-128k-instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели Phi-3.1-mini-128k-instruct, разработанной Microsoft и подготовленной для распространения пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, выполнение инструкций и задачи, связанные с обработкой естественного языка и кодом. Модель работает с текстом, заявлена поддержка английского языка, а контекстное окно составляет до 128 000 токенов. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-разновидностей; размер файлов варьируется примерно от 1,42 до 15,29 ГБ. Более высокие варианты квантования обеспечивают лучшее сохранение качества, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск через llama.cpp и совместимые приложения, включая LM Studio. В README не приведены результаты тестирования, точные сведения об архитектуре, аппаратные требования или ограничения по применению, поэтому её возможности нельзя оценить за пределами указанных сценариев. Для модели указана лицензия MIT.

mlx-community/phi-4-4bit — это 4-битная версия модели phi-4, преобразованная сообществом mlx-community из microsoft/phi-4 в формат MLX с использованием mlx-lm версии 0.21.0. Модель предназначена для генерации текста и диалогового взаимодействия, включая сценарии, связанные с программированием, математикой и обработкой естественного языка. Указан английский язык. Модель поддерживает работу в экосистеме MLX через библиотеку mlx-lm и может использовать chat template для передачи сообщений с ролями пользователя и ассистента. Ключевые параметры исходной архитектуры, число параметров, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным, модель работает только с текстом. 4-битное представление ориентировано на более экономичное локальное использование, однако может сопровождаться ограничениями точности по сравнению с полноразмерной версией. README не содержит подробных результатов оценивания, поэтому нельзя надёжно судить о качестве модели в конкретных задачах. Модель распространяется по лицензии MIT.

Phoenix-v1-8x7B — экспериментальная чат-модель от Jan, созданная как MoE-слияние нескольких моделей для общего общения, ролевых диалогов, программирования и написания текстов. В README базовая модель названа trinity-v1; также перечислены Toppy-M-7B, CodeLlama-7b-Instruct-hf и Seraph-7B как источники навыков. В метаданных указана архитектура Mixtral MoE и класс MixtralForCausalLM, 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для чат-ботов и локального запуска через Jan Desktop на macOS, Windows и Linux. Основной язык по карточке и тегам — английский. Качество не подтверждено опубликованными результатами: таблица оценки в README содержит вопросительные знаки. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, понимание естественного языка, программирование, математику и рассуждения. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами. Модель содержит около 1,5 млрд параметров и построена на декодерной архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в карточке явно указан только английский язык. Обучение включало предварительное обучение, supervised fine-tuning и direct preference optimization. Размер контекста, точные параметры квантизации и перечень поддерживаемых языков не указаны. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная конкурентоспособность в задачах понимания языка, генерации, программирования и математики. В опубликованном сравнении Qwen2-1.5B-Instruct получил 52,4 на MMLU, 37,8 на HumanEval, 61,6 на GSM8K, 63,8 на C-Eval и 29,0 на IFEval Prompt Strict-Acc. Ограничениями являются меньший объём модели по сравнению с крупными LLM, возможное снижение качества из-за квантизации и отсутствие данных о конкретном формате квантизации. Лицензия — Apache-2.0.

mergekit-community/Qwen2-1.5B-RHSD — объединённая модель на архитектуре Qwen2, созданная сообществом с помощью mergekit методом Model Stock. В основе объединения лежит trollek/Qwen2-1.5B-Instruct-Abliterated; также использованы Replete-AI/Replete-Coder-Qwen2-1.5b, cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, macadeliccc/Samantha-Qwen2-1.5B и M4-ai/Hercules-5.0-Qwen2-1.5B. Модель содержит 1,5 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель использует плотную архитектуру Qwen2 с классом Qwen2ForCausalLM, работает через библиотеку Transformers и хранится в формате safetensors. Заявленная длина контекста — 32 768 токенов. Объединённые модели ориентированы на инструкции, программирование и диалог, однако README не приводит оценок качества или подробных результатов тестирования. Язык модели отдельно не описан в карточке и метаданных. Условия лицензирования в предоставленных данных не указаны.

Qwen2.5-1.5B-Financial-Code-Engine — языковая модель, разработанная Ahmad Nawaz на основе Qwen/Qwen2.5-1.5B-Instruct. Это плотная причинная языковая модель на 1,5 млрд параметров, дообученная в два этапа: SFT с QLoRA на финансовых вопросах и данных Python, затем DPO для настройки предпочтений ответов. Модель работает с текстом, поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Модель предназначена для финансовых рассуждений и расчётной логики, генерации и отладки кода Python, форматирования JSON и извлечения сущностей для последующей обработки агентами и API. Лицензия Apache-2.0. Ответы о финансах не являются сертифицированной юридической или инвестиционной консультацией; точность рассуждений и кода следует проверять.

DavidAU/Qwen3.5-13B-GLM-4.7-Flash-DeepSeek-Polaris-Grande-Deep-Thinking — дообученная на базе Qwen/Qwen3.5-9B мультимодальная модель семейства Qwen3.5, опубликованная в формате Safetensors для Transformers. Автор описывает её как объединение и масштабирование двух дообученных дистиллятов с последующим обучением на примерах GLM-4.7-Flash; заявлены 48 слоёв, диалоговый режим, работа с изображениями и интерфейс вызова инструментов. Модель предназначена для следования сложным инструкциям, рассуждений, написания художественных текстов и диалогов, программирования и сценариев с инструментами. В карточке приведён пример генерации сцены ужасов, но он не является независимой оценкой качества. Автор также сообщает об исправлениях шаблона диалога для уменьшения повторов и циклов и улучшения обработки инструментов. Языковые теги карточки указывают английский и китайский. Лицензия — Apache-2.0. Размер в 13 млрд параметров заявлен в README; метаданные при этом связывают модель с базовой Qwen3.5-9B.

cyankiwi/Qwen3.5-2B-AWQ-4bit — 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования и агентских сценариев. Формат совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, использует архитектуру causal language model с vision encoder, гибрид Gated Delta Networks и разреженной Mixture-of-Experts, 24 слоя и контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить эффективность инференса, однако возможны потери качества по сравнению с полноразмерными весами; точные характеристики квантизации и результаты бенчмарков именно этой сборки в README не приведены. Основные сценарии использования — прототипирование, исследовательские и разработческие задачи, а также предметно-ориентированное дообучение. Небольшой размер облегчает локальное и экономичное развертывание, но ограничивает максимальную глубину и надежность результатов по сравнению с более крупными моделями. Модель распространяется по лицензии Apache-2.0.