II.1Анализ требований и архитектура ПО
В разделе собраны самостоятельные задачи, где AI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
18 191 модельMaziyarPanahi/Experiment26Yam_OgnoExperiment27 — слитая текстовая модель на базе двух моделей: automerger/Experiment26Yam-7B и automerger/OgnoExperiment27-7B. Она предназначена для генерации текста и диалогов. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.
Experiment26Yamshadow_Experiment29Pastiche — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment29Pastiche-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых ответов с контекстом до 32 768 токенов. В метаданных указана лицензия Apache-2.0. README не описывает специальные предметные области или подтверждённый набор поддерживаемых языков.
MaziyarPanahi/Experiment26Yam_YamYam — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/Experiment26Yam-7B и automerger/YamYam-7B. Модель содержит 7,1 млрд параметров и принимает текстовые запросы для генерации текста; заявленная длина контекста — до 32 768 токенов. Модель подходит для генерации продолжений и ответов на текстовые запросы, а также для диалоговых сценариев на её основе. В репозитории размещены веса в формате Safetensors. Лицензия — Apache-2.0.
Experiment27Inex12-7B — автоматически слитая модель генерации текста, созданная Maxime Labonne на основе yam-peleg/Experiment27-7B и MSL7/INEX12-7b. Она использует архитектуру Mistral с плотной сетью и 7,1 млрд параметров; слияние выполнено методом SLERP с настройками, различающимися для слоёв self-attention и MLP. Модель предназначена для генерации текста с контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.
Experiment28T3q_Experiment27Yam — объединённая модель семейства Mistral, созданная на основе automerger/Experiment28T3q-7B и automerger/Experiment27Yam-7B. Она содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и представлена в формате safetensors. Модель предназначена для генерации текста и может применяться в диалоговых и других сценариях, где требуется продолжать текст по входному запросу. Контекстное окно составляет 32 768 токенов. Репозиторий распространяется по лицензии Apache 2.0.
jaspionjader/f-8-8b — объединённая методом SLERP языковая модель, созданная с помощью mergekit на основе jaspionjader/f-5-8b и jaspionjader/f-7-8b. Модель относится к семейству Llama, использует плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; максимальный родной контекст составляет 8192 токена. Веса представлены в формате safetensors. Языки, на которые модель рассчитана, и лицензия в использованных сведениях не приведены.
Faro-Yi-9B-DPO-imatrix-GGUF — набор GGUF-квантизаций модели Faro-Yi-9B-DPO, опубликованный пользователем duytnet. Базовая модель разработана wenbopan как DPO-версия Faro-Yi-9B на архитектуре Yi с примерно 9 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, использует шаблон ChatML и поддерживает работу через llama.cpp, KoboldCpp, Ollama, text-generation-webui, Jan и GPT4All. Модель ориентирована на ответы общего назначения, рассуждения, работу с вопросами и документами, включая длинный контекст. В README заявлены высокие результаты на MMLU, GSM8K, HellaSwag, TruthfulQA, AI2 ARC, Winogrande и CMMLU, а также предпочтение ответов модели в оценке MT-Bench с использованием GPT-4 Judge. Для оригинальной модели описана работа с контекстом до 32K токенов при 24 ГБ видеопамяти, до 48K при использовании FP8 KV-кэша и до 160K для 4-битной AWQ-квантизации, однако фактические возможности конкретной GGUF-квантизации зависят от файла, аппаратного обеспечения и настроек запуска. В карточке указаны английский язык и лицензия «other», но точные условия лицензии не приведены. GGUF-квантизация снижает требования к памяти и упрощает локальный запуск, однако может приводить к некоторой потере качества по сравнению с полноразмерной моделью; степень потерь зависит от выбранного варианта квантизации.
Fasciculus-Arcuatus-7B-slerp — текстовая генеративная модель на 7,1 млрд параметров, созданная Kukedlc с помощью LazyMergekit. Это слияние методом SLERP моделей macadeliccc/MonarchLake-7B и Kukedlc/NeoCortex-7B-slerp; архитектура основана на Mistral и представлена классом MistralForCausalLM. Модель предназначена для генерации текста и языковых задач общего назначения. В README приведены результаты оценивания на бенчмарках рассуждений AI2 Reasoning Challenge и HellaSwag. Контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors, тип точности — bfloat16. Лицензия — Apache-2.0.
FastContext-4B-SFT_base-SFT-Fable5 — плотная языковая модель для генерации текста, созданная дообучением Microsoft FastContext-1.0-4B-SFT на наборе инструкций Fable-5-Complete-2M-Clean. В основе архитектура Qwen3ForCausalLM; в метаданных указано 3,7 млрд параметров, а в README — 4,0 млрд. Контекст составляет до 262 144 токенов. LoRA-адаптеры объединены с базовыми весами, поэтому результат представляет собой цельную модель.
Flammades-Mistral-7B — диалоговая языковая модель FlammenAI на архитектуре Mistral с 7,1 млрд параметров. Она дообучена методом ORPO в течение трёх эпох на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1 поверх nbeerbower/Hermes2-Gutenberg2-Mistral-7B. Модель предназначена для генерации текста и ответов на инструкции в диалоге; заявленное контекстное окно — 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Transformers. Лицензия — Apache-2.0.
Карточка модели allenai/Flex-public-7B-1T на Hugging Face совпадает с карточкой allenai/FlexOlmo-7x7B-1T, поэтому описание составлено по ней. FlexOlmo-7x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это модель типа Mixture-of-Experts: в ней объединены семь независимо обученных экспертов для публичных данных, новостей, математики, кода, академических текстов, творческого письма и публикаций Reddit. Общий размер указан в карточке как 6,9 млрд параметров, а в README — как 33 млрд; README также сообщает, что публичный эксперт обучен на 1 трлн токенов, а остальные получены его дообучением на отдельных корпусах. Маршрутизатор экспертов не обучен. Модель предназначена для генерации текста и диалогового применения, в том числе для задач, связанных с перечисленными тематическими корпусами. Поддерживает английский язык, работает с текстом и имеет контекст до 4096 токенов. Для запуска README рекомендует Transformers версии 4.57.0 или новее. Репозиторий распространяется под лицензией Apache-2.0. В README приведены результаты оценки по ряду языковых и тематических бенчмарков, однако они относятся к отдельным плотным моделям, а не обязательно к этому MoE-чекпойнту. Отсутствие обученного маршрутизатора ограничивает выводы о фактическом выборе экспертов и качестве итоговой модели.
sixtyoneeighty/FNCARL9000 — языковая модель с архитектурой Mixtral и смесью экспертов (MoE), созданная на основе четырёх моделей с помощью LazyMergekit: Open-Orca/Mistral-7B-OpenOrca, NeuralNovel/Mistral-7B-Instruct-v0.2-Neural-Story, S-miguel/The-Trinity-Coder-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для генерации текста и диалогов; объединение исходных моделей ориентировано на инструкции, рассказы, код и математические задачи. Модель содержит 7,1 млрд параметров, использует формат safetensors и имеет контекст до 32 768 токенов. Карточка указывает лицензию Apache-2.0. Язык и качество ответов отдельно не описаны; составные модели включают англоязычную инструкционную модель. Практические результаты могут различаться по задачам, представленным в исходных моделях.
FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.
testmoto/gemma-2-9b-platypus-02 — текстовая модель на архитектуре Gemma 2, полученная конвертацией google/gemma-2-9b в формат MLX с помощью mlx-lm 0.20.2. Модель содержит 9 млрд параметров и предназначена для генерации текста; базовая Gemma 2 также поддерживает диалоги, суммаризацию и ответы на вопросы. Модель принимает текст и генерирует текст. Длина контекста составляет 8192 токена. В метаданных указана лицензия Gemma. README описывает использование через mlx-lm; отдельные сведения о дообучении или специализированных возможностях этой версии отсутствуют.
Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced-Ollama — это модифицированная и квантизированная версия Gemma 4 26B A4B, основанная на Google Gemma 4 26B A4B Instruct. Модель опубликована braydenh563, а вариант без ограничений разработан HauhauCS. Она предназначена для творческого письма, ролевых сценариев, эмоционально-интеллектуального общения, исследований, программирования и агентных задач с инструментами. Версия Balanced ориентирована на минимальное число отказов и обычно предоставляет полный ответ после краткой оговорки о безопасности, хотя в отдельных случаях может сначала уклониться от ответа. Модель использует архитектуру Mixture-of-Experts: около 25,2 млрд параметров всего и примерно 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, выбор 8 экспертов и одного общего эксперта. В ней 30 слоёв, гибридное внимание со скользящим окном на 1024 токена и периодическим глобальным вниманием, Proportional RoPE и нативный контекст до 256K токенов. Это нативно мультимодальная модель для текста и изображений; для обработки изображений поставляется отдельный mmproj, поддерживающий переменные бюджеты визуальных токенов от 70 до 1120 на изображение. В README заявлен английский язык. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, мультимодальность, стабильность семплирования в длинных сессиях и специальные K_P-квантизации с оптимизацией по важности тензоров. Ограничения включают отсутствие приведённых независимых бенчмарков, зависимость качества и требований к памяти от выбранной квантизации, а также менее высокую пригодность для агентного программирования по сравнению с Qwen3.6, согласно автору README. Удаление отказов снижает встроенные защитные ограничения и требует самостоятельного контроля безопасного применения. Модель распространяется по лицензии Apache-2.0 в форматах GGUF; размеры доступных вариантов составляют примерно от 10 до 27 ГБ, а файл mmproj занимает около 1,2 ГБ.
Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.
GPT-5.2 — модель семейства GPT-5, представленная как новейшая флагманская модель OpenAI. В карточке отмечены адаптивное распределение вычислений и улучшения в агентных сценариях и работе с длинным контекстом относительно GPT-5.1. Модель предназначена для агентных задач и работы с длинным контекстом. Метаданные каталога относят её к задаче image-text-to-text, однако README не описывает поддерживаемые типы входных данных, архитектуру, размер, языки или конкретные сценарии использования. Сведения о лицензии также отсутствуют, поэтому условия использования по доступным данным определить нельзя.
bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.
h2oai/h2ogpt-4096-llama2-13b — клонированная H2O.ai версия Meta Llama 2 13B, созданная для генерации текста и использования в составе h2oGPT. Модель можно дообучать с помощью открытого ПО h2oGPT и H2O LLM Studio. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 12,9 млрд параметров. Она принимает текст, генерирует текст и поддерживает контекст до 4096 токенов. В карточке указана поддержка английского языка; репозиторий содержит веса PyTorch и Safetensors. Модель подходит для генерации ответов и диалоговых сценариев, в том числе для чата с документами через приложение h2oGPT. Лицензия репозитория — Llama 2; условия использования определяются лицензией Meta Llama 2.
h2oai/h2ogpt-4096-llama2-13b-chat — копия Meta Llama 2 13B Chat, опубликованная H2O.ai для использования в h2oGPT и сравнения больших языковых моделей. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, содержащая 12,9 млрд параметров и принимающая текстовый ввод. Она предназначена для генерации текста и диалога, в том числе для чата по частным документам; заявленная длина контекста составляет 4096 токенов. Модель поддерживает английский язык. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия — llama2, соответствующая условиям лицензии Llama 2.
Hermes-2-Theta-Llama-3-8B-IMat-GGUF — это квантованная версия языковой модели NousResearch/Hermes-2-Theta-Llama-3-8B, подготовленная пользователем legraphista с помощью llama.cpp. Модель основана на Llama 3 и дообучена на наборе teknium/OpenHermes-2.5. Она предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q2_K и IQ3 до Q8_0, а также в форматах FP16 и BF16. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели. В README указан английский язык, однако сведения о длине контекста и мультимодальности отсутствуют; по представленным данным модель является текстовой. Основные преимущества — широкий выбор размеров файлов, возможность локального использования и наличие низкобитных вариантов, снижающих требования к памяти. Качество зависит от выбранного уровня квантования: более компактные варианты экономичнее, но могут сильнее уступать исходной модели. Лицензия — Apache-2.0.
HermesFlashback-7B.1 — диалоговая языковая модель, созданная FredrikBL слиянием моделей NeuralHermes-2.5-Mistral-7B и Mistral-7B-v0.1-flashback-v2 с помощью LazyMergekit. Веса объединены методом SLERP; модель основана на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста по запросам. Её можно применять для ответов на вопросы, написания и продолжения текста, а также для тестирования диалоговых сценариев. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. В карточке не приведены результаты оценивания качества или подробности о языках обучения, поэтому их нельзя установить по доступным данным.
Hermes-Instruct-7B-217K — диалоговая языковая модель на архитектуре Mistral, созданная Lodrick the Lafted. Это дообученная версия Mistral-7B-Instruct-v0.2, обученная на 217 тысячах примеров из teknium/openhermes в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых инструкций. Она принимает запросы в формате Mistral-Instruct или Alpaca; токенизатор по умолчанию настроен на Alpaca. Автор описывает обучение на разном объёме данных как эксперимент по оценке влияния дальнейшего дообучения. Репозиторий предоставляет веса PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Результаты зависят от запроса и контекста; карточка не приводит отдельной оценки качества или подробностей ограничений.
iLLaDA-8B-Instruct — диалоговая языковая модель семейства iLLaDA от GSAI-ML, построенная на плотной архитектуре с полностью двунаправленным masked diffusion. Модель примерно на 7,6 млрд параметров обучена с нуля на 12 трлн токенов предобучения; доступна в формате safetensors и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста в диалогах, а также поддерживает генерацию переменной длины и оценивание вариантов ответа по уверенности, например в тестах с выбором ответа. В README приведены результаты бенчмарков instruct-модели, включая MMLU и MMLU-Pro. Для запуска используется библиотека Transformers. Модель принимает текст и генерирует текст. В метаданных указана лицензия Apache-2.0. Результаты бенчмарков сами по себе не гарантируют точность в конкретных прикладных сценариях; README отсылает за кодом инференса и оценки к репозиторию LLaDA.
INEX8-7B — объединённая модель для генерации текста, созданная Liminerity с помощью Mergekit на основе liminerity/merge3 и yam-peleg/Experiment26-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; опубликована в формате Safetensors. Модель подходит для генерации продолжений и ответов на текстовые запросы, а также для задач рассуждения и понимания текста. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 76,44, ARC 73,29 и HellaSwag 89,19. Данных о поддерживаемых языках и специализированных областях применения карточка не приводит. Лицензия — Apache-2.0.
InnerILLM-7B-slerp — объединённая языковая модель, созданная автором репозитория с помощью LazyMergekit из OpenPipe/mistral-ft-optimized-1218 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP. Это плотная причинно-языковая архитектура Mistral с 7,1 млрд параметров; указанный размер контекста — 32 768 токенов. Модель предназначена для генерации текста, включая диалоговые ответы и задачи рассуждения. В README приведены результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также средняя потеря модели; эти показатели не гарантируют качество на других задачах. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Данные о целевых языках и специализированных областях применения не приведены.
IntervitensInc опубликовала преобразованную версию InternLM2.5-20B с архитектурой Llama для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; размер модели составляет 19,3 млрд параметров. В README говорится, что конвертация и ручная правка токенизатора должны сохранять поведение исходной модели при температуре 0, однако это проверено лишь на небольших тестах и не подтверждено всесторонне. Модель предназначена для диалоговых сценариев, рассуждений и работы с длинным контекстом. README описывает исходную InternLM2.5 как модель с заявленной поддержкой контекста до 1 млн токенов, а метаданные этого репозитория указывают нативный контекст 262 144 токена; для этой сборки следует ориентироваться на значение из метаданных. В README приведены результаты оценки исходной модели на MMLU, CMMLU и BBH, но они не являются отдельной оценкой конвертированной версии. В README перечислены китайский и английский наборы оценки, что указывает на релевантность китайского и английского языков; метаданные не задают языковые коды. Модель может генерировать предвзятые, дискриминационные или иные нежелательные ответы. Указана лицензия Apache-2.0 для кода; для весов README сообщает об открытом доступе для академических исследований и необходимости запросить бесплатное коммерческое разрешение.
L3.3-70B-Lycosa-v0.2 — диалоговая языковая модель на архитектуре Llama, созданная сообществом divinetaco путём слияния нескольких предварительно обученных моделей с помощью mergekit. В состав вошли DeepSeek-R1-Distill-Llama-70B, Sao10K/70B-L3.3-Cirrus-x1, TheDrummer/Nautilus-70B-v0.1, Doctor-Shotgun/L3.3-70B-Magnum-v4-SE и SicariusSicariiStuff/Negative_LLAMA_70B. Размер модели — 69,5 млрд параметров, контекст — до 131 072 токенов; она загружается через Transformers из файлов safetensors. Модель предназначена для диалогов, творческого письма и рассуждений. Автор отмечает, что версия v0.2 усиливает влияние DeepSeek-R1-Distill-Llama-70B и нацелена на повышение интеллектуальных возможностей, снижение положительной предвзятости и творческий ответ; рекомендуется шаблон чата DeepSeek-R1-Distill-Llama-70B. Метаданные также указывают интерфейс вызова инструментов. Модель распространяется по лицензии Llama 3.3. В тегах отмечен контент NSFW, поэтому она не рассчитана исключительно на аудиторию всех возрастов. В README нет результатов сравнительных оценок качества.
AtomicChat/Laguna-XS-2.1-GGUF — это квантизированная в формате GGUF версия языковой модели poolside/Laguna-XS-2.1, подготовленная Atomic Chat на основе оригинальных весов Poolside. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск, а также задачи с поддержкой инструментов и опциональным пошаговым рассуждением. Модель содержит 33,4 млрд параметров и использует архитектуру Mixture-of-Experts с 256 экспертами, из которых для каждого запроса выбираются 8. Она включает 40 слоёв, гибридное внимание с локальным скользящим окном на 512 токенов и глобальными слоями внимания в соотношении 3:1, 48 голов внимания и 8 KV-голов. Максимальная длина контекста заявлена на уровне 262 144 токонов, словарь содержит 100 352 токена. Поддерживается только текстовая модальность. KV-кэш квантизируется в FP8, что снижает расход памяти на токен. Репозиторий предоставляет варианты Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Квантизация выполнена Atomic Chat с использованием матрицы важности для каждого тензора; Q4_K_M рекомендуется как баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при большем потреблении памяти. Для корректной работы требуется применять chat template Laguna XS 2.1 через параметр --jinja. Ограничения включают значительные требования к памяти и зависимость качества от выбранного уровня квантизации; приведённые в README результаты относятся к базовой модели Poolside и не являются независимыми измерениями этой сборки. Исходная модель распространяется по лицензии OpenMDW-1.1, квантизированная версия подготовлена Atomic Chat.
Lamarck-14B-v0.7-GGUF — это квантизированная версия текстовой генеративной модели Lamarck-14B-v0.7, разработанной sometimesanotion и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp и LM Studio. Указан английский язык, а рекомендуемый формат промпта использует шаблон с ролями system, user и assistant. Модель имеет размер 14B параметров; точные сведения об архитектуре и размере контекста в README не приведены. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций: более крупные варианты обеспечивают качество, близкое к исходной модели, а компактные снижают требования к оперативной памяти, но заметнее теряют в качестве. Для большинства сценариев рекомендуются Q4_K_M, Q5- и Q6-варианты; отдельные форматы оптимизированы для CPU и Apple Silicon. Квантизации созданы с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0; конкретные ограничения исходной модели следует проверять отдельно.