تاریخ ساخت و بنیان‌گذار اولیه باغ ارم شیراز، به‌درستی مشخص نیست؛ ولی توصیف‌هایی از آن در سفرنامه‌های متعلق به قرن دهم و یازدهم هجری آمده‌است. این باغ در روزگار سلجوقیان و آل اینجو پابرجا بوده‌است. در زمان زندیه هم کریم‌خان زند در سازندگی و بهسازی این باغ کوشید.