احتمال می رود اتابک قراچه که از طرف سنجر سلجوقی به حکومت فارس منصوب بوده دستور احداث این باغ را داده باشد.
بعد از وی تا جلوس شاه شیخ ابواسحاق اینجو که احتمالا باغ ارم را در تصدی داشت، اطلاعی از نحوه مالکیت این باغ در دست نیست.
پس از انقراض سلسله آل اینجو به وسیله آل مظفر، احتماالا باغ ارم به ماکیت سلاطین آل مظفر درآمده و در عهد شاه منصور آخرین پادشاه این خاندان که به دست گورکانیان کشته شد، باغ در نهایت شکوه بوده است.
در عهد کریم خان زند احتمالا باغ ارم در مالکیت سران سلسله زندیه بوده.
از اواخر دوره زندیه تقریبا بیش از 75 سال باغ ارم شیراز در تصاحب سران ایل قشقایی بود.
ساختمان عمارت این باغ در دوره ناصرالدین شاه قاجار هنوز مرغوب و قابل توجه بوده است، در دوره سلطنت ناصرالدین شاه، حاج نصیر الملک شیرازی باغ را از خاندان ایلخانی خریداری نموده و ساختمان فعلی موجود در باغ را بنا نمود.
پس از گذشت حاج نصیر الملک تزئینات بنا و بعضی قسمت های نا تمام به وسیله ابوالقاسم خان نصیرالملک،مالک این باغ اتمام یافته است.
در آن زمان توصیفی توسط فرصت الدوله شیرازی راجع به این باغ داده شده که به شرح زیر می باشد: "...بستانی است بی مثال و گلشنی است بهشت تمثال، سروهایش سر به فلک کشیده، عماراتی دارد شاهانه، آبشارهای متعدد..."