در اواخر دوران قاجار این باغ به دست عفیفه خانم، خواهر زاده بانی باغ می‌رسد. وی در این باغ دگرگونی و بهسازی گسترده‌ای پدید آورد و به همین جهت پس از آن این باغ به نام عفیف آباد معروف می‌شود.