بنای کنونی یعنی خانه قوام منزل شخصی او بوده و پس از محمد رضا خان قوام الملک سوم به پسر ایشان حبیب‌الله خان قوام الملک چهارم می‌رسد و سپس پس از مرگ او که املاکش تقسیم می‌گردد نارنجستان قوام به ابراهیم خان قوام الملک پنجم پسر ایشان می‌رسد که این امر هم‌زمان با دوره رضاخان می‌گردد و در آن زمان رضا خان پهلوی تمامی القاب و اسامی را از نام اشخاص برمی‌دارد.