در دوران سلطنت شاه عباس اول صفوی , باغ بزرگی که چهارباغ نامیده می شد در کنار کاخ گلستان ساخته شده بود. پس ازآن کریم خان زند(1749-1779میلادی) دستور داد که یک قلعه نظامی , یک بارو وتعدادی برج در همین منطقه بسازند.
در دوران قاجاربتدریج برخی ازبناهای سلطنتی دربین قلعه نظامی برپا شدند , به عنوان مثال در سال 1813 میلادی که همزمان با پنجمین سال سلطنت ناصرالدین شاه بود, قسمت شرقی باغ سلطنتی امتداد پیدا کرده بود و کاخهایی دراطراف آن ساخته شده بودند که کاخهای باغ گلستان نامیده می شدند و تعدادی از آنها درقسمت شمالی باغ گلستان احداث شدند, این بنا شامل تعدادی موزه نیز با نامهای تالار برلیان و تالار نارنجستان می شود. در سال 1873ناصرالدین شاه با توجه به آنچه که در نخستین سفرش به اروپا دیده بود , موزه ای بزرگ با دیوارهای آینه کاری وجواهرات گرانبها در باغ گلستان ایجاد کرد. مراسمهای تاج گذاری دو پادشاه آخرسلسله پهلوی در این کاخ انجام می شد و جشنها و مراسمهای وﻳﮋه و با شکوه دیگر دربار نیز دراین مکان برپا می گشت.