Năm 1858, thực dân Pháp nổ súng tấn công Ðà Nẵng mở đầu cuộc chiến tranh xâm lược Việt Nam. Năm 1867, Pháp chiếm xong lục tỉnh Nam kỳ (Biên Hoà, Gia Định, Ðịnh Tường, Vĩnh Long, An Giang, Hà Tiên). Năm 1868, chính quyền Pháp bắt đầu cho thiết kế và xây dựng tại trung tâm thành phố Sài Gòn một Dinh thự làm nơi ở cho Thống đốc Nam kỳ, khi xây xong có tên gọi là Dinh NORODOM. 

Công trình được khởi công ngày 23/2/1868 và hoàn tất vào năm 1871 do viên thống đốc Pháp tại miền Nam Việt Nam là Lagradìere đặt viên đá đầu tiên.