Pada masa lalu, kompleks Tamansari menempati wilayah seluas 10 hektar dan terdiri dari 57 bangunan. Kini kompleks ini sudah jauh berkurang luasnya, sebagian besar dijadikan hunian oleh warga setelah gempa besar meruntuhnya bangunan-bangunannya. Sebagian lagi kini dilestarikan sebagai obyek wisata. Bangunan-bangunan tersebut adalah,

Tamansari, yang berarti taman yang indah, pada mulanya merupakan sebuah taman atau kebun istana Keraton Yogyakarta. Kompleks ini dibangun secara bertahap pada masa Sri Sultan Hamengku Buwono I. Pembangunan dimulai pada tahun 1758 M, ditandai oleh candra sengkala "Catur Naga Rasa Tunggal" yang menunjuk tahun 1684 Jawa. Sengkalan yang dapat diartikan sebagai "empat naga satu rasa" ini dapat ditemukan di Gapura Panggung, Bagian-bagian penting dari kompleks bangunan diselesaikan pada tahun 1765 M, ditandai candra sengkala "Lajering Sekar Sinesep Peksi" yang menunjuk tahun 1691 Jawa. Sengkalan yang berarti "kuntum bunga dihisap burung" ini dapat ditemui di Gapura Agung dan ornamen beberapa dinding bangunan.

Tamansari memiliki luas lebih dari 10 hektar dengan 57 bangunan di dalamnya. Bangunan-bangunan tersebut berbentuk gedung, kolam pemandian, jembatan gantung, kanal air, danau buatan, pulau buatan, masjid, dan lorong bawah tanah.

Selain keraton, bangunan yang pertama-tama dibangun pada masa awal keberadaan Kesultanan Yogyakarta adalah Tamansari. Tamansari didirikan di atas sebuah umbul (mata air) yang dikenal dengan nama Umbul Pacethokan. Pembangunan kompleks taman dan pemandian seluas 1.26 hektar ini diselesaikan selama hampir delapan tahun, dari tahun 1757 hingga 1765.

Proses pembangunan Tamansari yang memakan waktu panjang membuat pembangunan Benteng Vredeburg, benteng permintaan pemerintah kolonial pada Kesultanan Yogyakarta, menjadi tertunda-tunda. Oleh karenanya beberapa orang percaya bahwa pembangunan Tamansari yang berlarut-larut ini digunakan oleh Sri Sultan Hamengku Buwono I untuk mengulur waktu.

Keraton Yogyakarta adalah pusat pemerintahan sekaligus kediaman raja beserta keluarga kerajaan. Guna menjalankan kedua fungsi tersebut, dibutuhkan sumber daya manusia yang memadai. Untuk itu Keraton Yogyakarta memiliki Abdi Dalem yang memiliki tugas-tugas tertentu. Tiap kelompok Abdi Dalem mendapatkan pemukiman sendiri yang tidak jauh dari area keraton, termasuk di area-area di luar tembok benteng keraton. Area-area ini tersebar memanjang dari utara sampai selatan, dari Tugu sampai Panggung Krapyak. Di sisi timur dibatasi oleh Sungai Winongo, sedang di sebelah barat dibatasi Sungai Code.

Keraton Yogyakarta adalah pusat pemerintahan sekaligus kediaman raja beserta keluarga kerajaan. Guna menjalankan kedua fungsi tersebut, dibutuhkan sumber daya manusia yang memadai. Untuk itu Keraton Yogyakarta memiliki Abdi Dalem yang memiliki tugas-tugas tertentu. Tiap kelompok Abdi Dalem mendapatkan pemukiman sendiri yang tidak jauh dari area keraton. Beberapa di antaranya ditempatkan di dalam benteng keraton yang menjadi pusat dari perkembangan kota Yogyakarta.

Kota-kota kerajaan di pulau Jawa tidak dapat dipisahkan dari benteng. Demikian juga kota-kota kerajaan pada masa Mataram Islam. Semua ibukota kerajaan Mataram Islam mulai dari Kota Gedhe, Plered, Kartasura, Surakarta, hingga Yogyakarta memiliki tembok pertahanan yang mengelilingi keraton. Bahkan dalam bahasa sansekerta, kata kota memiliki makna yang sama dengan benteng.

Keraton Yogyakarta memiliki dua lapis tembok. Lapisan dalam berupa tembok cepuri yang mengelilingi kedhaton, atau kawasan keraton. Tembok berikutnya jauh lebih luas dan kuat, disebut dengan tembok Baluwarti, atau lebih sering disebut hanya sebagai Beteng. Selain kedhaton, tembok Baluwarti juga melingkupi kawasan tempat tinggal kerabat Sultan dan pemukiman Abdi Dalem, area yang kini sering disebut sebagai kawasan Jeron Beteng.