Cùng với Đền Vàng Kinkaku-ji, đền bạc Ginkaku-ji cũng được xem là niềm tự hào của người dân vùng đất cố đô. Mặc dù mang tên Đền Bạc nhưng Ginkaku-ji lại không hề có chút dấu vết của bạc. Nguyên nhân là vì thiếu kinh phí dành cho cuộc nội chiến Onin nên đền Ginkaku-ji không mạ bạc như thiết kế ban đầu mà giữ nguyên nét màu nâu mộc mạc của gỗ.
Ban đầu, đền Ginkaku được thiết kế với mục đích để làm khu biệt thự nghỉ dưỡng xa hoa dành cho tướng quân Ashikaga Yoshimasa thuộc thời đại Muromachi (1392 – 1573). Tướng Yoshimasa sau khi rút khỏi quan trường đã dành nhiều thời gian của mình để theo đuổi nghệ thuật trà đạo. Ông đã thiết kế và xây dựng Togu-do (một khu nhà trong đền) thành một phòng lễ trà – đây được coi là phòng lễ trà kiểu mẫu nhất của Nhật Bản. Vào năm 1485, tướng Yoshimasa thay đổi trở thành một vị sư và Ginkaku từ đó cũng trở thành đền thờ Phật.
Về mặt tổng thể cũng như phong cách, đền Ginkaku có thiết kế giống với ngôi đền chị em của mình là đền vàng Kinkaku-ji . Do lý do thiếu kinh phí dành cho cuộc nội chiến Onin nên đền Ginkaku-ji không mạ bạc mà giữ nguyên nét màu nâu mộc mạc của gỗ.
Bên cạnh những công trình mộc, Ginkaku còn nổi tiếng với khu vườn được thiết kế bởi nghệ sĩ Soami nổi tiếng bậc nhất vào thời đó. Những vạch cát và tảng đá hình chóp trong vườn chính dùng để tượng trưng cho một núi Phú Sĩ nổi tiếng thu nhỏ.