Gravensteen, tal como se lo conoce hoy, fue construido por Felipe de Alsacia, conde de Flandes entre 1157 y 1191. Tomó parte en una de las Cruzadas y murió durante el asedio de Tierra Santa.
Este castillo funcionó como el centro de poder de los condes de Flandes durante la Edad Media. Importante para ello fue la torre principal, desde la que se domina toda la ciudad de Gante. La subida a la torre es quizás uno de los aspectos más fabulosos de la visita. Junto al castillo se halla la Veerleplein, un lugar donde comúnmente se realizaban las ejecuciones públicas que dictaminaban los condes.