Probabilmente, il villaggio (Pagus) di Pavone si sviluppò sul luogo dove già dall'antichità esistevano abitazioni umane, grazie alla sua posizione protetta. Prova ne sia che abbondano di materiali di origine romana le costruzioni medievali del Castello, la cui costruzione originaria, emblematica della tendenza del tempo, risalirebbe al sec. IX, quando la regione piemontese era sottoposta alle continue scorrerie di ungheri e saraceni. Conseguentemente alla decaenza dell'Impero Romano d'Occidente, infatti, decaddero anche le città e con l'affermazione di una parvenza di utorità centrale, seppur debole, dovuta alla creazione del Sacro Romano Impero di Carlo Magno, i detentori del potere continuarono a snobbare le città per insediarsi in castelli posti in luoghi adatti al controllo del territorio e attrezzati per la difesa.

L'intera area del Borgo Medievale è teatro,
nel primo fine settimana di giugno,
della rievocazione storica delle Ferie Medievali