Secondo la tradizione, Silviano e la sua famiglia fuggirono dall’Africa, nel V secolo a causa delle persecuzioni di Genserico. Si stabilirono ai piedi del Monte di Feronia, dove vissero “in umiltà e preghiera“. Morto il vescovo di Terracina Giovanni, nel 443, il clero e il popolo chiamarono Silviano a succedergli.
Dopo soltanto nove mesi anch’egli morì e fu eletto vescovo il padre Eleuterio. I due vescovi furono sepolti presso il S. Salvatore, originario titolo della chiesa di S. Silviano. Dopo il medioevo la chiesa conobbe un lungo periodo di abbandono. Nel 1727, viene descritta ad una sola navata, e sull’altare maggiore si trova la tela con l’immagine di S. Silviano; sul lato sinistro si trova una cappella con altarino e con l’effigie del Santo, luogo di grande venerazione popolare poiché proprio qui vennero probabilmente ritrovati i corpi di Silviano e quelli della sua famiglia.