Le premier château construit sur les terres de Radepont avait pour but de protéger les vallées de la Seine et de l'Andelle. La construction commence en 1194 et s'achève en 1203. Juste à temps pour que Philippe Auguste s'en empare et le détruise dans sa reconquête de la Normandie de Richard Coeur de Lyon.
En 1190, l'Abbaye Notre-Dame de Fontaine-Guérard est fondée. Les bâtiments encore visibles aujourd'hui datent de 1253.
La seigneurie de Radepont passe, au cours des siècles, aux familles de Poissy, de Teufles, et du Bosc. Louis XIV érige le fief en marquisat. En 1788, Jean-Léonor du Bosc, maréchal de camp, fait construire une résidence sur les berges de l’Andelle, au pied de l’ancienne forteresse. Il l'agrémente d'un parc qui sera considéré comme "l'un des plus beaux de Normandie".
Auguste Dubosc parvient à conserver son château pendant la Révolution, l'Empire et la Restauration.
Son fils se sépare de la propriété qui revient à Charles Levasseur, déjà propriétaire de l'Abbaye de Fontaine-Guérard.
En 1895, il remplace le château de 1788 par une majestueuse demeure. Mais des revers de fortune l'obligent à se séparer de son domaine.
Au lendemain de la Première Guerre Mondiale, il est acquis par Fernand Colombel. Sans héritier et sensible au travail de l'Armée du Salut auprès des bagnards sous l'impulsion de Charles Péan, il lui lègue le domaine en 1939.
A la fermeture du bagne en 1946, l'Armée du Salut est chargée de rapatrier près de 4 000 survivants. Le château est donc emménagé pour les accueillir dès 1952, malgré la méfiance de la population locale.
Le domaine se spécialise un temps dans l'accueil des multirécidivistes dont la libération n'est envisageable qu'avec la garantie d'un logement et d'un travail. Mais l'évolution de la réinsertion des personnes en difficulté et la disparition progressive des anciens bagnards transforme le Château de Radepont en Centre d'Hébergement et de Réinsertion Sociale.
Aujourd'hui, résidants et personnes en difficulté de la région bénéficient de nombreux programmes de réinsertion et de remise à niveau en vue de préqualifications professionnelles. Les activités traditionnellement agricoles du lieu cédent progressivement la place à des ateliers spécialisés dans les métiers du second oeuvre ou de l'informatique.
Conformément au vœu de Fernand Colombel, ce patrimoine permet de restaurer, depuis un demi-siècle, l’existence d’hommes et de femmes en rupture sociale.