Seine Fotosammlung trug das Ehepaar Peter und Ruth Herzog über Jahrzehnte bereits zusammen. Dazu gehören etwa historische Bilder aus dem Aegypten des 19.Jahrhundert ebenso wie jüngere Aufnahmen von touristischen Zielen oder Familien-Ausflügen.
In seiner Heimatstadt Basel tat man sich mit der Sammlung aber über Jahre schwer: Peter Herzogs Idee eines eigenen Museums liess sich nicht verwirklichen, nicht zuletzt aus finanziellen Gründen. Das enttäuschte Peter Herzog wiederum schwer.
Die Lösung kam dann aus Peter Herzogs Familie: Sein berühmter Bruder, der Architekt Jacques Herzog, gründete zusammen mit seinem Geschäftspartner Pierre de Meuron eine Sammlung, zu der nun auch Herzogs Fotoschätze gehören.
Trotzdem markiert Peter Herzog auch eine gewisse Distanz zu seinem berühmten Bruder: «Er hat sein Business und ich habe meins.» Viele Dinge hätten sie als Brüder aber gemeinsam, einmal abgesehen vom Fussball, dem sie seit ihrer Jugend verschrieben sind: «Dass wir ganz normal in Pension gehen, das ist für uns beide schwer vorstellbar.»
