Seinen Senf dazugeben

Er schmeckt zu Wurst, manche mögen ihn zu Eiern oder um Saucen zu verfeinern. Zu diesen Speisen gibt man gerne Senf dazu. Aber wenn jemand einem vorwirft, ständig seinen Senf dazu zu geben, dann liegt was im Argen. Woher kommt die Redewendung?