Knock Me Down além de estar no álbum Mother's Milk, também está na coletânea What Hits!?, do ano 1992. Anthony Kiedis e John Frusciante cantam toda a canção simultaneamente, mas ela foi mixada para que a voz de John ficasse mais forte que a de Anthony.