Ce n'est un secret pour personne que cela a été écrit après que George Harrison, qui était un grand fan, ait dit à John Bonham que le problème avec Led Zeppelin est qu'ils ne font pas de ballades. Bonzo a apporté l'idée, et le reste du groupe a travaillé avec lui pour la mettre en place. C'est l'une des rares chansons de Zeppelin où les quatre membres partagent le crédit de compositeur. Jimmy a inclus les deux premières notes (pas des accords comme on le sait généralement) de la chanson des Beatles écrite par George, 'Something', dans l'intro de 'The Rain Song'. Led Zeppelin interprétant The Rain Song en direct au Knebworth Festival, Stevenage, Royaume-Uni, en 1979