Het is geen geheim dat dit geschreven is nadat George Harrison, die een grote fan was, John Bonham vertelde dat het probleem met Led Zeppelin is dat ze geen ballades maken. Bonzo bracht het idee in, en de rest van de band werkte met hem samen om het in elkaar te zetten. Het is een van de weinige Zeppelin-nummers waarbij alle vier de leden de compositoraanspraak deelden. Jimmy voegde de eerste twee noten (geen akkoorden zoals algemeen bekend) van George's geschreven Beatles-nummer 'Something' toe in de intro van 'The Rain Song. Led Zeppelin die The Rain Song live uitvoert op Knebworth Festival, Stevenage, VK, in 1979