Nie jest tajemnicą, że to zostało napisane po tym, jak George Harrison, który był ogromnym fanem, powiedział Johnowi Bonhamowi, że problem z Led Zeppelin polega na tym, że nie robią żadnych ballad. Bonzo przyniósł pomysł, a reszta zespołu współpracowała z nim, aby to zrealizować. To była jedna z nielicznych piosenek Zeppelinów, w której wszyscy czterej członkowie podzielili się kredytem kompozytorskim. Jimmy włączył pierwsze dwa dźwięki (nie akordy, jak powszechnie wiadomo) napisanej przez George'a piosenki Beatlesów 'Something' w intro do 'The Rain Song'. Led Zeppelin wykonujący The Rain Song na żywo na Knebworth Festival, Stevenage, Wielka Brytania, w 1979 roku.