Det är ingen hemlighet att detta skrevs efter att George Harrison, som var ett stort, berättade för John Bonham att problemet med Led Zeppelin är att de inte gör några ballader. Bonzo kom med idén och resten av bandet arbetade med honom för att sätta ihop den. Det var en av de få Zeppelin-låtarna där alla fyra medlemmarna delade på kompositörskrediten. Jimmy inkluderade de två första tonerna (inte ackord som det är allmänt känt) av Georges skrivna Beatles-låt "Something" i introt till "The Rain Song". Led Zeppelin framför The Rain Song live på Knebworth Festival, Stevenage, Storbritannien, 1979