Es ist kein Geheimnis, dass dies geschrieben wurde, nachdem George Harrison, der ein großer Fan war, John Bonham sagte, dass das Problem mit Led Zeppelin ist, dass sie keine Balladen machen. Bonzo brachte die Idee ein, und der Rest der Band arbeitete mit ihm zusammen, um es zusammenzustellen. Es war eines der wenigen Zeppelin-Lieder, bei denen alle vier Mitglieder die Komponistenanerkennung teilten. Jimmy fügte die ersten beiden Noten (nicht Akkorde, wie es allgemein bekannt ist) des von George geschriebenen Beatles-Songs 'Something' in das Intro von 'The Rain Song' ein. Led Zeppelin, die 'The Rain Song' live beim Knebworth Festival, Stevenage, UK, 1979 aufführten.