Bukan rahasia lagi bahwa ini ditulis setelah George Harrison, yang merupakan penggemar berat, mengatakan kepada John Bonham bahwa masalah dengan Led Zeppelin adalah bahwa mereka tidak membuat balada apa pun. Bonzo membawa ide itu, dan anggota band lainnya bekerja dengannya untuk menyatukannya. Itu adalah salah satu dari sedikit lagu Zeppelin di mana keempat anggota berbagi kredit komposer. Jimmy memasukkan dua nada pertama (bukan akord seperti yang dikenal luas) dari lagu The Beatles yang ditulis George 'Something' dalam intro 'The Rain Song. Led Zeppelin membawakan The Rain Song secara langsung di Festival Knebworth, Stevenage, Inggris, pada tahun 1979