Không có gì bí mật rằng điều này được viết ra sau khi George Harrison, người hâm mộ lớn, đã nói với John Bonham rằng vấn đề với Led Zeppelin là họ không có bất kỳ bản ballad nào. Bonzo đã đưa ra ý tưởng, và phần còn lại của ban nhạc đã làm việc cùng anh ấy để hoàn thiện nó. Đây là một trong số ít bài hát của Zeppelin mà cả bốn thành viên đều chia sẻ tín dụng sáng tác. Jimmy đã đưa vào hai nốt đầu tiên (không phải hợp âm như thường được biết đến) của bài hát 'Something' do George viết cho Beatles trong phần mở đầu của 'The Rain Song'. Led Zeppelin biểu diễn The Rain Song trực tiếp tại Knebworth Festival, Stevenage, Vương quốc Anh, vào năm 1979.