ベイカーはヘンリー・ロレイン・ベイカー中将(Henry Loraine Baker)の息子として生まれた。ケンブリッジのトリニティ・カレッジ(Trinity College)に学び、1844年にエセックス州コルチェスター近くのグレート・ホッケスレーで副牧師に任命された。1851年、ヘレフォードシャーのモンクランド修道院教会(Monkland Priory Church)の教区牧師となり、人生の大半をそこで務めた。1859年に父親が亡くなると、ベイカーは準男爵となった。1860年から77年にかけて、英国国教会の讃美歌集「Hymns Ancient and Modern」の編集長を務め、歌詞、曲、および翻訳に貢献した。この歴史的な讃美歌集は6千万部を売り上げた。
友人のジョン・エラートン(John Ellerton)は、ベイカーの辞世の言葉が、彼の有名な讃美歌詩からの引用であったと述べている。 Perverse and foolish oft I strayed, But yet in love He sought me, And on His shoulder gently laid, And home, rejoicing, brought me.
作詞作品： Almighty God, Whose Only Son From Highest Heav’n the Eternal Son God Made Me for Himself How Welcome Was the Call I Am Not Worthy, Holy Lord Jesu, for the Beacon-Light King of Love My Shepherd Is, The Lord Jesus, God and Man Lord, Thy Word Abideth My Father, for Another Night O God of Love, O King of Peace O Holy Ghost, Thy People Bless O Perfect Life of Love O Praise Our God Today O Praise Ye the Lord Oh! What, If We Are Christ’s Out of the Deep I Call Praise, O Praise Our God and King Redeemed, Restored, Forgiven Rejoice Today with One Accord Sing Praise to the Lord! There Is a Blessèd Home ’Tis Done! That New and Heavenly Birth We Love the Place, O Lord (reviser)
翻訳作品： Blest Trinity, from Mortal Sight Captains of the Saintly Band Good It Is to Keep the Fast Jesu, Grant Me This, I Pray Now My Soul, Thy Voice Upraising O Christ, Redeemer of Our Race O Sacred Head, Surrounded Of the Father’s Love Begotten On This Day, the First of Days Sion’s Daughter, Weep No More Sweet Flowerets of the Martyr Band What Our Father Does Is Well
