英國傑出的實驗物理學家，1818年12月24日生於曼徹斯特附近的索爾福德。父親是個啤酒廠廠主，生活富裕，但從小體弱多病，沒有正規上學，在家跟父親學釀酒，並利用空閒時間自學化學、物理。
當時的曼徹斯特有兩大特點：一是“高度科技化”，二是巨大的科技威望。自1793年後，道爾頓一直在曼徹斯特從事教學和科研活動，以後他的原子論享譽英國和整個歐洲。
1834年起，16歲的焦耳和他的哥哥本傑明被送到曼徹斯特文學與哲學學會的道爾頓的門下學習。 焦耳兄弟倆跟隨道爾頓學習了兩年算術和幾何。後來道爾頓因中風而退休。但是跟隨道爾頓的這段經歷，激發了焦耳對科學的興趣和探索自然的願望，影響了焦耳的一生。焦耳後來又受約翰·戴維斯指導。焦耳兄弟倆對電學非常著迷，曾經實驗過相互電擊，還拿家裡的僕人們做過實驗。
三年以後，19歲的焦耳畢業開始參加經營自家的啤酒廠。直到1854年賣出啤酒廠，他在經營上都一直很活躍很成功，科學開始只是焦耳的一個愛好。
1831年，法拉第發現電磁感應現象，發明了電動機。人們當時認為，電機可能代替蒸汽機，所以研究提高電機效率的熱潮席捲歐洲。所以焦耳開始研究用新發明的電動機來替換啤酒廠的蒸汽機的可行性。
在研究電機的過程中，焦耳注意到電機和電路中的發熱現象，這促使他對電流的熱效應進行了定量研究。通過實驗，焦耳於1840年發現:“產生的熱量與導體電阻和電流平方成正比”（即焦耳定律）並發表於《論伏打電所產生的熱》論文中。
1843年進行了感應電流產生的熱效應和電解時熱效應的實驗，寫了兩篇關鍵性論文《論磁電的熱效應和熱的機械值》和《論水電解時產生的熱》，明確指出：“自然界的能是不能消滅的，哪裡消耗了機械能，總能得到相應的熱，熱只是能的一種形式。”
焦耳使一個線圈在電磁體的兩極之間轉動產生感應電流，線圈放在量熱器內，證實了熱可以由磁電機產生。從這個實驗焦耳立即領悟到熱和機械功可以互相轉化，在轉化過程中遵從一定的當量關係。
為了測定機械功和熱之間的轉換關係，焦耳設計了“熱功當量實驗儀”，焦耳在磁電機線圈的轉軸上繞兩條線，跨過兩個定滑輪後掛上幾磅重的砝碼，由砝碼的重量和下落的距離計算出所做的功。測得熱功當量為428.9千克力米/千卡。1844年又做了把水壓入毛細管的實驗和壓縮空氣實驗，測出了熱功當量分別為424.9千克力米/千卡和443.8千克力米/千卡。
1849年發表《論熱功當量》。
1850年焦耳當選為英國皇家學會會員。
1866年被授予英國皇家學會 柯普萊 金質獎章。
1872年—1887年任英國科學促進協會主席。
1878年發表《熱功當量的新測定》，最後得到的數值為423.85千克·米/千卡。
至此，焦耳先後採用不同的方法做了400多次實驗。以精確的數據為能量守恆原理提供了無可置疑的實驗證明。
1889年10月11日焦耳在 塞拉 逝世
