1634년에 영국의 월트셔 주 드비제의 청교도 가정에서 태어나 1645년, 교역자인 형의 죽음으로 영적 위기를 겪은 후 회심하였다. 이후 존 오웬과 청교도들이 관장하고 있던 옥스퍼드의 링컨 칼리지에서 신학을 공부하였고, 1655년에 장로교에서 목사 안수를 받으며 본격적인 사역을 시작했다. 사역 초기부터 그는 불신자 전도를 최우선으로 삼고 옥스퍼드 근처 마을과 교도소를 다니며 영혼 구원에 매진했으며, 청교도 박해 때 여러 차례 투옥되면서도 꺼지지 않는 열정으로 복음을 전파하는 데 최선을 다하였다. 그러나 1668년, 투옥 당시에 받았던 고초로 건강이 악화되어 34세에 하나님의 부르심을 받았다. 국내에서 『회개에의 경종』이라는 제목으로 발행되었던 그의 저서 『Alarm』은 1671년에 처음 출간되었다가 1675년에 『A Sure Guide to Heaven』이라는 제목으로 재출간되었으며, 단호한 경고와 뜨거운 권면이 담긴 ‘회심의 고전’으로 불리며 수많은 영혼을 구원의 길로 이끌었다. 본서의 영향을 받은 후대 인물로는 조지 휘트필드와 찰스 스펄전 등이 있으며, 특히 스펄전은 “어린 시절, 주일 저녁마다 어머니는 난롯가에 앉아 조셉 얼라인의 『천국에의 초대』(A Sure Guide to Heaven)를 읽어주시곤 했다.”라고 이야기할 만큼 이 책의 영향력과 강한 애정을 드러냈다.