1819년, 부유한 무역상 집안에서 태어난 멜빌은 어린 시절을 유복하게 보냈지만 13세 때 가세가 기울면서 학업을 중단한다. 그때부터 멜빌은 농장 일꾼, 가게 점원, 학교 교사 등을 전전하며 가족의 생계를 도왔다. 20세에 처음으로 상선의 선원이 되었으며 22세에는 포경선의 선원이 되었고 20대 중반인 1844년에는 군함의 수병이 되어 귀국하였다. 그의 초기 소설 대부분은 이때 얻은 항해 경험을 다룬다.
그는 첫 작품인, 포경선에서 탈주해 마르키즈 군도의 식인종과 함께 보낸 경험을 바탕으로 쓴 『타이피(Typee)』(1846)로 평단의 호평을 받으며 작가의 길로 들어섰고 뒤이어 발표한 『오무(Omoo)』 (1847) 역시 좋은 반응을 얻어 작가로서 입지가 탄탄해지는 듯 보였다. 하지만 초반과 달리 후속 작품들은 연이어 대중과 비평가에게 냉담한 반응을 얻어서 극심한 생활고에 시달렸다고 한다. 멜빌이 심혈을 기울여 출판한 야심작이었던 『모비 딕(Moby Dick or The Whale)』(1851)조차도 출간 당시에는 파격적인 형식으로 인해 혹평받았다. 그럼에도 불구하고 멜빌은 꾸준히 작품을 집필하며 작가의 길을 가려고 했지만, 작품만으로 생활을 유지하기 어렵게 되자 뉴욕 세관 감독관으로 20여 년을 근무하며 생계를 이어갔다. 멜빌이 1891년 72세에 자택에서 사망할 당시에는 그를 작가로 기억하는 사람이 거의 없었다고 한다.
그러다가 탄생 100주년인 1919년에야 연구자들이 멜빌의 생애와 작품을 연구하기 시작했다. 난해한 작품 성향 때문에 살아서는 작가로서 제대로 인정받지 못했던 멜빌은 결국 1920년대 이후에 재평가받아 미국 문학을 대표하는 소설가가 되었고, 그의 걸작 『모비 딕』도 세계적으로 위대한 소설 중 하나로 인정받았다. 그밖에 멜빌의 대표작으로, 미국 문학사를 대표하는 중단편인 『필경사 바틀비(Bartleby, the Scrivener)』(1853), 『베니토 세레노(Benito Cereno)』(1855), 『수병, 빌리버드(Billy Budd, Sailor』(1924: 사후 출간) 등이 있다.