1871년 미국 플로리다 주 잭슨빌에서 태어났다. 애틀랜타 대학 졸업 후 스탠턴 학교에서 교편을 잡았고 이후 독학으로 플로리다 주 최초의 흑인 변호사 자격을 취득했다. 이후 동생과 함께 200여 편의 뮤지컬 곡을 작사했으며, 1906년에는 베네수엘라 영사, 1909년 니카라과 총영사 직을 역임했다. NAACP 사무총장을 지내면서 반(反) 린치법을 미 하원에서 통과시켰고, 미국 흑인문학사의 기념비적인 시집 『미국 흑인 시 선집』, 1927년 흑인 방언 설교집인 『신의 트롬본』을 출간하며 동시대 젊은 흑인 작가군을 이끌었다. 1938년 교통사고로 사망하기까지 피스크 대학에서 문학을 가르쳤으며 할렘에서 치러진 장례식에는 2천여 명의 조문객이 참례했다. 그가 가사를 쓴 〈모두 소리 높여 노래하자Lift Every Voice and Sing〉는 흑인애국가로 불리고 있으며 그를 기리는 기념우표가 발행되는 등 제임스 웰든 존슨은 미국 흑인 역사상 가장 중요한 인물 중 하나로 기억되고 있다.