오스트리아-헝가리제국의 일부였던 우쿠라이나 체르니우치에서 태어났다. 빈대학교에서 화학을 공부했으며, 1928년 예일대, 1930년 베를린공대에서 연구활동을 했다. 1933년 히틀러 통치를 피해 프랑스 파스퇴르연구소로 옮겼다. 1934년 말 미국으로 이주해 1935년부터 1974년까지 컬럼비아대학교 의과대학의 생화학과에서 연구와 교육에 종사했다. 그는 1949년 이른 시기에 ‘샤르가프의 법칙’을 발표해 오늘날 분자생물학의 기초를 세웠으며 1953년 왓슨과 크릭이 DNA 이중나선구조를 밝혀내는데 결정적 실마리를 제공했다. 1970년대 후반부터 샤르가프는 유전자 조작 등 현대과학의 상업성과 거대화를 비판하는 많은 에세이를 집필하며 만년을 보냈다. 샤르가프는 미국, 유럽, 남아메리카, 일본 등 많은 대학의 초빙교수와 강연자로서 널리 알려졌다. 미국 국가과학훈장, 파스퇴르상, 칼 노이베르크상, 그레고르 멘델 훈장, 메이에르상(프랑스 과학아카데미), 하이네켄상(네덜란드 왕립아카데미), 베르크너 재단상 등을 수상했으며 여러 차례 노벨상 후보에도 올랐다.