빈의 상인 집안에서 태어났으며 그의 대부는 건축가 아돌프 로스다. 알텐베르크는 대학에서 법학을 전공하다 중도 포기했고, 신경과민 진단을 받은 뒤로 줄곧 보헤미안 같은 삶을 살았다. 그는 문학과 예술계 인사들이 한데 모이는 당시의 카페하우스에서 주로 글쓰며 카페하우스 문학의 대표로 자리매김했다. 그의 작품 대다수는 산문 혹은 산문시로, 세기말 빈의 순간을 포착하여 서술한다. 냉담한 관찰자적 묘사가 돋보이는 소품들을 1896년 단편집『내가 그것을 보듯』부터 꾸준히 발표하여 명성을 얻었다. 말년에는 신경 치료소를 자주 찾았고, 1919년 1월 8일 빈의 병원에서 숨을 거두었다. 현재 빈의 카페 첸트랄에는 탁자 앞에 앉아 있는 실물 크기의 페터 알테베르크상이 있다.