도치기현 온라쿠군(邑?郡) 다테바야시초(館林町)에서 태어났다. 이곳은 현재의 군마현 다테바야시시이다. 다야마 쇼쥬로와 테츠 부부의 차남으로서 태어났다. 다야마 가타이의 집은, 대대로 아키모토 번의 무사 집안 이었다. 그의 아버지는 1877년 서남전쟁 때에 경시청 순사로서 종군하여 전사했다. 다야마 가타이는 12살부터 한학숙에서 한시문을 배웠고, 14세 때에는 한시집을 엮을 정도록 한학에 뛰어났다. 또 게이엔파의 와카나 서양문학도 가까이했다고 한다.

형을 따라 상경하여, 1890년, 야나기타 구니오를 알게 된다. 다음해에 오자키 고요의 밑으로 입문하여, 그의 지시로 에미 스이인의 지도를 받는다. "참외밭"를 처음으로 발표하고 다음해부터 본명 로쿠야 대신 가타이라고 칭하기 시작했다. 당초는 겐유샤의 영향을 받고 있었지만, 1896년에 구니키다 돗포, 시마자키 도손과 알게 된다. 다음해, 돗포, 구니오들과 "서정시"를 간행하여, 여기에 40편의 시를 실는 등 본격적인 문학 활동을 시작 한다. 모파상의 영향을 강하게 받고, 1902년에 "아카츠키 총서"의 제5편으로서 썼던 "쥬자에몬의 최후"를 발표하여, 이 작품으로 작가로서의 역량을 인정받게 된다. 1899년에 결혼하여, 오하시 오토와의 소개로 하쿠분칸(博文館)에 근무하여, 교정 일을 한다.

1904년, 러일전쟁에서는 제2군 사진반으로서 종군하게된다. 전쟁을 겪은 후 자연주의 문학 분야를 자각하여, 평론 "노골적인 묘사"니 소설 "소녀병"을 발표하여, 새로운 문학의 담당자로서 활약하게 된다. 1906년 하쿠분샤로부터 "문장세계"가 창간되자 편집 주임이 된다. 문장세계는 당초 실용문의 투서 잡지를 목적으로 발행되었지만, 다야마들의 영향을 받게되어 자연주의 문학의 거점이 된다. 1907년에, 중년작가의 여제자에 대한 복잡한 감정을 그렸던 "이불"을 발표했다. 여제자와 헤어졌던 남자가, 그녀가 사용하였던 이불에 얼굴을 파묻고 냄새를 맡으며, 슬퍼한다라는 묘사는, 독자, 더 나아가 문단에 충격을 주게 되었다. 이 작품에 의해서, 일본의 자연주의 문학의 방향이 결정되었다는 평을 받고 있다. 거기다가 "생(生)", "처(妻)," "연(緣)의 장편 3부작, 장편소설 "시골교사"를 써, 도손과 나란히 시대를 대표하는 자연주의 작가가 되었다. 다이쇼 시대에 들어오고 나서는 자연파의 쇠퇴와 신예 작가의 등장으로 문단의 주류로부터 밀려나게되지만 "일등병의 총살"등의 작품을 정력적으로 발표했다.

만년은 종교적 심경에 이르러, 정신주의적인 작품을 많이 남겼다. 1928년 말에 뇌일혈로 입원했다. 거기다가 후두암에 걸려, 1930년 5월13일, 자택에서 향년 58세의 나이로 사망했다. 도손의 글이 새겨진 묘는 다마영원(多磨園)에 있다. 그는 유언에 따라 토장되었으며 현재 다테바야시시(館林市)에는 다야마 가타이 기념관이 있다.