오사카에서 저널리스트이자 정치평론가로 필명을 날리고 있던 마루야마 간지(丸山幹治)의 둘째아들로 태어났다. 그 시대 수재들의 선망이었던 제1고등학교를 거쳐, 1937년 도쿄 대학 법학부 정치학과를 졸업했다. 1940년에 동 대학의 조교수가, 1950년에 교수가 되었다.
20대 후반의 젊은 나이로 일본정치사상사 연구에 신기원을 수립했으며, 특히 1946년 『세계』 5월호에 발표한 「초국가주의의 논리와 심리」는 일본 사회와 지식인들에게 큰 충격을 안겨주었다. 제2차 세계대전 이후 깊은 좌절감에 빠져 있던 일본사상계에 그는 혜성과 같이 등장해, 일본의 사상계가 나아가야 할 길과 방향 그리고 비전을 과감하게 제시했기 때문이다. 이후 그는 일본의 학계와 지성계의 흐름을 주도해왔으며, 그로 인해 ‘학계의 덴노(천황)’ ‘마루야마 덴노’로 불렸다.

1971년에 은퇴할 때까지 도쿄 대학에 재직하면서, 그사이 하버드 대학과 옥스퍼드 대학 성 앤서니 칼리지의 객원교수를 지냈다. 1973년에는 프린스턴 대학과 하버드 대학에서 명예박사학위를 수여받았다. 그후 도쿄 대학 명예교수, 일본학술원 회원, 영국학술원 외국인 회원이 되었으며, 프린스턴 대학 고등연구소 연구원을 지내기도 했다.

주요 저서로 『일본정치사상사연구』 『일본의 사상』 『전중과 전후 사이』 『후위의 위치에서』 『현대정치의 사상과 행동』 등이 있으며, 옮긴 책으로 세이빈의 『서양정치사상사 1』이 있다. 1995년에서 1997년에 걸쳐 전집 『마루야마 마사오집』이 간행되었다.

연세대학교 정치외교학과를 졸업하고 한국학중앙연구원 한국학대학원에서 문학 석·박사 학위를 받았다. 고려대학교 아세아문제연구소 한국정치사상연구실장, 연세대학교 정치외교학과 BK21 교수를 지냈다. 여러 대학에서 강의를 해왔으며, 아산서원 부원장을 역임했다. 주요 연구분야는 동양철학사, 한국정치사상, 그리고 동아시아 역사와 문화다. 주요 저서로는 『한국의 자유민주주의』, 『한국정치사상사』, 『한국문화대탐사』, 『선비정신과 한국사회』 외 다수가 있다. 아울러 『일본정치사상사연구』, 『「문명론의 개략」을 읽는다』, 『마루야마 마사오: 주체적 작위, 파시즘, 시민사회』 등 일본 사상사 관련 저작을 우리말로 옮기는 작업을 해왔다.