남인도의 중산층 브라민 가정에서 태어난 그는 17세 때, 아무런 종교적 가르침도 받은 바 없음에도, 어느 날 갑자기 찾아온 죽음의 공포를 극복하려고 하던 과정에서 홀연히 진아(眞我)를 깨달았다. 얼마 뒤에 성산 아루나찰라(Arunachala)로 출가한 그는 몇 년 동안 깊은 삼매에 들면서 침묵으로 일관하다가, 점차 주위에 모여드는 사람들에게 가르침을 주기 시작했다. 그는 일찍이 아무런 종교적 가르침도 배운 바 없었지만, 자신의 깨달음의 체험과 저절로 다가온 깊은 지혜를 통해 다른 어떤 성자나 구루들보다도 뛰어난 가르침을 내놓기 시작했다. 그는 침묵 속에서 전수되는 가르침을 최상의 가르침으로 쳤지만, 자신의 침묵을 이해하지 못하는 많은 사람들을 위해 '나는 누구인가?' 하는 탐구의 수행법을 많이 권장했다. 이것은 선불교의 '아뭣고?' 화두와 거의 유사한 수행법인데, 사실 마하르쉬의 가르침의 많은 부분은 불교, 특히 선종의 가르침과 그 궤를 같이한다.

붓다나 선사들과 마찬가지로 마하르쉬 역시 깨달음은 지금 여기 있으며, 현상 세계는 하나의 꿈에 지나지 않는다고 설파한다. 사람들이 생사의세계에 윤회하는 것은 자신이 진아임을 망각하고 자신의 육체와 마음을 자기로 착각하는 '동일시' 때문이다. 그러나 '나는 누구인가?'하는 자기 내면으로의 탐구를 통해서 에고가 사라지면 자신의 참된 성품, 즉 진아(참나)를 자각하게 된다. 이것이 진아 깨달음이며, 신을 성취하는 것이며, 진리를 아는 것이다. 라마나 마하르쉬는 특히 깨달은 스승의 은총 - 스승이 방사하는 깨달음의 힘 - 을 중시하는데, 왜냐하면 깨달은 스승은 인간의 모습을 한 진아이며, 스승은 진아의 힘인 은총을 통해서 제자를 직접 깨달음에로 인도하기 때문이다. 그러나 그는 또한 진정한 의미에서의 스승은 우리의 내면에 있는 진아일 뿐이라고 가르친다.

평생 아루나찰라 산을 떠나지 않고 살았던 라마나 마하르쉬는 생존 중에도 스승 중의 스승으로 존경받았고, 그가 입적한 지 50년이 지난 오늘날까지도 세계 각지의 많은 구도자들로부터 추앙받고 있다.