어려서부터 음악에 관심을 보였던 페르트는 군복무를 마친 뒤 1958년 탈린에 있는 음악학교에 들어갔으며, 1958~67년에는 에스토니아 라디오 방송국 음악부에서 일했다. 그는 전(全)소련청년작곡가경연대회에서 어린이합창단과 오케스트라를 위한 칸타타 〈우리 정원 Meie aed〉(1959)과 오라토리오 〈세계의 진보 Maailma samm〉(1960)로 1위를 차지해 동유럽에서 재능을 인정받았다. 당시의 12음계(아널드 쇤베르크에 의해 만들어진 20세기초의 작곡 방식)에 관심을 갖게 된 페르트는 〈네크롤로그 Nekrolog〉(1960)라는 작품에서 파격적으로 12음계를 실험했는데, 이것은 에스토니아 최초의 12음계 작품이었다.

1963년에 음악학교를 졸업한 직후에 그는 〈교향곡 제1번 Symphony No.1〉(1964)과 〈교향곡 제2번 Symphony No.2〉(1966)을 작곡했는데, 〈교향곡 제2번〉에는 다른 작곡가들의 작품을 인용한 부분들도 포함되어 있었다. 그는 피아노와 혼성합창 및 오케스트라를 위한 〈사도신경 Credo〉(1968)에서도 이 콜라주 기법을 사용했다. 종교적인 제목 때문에 소련에서 금지된 〈사도신경〉을 마지막으로 페르트는 12음계에 대한 실험을 끝냈다.

페르트는 그 후 8년 동안 집중적으로 음악을 공부했다. 이 시기에는 영화음악을 제외하고는 거의 작곡을 하지 않고, 그레고리오 성가와 러시아 정교회의 예배음악 같은 형식을 연구하는 데 몰두했다. 페르트의 음악이 새로운 방향으로 나아가고 있음을 보여준 최초의 징후는 그가 이 침묵의 시절에 창작한 소수의 작품 가운데 하나인 〈교향곡 제3번 Symphony No.3〉(1971)이었다. 그러나 미국 청취자들이 페르트의 작품을 분명히 식별해낼 수 있을 만큼 그의 작품이 개성적인 소리를 나타내기 시작한 것은 1970년대말에 현악기를 위한 작품들(특히 〈형제들 Fratres〉(1977)이 발표되었을 때부터였다.

페르트가 꾸밈없고 간결한 양식으로 작곡한 최초의 작품은 〈알리나를 위하여 Fur Alina〉(1976)라는 피아노곡이었다. 그는 이 작품 속에서 3화음의 연속을 발견했다고 말했고, 그것을 자신의 길잡이 역할을 하는 단순하고 작은 규칙으로 삼았다. 그는 3화음의 소리를 딸랑딸랑 울리는 방울소리 같다고 묘사하면서, 자신의 새로운 작곡방식을 '방울 양식'이라고 불렀다. 그러나 그가 자신의 표현양식을 무엇이라 부르든 간에, 정신적 교류를 추구하는 신세대에게 페르트가 만들어낸 단순하고 강렬하며 매혹적인 소리는 직접 전달되는 것처럼 보였다. 아르보 페르트는 거룩한 미니멀 아트 예술가라는 평가와 네오바로크 음악가라는 상반되는 평가를 동시에 받았다.