1928년 필라델피아에서 태어나 음악성이 풍부한 러시아계 유대인 부모 밑에서 자랐다. 그가 살던 동네에서는 악기 연습이 빨래를 너는 것만큼이나 일상적인 일이었다. 열여섯 살이 될 무렵 그는 필라델피아 오케스트라와 협연했고, 그 전설적인 지휘자 유진 오먼디에게 엉뚱한 말을 건네기도 했다. 그는 또 피에르 몽퇴의 하계 지휘 학교에도 입학했다. 브루실로우는 조지 셀 밑에서 클리블랜드 오케스트라의 부악장을 지내다가 오먼디에게 발탁되어 필라델피아 오케스트라의 악장이 되었다. 오먼디와 브루실로우는 아버지와 아들 같은 관계였지만 브루실로프는 지휘하고 싶은 마음을 떨칠 수 없었고 오먼디는 이를 무척 싫어했다. 결국 마흔 살이 되자 브루실로우는 바이올린을 팔고 필라델피아에서 독자적으로 체임버 오케스트라를 결성하여 매년 일백 회 이상 연주했다. 그 다음에는 댈러스 심포니 오케스트라를 지휘하면서 많은 우여곡절을 겪었다. 그후 수십 년 동안 브루실로프는 서던메소디스트 대학과 노스텍사스 대학에서 오케스트라 프로그램을 맡아 학생들을 가르쳤다.
