장한상은 1656년(효종7) 경상도 비안현(현재 의성군 서부지역) 외서면 비산리에서 무관 장시규의 차남으로 출생하였다. 1676년(숙종2) 21세의 나이로 무과 급제한 2년 뒤 서반(西班)의 ‘청요직(淸要職)’이라 할 수 있는 선전관(宣傳官) 발탁을 시작으로 훈련첨정·훈련부정·도총부 부총관·부호군 등의중앙관직, 경기수사·삼척첨사·전라병사·경상좌수사, 회령부사·칠곡군수·옥천군수 등의 지방관직을 두루 지냈다. 전형적인 무관으로서의 관력을 거치면서 그가 남긴 행적은 다음과 같다.

첫째, 전라병사로 부임하여 도적을 척결하고 백성을 진휼하는 공을 세웠고(현재 강진군 병영면에 당시 지역민이 동으로 만들어 세운 영세불망비가 있음), 회령부사 등 지방관으로 재직 시에는 백성들을 구휼하는데 진력하였다.

둘째, 울릉도 수토관으로서의 공적이다. 1693년 안용복 납치사건으로 촉발된 울릉도쟁계(鬱陵島爭界)가 발생하자, 숙종은 1694년 장한상을 삼척영장(첨사)으로 임명하여 울릉도를 수토(搜討)하도록 하였다. 그는 6척의 배와 150명의 선단을 이끌고 울릉도를 심찰하며 지세(地勢)를 살펴 설읍(設邑) 가능성을 조사하였는데, 멀리 동남방 쪽에 독도를 육안으로 관측하고 기록(「울릉도사적(鬱陵島事蹟」)으로 남겼다.

셋째, 장한상은 조선통신사 임술사행(壬戌使行, 1682년)에 통신사의 좌막(佐幕)에 발탁되어 통신사를 수행하였다. 임술사행에서 부사 이언강의 군관으로 참여하였는데, 일본 측 인사들과의 만남에서 기예와 용맹함으로 일본인들을 떨게 하였다고 한다. 이 통신사행 참여 경력은 후일 장한상이 울릉도 수토관으로 발탁되는데 중요한 하나의 요인으로 작용하였다.

넷째, 18세기 초반 1710년 요동지역에 이양선이 출몰한다는 소식으로 북한산성 축조 주장이 대두되자 1711년 북한산성 축조를 시작하였다. 어영별장으로 임명된 장한상은 북한산성 축조에 도청(都廳)의 직함으로 참여하였고, 1712년 청과의 백두산 지계(地界) 획정 문제가 대두되었을 때, 장한상은 북병사로서 백두산 정계조사에 참여하는 등의 공적을 남겼다. 즉 강역 방비에 관련되는 중요한 역할을 수행한 것으로 알려져 있다.