이 책의 화자는 세 명이다. 아홉 살 소년 오스카와 그의 할아버지, 그리고 할머니.

오스카는 밤이 늦도록 좀처럼 잠들지 못한다. 침대에 누워 아빠 목소리로 휘파람을 불어주며 잠들 수 있게 해주는 찻주전자니, 환자의 상태를 사람들에게 알려주는 앰뷸런스니, 추락을 막아주는 새 모이로 된 셔츠니, 머릿속으로 발명을 하거나 그날 있었던 일을 적고, 찍은 사진들을 『나에게 일어난 일』 에 스크랩해 두며 잠이 오지 않는 시간을 달랜다. 오스카가 잠들지 못하는 이유는 아빠가 세상을 떠났기 때문이다. 아빠는 9.11 세계무역센터가 무너질 때 함께 세상에서 사라졌다. 오스카는 엄청나게 믿을 수 없게 슬픈데, 엄마는 남자 친구와 즐겁다. 오스카는 아빠의 물건들을 하나하나 만져보다가 선반 꼭대기 파란 꽃병 안에서 봉투에 담긴 열쇠를 발견한다. 꽁꽁 숨겨둔 열쇠라. 무엇을 여는 것일까. 뉴욕에는 162,000,000개의 자물쇠가 있고, 열쇠를 자물쇠에 맞춰보는 데는 3초가 걸리는데, 50초에 한 명씩 아이가 태어난다. 내내 자물쇠 찾는 일만 한다 해도 0.333초에 하나씩 열쇠가 늘어나니, 그걸 언제 다 찾아본단 말인가. 단서를 찾았다. 열쇠가 들어 있던 봉투에 ‘블랙(Black)’이라고 쓰여 있고, 그건 아마도 사람 이름 같다. 뉴욕에는 ‘블랙’이라는 이름을 가진 사람이 472명 있고, 그들의 주소는 216개가 있다. 이제 오스카는 이들을 하나씩 만나 열쇠에 대해 아는 게 있는지 물어보기로 계획을 세운다. 그러나 이 계획은 엄마에게도, 세상에서 가장 사랑하는 할머니에게도 비밀이다.

오스카의 할아버지는 말을 하지 못한다. 그래서 그는 공책을 들고 다니며 사람들에게 할 말을 글로 써서 보여주고, 아예 왼손에는 ‘예(yes)’를 오른손에는 ‘아니요(no)’를 문신으로 새겨두었다. 오스카의 할아버지 토머스와 할머니는 독일 드레스덴에서 미국으로 건너왔다. 드레스덴에 살 때 토머스는 오스카의 할머니의 언니, 애나와 사랑에 빠졌었다. 둘은 행복한 미래를 꿈꿨으나, 2차 대전 기간 중 드레스덴에 공습이 일어나면서 토머스는, 그리고 오스카의 할머니는 모든 것을 잃는다. 가까스로 살아남은 그 둘은 뉴욕에서 우연히 다시 만나고, 결혼하기에 이른다. 그러나 그들의 마음은 이미 만신창이가 되어 있었다. 할아버지는 첫사랑 애나와 드레스덴에서의 아름다운 기억을 잊지 못하고, 할머니는 그런 남편의 모습에 점점 지쳐간다. 결국 할아버지는 할머니를 떠나기로 결심한다. 할아버지가 할머니를 떠날 당시 할머니는 임신한 상태였다. (그 아이가 바로 오스카의 아빠다.) 할아버지는, 비록 떠나긴 했지만, 자신의 입장을 아이에게 해명하기 위해 날마다 편지를 쓴다. 매일 편지를 쓰지만 부치지는 못하고 있던 어느 날 세계무역센터 빌딩이 무너지는 장면을 텔레비전에서 보고 사망자 명단에서 아들의 이름을 발견한다. 그는 뉴욕으로 돌아온다.

한편 오스카의 비밀스러운 작전은 센트럴 파크에서 코니아일랜드를 거쳐 할렘 가까지 이어진다. 그는 103세의 종군기자, 엠파이어스테이트 빌딩을 떠나려 하지 않는 관광 가이드, 그리고 서로를 지극히 사랑하고 그리워하는 연인들과 친구가 된다. 그들은 모두 누군가를 잃은 사람들이다.

어느 날, 할머니 아파트의 비어 있던 방에 세를 세입자가 들어온다. 여덟 달을 뉴욕 구석구석 돌아다녀 봤지만 아무런 성과도 거두지 못하고, 하나뿐인 친구마저도 자기 곁을 떠나자 절망에 빠진 오스카는 할머니의 집으로 찾아가고, 거기서 세입자에게 모든 것을 털어놓는다. 이제 오스카는 이 말 없는 손님과 함께 새로운 계획을 세운다. 그들은 아빠의 텅 빈 관을 파내기로 하는데...