역사를 돌아보면 자유와 권위는 아주 예부터 권력 투쟁을 벌여왔다. 우리는 이미 이에 익숙하다. 특히 그리스, 로마, 영국에서 그랬다. 그러나 옛적에는 이런 경쟁이 신민 혹은 신민 계층 일부와 정부 간에 일어났다. 이때 자유는 정치적 지배자의 횡포에 맞서 보호하는 것을 의미했다. (그리스의 일부 민주정를 제외하면) 지배자는 필연적으로 피지배자들과 적대적 관계에 있었다. 지배자는 대개 한 명의 통치자a governing One, 혹은 하나의 통치하는 부족이나 계급이었다. 그들이 발휘하는 권위는 상속과 정복에서 나왔다. 어떤 경우에도 지배자는 피지배자들의 행복을 위해 권위를 유지하지 않았다.
--- 「제1장 머리말」 중에서

그렇다면 인류의 가장 지혜로운 사람들, 즉 자신의 판단을 신뢰할 가장 큰 자격이 있는 이들이 자신의 판단을 신뢰하기 위해 필수적이라고 여기는 이런 과정을, 몇몇 지혜로운 사람과 어리석은 다수로 이루어진 공중도 따라야 한다고 요구한다면 너무 과도한 걸까? 그렇지 않다. 가장 관용이 없는 교회로 여겨지는 로마 가톨릭교회조차도, 성인을 시성할 때 ‘악마의 대변인devil’s advocate’을 받아들이고 그의 주장을 인내심을 가지고 경청한다. 가장 성스러운 사람이라고 할지라도, 악마가 그에 대해 할 수 있는 모든 주장을 검토하고 평가하지 않으면 사후의 영예를 받을 수 없다.
--- 「제2장 생각과 토론의 자유」 중에서

현재는 개인이 군중 속에서 사라지고 있다. 정치에서 여론이 세상을 지배한다는 말은 이제 진부하다. 이름을 가질 자격이 있는 유일한 권력은 대중의 권력, 그리고 대중의 성향과 본능을 대변하는 동안 정부가 누리는 권력이다. 이는 공적인 영역만이 아니라, 도덕적, 사회적, 개인적인 삶에서도 마찬가지로 진실이다. 여론public opinion이라는 이름으로 불리는 의견을 가진 사람들은 늘 같은 종류의 공중the public을 의미하는 건 아니다. 미국에서는 모든 백인 인구를 의미하고, 영국에서는 주로 중산층을 뜻한다.
--- 「제3장 개별성-행복의 요소로서 개별성」 중에서

나는 인간의 자유가 얼마나 가볍게 여겨지는지를 보여주는 또 다른 예로, 이 나라의 언론이 모르몬교Mormonism라는 놀라운 현상을 언급할 때마다 터져 나오는 노골적인 박해의 언어를 덧붙이지 않을 수 없다. (중략) 여기서 우리는, 이 종교에 다른 더 공인된 종교들과 마찬가지로 순교자들이 있다는 점에 주목해야 한다. 이들의 예언자이자 창시자는 그의 가르침 때문에 폭도에 의해 죽임을 당했으며, 다른 신자들 또한 불법적인 폭력에 목숨을 잃었다. 이들은 처음 모르몬교가 성장했던 나라에서 강제로 추방당해 이제는 황량한 사막 한가운데 외딴 지역으로 쫓겨난 상태다. 그런데도 이 나라에서는 토벌대를 보내 이 모르몬교도들이 다른 사람들의 의견에 순응하도록 해야 한다고 공개적으로 주장하는 사람들이 많이 있다.
--- 「제4장 사회가 개인에게 행사할 수 있는 권위의 한계에 대하여」 중에서

이런 이유로 국가가 일부 소비 품목에 어떤 사람들에게는 금지에 가까운 부담을 주는 세금을 부과하는 일은 불가피하다. 따라서 국가가 세금을 부과할 때, 소비자들이 가장 쉽게 절약할 수 있는 상품이 무엇인지 의무적으로 고려해야 한다. 더 나아가 적정량을 초과하여 사용될 경우 명백히 해롭다고 판단되는 품목을 우선하여 선택하는 것이 바람직하다. 따라서 자극제에 대한 과세가 최대한의 세수를 창출하는 지점까지 이루어지는 것은(국가가 그 세수를 모두 필요로 한다고 가정할 때) 단지 허용될 뿐만 아니라 권장해야 한다.
--- 「제5장 현실 적용」 중에서

요약하자면, 정부가 행사할 수 있는 권력을 제한하는 일을 liberty라고 하며, 밀은 『자유론』에서 이런 제한에 초점을 맞추고 있다. 밀은 일관적으로 개인이 자신의 능력을 마음껏 발휘할 수 있도록 해야 한다고 주장하지만, 이 책의 주제는 개인의 능력을 마음껏 발산하는 일이 아니라, 그 능력을 마음껏 발산하도록 하는 공적인 조건이다. 그 공적인 조건이 바로 권력에 대한 제한, liberty이다.