파이토치에서 신경망을 만들 때 가장 기본적인 요소는 텐서(Tensor)야. 텐서는 파이썬 리스트와 비슷하지만, 데이터와 가중치, 편향을 저장하는 데 사용돼. 텐서와 파이썬 리스트의 가장 큰 차이점은, 텐서에서는 모든 값이 같은 데이터 타입을 가져야 한다는 거야. 예를 들어, 정수형 텐서를 만들면 그 안의 모든 값이 정수여야 해. 또한, 텐서는 신경망에서 사용하기 최적화되어 있다는 점도 큰 차이점이야.
--- p.18

역전파는 두 단계로 이루어져 있어. 첫 번째 단계는, 각 최적화할 매개변수에 대해 미분(derivative)을 계산해. 이 미분값들의 집합을 ‘경사(gradient)’라고 불러. ‘역전파’라는 이름은 이 경사를 신경망의 출력층에서 입력층 방향으로 계산하기 때문에 붙여진 거야. / 그다음, 두 번째 단계에서는 경사 하강법(gradient descent) 또는 다른 최적화 방법을 사용해 매개변수를 조정해. 이 과정은 반복(iterative)적으로 진행되면서 최적의 값을 찾아가게 돼. 즉, 여러 작은 단계를 거쳐 점진적으로 매개변수를 개선하는 방식이야.
--- p.20

최초의 신경망은 1950년대에 만들어졌는데, 손글씨 숫자와 문자를 인식하도록 설계된 퍼셉트론이었어. 하지만 이 초기 CNN 설계는 데이터셋이 너무 작았고 컴퓨터가 너무 느려서 1990년대까지는 실제로 잘 작동하지 않았지. 그러나 운 좋게도 GPU(그래픽 처리 장치)를 연구하던 사람들이 CNN을 훨씬 빠르게 실행할 수 있다는 것을 알아냈어. GPU는 CNN 속도를 높였고, CNN은 이미지 분류를 잘하게 되었고, 우리가 현재 경험하고 있는 AI 혁명을 시작하게 된 거야.
--- p.128

최초의 인코더-디코더 모델은 LSTM을 사용했고(Sutskever et al. 2018), 입력 및 출력 시퀀스의 길이에 유연성을 허용하도록 펼쳐질 수 있었어… 그리고 숫자가 아닌 입력과 출력을
사용하여 쉽게 훈련할 수 있도록 허용하는 워드 임베딩 네트워크도 사용했지. 시퀀스-투-시퀀스 문제를 해결하기 위해 인코더-디코더 모델을 사용하는 방법을 설명할게. 그럼 같이 영어 구문을 스페인어 구문으로 번역하는 모델을 만들어보자.
--- p.184

이제 인코더-디코더 모델의 세부 사항을 알았으니, 각각 2개의 LSTM을 가진 2개의 레이어를 코딩해보자. 4개의 토큰 각각에 대해 2개의 워드 임베딩값을 생성하는 일은 nn.Embedding()으로 할 수 있어. 우리는 nn.LSTM()으로 LSTM 유닛의 스택과 레이어를 생성할 수 있어. input_size를 2로 설정하면 워드 임베딩값을 입력으로 모두 사용할 수 있고… 동일한 입력값을 받는 hidden_size를 2로 설정하고 LSTM 유닛의 스택 2개를 생성해. num_layers를 2로 설정해서 LSTM 유닛의 스택 2개를 생성하고… 마지막으로, nn.Linear()로 완전 연결 레이어를 생성할 수 있어.
--- p.198

단어 순서를 추적하는 것의 중요성을 이해하기 위해, 노말사우르스가 다음과 같이 말했다고 상상해보자… ‘스콰치가 피자를 먹는다.’ 이 경우, 스콰치는 아마 이렇게 말할 거야… “냠!!!” 반대로 노말사우르스가 이렇게 말했다고 상상해보자… ‘피자가 스콰치를 먹는다.’ 이 경우, 스콰치는 아마 이렇게 말할 거야 … “으악!!!” 이 두 문장은 정확히 동일한 단어를 사용하지만, 의미는 매우 달라. 따라서 단어 순서를 추적하는 것은 매우 중요해. 트랜스포머가 위치 인코딩으로 단어 순서를 어떻게 학습하는지 알아보자!