네트워크 - 심화(프로토콜 계층, HTTP 헤더, 웹 캐시)

네트워크 – 심화

네트워크 통신에 대한 깊이 있는 이해
→ 복잡한 인터넷 망에서 프로토콜 계층을 통해 클라이언트와 서버가 통신하는 방법을 알아보자

학습 목표

* HTTP 기반 네트워크 흐름

* TCP/IP 기반 네트워크 흐름
- TCP/IP 패킷
- TCP와 UDP의 차이

* HTTP 기본 동작과 특징
- 상태유지(Stateful)과 무상태(Stateless)의 개념
- HTTP 메시지 구성

* HTTP 헤더의 역할
- 표현, 콘텐츠 협상 등 다양한 헤더의 역할

* 캐시의 필요성
- 브라우저 캐시, 프록시 캐시
- 조건부 요청, 캐시 무효화 방법

인터넷 프로토콜

IP와 IP Packet

일반적으로 인터넷으로 데이터 통신을 할 때, IP(Internet Protocol) 주소를 컴퓨터에 부여하여 이를 이용해 통신한다

 

IP는 지정한 IP 주소에 패킷(packet)이라는 통신 단위로 데이터 전달을 함
패킷은 간단히 말해 소포 포장 이라 이해하면 편하다
→ 전송 데이터를 포함하면서, 우체국 송장 처럼 출발지, 목적지 IP 등의 정보를 가지고 있음(cf. port 정보는 가지고 있지 않음)

 

패킷 단위로 전송을 하면, 각 노드들을 거치면서 노드들 간 목적지 IP에 도달하기 위해 데이터를 전달함

그런데, IP 프로토콜도 한계가 존재한다

IP 프로토콜의 한계

비연결성

• 패킷을 받을 대상이 없거나 서비스 불능 상태여도 패킷을 전송함
  → 클라이언트는 서버의 상태를 알 수 없기에 서버가 죽었어도 무턱대고 막 패킷을 보내는 것

비신뢰성

• 패킷이 중간에 사라질 수 있음
  → 중간에 패킷이 소실되어도 클라이언트는 이를 알 수 없다
• 패킷의 순서를 보장할 수 없음
  → 전달 데이터가 많은 경우, 이를 패킷 단위로 쪼개서 전달하는데, 이 데이터의 도착 순서가 클라이언트가 의도하지 않은 순서로 서버에 도착할 수 있다는 것 (순서가 뒤죽박죽)

TCP vs. UDP

IP 프로토콜의 한계를 보완하는 방법

OSI 7계층과 TCP/IP 4 계층

 

IP 프로토콜(OSI 계층 구조 기준 3계층; 네트워크 계층)보다 TCP, UDP 프로토콜이 더 높은 계층(4계층; 전송 계층)이므로, 이를 보완할 수 있다

 

기본적인 데이터 전송의 로직을 정리해보면,

채팅 프로그램에서 메시지를 보낸다고 가정

1. http 메시지 생성: 프로그램이 `hell world` 메시지 작성
→ http: [`hell world`]

2. http 메시지가 socket 라이브러리를 통해 전달
→ socket : 프로그램이 네트워크에서 데이터를 송수신할 수 있도록, `네트워크 환경에 연결할 수 있게 만들어진 연결부`

3. TCP 정보 생성(메시지 데이터 포함)
→ IP 패킷을 생성하기 전에 TCP 세그먼트를 생성한다
→ TCP: [http: [`hell world`]]

4. IP 패킷 생성(TCP 데이터 포함)
→ IP: [TCP: [http: [`hell world`]]]

5. 이더넷 프레임(ethernet Frame) 워크에 포함되어 서버로 전송
→ LAN 카드와 같은 물리적 계층을 통과하기 위해 이더넷 프레임 워크에 포함되어 목적지인 서버로 전송된다
→  ethernet Frame: [IP: [TCP: [http: [`hell world`]]]]

 

TCP/IP 패킷 정보

 

TCP 세그먼트에는 출발지 PORT, 목적지 PORT, 전송 제어, 순서, 검증 정보 등이 포함됨

 

TCP의 특징

TCP?
→ 전송 제어 프로토콜(Transmission Control Protocol)

* 연결 지향
→ 3 way handshake(가상 연결)

* 데이터 전달 보증

* 순서 보장

* 신뢰할 수 있는 프로토콜
→ UDP에 비해 상대적

 

TCP 3 way handshake

established가 되면, 연결이 성립된 상태이고 데이터를 전송할 수 있는 상태
→ 최근에는, 3way handshake가 최적화가 되서 3번째 (클라이언트가) ack을 보낼 때, 데이터를 함께 보내기도 한다(ack+데이터)

• SYN: syncronize, ACK: Acknowledgment

데이터 전달 보증

데이터 전송이 성공적으로 이루어지면, 이에 대한 응답을 돌려주기 때문에 IP 패킷의 한계점인 비연결성을 보완해 줌

순서 보장

만약 패킷이 순서대로 도착하지 않으면, TCP 세그먼트에 있는 정보를 토대로 패킷 재전송을 요청
→ IP 패킷의 한계점인 비신뢰성(순서를 보장하지 않음)을 보완

UDP의 특징

사용자 데이터그램 프로토콜(User Datagram Protocol)
→ IP 프로토콜에 Port, 체크섬 필드 정보만 추가됨

• 체크섬(checksum)?
  중복검사의 한 형태. 오류 정정을 통해, 공간(전자 통신)이나 시간(기억 장치) 속에서 송신된 자료의 무결성을 보호하는 단순한 방법

* 하얀 도화지에 비유 가능(기능이 거의 없음)
→ 대신, 그만큼 커스터마이징이 가능(ex. google의 QUIC 프로토콜)

* 비 연결지향 – 3wayhandshake가 x

* 데이터 전달 보증 x

* 순서 보장 x

* 그 대신, 단순하고 빠름

* 신뢰성보다는 연속성이 중요한 서비스(ex. 실시간 스트리밍; 유튜브 라이브, 트위치 …)

 

TCP vs. UDP

TCP와 UDP의 비교 정리

TCP                                UDP
====================================================
연결지향형 프로토콜            비 연결지향형 프로토콜
전송 순서 보장                전송 순서 보장x
데이터 수신 여부 확인        데이터 수신 여부 확인x
신뢰성 높지만 느림(상대적)    신뢰성 낮지만 빠름(상대적)
----------------------------------------------------

HTTP

HTTP 버전에 따라 사용하는 기반 프로토콜이 다르다
→ 현재는 HTTP/1.1을 주로 사용(TCP 기반)

• TCP 기반: HTTP/1.1, HTTP/2
• UDP 기반: HTTP/3

HTTP의 특징

* 클라이언트-서버 구조

* 무상태 프로토콜(stateless), 비연결성(connectionless)

* http 메시지

* 단순함, 확장 가능

클라이언트-서버 구조

클라이언트가 서버에 요청(req)을 보내면 서버는 그에 대한 응답(res)을 보내는 구조로 되어 있음
→ Request Response 구조

무상태 프로토콜(stateless)

서버가 클라이언트의 상태를 보존하지 않음
→ 장점: 서버 확장성이 높음(스케일 아웃)
→ 단점: 클라이언트가 추가 데이터를 전송해야 함

• 상태 유지와 무상태란?

// 카페에 음료를 주문하러 온 손님과 점원으로 비유

* 상태 유지(stateful): 중간에 다른 점원으로 바뀌면 안됨
- 중간에 다른 점원으로 바뀐다면, 상태 정보를 다른 점원에게 미리 알려줘야 한다

* 무상태: 중간에 다른 점원으로 바껴도 된다(고객이 정보를 다 담아서 요청함)
- 갑자기 고객이 증가해도 점원을 대거 투입 가능
→ 갑자기 클라이언트 요청이 증가해도 서버를 대거 투입할 수 있음

즉, 무상태는 응답(res) 서버를 쉽게 바꿀 수 있다
→ 무한한 서버 증설 가능(scale out): 수평적 확장에 유리

• 그러나 무상태(stateless)에도 한계가 존재한다
  → 로그인이 필요한 서비스 같이 상태 유지가 필요한 경우가 존재
  → 브라우저 쿠키, 서버 세션, 토큰 등의 방법으로 상태 유지가 필요
  → 단, 상태 유지는 최소한만 사용해야 함

비연결성(connectionless)

• TCP/IP에서는 기본적으로 연결을 유지한다(Connection Oriented)
  → 클라이언트가 요청을 보내지 않더라도 계속 서버와 연결을 유지하면서, 서버의 자원이 계속 소모됨
• 비연결성인 HTTP에서는 실제로 요청을 주고받을 때만 연결을 유지하고, 응답(res)을 주고나면 TCP/IP 연결을 끊는다
  → 서버 연결 유지x, 최소한의 자원만 사용
  → 빠른 속도로 응답 가능
  → 1시간 동안 수천명이 서비스를 이용해도 실제 서버에서 동시에 처리하는 요청은 수십개 이하로 매우 작다

트래픽이 많지 않고, 빠른 응답을 제공할 수 있는 경우에 효율적임!

• 비연결성의 한계: 다음과 같은 한계점이 존재

* 연결을 다시 맺을 때 마다 TCP/IP 연결을 새로 맺어야 함(3 way handshake 시간 생각)

* 웹 브라우저로 사이트를 요청 시, 수많은 자원이(http, js, css, 추가 이미지 등) 
함께 다운로드되는데, 그 때마다 연결을 끊고 다시 연결하고 반복하는 비효율성?
→ http 초기에는 각각의 자원을 다운로드하기 위해 연결과 종료를 반복함

• 한계의 극복: HTTP 지속 연결(Persistent Connections) 을 통한 극복
  → 연결이 이루어지고 난 뒤, 각각의 자원들을 요청하고 모든 자원에 대한 응답이 돌아온 후에 연결을 종료함
  (또한, 한계점을 보완하기 위해 http/2, http/3등을 거치면서 더 많은 최적화 과정을 거침)
  → keep-alive 를 이용함

HTTP 헤더

HTTP 헤더란?

HTTP 메시지= 헤더 + 바디
→ 메시지 본문(body;payload)를 통해 표현 데이터를 전달함

• 표현: 요청이나 응답에서 전달할 실제 데이터
• 표현 헤더: 표현 데이터를 해석할 수 있는 정보를 제공
  → 데이터 유형(html, json), 데이터 길이, 압축 정보 등

HTTP 헤더의 형식

<field-name>: <field-value>
→ field-name은 대소문자 구분없음

// 간단히 예를 보면 이해하기 쉽다

Content-type: application/json
Content-length: 3423
Host: www.google.com

...

 

HTTP 헤더의 용도

HTTP 헤더는 HTTP 전송에 필요한 모든 부가 정보를 담기 위해 사용
ex) 메시지 바디의 크기, 압축, 인증, 서버 정보 , …
→ 표준 헤더가 매우 많다

• 필요시 임의의 헤더를 추가할 수 도 있다
  (ex. Hello: hihi)

표현 헤더(representation headers)

표현 데이터의 형식, 압축 방식, 자연 언어, 길이 등을 설명하는 헤더이다
→ 표현 헤더는 요청(req), 응답(res) 모두 사용하는 헤더이다

Content로 시작하는 헤더들은 거진, 바디(데이터)를 설명하는 표현 헤더라고 보면 된다

 

대표적인 헤더들은 다음과 같다

* content-type: 표현 데이터의 형식을 설명
- 미디어 타입, 문자 인코딩
- text/html;charset=utf-8, application/json, image/png, ...

* content-encoding: 표현 데이터의 압축 방식(인코딩)
- 데이터를 전달하는 곳에서 압축 후 인코딩 헤더를 추가
- 데이터를 읽는 쪽에서 인코딩 헤더의 정보로 압축 해제
- gzip, deflate, identity, ...

* content-language: 표현 데이터의 자연 언어
- ko, en, en-US, ...

* content-length: 표현 데이터의 길이
- 바이트(byte) 단위
- transfer-encoding(전송 코딩)을 사용하면 content-length를 사용하면 안됨

• transfer-encoding은 전송 시에 어떤 인코딩 방법을 사용할지 명시함
  → chunked 방식으로 사용한다
  → chunked 방식의 인코딩은 많은 양의 데이터를 분할하여 보내기에 전체 데이터의 크기를 알 수 없어서, 표현 데이터의 길이를 명시해야 하는 content-length와 함께 사용x

현재는 transfer-encoding 보다는 content-encoding을 사용하는 편이다

 

HTTP 주요 헤더

요청(request)에 사용되는 주요 헤더

from: 유저 에이전트의 이메일 정보

• 일반적으로 잘 사용하지 않는다
• 검색엔진에서 주로 사용

referer: 이전 웹 페이지 주소

• 현재 요청된 페이지의 이전 웹 페이지 주소
• A→ B로 이동하는 경우, B를 요청할 때 referer: A를 포함해서 요청함
• referer를 사용하면 유입 경로 수집 가능

user-agent: 유저 에이전트 애플리케이션 정보

• 클라이언트의 애플리케이션 정보(웹 브라우저 정보 등)
• 통계 정보
• 장애 등 발생 시, 어떤 종류의 브라우저에서 발생했는지 파악 가능

host: (클라이언트가) 요청한 호스트 정보(도메인)

• 필수 헤더임
• 하나의 서버가 여러 도메인을 처리해야 할 때 호스트 정보를 명시하기 위해 사용
• 하나의 IP 주소에 여러 도메인이 적용되어 있을 때 호스트 정보를 명시하기 위해 사용

origin: 서버로 post 요청을 보냈을 때, 요청을 시작한 주소

• 여기서 요청을 보낸 주소와 받는 주소가 다르면, CORS 에러가 발생함
• 응답 헤더의 access-control-allow-origin 과 관련

authorization: 인증 토큰(ex. jwt)을 서버로 보낼 때 사용하는 헤더

• 토큰의 종류(ex. Basic) + 실제 토큰 문자 형태로 전송
• ex) Authorization: Basic YWxhZGRpbjpvcGVuc2VzYW1l

응답(response)에 사용되는 주요 헤더

server: 요청을 처리하는 origin 서버의 소프트웨어 정보

• ex) Server: Apache/2.2.22 (Debian)
  Server: nginx

date: 메시지가 발생한 날짜와 시간

• ex) Date: Tue, 15 Nov 1994 08:12:31 GMT

location: 페이지 리디렉션

• 웹 브라우저는 300번대 응답의 결과에 location 헤더가 있으면, location 위치로 리다이렉트한다(자동 이동)
• 201(created): 이 때의 location값은 요청에 의해 생성된 리소스 URI
• 3xx(redirection): 이 때의 location 값은 요청을 자동으로 리디렉션하기 위한 대상 리소스

allow: 허용가능한 http 메서드

• 405(method not allowed)에서 응답에 포함됨
• ex) allow: GET, HEAD, PUT

retry-after: 유저 에이전트가 다음 요청을 하기까지 기다려야 하는 시간

• 503(service unavailable)와 같은 상태 코드로 응답할 때 사용 가능
• ex) Retry-After: Fri, 31 Dec 2020 23:59:59 GMT(날짜 표기)
  Retry-After: 120(초 단위 표기)

그 외 주요한 헤더들은 해당 문서를 참고
https://en.wikipedia.org/wiki/List_of_HTTP_header_fields

List of HTTP header fields - Wikipedia

콘텐츠 협상 헤더

HTTP를 이용한 콘텐츠 협상 시, 클라이언트가 선호하는 표현을 요청하는 헤더

• 콘텐츠 협상 헤더는 요청(req)시에만 사용한다

accept로 시작하는 헤더들은 거진 콘텐츠 협상 헤더 라고 보면 된다

* accept: 클라이언트가 선호하는 미디어 타입

* accept-charset: 클라이언트가 선호하는 문자 인코딩

* accept-encoding: 클라이언트가 선호하는 압축 인코딩

* accept-language: 클라이언트가 선호하는 자연 언어

중요한 점은 선호하는 이라는 것!
→ 무조건 이걸로 해라가 아니고 선호한다 이므로, 서버에서 그 선호를 지원하면 그대로 해줄 것이고, 지원하지 않는다면 어떻게 처리?

협상과 우선순위

이런 경우를 위해서, 협상 헤더에서는 원하는 콘텐츠에 대한 우선순위를 지정할 수 있다

• Quality values(q)값을 사용
• 0~1의 값. 클수록 높은 우선 순위
• 생략하면 기본값은 1

//ex

GET/event
accept-language: ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7

// ko-KR은 생략된 값인 기본값 1임(ko-KR;q=1)

 

웹 캐시

캐시와 관련된 HTTP 헤더에 대해 알아 보자

캐시의 기본 원리 및 적용

• 만약 HTTP 통신에서 캐시가 없다면?

* 데이터가 변경되지 않아도 네트워크를 통해서 계속 동일한 데이터를 다운로드받아야 함
* 용량이 클 수록 비용이 커지고 브라우저 로딩 속도가 느려짐
→ 느린 사용자 경험 제공

캐시 적용

HTTP 통신에서 브라우저에 캐시를 저장하는 경우 cache-control 속성의 지시자(옵션?)를 통해 캐시의 유효한 시간(초)을 지정 가능

// ex)
cache-control: max-age=60

// 응답을 받았을 때, 브라우저 캐시에 해당 응답 결과를 저장하고 이는 60초동안 유효

이제 두번째 요청부터는 캐시를 우선 조회하게 됨
→ 캐시가 존재하고, 유효한 캐시라면 해당 캐시에서 데이터를 가져 옴

* 캐시 가능 시간 동안 네트워크를 사용하지 않아도 됨
→ 비싼 네트워크 사용량을 절감

* 브라우저의 빠른 로딩 속도
→ 빠른 사용자 경험 제공

캐시 시간이 초과했을 경우

캐시의 유효 시간을 초과한 경우, 다시 서버에 요청을 하고 다시 지정 시간만큼 유효한 데이터를 응답받는다
→ 이 때, 다시 네트워크 다운로드가 발생
→ 물론, 이러한 비효율성을 방지하기 위한 옵션 설정이 있음(아래에서 후술)

 

응답 결과를 브라우저가 렌더링하면, 브라우저 캐시는 기존 캐시를 지우고 새 캐시로 데이터를 업데이트
→ 캐시 갱신(캐시 유효 시간이 다시 초기화)

캐시 검증 헤더와 조건부 요청

캐시를 제어할 수 있는 검증 헤더(res에서 사용)와 이를 이용한 조건부 요청(req에서 사용)을 알아보자

• case: 만약 캐시 유효 시간이 초과하더라도 서버 데이터가 변경되지않았다면 그대로 캐시 데이터를 사용할 방법은 없을까?
  → 검증 헤더와 조건부 요청을 이용

검증 헤더 Last-Modified

응답(res) 헤더의 Last-Modified에는 데이터 최종 수정일 정보가 담김
→ 응답 결과를 캐시에 저장 시에 이 정보도 저장된다

이를 통해 캐시의 수정시간을 알 수 있음

조건부 요청(req) If-Modified-Since

캐시 유효시간이 초과하더라도 If-Modified-Since 헤더를 이용해 조건부 요청 가능(두번째 요청)

1. 서버는 데이터가 수정되었는지 검증(`Last-Modified` 헤더를 비교해서)

2. 수정되지 않았다면 body를 제외한 http 헤더만 전송
→ ex) HTTP/1.1 304 Not Modified …(HTTP body는 없음)

3. 브라우저 캐시에서 응답 결과를 재사용, 캐시의 메타데이터 또한 갱신(유효시간 등)

4. 브라우저는 캐시에서 조회한 데이터를 렌더링

결과적으로 네트워크 다운로드가 발생하지만 용량이 적은 헤더 정보만 다운로드
→ 매우 실용적

Last-Modified와 If-Modified-Since 의 단점

* 1초 미만(0.x초) 단위로 캐시 조정이 불가능

* 날짜 기반의 로직을 사용

* 데이터를 수정해서 날짜가 다르지만, 같은 데이터를 수정해서 결과가 같은 경우에는 적용 안됨

* 서버에서 별도의 캐시 로직을 관리하고 싶지만 불가능
ex) 스페이스, 주석처럼 크게 영향없는 변경에서 캐시를 유지하고 싶은 경우

 

검증 헤더Etag 와 If-None-Match 조건부 요청

앞의 방식보다 좀더 간단한 방식

서버에서 완전히 캐시를 컨트롤하고 싶은 경우에 ETag를 사용

ETag(Entity Tag)

* 캐시용 데이터에 임의의 고유한 버전 이름을 달아둠

* 데이터가 변경되면 이 이름을 바꿔서 변경함(hash를 다시 생성)

* 단순하게 ETag만 보내서 같으면 유지, 다르면 다시 받는 방식

 

작동 방식은 다음과 같다

* 첫번째 요청시

1. 브라우저의 요청에 따라 서버가 응답. 이 때, 헤더에 ETag를 작성해 응답함(서버)

2. 클라이언트의 캐시에서 해당 ETag 값을 저장

* 두번째 요청시(캐시 유효시간 초과)

3. 요청 시에 `If-None-Match` 를 요청 헤더에 작성해서 전달

4. 서버는 브라우저 캐시의 `ETag` 값과 전달받은 `ETag`값을 비교

5. 이 경우 동일하다면, `If-None-Match`는 거짓(false)가 됨

6. 서버는 HTTP/1.1 304 Not Modified … (body는 x) 를 응답

이 후의 과정은 위와 동일(캐시 갱신 등)

• 캐시 제어 로직을 서버에서 완전히 관리하는 방식
  → 클라이언트는 단순히 ETag 값을 전달할 뿐 캐시 매커니즘은 모름
• 활용 예: 서버가 베타 오픈 기간인 3일 동안 파일이 변경되어도 ETag를 동일하게 유지
  → 애플리케이션 배포 주기에 맞춰 ETag를 갱신

캐시와 관련된 헤더들과 조건부 요청 헤더 정리

cache-control 옵션

* cache-control: max-age
- 캐시 유효 시간(초)

* cache-control: no-cache
- 데이터는 캐시해도 되지만, 항상 원래(origin) 서버에 검증하고 사용(사용시 마다)
→ 이름에 주의!

* cache-control: no-store
- 데이터에 민감한 정보가 있으므로 저장하면 안됨
→ 데이터가 *캐시되지 않으며,  메모리에서 사용하고 최대한 빨리 삭제

expires

캐시만료일을 지정(하위 호환)

ex) expires: mon, 01 Jan 1990 00:00:00 GMT

• 캐시 만료일을 정확한 날짜로 지정
• HTTP 1.0 부터 사용
• cache-control: max-age 와 함께 사용하면 expires는 무시됨(그래서 하위 호환)

→ 지금은 더 유연한 cache-control: max-age 가 권장된다

검증 헤더와 조건부 요청 헤더 정리

검증 헤더는 응답(res)시에 오고, 조건부 요청은 클라이언트가 요청(req) 시에 붙는 헤더

* 검증 헤더(validator)
- ETag
- Last-Modified

* 조건부 요청 헤더
- If-Match, If-None-Match : ETag 값을 사용
- If-Modified-Since, If-Unmodified-Since: Last-Modified 값을 사용

프록시 캐시(Proxy Cache)

• Proxy란?
  → 클라이언트가 다른 네트워크 서비스에 간접적으로 접속할 수 있게 하는 컴퓨터 시스템이나 응용 프로그램
  → 주로, 클라이언트와 서버 사이에 대리 로 통신을 수행하는 것을 가리킴

그 중계 기능을 하는 서버를 프록시 서버
→ 간접 접속을 통해서 보안, 캐싱을 통한 성능, 트래픽 분산 등의 장점

 

• case: 한국의 있는 클라이언트가 미국에 있는 서버(ex. 유튜브)에 접근하는 경우
  → 프록시 캐시 서버를 이용해 빠른 반응 속도

한국에 있는 프록시 캐시 서버를 통해 한국에 있는 클라이언트들은 여기서 데이터를 가져옴
→ 여러 사람이 찾은 자료일 수록, 이미 캐시에 등록되어 있으므로 빠른 속도로 가져올 수 있음

 

이 때, 클라이언트에서 사용하고 저장하는 캐시: `private 캐시`
프록시 캐시 서버의 캐시: `public 캐시`

프록시 캐시와 관련된 헤더

cache-control 옵션

* cache-control: public
- 응답이 public 캐시에 저장되어도 됨
→ `브라우저 캐시`뿐만 아니라 `프록시 캐시 서버`에도 저장된다는 뜻

* cache-control: private
- 응답이 해당 사용자만을 위한 것, private 캐시에 저장해야 함. 기본값
→ `브라우저 캐시`에 저장한다는 뜻

* cache-control: s-maxage
- 프록시 캐시에만 적용되는 max-age

* age: 60(http 헤더)
- 오리진 서버에서 응답 후 프록시 캐시 내에 머문 시간(초)

 

캐시 무효화

클라이언트가 캐시를 적용하지 않아도 웹 브라우저가 임의로 캐싱을 할 때, 특정 페이지에서 캐시되면 안되는 정보(민감 정보)가 있다면 캐싱을 무효화하는 방법?

* cache-control: no-cache
- 위에서 살펴본 내용

* cache-control: no-store
- 위 참조

* cache-control: must-revalidate
- 캐시 만료 후 최초 조회 시 원 서버에 검증
- 원 서버 접근 실패 시 반드시 오류가 발생해야 함: 504(gateway timeout)
- must-revalidate는 캐시 유효 시간이라면 캐시를 사용한다

* Pragma: no-cache
- http 1.0 하위 호환

확실하게 캐시 무효화 응답을 하고 싶다면 위에 있는 캐시 지시어를 모두 넣어야 한다(하위 호환까지 포함)

 

cache-control: no-cache vs. must-revalidate

• no-cache: 데이터 변경이 없다면 304(Not Modified) 응답 코드
  → 그런데 원 서버 접근이 불가능한 경우, Error를 응답하는게 아닌 오래된 데이터라도 보여주자는 개념으로
  200(ok)로 응답(res)
• must-revaildate: 원 서버에 접근이 불가능한 경우, 504(Gateway Timeout)을 반환
  → 통장 잔고 같은 중요한 데이터인 경우(금융 정보 등) 예전 데이터로 뜬다면 큰 문제가 생기므로, 이런 경우 must-revaildate 를 써야 한다

CDN(Content Delivery Network)

콘텐츠를 좀 더 빠르고 효율적으로 제공하기 위해 등장한 서비스
→ 세계 곳곳에 분포하는 데이터 센터에 콘텐츠를 저장해 두고, 이후 콘텐츠 요청을 받으면 지리적으로 가장 가까운 데이터 센터에서 콘텐츠를 제공해주는 방식

 

CDN도 프록시 서버의 한 종류이다(프록시 서버의 기능 중 하나인 것)

• case: 한국에서 특정 콘텐츠를 요청하는 경우

1.  가장 가까운 CDN 데이터센터가 해당 콘텐츠를 저장하고 있는지 확인

2-1. 만약 해당 데이터센터가 저장하고 있지 않다면, 이 데이터센터를 제외한 나머지 중, 지리적으로 가장 가까운 데이터센터를 선택  
2-2. 만약 저장하고 있다면, 해당 데이터센터는 즉시 요청받은 데이터를 제공해 줌

3.  모든 데이터센터가 해당 콘텐츠를 가지고 있지 않다면, 원본 서버에서 콘텐츠를 제공  
    → 이 경우, 콘텐츠를 데이터 센터에 저장한다(요청한 곳과 가장 가까운 데이터 센터에)

CDN이 다룰 수 있는 콘텐츠는 정적 콘텐츠와 동적 콘텐츠로 구분 가능

정적 콘텐츠(static contents)

내용이 거의 변하지 않는 콘텐츠

-   HTML 파일, 동영상과 같은 콘텐츠
-   변화가 없는 콘텐츠
-   개인화되지 않은 대중적인 콘텐츠

→ CDN의 캐시 서버에 저장하기 적합

동적 콘텐츠(dynamic contents)

접속할 때 마다 내용이 바뀌거나 사용자마다 다른 내용을 보여주는 콘텐츠

-   위치, IP 주소, 사용 시간 관련 콘텐츠
-   사용자가 접근할 때마다 내용이 달라지는 콘텐츠
-   카드 번호, 전화 번호 등 개인화된 정보 관련 콘텐츠

콘텐츠가 바뀔때 마다 캐시 서버에 바뀐 컨텐츠가 전파되어야 함
→ 동적 콘텐츠 자체를 저장하기 보다는 공통적인 부분(ex. html 파일)을 캐시 서버에 저장

CDN의 이점

1.  DDos 공격에 대한 대응(어느정도선)  
    → 지리적으로 가까운 다른 서버에서 제공하면 되니깐
2.  로딩 속도 감소로 인한 사용자 경험 향상
3.  트래픽 분산으로 인한 트래픽 관련 비용 절감  
    → 트래픽 분산이 안된다면, 서버 및 회선도 좋은거 써야 하고, 전기세도…  
    → 하지만, CDN을 통하면 트래픽이 분산됨

CDN 네트워크 구성 방법

크게, Scattered 방식과 Consolidated 방식을 사용
필요에 따라 Scattered 혹은 Consolidated 방식을 선택하여 사용하기도 함(한 가지 방식만 사용할 수 있는 건 아님)

Scattered 방식

최대한 낮은(빠른) 응답 시간이 집중한 방식

-   세계 곳곳에 최대한 많은 캐시 서버를 제공  
    → 낮은 수용량의 데이터 센터 및 캐시 서버
-   그만큼 높은 관리비용이 드므로, 사용자 요금도 높음(비용 부담 전가)
-   연결 수요가 적은 지역에 적절(유리)한 방식

Consolidated 방식

데이터 센터들을 통합하여 운용하는 방식(여러 서버를 통합하여)

-   몇몇의 고성능의 서버로 통합하여 운용하는 방식
-   응답시간은 증가. 대신, 관리 및 유지비용이 낮음  
    → 사용자 요금 부담도 적음
-   연결 수요가 많은 지역 대상으로 적절(유리)한 방식

CDN의 시간에 따른 변화

과거에는 Scattered 방식, 정적 콘텐츠 CDN이 주류
→ 낮은 응답 속도에 집중

현재에는 Consolidated 방식, 점차 동적 콘텐츠도 지원함(정적+동적 콘텐츠)
→ 낮은 응답속도+ 안정성, 보안

보충 내용

• 백엔드 개발자를 할 거라면 면접 단골 질문: OSI 7계층, TCP/IP 4계층과 데이터의 전송 로직 같은거?
• IP 기반 프로토콜에 신뢰성을 더하기 위해 추가된 것이 TCP(전송 제어 프로토콜)
• TCP/IP 계층 구조는 미국방성이 나눈 기준인데, 후에 생긴 OSI 7계층 구조가 실질적으로 많이 쓰인다고 보면 된다
  → OSI 로 세세하게 구분했을 때, 문제가 발생했을 때, 어느 부분에서 발생했는지 체크하기 좀 더 수월하다
• HTTP/3 는 UDP 기반인데, UDP는 헤더를 커스터마이징 할 수 있다
  → google에서 커스터마이징한 프로토콜이 QUIC
  → 아직까지는 HTTP/3는 범용화되지 않았다고 보면 된다. 전체에서 8% 정도만 지원하는 정도?

---