참고자료

외부 사이트

• 구글 검색의 원리(크롤링 및 색인)

• 구글 크롤러

• curl 사용법

• HTTP - MDN

• W3 - status code

• URL-encoding

• HTTP pipelining

줄바꿈 코드

줄바꿈 코드에는 CR(Carriage Return)과 LF(Line Feed)라는 두 종류가 있다. Unix 계열의 OS(Linux와 macOS 등)는 LF, 윈도우는 CR과 LF를 조합한 CRLF를 사용한다. 참고로 macOS 9 이전의 버전은 CR을 사용했다.

System.out.print("LF 줄바꿈 \n");
System.out.print("CR 줄바꿈 \r");
System.out.print("CRLF 줄바꿈 \r\n");

HTTP 통신에서는 줄 바꿈 문자로 CRLF를 사용한다는 것을 기억하자(대부분의 서버와 클라이언트에서 알아서 처리하긴 하지만 참고하자).

URI와 URL

URI(Uniform Resource Identifier)는 리소스를 나타내는 식별자의 작성 규칙을 나타내며, URL(Uniform Resource Locator)은 이러한 규칙에 따라 웹에 있는 리소스의 "위치"를 작성하는 것이다. 따라서 URL은 URI의 일종이라고 할 수 있다.

인코딩이 필요한 일반 문자

https://developers.google.com