全球 IP 網際網路 (The Global IP Internet)

Overview Table

Internet 應用的軟硬體組織 (p.960)

全球 IP Internet 是最著名、最成功的 internet 實作,自 1969 年存在至今;雖然內部架構複雜且持續演變,但 client-server 應用的組織方式自 1980 年代初以來非常穩定。每台 Internet host 都執行實作 TCP/IP 協定的軟體,client 與 server 透過 sockets interface 函式 加上 Unix I/O 函式 溝通。

     Internet client host                Internet server host
    +--------------------+              +--------------------+
    |  Client (user code)|              | Server (user code) |
    +--------------------+              +--------------------+
        | Sockets interface (system calls)      |
    +--------------------+              +--------------------+
    | TCP/IP (kernel code)|             | TCP/IP (kernel code)|
    +--------------------+              +--------------------+
        | Hardware interface (interrupts)       |
    +--------------------+              +--------------------+
    |  Network adapter   |              |  Network adapter   |
    +---------+----------+              +----------+---------+
              |                                    |
              +------- Global IP Internet ---------+

• sockets 函式通常實作為 system call:trap 進 kernel,呼叫 TCP/IP 的 kernel-mode 函式。
• TCP/IP 實際上是一個協定家族,各協定提供不同能力:

11.3.1 IP Addresses (p.961-962)

IP address 是一個 unsigned 32-bit 整數。網路程式將它存放在 IP address 結構 struct in_addr 中——把純量位址包進 struct 是早期 sockets interface 實作留下的歷史包袱 (unfortunate artifact),因既有應用程式規模龐大,已無法更改。

/* IP address structure */
struct in_addr {
    uint32_t s_addr; /* Address in network byte order (big-endian) */
};

Network byte order 與轉換函式

不同 host 的 byte order 可能不同,因此 TCP/IP 為封包標頭中攜帶的任何整數資料(如 IP address、port)定義了統一的 network byte order = big-endian。in_addr 中的位址永遠以 network byte order 存放,即使 host 是 little-endian(參見 02-Information-Representation/01-Information-Storage-and-Bits 的 byte ordering 討論)。

#include <arpa/inet.h>
uint32_t htonl(uint32_t hostlong);   /* host → network, 32-bit */
uint16_t htons(uint16_t hostshort);  /* host → network, 16-bit */
uint32_t ntohl(uint32_t netlong);    /* network → host, 32-bit */
uint16_t ntohs(uint16_t netshort);   /* network → host, 16-bit */

• 命名規則:h = host、n = network、l = long (32-bit)、s = short (16-bit)。
• 沒有對應的 64-bit 版本函式 (p.962)。

Dotted-decimal 表示法與 inet_pton / inet_ntop

IP address 呈現給人類時使用 dotted-decimal notation:每個 byte 以十進位表示、以句點分隔。例如 128.2.194.242 即 0x8002c2f2(128=0x80、2=0x02、194=0xc2、242=0xf2)。Linux 上可用 hostname -i 查詢本機的 dotted-decimal 位址。

#include <arpa/inet.h>
int inet_pton(AF_INET, const char *src, void *dst);
        /* Returns: 1 if OK, 0 if src 不是合法 dotted-decimal, -1 on error(設 errno) */
const char *inet_ntop(AF_INET, const void *src, char *dst, socklen_t size);
        /* Returns: 指向 dotted-decimal 字串的指標 if OK, NULL on error */

• 名稱中 n = network(binary,network byte order)、p = presentation(dotted-decimal 字串)。
• inet_pton:字串 → binary(network byte order);inet_ntop:binary → 字串,最多複製 size bytes(含 null 結尾)到 dst。
• 兩者可處理 32-bit IPv4(AF_INET)或 128-bit IPv6(AF_INET6,本書不涵蓋)。

 "128.2.194.242"  --- inet_pton (p→n) --->  0x8002c2f2 (big-endian 存放)
 (presentation)   <--- inet_ntop (n→p) ---  (network binary)

11.3.2 Internet Domain Names (p.963-965)

client 與 server 實際通訊時使用 IP address,但大整數難以記憶,因此 Internet 另外定義了一組人性化的 domain name,以及 domain name 集合到 IP address 集合的映射機制。domain name 是由句點分隔的一串字詞(字母、數字、連字號),如 whaleshark.ics.cs.cmu.edu。

Domain name 階層

domain name 集合構成一個階層 (hierarchy),每個 domain name 編碼了它在階層中的位置。階層以樹表示,節點的名稱由「回到根的路徑」組成;子樹稱為 subdomain。

                        (unnamed root)
                              |
        +---------+----------+----------+
       mil       edu        gov        com          <- first-level(ICANN 定義)
                  |                     |
          +-------+--------+         amazon         <- second-level(向 ICANN 授權
         mit     cmu    berkeley        |               代理機構先到先得申請)
                  |                    www           <- third-level(組織自行建立)
          +-------+------+       176.32.98.166
         cs             ece                          <- cs.cmu.edu(cmu 的 subdomain)
          |
   +------+------+
  ics           pdl                                  <- 4th-level
   |             |
whaleshark      www                                  <- 5th-level
128.2.210.175  128.2.131.66     (完整名:whaleshark.ics.cs.cmu.edu)

• 第一層是未命名的 root 節點;下一層為 first-level domain names,由非營利組織 ICANN(Internet Corporation for Assigned Names and Numbers)定義,常見如 com、edu、gov、org、net。
• second-level domain name(如 cmu.edu)由 ICANN 的授權代理機構以先到先得 (first-come first-serve) 方式分配;取得後,組織即可在其 subdomain 內自由建立任何新名稱(如 cs.cmu.edu)。

DNS:domain name ↔ IP address 映射

• 1988 年以前,這個映射靠一個手動維護的文字檔 HOSTS.TXT;之後改由全球分散式資料庫 DNS (Domain Name System) 維護。
• 概念上 DNS 資料庫由數百萬筆 host entry 組成,每筆定義「一組 domain names 與一組 IP addresses」的映射——數學上可視為 domain names 與 IP addresses 的等價類 (equivalence class)。
• 可用 Linux nslookup 觀察映射性質,hostname 查詢本機真實 domain name。

11.3.3 Internet Connections (p.965-967)

Internet client 與 server 透過 connection 收送 byte stream 來通訊。connection 有三大性質:

• Point-to-point:連接一對 process。
• Full duplex:資料可同時雙向流動。
• Reliable:除非發生災難性故障(如挖土機挖斷電纜),來源 process 送出的 byte stream 最終會以相同順序被目的 process 收到。

Socket、socket address 與 port

• socket 是 connection 的端點 (end point);每個 socket 有對應的 socket address,由一個 Internet address 與一個 16-bit port 組成,記為 address:port。
• client 端 port:client 發出連線請求時由 kernel 自動分配,稱為 ephemeral port(臨時埠)。
• server 端 port:通常是與服務永久關聯的 well-known port,並有對應的 well-known service name;映射記錄在 /etc/services 檔案中。

Socket pair:連線的唯一識別

一條 connection 由其兩端的 socket address 唯一識別,這對 socket address 稱為 socket pair,記為:

(cliaddr:cliport, servaddr:servport)

   Client socket address                    Server socket address
   128.2.194.242:51213                      208.216.181.15:80
        +--------+                              +--------+
        | Client |======= connection ===========| Server |
        +--------+      socket pair             |(port 80)|
             ^   (128.2.194.242:51213,          +--------+
             |    208.216.181.15:80)                 ^
   client host address                     server host address
     128.2.194.242                           208.216.181.15

例中 51213 是 kernel 分配的 ephemeral port,80 是 Web 服務的 well-known port;整條連線由 socket pair (128.2.194.242:51213, 208.216.181.15:80) 唯一決定。這個唯一識別性是之後 server 能同時服務多個 client 的基礎(參見 11-Network-Programming/03-Sockets-Interface)。

歷史脈絡(Asides, p.966-968)

• Internet host 數量:Internet Systems Consortium 自 1987 年起每年兩次進行 Internet Domain Survey(以「被指派 domain name 的 IP address 數」估計 host 數);1987 年約 20,000 台,指數成長,2015 年已超過 10 億台。
• Internet 起源:1957 Sputnik → 美國成立 ARPA;1969 首批 ARPANET 節點上線;1972 Robert Kahn 提出 internetworking 原則(router 以 best-effort 方式串接各網路);1974 Kahn 與 Vinton Cerf 發表 TCP/IP;1983/1/1 ARPANET 全面切換到 TCP/IP = 全球 IP Internet 誕生;1985 Paul Mockapetris 發明 DNS;NSFNET backbone 由 56 Kb/s → T1 (1.5 Mb/s, 1988) → T3 (45 Mb/s, 1991);1995 NSFNET 退役,改為由 public network access points 連接私有商用 backbone 的現代架構。成功關鍵:美國政府 30 年持續投資 + "rough consensus and working code"。
• Sockets interface 起源:1980 年代初 UC Berkeley 研究者開發(故稱 Berkeley sockets),設計上可搭配任何底層協定;第一個實作針對 TCP/IP,隨 Unix 4.2BSD kernel 散布,讓 TCP/IP 及其原始碼一夕普及。

Exam/Test Patterns

Related Notes

• 11-Network-Programming/01-Client-Server-Model-and-Networks
• 11-Network-Programming/03-Sockets-Interface
• 11-Network-Programming/04-Web-Servers-and-Tiny
• 02-Information-Representation/01-Information-Storage-and-Bits
• 10-System-IO/01-Unix-IO-and-Files
• 01-Computer-Systems-Tour/03-OS-Abstractions-and-Networks