RIO 套件與檔案中繼資料 (RIO Package & File Metadata)

Overview Table

10.5 RIO(Robust I/O)套件總覽 (p.933)

Unix read/write 在網路程式等情境會回傳 short count(實際傳輸位元組數少於要求數),應用程式必須反覆呼叫直到傳完。RIO 套件自動處理 short count,提供健壯、方便、高效的 I/O,是後續網路程式(Ch.11、Ch.12)的基礎。RIO 提供兩類函式:

• Unbuffered 輸入輸出函式:資料直接在記憶體與檔案間傳輸,無應用層緩衝;特別適合網路上的二進位資料讀寫。
• Buffered 輸入函式:內容先快取在應用層緩衝區(類似 standard I/O 的 printf 緩衝),可高效讀取文字行與二進位資料;且與 Stevens 的版本不同,RIO 緩衝函式是 thread-safe(見 12-Concurrent-Programming/04-Parallelism-and-Thread-Safety),可在同一 descriptor 上任意交錯(先讀幾行文字、再讀二進位、再讀文字)。

10.5.1 RIO 無緩衝輸入輸出函式 (p.933-935)

#include "csapp.h"
ssize_t rio_readn(int fd, void *usrbuf, size_t n);
ssize_t rio_writen(int fd, void *usrbuf, size_t n);
// 回傳:成功為已傳輸位元組數;EOF 回傳 0(僅 rio_readn);錯誤回傳 -1

• rio_readn:從 fd 的目前檔案位置傳送最多 n bytes 到 usrbuf;只有遇到 EOF 才可能回傳 short count。
• rio_writen:從 usrbuf 傳送 n bytes 到 fd;永不回傳 short count。
• 兩者可在同一 descriptor 上任意交錯呼叫。
• 實作核心(Figure 10.4):以 nleft 迴圈補足;若被 signal handler 返回中斷(errno == EINTR),手動重啟 read/write(將本輪計數視為 0 再試),以達最大可攜性。

rio_readn(fd, usrbuf, n) 迴圈流程:

  nleft = n
    │
    ▼
  ┌─────────────── nleft > 0 ? ──────────── no ──► return n - nleft
  │ yes
  ▼
  nread = read(fd, bufp, nleft)
    │
    ├─ nread < 0 ─┬─ errno==EINTR ──► nread=0(重試,回到迴圈頂)
    │             └─ 其他錯誤 ───────► return -1
    ├─ nread == 0 ──► break(EOF)──► return n - nleft(short count)
    └─ nread > 0 ──► nleft -= nread; bufp += nread; 回到迴圈頂

10.5.2 RIO 緩衝輸入函式 (p.934-938)

動機:若用 read 一次讀 1 byte 找換行符來計算文字檔行數,每個 byte 都要 trap 進 kernel,極度低效。較佳作法是由 wrapper(rio_readlineb)從內部讀取緩衝區複製文字行,緩衝空了才呼叫 read 補滿。針對文字行與二進位資料混合的檔案(如 Section 11.5.3 的 HTTP response),另提供共用同一緩衝區的 rio_readnb。

#include "csapp.h"
void    rio_readinitb(rio_t *rp, int fd);                       // 無回傳值
ssize_t rio_readlineb(rio_t *rp, void *usrbuf, size_t maxlen);
ssize_t rio_readnb(rio_t *rp, void *usrbuf, size_t n);
// 回傳:成功為已讀位元組數;EOF 回傳 0;錯誤回傳 -1

• rio_readinitb:每個開啟的 descriptor 呼叫一次,把 fd 與位於 rp 的 rio_t 讀取緩衝區關聯起來(設定空緩衝)。
• rio_readlineb:讀取下一個文字行(含結尾換行符 \n)到 usrbuf,並以 NULL(0)字元結尾;最多讀 maxlen-1 bytes,超長的行會被截斷並補 NULL。
• rio_readnb:從 rp 讀最多 n bytes 原始資料到 usrbuf。
• rio_readlineb 與 rio_readnb 可任意交錯;但不可與無緩衝的 rio_readn 交錯使用同一 descriptor。

rio_t 讀取緩衝區結構(Figure 10.6, p.936)

#define RIO_BUFSIZE 8192
typedef struct {
    int  rio_fd;                /* 此內部緩衝所屬的 descriptor */
    int  rio_cnt;               /* 內部緩衝中尚未讀取的 bytes */
    char *rio_bufptr;           /* 內部緩衝中下一個未讀 byte */
    char rio_buf[RIO_BUFSIZE];  /* 內部緩衝區 */
} rio_t;

rio_readinitb 初始化:rp->rio_fd = fd; rp->rio_cnt = 0; rp->rio_bufptr = rp->rio_buf;

內部引擎 rio_read(Figure 10.7, p.936-937)

rio_read 是 Linux read 的緩衝版,對應用程式而言語意與 read 完全相同:錯誤回傳 -1 並設 errno;EOF 回傳 0;若要求的 bytes 超過緩衝中未讀 bytes 則回傳 short count。

rio_read(rp, usrbuf, n) 資料流:

           kernel                     rio_t(應用層)                  使用者
  ┌──────────────┐   read()    ┌──────────────────────┐   memcpy   ┌─────────┐
  │  檔案 / 網路  │ ──────────► │ rio_buf[8192]        │ ─────────► │ usrbuf  │
  └──────────────┘  緩衝空時    │  ▲rio_bufptr         │  min(n,    └─────────┘
                    才補滿      │  rio_cnt 未讀計數     │  rio_cnt)
                               └──────────────────────┘

  while (rio_cnt <= 0):  rio_cnt = read(rio_fd, rio_buf, sizeof(rio_buf))
      <0 且 errno!=EINTR → return -1     (EINTR 則重試)
      ==0 → return 0 (EOF)
      >0  → rio_bufptr = rio_buf(重設指標)
  cnt = min(n, rio_cnt); memcpy; rio_bufptr += cnt; rio_cnt -= cnt; return cnt

• 補緩衝時 read 回傳 short count 不是錯誤,只是緩衝被部分填滿。
• 因語意與 read 相同,以 rio_read 取代 read 即可搭出各種緩衝讀取函式:
  • rio_readnb = rio_readn 的程式結構 + rio_read 取代 read(Figure 10.8)。
  • rio_readlineb = 最多呼叫 rio_read maxlen-1 次,每次取 1 byte(實際來自緩衝,不 trap kernel),逐 byte 檢查是否為 \n;EOF 時若已讀到部分資料則回傳該行,完全沒讀到才回傳 0。

使用範例:逐行複製 stdin 到 stdout(Figure 10.5, p.936)

int main(int argc, char **argv) {
    int n; rio_t rio; char buf[MAXLINE];
    Rio_readinitb(&rio, STDIN_FILENO);
    while ((n = Rio_readlineb(&rio, buf, MAXLINE)) != 0)
        Rio_writen(STDOUT_FILENO, buf, n);
}

RIO 函式比較表

10.6 讀取檔案中繼資料 (p.939-940)

應用程式可用 stat/fstat 取得檔案的 metadata(中繼資料):

#include <unistd.h>
#include <sys/stat.h>
int stat(const char *filename, struct stat *buf);   // 以檔名查詢
int fstat(int fd, struct stat *buf);                 // 以 descriptor 查詢
// 回傳:成功 0,錯誤 -1

struct stat 主要成員(Figure 10.9;本書重點為 st_mode 與 st_size,Web 伺服器 Section 11.5 會用到):

• st_mode 同時編碼權限位元(如 S_IRUSR,見 10-System-IO/01-Unix-IO-and-Files 的 Figure 10.2)與檔案類型。
• Linux 在 sys/stat.h 定義巨集判定式 (macro predicates) 判斷檔案類型:

• 用法(Figure 10.10 statcheck.c):Stat(argv[1], &stat) 後,以 S_ISREG(stat.st_mode) 判類型、以 stat.st_mode & S_IRUSR 檢查擁有者讀取權限。

10.7 讀取目錄內容 (p.941-942)

應用程式以 readdir 系列函式讀取目錄內容:

#include <sys/types.h>
#include <dirent.h>
DIR *opendir(const char *name);        // 成功回傳 stream handle 指標,錯誤 NULL
struct dirent *readdir(DIR *dirp);     // 下一個目錄項目;無更多項目或錯誤時 NULL
int closedir(DIR *dirp);               // 成功 0,錯誤 -1;關閉 stream 並釋放資源

• opendir 接收 pathname,回傳指向 directory stream 的指標。stream 是「有序項目列表」的抽象,此處是目錄項目 (directory entries) 的列表。
• 每次呼叫 readdir 回傳 stream 中下一個目錄項目的指標;沒有更多項目時回傳 NULL。
• 目錄項目結構(只有這兩個成員是所有系統通用的標準;部分 Linux 版本有額外成員):

struct dirent {
    ino_t d_ino;        /* inode 編號(檔案位置) */
    char  d_name[256];  /* 檔名 */
};

opendir("dir") ──► DIR *streamp ──► readdir ──► dirent{d_ino,d_name}
                        │              │ (重複呼叫,逐項前進)
                        │              └──► NULL:end-of-stream 或 error
                        └──► closedir(streamp) 釋放資源

Exam/Test Patterns

Related Notes

• 10-System-IO/01-Unix-IO-and-Files
• 10-System-IO/03-File-Sharing-Redirection-and-Standard-IO
• 11-Network-Programming/03-Sockets-Interface
• 11-Network-Programming/04-Web-Servers-and-Tiny
• 12-Concurrent-Programming/04-Parallelism-and-Thread-Safety
• 08-Exceptional-Control-Flow/05-Signals