Unix I/O 與檔案 (Unix I/O & Files)

Overview Table

10.1 Unix I/O(p.926-927)

I/O 是在主記憶體與外部裝置(磁碟、終端機、網路)之間複製資料的過程:input 是裝置 → 記憶體,output 是記憶體 → 裝置。ANSI C 的 standard I/O(printf/scanf)與 C++ 的 <</>> 都是較高階的緩衝式 I/O,在 Linux 上它們底層都由 kernel 提供的 Unix I/O 系統函式實作。

一個 Linux 檔案就是 m 個位元組的序列:

所有 I/O 裝置(網路、磁碟、終端機)都被模型化為檔案,所有輸入輸出都透過讀寫對應的檔案完成——這個「裝置即檔案」的優雅映射讓 kernel 能匯出一個簡單、低階、統一的介面,稱為 Unix I/O:

• Opening files:應用程式請 kernel 開啟檔案,kernel 回傳一個小非負整數 descriptor(描述子);之後所有操作都用這個描述子。kernel 記錄開啟檔案的所有資訊,應用程式只需記住描述子。
• Changing the current file position:kernel 為每個開啟檔案維護檔案位置 k(從檔案開頭算起的位元組偏移,初始為 0);應用程式可用 seek 操作顯式設定 k。
• Reading and writing:read 從位置 k 複製 n > 0 bytes 到記憶體並使 k 增加 n;write 反向。若檔案大小為 m,在 k ≥ m 時執行 read 會觸發 EOF(end-of-file) 條件——應用程式可偵測到,但檔案結尾並沒有明確的「EOF 字元」。
• Closing files:應用程式通知 kernel 關閉檔案;kernel 釋放開檔時建立的資料結構,並把描述子歸還到可用描述子池。Process 以任何原因終止時,kernel 會自動關閉其所有開啟檔案並釋放資源。

 Unix I/O 檔案生命週期與資料流

 open(filename)                  read(fd, buf, n)
      |                       +---------------------+
      v                       |    file (m bytes)   |
 [descriptor fd] ---seek----> | B0 B1 .. Bk .. Bm-1 |
      |                       +---------|-----------+
      |                                 | k 為目前位置,read/write 後 k += n
      |                                 v
      |                        主記憶體 buf  <--(read: 檔案->記憶體)
      |                                     -->(write: 記憶體->檔案)
      v
 close(fd)  --> kernel 釋放資料結構、fd 回到可用池
 (k >= m 時 read 觸發 EOF,回傳 0)

每個由 Linux shell 建立的 process 一出生就有三個開啟檔案:

為什麼要學 Unix I/O(而非只用 standard I/O)?(p.926)

1. 理解其他系統概念:I/O 與 process 建立/執行、檔案共享互為因果,和記憶體階層、linking/loading、virtual memory 都有交集。
2. 有時別無選擇:standard I/O 無法存取檔案 metadata(如檔案大小、建立時間),且用於網路程式設計有風險。

10.2 檔案(Files)(p.927-929)

每個 Linux 檔案都有一個**類型(type)**標示其在系統中的角色:

• Linux text file 是一連串 text line,每行以 newline '\n'(= ASCII LF,數值 0x0a)結尾。
• 每個目錄至少含兩個 entry:.(指向自己)與 ..(指向父目錄)。

目錄階層與 pathname:kernel 把所有檔案組織成單一目錄階層,錨定於根目錄 /;每個檔案都是根的直接或間接後代。每個 process 的 context 中有一個 current working directory(shell 可用 cd 更改)。

                    /
     +------+------+--------+--------+
    bin/   dev/   etc/    home/     usr/
     |      |    +--+--+  +--+---+   +------+
    bash  tty1 group passwd |      \  include/ bin/
                          droh/  bryant/  |      |
                            |            stdio.h vim
                          hello.c         sys/
                                           |
                                        unistd.h

Pathname 是「可選的 slash + 以 slash 分隔的檔名序列」,有兩種形式:

10.3 開啟與關閉檔案(p.929-930)

Process 呼叫 open 開啟既有檔案或建立新檔:

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
int open(char *filename, int flags, mode_t mode);
// Returns: 成功回傳新 file descriptor,錯誤回傳 -1

open 把 filename 轉換為 file descriptor 並回傳其編號。回傳的一定是該 process 目前未開啟的最小描述子。

flags 引數(存取意圖,三選一):

flags 還可以 OR 上額外的寫入指示位元遮罩:

fd = Open("foo.txt", O_RDONLY, 0);              /* 開既有檔讀取 */
fd = Open("foo.txt", O_WRONLY|O_APPEND, 0);     /* 開既有檔附加 */

mode 引數與 umask:mode 指定新檔案的存取權限位元(定義於 sys/stat.h,Figure 10.2):

每個 process 的 context 有一個 umask(由 umask() 函式設定)。以某 mode 建立新檔時,實際權限位元為:

permission = mode & ~umask

#define DEF_MODE   S_IRUSR|S_IWUSR|S_IRGRP|S_IWGRP|S_IROTH|S_IWOTH
#define DEF_UMASK  S_IWGRP|S_IWOTH

umask(DEF_UMASK);
fd = Open("foo.txt", O_CREAT|O_TRUNC|O_WRONLY, DEF_MODE);
/* 結果:擁有者可讀寫,群組與其他人只可讀 */

關閉檔案:

#include <unistd.h>
int close(int fd);   // Returns: 0 if OK, -1 on error

10.4 讀取與寫入檔案(p.931-933)

應用程式以 read 與 write 執行輸入輸出:

#include <unistd.h>
ssize_t read(int fd, void *buf, size_t n);
// Returns: 讀到的位元組數 if OK, 0 on EOF, -1 on error
ssize_t write(int fd, const void *buf, size_t n);
// Returns: 寫入的位元組數 if OK, -1 on error

• read 從描述子 fd 的目前檔案位置複製至多 n bytes 到記憶體 buf;回傳 −1 表錯誤、0 表 EOF、其他為實際傳輸位元組數。
• write 從 buf 複製至多 n bytes 到 fd 的目前檔案位置。
• 顯式修改檔案位置用 lseek(本書不深入)。

Figure 10.3(cpstdin.c):用 read/write 一次 1 byte 把標準輸入複製到標準輸出:

#include "csapp.h"
int main(void)
{
    char c;
    while (Read(STDIN_FILENO, &c, 1) != 0)
        Write(STDOUT_FILENO, &c, 1);
    exit(0);
}

Short count(不足計數):某些情況下 read/write 傳輸的位元組數少於應用程式要求的量。short count 不是錯誤,成因有:

 讀取 50-byte chunk、檔案僅剩 20 bytes 的 short count 時序

  read(fd, buf, 50) --> 回傳 20   (short count,非錯誤)
  read(fd, buf, 50) --> 回傳 0    (EOF)
  read(fd, buf, 50) --> 回傳 0    (仍是 EOF)

Exam/Test Patterns

Related Notes

• 10-System-IO/02-Rio-Package-and-File-Metadata — short count 的系統性解法(rio_readn/rio_writen)與 stat 取得 metadata
• 10-System-IO/03-File-Sharing-Redirection-and-Standard-IO — descriptor table、open file table 與重定向如何利用「最小未用描述子」規則
• 11-Network-Programming/03-Sockets-Interface — socket 也是檔案,用同一套 read/write 介面
• 08-Exceptional-Control-Flow/02-Processes-and-Context-Switches — cwd、umask、開啟檔案都是 process context 的一部分;fork 時描述子被繼承
• 01-Computer-Systems-Tour/03-OS-Abstractions-and-Networks — 「檔案 = 位元組序列」的系統抽象總覽