靜態連結與目的檔 (Static Linking & Object Files)

Overview Table

7.1 Compiler Drivers(編譯器驅動程式)(p.707-708)

Compiler driver(如 gcc)代替使用者依序呼叫 preprocessor(cpp)、compiler(cc1)、assembler(as)、linker(ld)。一行 gcc -Og -o prog main.c sum.c 背後是四個階段的轉換,可用 gcc -v 觀察全過程。

main.c ──cpp──▶ main.i ──cc1──▶ main.s ──as──▶ main.o ─┐
 (C 原始碼)     (預處理後       (組合語言       (relocatable │
                ASCII)          ASCII)          object)     ├──ld──▶ prog
sum.c  ──cpp──▶ sum.i  ──cc1──▶ sum.s  ──as──▶ sum.o  ─┘   (+ 系統目的檔)
                                                            (executable
                                                             object file)

• cpp [args] main.c /tmp/main.i:preprocessor 把 main.c 翻成 ASCII 中間檔 main.i
• cc1 /tmp/main.i -Og [args] -o /tmp/main.s:compiler 產生 ASCII 組合語言檔 main.s
• as [args] -o /tmp/main.o /tmp/main.s:assembler 產生二進位 relocatable object file main.o
• ld -o prog [system object files] /tmp/main.o /tmp/sum.o:linker 合併多個 .o 與必要的系統目的檔,產生 executable object file prog
• 執行 ./prog 時,shell 呼叫 OS 的 loader,把 prog 的 code 與 data 複製進記憶體,再把控制權轉移到程式開頭

7.2 Static Linking(靜態連結)(p.708-709)

Static linker(Linux 的 ld)輸入是一組 relocatable object files 加上命令列參數,輸出是可載入執行的 fully linked executable object file。輸入檔由各種 code/data sections 組成,每個 section 是一段連續的位元組序列——指令一區、已初始化全域變數一區、未初始化變數又一區。

連結器必須完成兩大任務:

關於連結器的基本認知(p.709):

• 目的檔只是位元組區塊 (blocks of bytes) 的集合:有的裝程式碼、有的裝資料、有的裝引導 linker/loader 的資料結構
• 連結器的工作就是串接 (concatenate) 區塊、決定執行期位置、修改 code/data 區塊內的若干位置
• 連結器對目標機器的理解極少——大部分工作已由 compiler 與 assembler 完成

7.3 Object Files(目的檔三種形式)(p.709)

• 技術上,object module 是一串位元組序列,object file 是存在磁碟上的 object module——書中兩詞交替使用
• 目的檔格式隨系統而異:早期 Bell Labs Unix 用 a.out(至今執行檔仍俗稱 a.out);Windows 用 PE(Portable Executable);Mac OS-X 用 Mach-O;現代 x86-64 Linux/Unix 用 ELF(Executable and Linkable Format)

7.4 Relocatable Object Files(ELF 重定位目的檔)(p.710-711)

ELF header 開頭是 16-byte 序列,描述產生此檔系統的 word size 與 byte ordering;其餘欄位包含 ELF header 大小、目的檔型別(relocatable/executable/shared)、機器型別(如 x86-64)、section header table 的檔案偏移量及其項目大小與數量。Section header table 為目的檔中每個 section 存放一筆固定大小的 entry,描述各 section 的位置與大小。Sections 本體夾在 ELF header 與 section header table 之間。

偏移 0 ┌──────────────────────┐
       │      ELF header      │ ◀─ word size、byte order、檔案型別、
       ├──────────────────────┤    machine type、section header table 位置
       │        .text         │ ─┐
       │       .rodata        │  │
       │        .data         │  │
       │        .bss          │  │
       │       .symtab        │  ├─ Sections
       │      .rel.text       │  │
       │      .rel.data       │  │
       │        .debug        │  │
       │        .line         │  │
       │       .strtab        │ ─┘
       ├──────────────────────┤
       │ Section header table │ ◀─ 描述各 section 的位置與大小
       └──────────────────────┘    (每 section 一筆固定大小 entry)

7.5 Symbols and Symbol Tables(符號與符號表)(p.711-714)

每個 relocatable object module m 都有一個符號表,記錄 m 所定義與參考的符號。對連結器而言符號分三類:

• Local linker symbol ≠ local 程式變數:.symtab 不含 local 非 static 變數的符號——它們在執行期由 stack 管理(見 03-Machine-Level-Programs/04-Procedures-and-the-Stack),連結器不關心
• static local 變數不在 stack 上:compiler 在 .data 或 .bss 為每個定義配置空間,並在符號表建立唯一名稱的 local linker symbol。例:f() 與 g() 各定義 static int x,compiler 可能對前者輸出 x.1、後者輸出 x.2(p.712)
• 符號表由 assembler 建立,使用 compiler 輸出到 .s 組合語言檔的符號;ELF 符號表放在 .symtab section,內容是一個 entry 陣列

ELF 符號表 entry:Elf64_Symbol(p.713, Figure 7.4)

typedef struct {
    int   name;      /* String table offset */
    char  type:4,    /* Function or data (4 bits) */
          binding:4; /* Local or global (4 bits) */
    char  reserved;  /* Unused */
    short section;   /* Section header index */
    long  value;     /* Section offset or absolute address */
    long  size;      /* Object size in bytes */
} Elf64_Symbol;

三個 pseudosections(p.713)

沒有 section header table entry 的特殊 section;只存在於 relocatable object file,executable object file 中沒有:

COMMON vs .bss(現代 gcc 慣例,p.713)

用 readelf 觀察符號表(p.714)

GNU readelf 是檢視目的檔內容的利器。main.o(範例程式 main.c/sum.c,Figure 7.1)最後三筆符號表 entry(前 8 筆是連結器內部使用的 local 符號):

Num:    Value          Size Type    Bind   Vis      Ndx Name
  8: 0000000000000000   24 FUNC    GLOBAL DEFAULT    1 main
  9: 0000000000000000    8 OBJECT  GLOBAL DEFAULT    3 array
 10: 0000000000000000    0 NOTYPE  GLOBAL DEFAULT  UND sum

• main:global 符號定義,24-byte FUNC,位於 .text(Ndx=1)offset 0
• array:global 符號定義,8-byte OBJECT,位於 .data(Ndx=3)offset 0
• sum:對外部符號的參考,Ndx=UND(未定義)
• readelf 以整數索引標識 section:Ndx=1 是 .text,Ndx=3 是 .data

銜接:符號解析的難點(p.715 開頭)

• Local symbol 的解析很直接:compiler 保證每模組每個 local symbol 只有一個定義,且 static local 變數的 linker symbol 名稱唯一
• Global symbol 較棘手:compiler 遇到當前模組未定義的符號時,假設它定義在別的模組,產生 linker symbol table entry 交給連結器處理。連結器在所有輸入模組都找不到定義就印出(常常很難懂的)錯誤訊息並終止,如 undefined reference to 'foo'——compile 會過、link 才炸
• 多個模組定義同名 global symbol 時,連結器必須報錯或挑一個定義捨棄其餘——Linux 由 compiler、assembler、linker 合作處理,可能引入令人困惑的 bug(strong/weak 規則見 07-Linking/02-Symbol-Resolution-and-Relocation)

Exam/Test Patterns

Related Notes

• 07-Linking/02-Symbol-Resolution-and-Relocation
• 07-Linking/03-Executable-Loading-and-Dynamic-Linking
• 07-Linking/04-Library-Interpositioning-and-Tools
• 07-Linking/Practice-Linking
• 01-Computer-Systems-Tour/01-Information-and-Program-Translation
• 03-Machine-Level-Programs/01-Program-Encodings-and-Data-Formats
• 09-Virtual-Memory/04-Memory-Mapping