網路介面

叢集主機負責管理內部的節點，又要提供外界使用者登入進行作業。我們可以在叢集主機上安裝兩個網路介面 (網路卡)，把叢集內部網路和外部從實體上分隔開來。如果我們只有一個網路介面的話，則要用別名的方式建立兩組 IP 連線資訊。使用別名的 /etc/network/interfaces 可以寫成：

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
        address 192.168.143.254
        netmask 255.255.255.0
        network 192.168.143.0
        broadcast 192.168.143.255

auto eth0:1
iface eth0:1 inet static
        address 10.10.10.123
        netmask 255.255.255.0
        network 10.10.10.0
        broadcast 10.10.10.255
        gateway 10.10.10.254
        dns-nameservers 10.10.10.111
        dns-search dlessc

如果我們在安裝的時候使用了外界網路的話，那麼 /etc/hosts 檔裡面的資訊 (IP 與名稱對應) 也要改一下。

遠端管理

叢集主機對外界網路與內部節點的登入服務，都使用 secure shell (ssh)。為了讓叢集內各電腦彼此登入的時候不必輸入認證資訊，除了需要為每個使用者設定 public key based 的認證資訊之外，也要指定 ssh 客戶程式不去檢查叢集內電腦的 host key。主機和節點裡的 /etc/ssh/ssh_config 應如此設定：

Host spade?? digger
    StrictHostKeyChecking no

這裡我們只能先設定主機的 ssh_config 檔，節點的以後再設。

額外的工具與系統

以上是主機必要的組態，在這些組態之外，我們還要安裝一些幫助工作的服務與工具。sarge 在安裝 base system 時預設使用 exim 作郵件系統，讓我們改成比較容易組態的 postfix：

$ apt-get install postfix

另外，再安裝一些好用的工具套件：

$ apt-get install sudo less vim screen

ssh 提供了 X11 forwarding 的功能，允許使用者不必設定環境變數 (DISPLAY)，就可以使用遠端的 X server。也就是說使用者可以從遠端 (有 X server 的電腦) 連線到叢集主機，在主機上執行 X 程式，把畫面導回使者電腦上的 X server。這部分要在 ssh 伺服器的 /etc/ssh/sshd_config 設定檔裡設定，在其中寫入 (預設為 no)：

X11Forwarding yes

並重新啟動 ssh (/etc/init.d/ssh restart)。要使用遠端的 X server，叢集主機上也要有相關的 X client 工具程式與程式庫，所以得安裝：

$ apt-get install xbase-clients

如此一來，其它的 X (client) 程式，便可以在連線使用者電腦上的 X server 顯示畫面，取得輸出入資訊。

DHCP

DHCP 是 Dynamic Host Configuration Protocol 的縮寫。雖然我們一般是應用 DHCP 替區域網路上的電腦進行自動網際網路組態，但許多其它的電腦組態，DHCP 也可以透過網路提供給電腦。

在安裝了 DHCP 伺服器後，我們要在其設定檔 /etc/dhcp3/dhcpd.conf 內進行組態。組態的重點在讓節點的 PXE boot ROM, pxelinux 及 Linux 核心透過 DHCP 提供的資訊，得知自已的網路設定與相關檔案位置：

ddns-update-style none;

option domain-name "dlessc";
option domain-name-servers 192.168.143.254;

default-lease-time 600;
max-lease-time 7200;

log-facility local7;

shared-network dlessc {
  allow booting;
  allow bootp;

  option domain-name "dlessc";

  subnet 192.168.143.0 netmask 255.255.255.0 {
    option subnet-mask 255.255.255.0;
    option broadcast-address 192.168.143.255;
    option domain-name-servers 192.168.143.254;
    option routers 192.168.143.254;
  }

  next-server 192.168.143.254;
  filename "pxelinux.0";

  host spade01 {
    option host-name "spade01";
    hardware ethernet 00:17:31:1E:31:CF;
    fixed-address 192.168.143.1;
  }

  host spade02 {
    option host-name "spade02";
    hardware ethernet 00:17:31:1E:31:EB;
    fixed-address 192.168.143.2;
  }

  host spade03 {
    option host-name "spade03";
    hardware ethernet 00:17:31:1E:31:5D;
    fixed-address 192.168.143.3;
  }

}

atftp/pxelinux

在網路開機的過程中，各個相關的程式都會用到 TFTP 來向主機索取相關的資料。PXE boot ROM 會用 TFTP 下載 pxelinux 程式；pxelinux 程式會用 TFTP 下載組態檔與 Linux 核心。TFTP 與 DHCP 雖然都是用來對節點提供資料，但主要有兩點不同：

1. TFTP 是基於網際網路的通訊協定，客戶端需具備正確的網路組態，方能連線至 TFTP 伺服器，取得資料；DHCP 直接使用區域網路傳遞資料，未使用網際網路協定，因此可以用來組態網際網路。
2. TFTP 傳遞的資料以檔案為單位，可以用目錄進行組織，也可以傳遞比較大量的資料。DHCP 只能傳遞協定中定義好的資訊，這些資訊都相當簡短，不能用來傳遞大量資料。

因此，雖然 DHCP 是一種很便利的系統，但我們還是需要 TFTP 伺服器的配合，才能順利地讓節點取得開機所需的程式資料。

Debian 內附的 atftpd (advanced TFTP daemon) 是一個很適合用來網路開機的 TFTP 伺服程式；一開始它就是為了在 Debian 下配合 PXE 進行網路開機而設計的，所以支援很完整的相關規格。安裝時，我們可以指定用 standalone daemon 的方式執行伺服程式；其它的組態選項使用預設值即可。

開機過程中的另一個重要元件是 pxelinux。pxelinux 是 syslinux 套件的一部分。syslinux 這套工具，可以幫助我們在非 Linux 執行環境下啟動 Linux 核心及相關系統程式，而 pxelinux，便是使用 PXE 進行開機的工具。

我們在先前的 dhcpd.conf 裡已經對 pxelinux 程式的位置進行了一些設定，所以在此要把程式檔案與設定檔放到已經指定好的位置來。atftpd 預設的根目錄是 /tftpboot，而我們在 dhcpd.conf 已經設定讓 PXE boot ROM 下載 TFTP 伺服器下的 pxelinux.0 檔案，作為執行下一個開機步驟的程式。於是，我們要在主機上進行以下的動作：

$ mkdir -p /tftpboot/pxelinux.cfg
$ ln -s /usr/lib/syslinux/pxelinux.0 /tftpboot/pxelinux.0

syslinux 套件所提供的 pxelinux 工具程式 (即 PXE boot ROM 要下載的開機程式)，檔案位於 /usr/lib/syslinux/pxelinux.0。pxelinux 在節點上被執行了以後，會從 TFTP 伺服器裡的 pxelinux.cfg 目錄再下載它的設定檔；pxelinux 的設定檔所寫入的設定便是啟動 Linux 核心的方法。

pxelinux 會依照節點的 IP 位址，依序嚐試從 pxelinux.cfg 目錄下載設定檔。假設節點的 IP 是 192.168.132.1，那麼順序為：

1. C0A88401
2. C0A8840
3. C0A884
4. C0A88
5. C0A8
6. C0A
7. C0
8. C
9. default

也就是說，會把節點的 IP 位址轉換成大寫的十六進位碼當作檔名，從比較完整的 IP 開始進行下載，失敗的話就換比較短的名字。如果 1 到 8 的檔名都不存在，就會下載名為 default 的設定檔。

我們假設所有的節點都使用相同的設定，便不必理會它們的 IP 不同，直接把設定寫在 /tftpboot/pxelinux.cfg/default：

default 2.6.8-pxe
label 2.6.8-pxe
  kernel vmlinuz-2.6.8-pxe
  append root=/dev/nfs ip=both nfsroot=/tftpboot/archs/ASD672

pxelinux 設定檔的寫法和 syslinux 是一模一樣的，也和 lilo 十分類似。設定檔裡可以寫入很多不同 label 的核心設定，並用 default 指定預設的 label。在我們要用來開機的核心設定中，用 kernel 指定核心的檔名 (當然，也要放在 /tftpboot 目錄下，可以是符號連結)，並用 append 指定傳入核心的參數。我們必須告訴核心，系統的根目錄會在 NFS 上 (root=/dev/nfs)，取得 IP 的方法是 dhcp 與 bootp 並用 (ip=both)，以及用作根目錄的 NFS 分享位置 (nfsroot=/tftpboot/archs/ASD672)。

此時，我們已經指定好了節點資料所要存放的位置：/tftpboot/archs。我們要用這個目錄存放節點的模板，也就是節點共用的程式與相關資料。至於每個節點不同的設定檔案，則另外放在 /tftpboot/nodes 目錄裡：

$ mkdir /tftpboot/archs
$ mkdir /tftpboot/nodes

NFS

Linux 上的 NFS 在安裝時通常是不需要特別設定的，因為 NFS 的功能已經整合進 Linux 核心裡面了，我們所安裝的 nfs-kernel-server 套件只是用來管理核心 NFS 伺服器的工具程式組。

安裝好了 nfs-kernel-server，NFS 伺服器才可以使用。目錄分享的組態要寫在 /etc/exports 檔裡：

/tftpboot       *.dlessc(rw,no_root_squash,sync)
/root           *.dlessc(rw,no_root_squash,sync)
/home           *.dlessc(rw,no_root_squash,sync)
/cluster        *.dlessc(rw,no_root_squash,sync)

我們把叢集主機的 /tftpboot 分享出來，提供節點存取其程式與設定資料。/root 分享出來則是為了方便管理。/home 存放使用者的運算工作資料，每台節點一定要都能存取，使用者的資料來源才能統一。我們另外建立一個 /cluster 目錄，獨立存放叢集所需要的工具與軟體系統。

作好設定以後，執行 /etc/init.d/nfs-kernel-server restart 重新啟動 NFS 伺服器，使設定生效。

DNS

我們為叢集建立的 DNS 伺服器，主要的用途是取代各電腦上的 hosts 檔案與 NIS 的 hosts 資訊，讓各電腦直接從統一的來源取得名稱。所使用的 DNS 伺服器是 bind (version 9)。

若以我們假設的主機與節點名稱為例，正向與反向查詢的資料庫分別為正查的 db.dlessc (所有檔案都要存放在 /etc/bind 下)：

;
; BIND data file for local loopback interface
;
$TTL    604800
@       IN      SOA     dlessc. root.dlessc. (
                        2006071901      ; Serial
                         604800         ; Refresh
                          86400         ; Retry
                        2419200         ; Expire
                         604800 )       ; Negative Cache TTL
;
@       IN      NS      dlessc.
@       IN      A       10.10.10.123
; Diskless cluster machines.
digger  IN      A       192.168.143.254
spade01 IN      A       192.168.143.1
spade02 IN      A       192.168.143.2
spade03 IN      A       192.168.143.3

反查的 db.192.168.143：

;
; BIND reverse data file for local loopback interface
;
$TTL    604800
@       IN      SOA     dlessc. root.dlessc. (
                        2006071901      ; Serial
                         604800         ; Refresh
                          86400         ; Retry
                        2419200         ; Expire
                         604800 )       ; Negative Cache TTL
;
@       IN      NS      localhost.
254     IN      PTR     digger.dlessc.
1       IN      PTR     spade01.dlessc.
2       IN      PTR     spade02.dlessc.
3       IN      PTR     spade03.dlessc.

然後在 named.conf.local 裡加入以上兩個 DNS 資料庫設定:

//
// Add local zone definitions here.

zone "dlessc" {
        type master;
        file "/etc/bind/db.dlessc";
};

zone "143.168.192.in-addr.arpa" {
        type master;
        file "/etc/bind/db.192.168.143";
};

最後我們打開 named.conf.options 裡的 forwarders，指定為上一層的 DNS 伺服器，這樣叢集的 DNS 遇到非以上設定區段的名稱 (或 IP) 時，便會向上一層伺服器查詢。設好完畢以後，執行 /etc/init.d/bind restart，重新啟動 bind 更新設定。

apt-proxy

Debian 系統使用 APT 進行軟體套件管理。叢集節點事實上不需要安裝太多套件，但為了軟體管理的方便性，我們還是希望能存取到 APT 資料庫。然而，叢集節點一般會封在叢集的內部網路，不能直接存取外部網路。為了解決這個問題，我們在叢集主機上組態 apt-proxy 伺服器，作為節點與外界 APT 資料庫的存取介面。

在 /etc/apt-proxy/apt-proxy-v2.conf 的 [DEFAULT] 區段裡加入

address = 192.168.143.254

repo 的部分 apt-proxy 已經幫我們設好了，不必管。

NTP

叢集中各節點時間的同步很重要；假設節點 1 比節點 2 快了一分鐘，當兩者在存取檔案的時候，就可能會發生不一致的狀況。使用者在檢視平行程式輸出的時候，也容易誤判資料的先後順序。為了避免這種稱作時間扭曲的問題，我們要在叢集主機上安裝 NTP (Network Time Protocol) 伺服器，讓叢集節點可以與主機的時間同步：

$ apt-get install ntp-server

組態檔在 /etc/ntp.conf，預設的 NTP 伺服器設為：

server pool.ntp.org

如果你的單位也有建立公用的 NTP 伺服器，可以把 server 改成離你比較近的，時間會準上幾個毫秒。

主機名稱

首先是主機名稱的設定，etc/hostname 檔：

spade01

loopback 網路裝置

其次要改一下 etc/network/interfaces，指定 loopback device：

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback

主要的網路卡倒不必設定，因為從 PXE/DHCP 開機時就會自動啟用了。而對無磁碟節點來說，在運作中修改網路卡參數也是毫無意義的。

fstab

當然，檔案系統掛載表 (etc/fstab) 也要進行設定：

# /etc/fstab: static file system information.
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    defaults        0       0
192.168.143.254:/tftpboot/archs/ASD672                 /               nfs     rw,rsize=8192,wsize=8192,nolock 0       0
192.168.143.254:/home           /home           nfs     rw,rsize=8192,wsize=8192,nolock 0       0
192.168.143.254:/root           /root           nfs     rw,rsize=8192,wsize=8192,nolock 0       0
192.168.143.254:/cluster        /cluster        nfs     rw,rsize=8192,wsize=8192,nolock 0       0

APT sources.list

我們幫模板先寫好 sources.list：

$ echo "deb http://digger:9999/debian sarge main contrib non-free" > etc/apt/sources.list

把 APT 來源資料庫指定為叢集主機上的 apt-proxy。

自訂 init

而為了讓節點在開機時會自動根據自己的主機名稱，動態掛載相關的設定目錄，我們要在系統的啟動程序裡動一點手腳。在 Linux 系統中，當核心完成了基本程式的載入後，就會把電腦的控制權交給 init 程式；init 程式一般是位處於 sbin/init 這個位置。本來 init 是一個二進位的可執行檔，但我們可以把它取代為我們自己撰寫的 shell script，執行完畢之後，再把控制權交給原本的 init 程式。

首先，我們把原本的 init 改個名字：

$ mv sbin/init sbin/init.orig

然後新建一個 sbin/init 檔：

#!/bin/sh

# Don't do anything special if computer is already booted
if [ $$ -ne 1 ]
then
	exec /sbin/init.orig $*
	echo "FATAL ERROR: exec /sbin/init.orig failed" >&2
	exit 1
fi

# Don't do anything special if /exit.init is already exist 
if [ -f /exit.init ]
then
	exec /sbin/init.orig $*
	exit 1
fi

# Don't do anything special if root is rw (ie master system).
if touch /test-rw
then
	rm /test-rw
	echo "WARNING: master system installed" >&2
	exec /sbin/init.orig $*
	echo "FATAL ERROR: exec /sbin/init.orig failed" >&2
	exit 1
fi

# Boot from cluster host.
echo "Boot from digger.dlessc ..."
# Mount client's /etc directory, need to mount /proc first
echo -n "Mount NFS directories ..."
mount -n none /proc -t proc
mount -n 192.168.143.254:/tftpboot/nodes/`hostname`/etc /etc -orw,nolock
# Update entries in /etc/mtab
rm -f /etc/mtab~ /etc/nologin
: > /etc/mtab
mount -o remount /
mount -o remount /etc
mount -o remount /proc
# Report success
echo "Done."
# Only should get here if something went wrong
exec /sbin/init.orig $*
echo "FATAL ERROR: exec /sbin/init.orig failed" >&2
exit 1

當然要記得打開這個 script 的執行權限。

安裝核心

核心編好了嗎？編好的話，把它灌到模板裡去：

$ dpkg --root=/tftpboot/archs/ASD672 \
  -i /usr/src/kernel-image-2.6.8-pxe_2.6.8-1_i386.deb

主機上也要安裝一份：

$ dpkg -i /usr/src/kernel-image-2.6.8-pxe_2.6.8-1_i386.deb

然後把核心 image 複製一份到 TFTP 伺服器的目錄下面去，讓節點上的 PXE boot ROM 下載：

$ cp /tftpboot/archs/ASD672/boot/vmlinuz-2.6.8-pxe /tftpboot