Hadoop

Hadoop yra instaliuotas į /soft/hadoop.

Savo Hadoop telkinį galite startuoti ir vykdyti užduotis su myHadoop scenarijų (scripts) pagalba. Jie yra instaliuoti į /soft/myHadoop. Su jų pagalba Hadoop telkinys yra startuojamas SLURM užduoties paskirtų resursų ribose.

/soft/myHadoop/slurm-example.sh - startuoja Hadoop telkinį ir jame įvykdo MapReduce užduotį ar jų seką ir sustabdo Hadoop telkinį - jis tinka ilgai trunkančioms užduotims.

/soft/myHadoop/slurm-hadoop.sh - startuoja Hadoop telkinį ir laukia, kol baigsis SLURM užduočiai skirtas laikas - jis labiau tinka interaktyviam Hadoop telkinio naudojimui.

Pastabos.

• SLURM užduoties startavimui pasirinkite /scratch/lustre failų sistemos katalogą.
• Kiekvienas Hadoop telkinys startuojamas su unikaliu jo konfigūracijos katalogu hadoop-config.
• Jei kursite kelius Hadoop telkinius, tai jų SLURM užduotis startuokite skirtinguose kataloguose.

Tipiškas darbo su Hadoop scenarijus

$ ssh rolnas@uosis.mif.vu.lt
rolnas@uosis.mif.vu.lt's password: 
Linux linux1 2.6.32-5-xen-amd64 #1 SMP Mon Jan 16 20:48:30 UTC 2012 x86_64
...
Last login: Fri Mar  9 14:49:50 2012 from matrix.mif
linux1:~> klist
Ticket cache: FILE:/tmp/krb5cc_1001
Default principal: rolnas@MIF

Valid starting     Expires            Service principal
03/10/12 11:07:02  03/11/12 11:06:58  krbtgt/MIF@MIF
linux1:~> ssh cluster
Linux lxibm102 2.6.32-5-amd64 #1 SMP Mon Jan 16 16:22:28 UTC 2012 x86_64
...
Last login: Fri Mar  9 15:07:01 2012 from linux1.mif
lxibm102:~$ mkdir -p ~/hadoop
lxibm102:~$ cd ~/hadoop
lxibm102:~/hadoop$ cp /soft/myHadoop/slurm-example.sh .
lxibm102:~/hadoop$ cp -a /soft/myHadoop/gutenberg .
lxibm102:~/hadoop$ ls -l
total 8K
drwxr-xr-x 2 rolnas rolnas 4096 Oct  9 11:12 gutenberg
-rw-r--r-- 1 rolnas rolnas 1919 Oct  9 09:09 slurm-example.sh
lxibm102:~/hadoop$ sbatch slurm-example.sh
Submitted batch job 90260
lxibm102:~/hadoop$ squeue
  JOBID PARTITION     NAME     USER  ST       TIME  NODES NODELIST(REASON)
lxibm102:~/hadoop$ ls -l
total 8K
drwxr-xr-x 2 rolnas rolnas 4096 Oct  9 11:12 gutenberg
-rw-r--r-- 1 rolnas rolnas 9988 Oct  9 09:09 hadoop.log
drwxr-xr-x 2 rolnas rolnas 4096 Oct  9 11:12 outputs
-rw-r--r-- 1 rolnas rolnas 1919 Oct  9 09:09 slurm-example.sh
lxibm102:~/hadoop$ logout
Connection to cluster closed.
linux1:~  logout
Connection to uosis.mif.vu.lt closed.