VU MIF VSL STSC
Skaitmeninių tyrimų ir skaičiavimų centras, Virtualių skaičiavimų laboratorija
Naujienos
Dažnos problemos
Studentams
Darbuotojams
Administratoriams
Naudotojų sąrašai
Programų sąrašai
Debesų kompiuterija
Skaičiavimų tinklas
Microsoft Imagine
Belaidis tinklas
Kompiuterių tinklas
Budėjimo grafikas
Esant problemoms VU MIF kompiuterių tinkle rašykite adresu:
pagalba@mif.vu.lt .

 

Hadoop


Hadoop yra instaliuotas į /soft/hadoop.

Savo Hadoop telkinį galite startuoti ir vykdyti užduotis su myHadoop scenarijų (scripts) pagalba. Jie yra instaliuoti į /soft/myHadoop. Su jų pagalba Hadoop telkinys yra startuojamas SLURM užduoties paskirtų resursų ribose.

/soft/myHadoop/slurm-example.sh - startuoja Hadoop telkinį ir jame įvykdo MapReduce užduotį ar jų seką ir sustabdo Hadoop telkinį - jis tinka ilgai trunkančioms užduotims.

/soft/myHadoop/slurm-hadoop.sh - startuoja Hadoop telkinį ir laukia, kol baigsis SLURM užduočiai skirtas laikas - jis labiau tinka interaktyviam Hadoop telkinio naudojimui.

Pastabos.

  • SLURM užduoties startavimui pasirinkite /scratch/lustre failų sistemos katalogą.
  • Kiekvienas Hadoop telkinys startuojamas su unikaliu jo konfigūracijos katalogu hadoop-config.
  • Jei kursite kelius Hadoop telkinius, tai jų SLURM užduotis startuokite skirtinguose kataloguose.


Tipiškas darbo su Hadoop scenarijus

$ ssh rolnas@uosis.mif.vu.lt
rolnas@uosis.mif.vu.lt's password: 
Linux linux1 2.6.32-5-xen-amd64 #1 SMP Mon Jan 16 20:48:30 UTC 2012 x86_64
...
Last login: Fri Mar  9 14:49:50 2012 from matrix.mif
linux1:~> klist
Ticket cache: FILE:/tmp/krb5cc_1001
Default principal: rolnas@MIF

Valid starting     Expires            Service principal
03/10/12 11:07:02  03/11/12 11:06:58  krbtgt/MIF@MIF
linux1:~> ssh cluster
Linux lxibm102 2.6.32-5-amd64 #1 SMP Mon Jan 16 16:22:28 UTC 2012 x86_64
...
Last login: Fri Mar  9 15:07:01 2012 from linux1.mif
lxibm102:~$ mkdir -p ~/hadoop
lxibm102:~$ cd ~/hadoop
lxibm102:~/hadoop$ cp /soft/myHadoop/slurm-example.sh .
lxibm102:~/hadoop$ cp -a /soft/myHadoop/gutenberg .
lxibm102:~/hadoop$ ls -l
total 8K
drwxr-xr-x 2 rolnas rolnas 4096 Oct  9 11:12 gutenberg
-rw-r--r-- 1 rolnas rolnas 1919 Oct  9 09:09 slurm-example.sh
lxibm102:~/hadoop$ sbatch slurm-example.sh
Submitted batch job 90260
lxibm102:~/hadoop$ squeue
  JOBID PARTITION     NAME     USER  ST       TIME  NODES NODELIST(REASON)
lxibm102:~/hadoop$ ls -l
total 8K
drwxr-xr-x 2 rolnas rolnas 4096 Oct  9 11:12 gutenberg
-rw-r--r-- 1 rolnas rolnas 9988 Oct  9 09:09 hadoop.log
drwxr-xr-x 2 rolnas rolnas 4096 Oct  9 11:12 outputs
-rw-r--r-- 1 rolnas rolnas 1919 Oct  9 09:09 slurm-example.sh
lxibm102:~/hadoop$ logout
Connection to cluster closed.
linux1:~  logout
Connection to uosis.mif.vu.lt closed.
Pastaba. Dalis informacijos šiuose puslapiuose prieinama tik VU MIF kompiuterių tinklo naudotojams, pateikusiems savo VU MIF naudotojo vardą ir slaptažodį.
© 1999 - 2017 VU MIF Skaitmeninių tyrimų ir skaičiavimo centras