研究室サーバ関連技術

サーバ

8tops

8tops.yamanashi.ac.jp (学外からのsshはポート55522を利用)
Xeon E3-1231 v3 @ 3.40GHz (1cpu, 8スレッド)
情報メディア館サーバ室設置、常時稼働

bdpserv

グローバルアドレスを振ってあり、bdpserv.yamanashi.ac.jp でアクセス可能
情報メディア間のサーバ室設置、常時稼働
Xeon E5-2603 2CPU (2 cpu, 12スレッド)

fujikawa

IPアドレス 172.23.206.15 (430のプリンタ近くにあるデスクトップ Linux専用)　IPアドレスでアクセスする
i7-8700 @ 3.20GHz (1cpu, 12スレッド)
GPUがついている (主に機械学習目的)

サーバとの対話

サーバの扱いは基本的にはCUI (Charactor User Interface)で行う。つまり文字列を入力して、結果を文字列でうけとる。
CUIの端末アプリはそのまま「ターミナル（端末）ソフト」などという。WindowsではTeraTermやPuttyがある。MacOSは基本的にUNIXベースのOSなので端末ソフトがついている。
- Windows10にも最近は備わるようになった。WSL2(Windows Subsystem for Linux 2)が登場した。wsl2については、ネット上に多くの情報があるので、利用してほしい。
端末ソフトを使って、サーバにログインする。
- サーバは上の３台。各自のユーザ登録をしてある。
- もっと簡単には、Webブラウザにてサーバ上のJupyterHubにログインし、それの備わっているTerminal機能を使う。
サーバ上のjupyterを利用するには、学内ネットに入り、ブラウザにて　http://8tops.yamanashi.ac.jp:8000/ にアクセスする。

スクリプトの実行

pythonを例に。

pythonプログラムをあるファイルxxxx.pyとして作成したとき、端末のコマンドライン(シェル)上では

  python3 xxxx.py

のようにインタプリタpython3に引数としてプログラムを与えれば実行される。

スクリプトxxxxx.pyの先頭行に"#!"に続けて実行プログラム名（インタプリタ）を入れておくと、以下のスクリプトをそのプログラムで実行できる。


#!/usr/bin/env python3
# -*- coding: utf-8 -*-
'''
コメント

'''
print("test")

このプログラムをそのまま実行するには、実行権限をつけておく。

  chmod +x xxxx.py

サーバでの定期実行 cron

サーバは常時稼働しており、時間指定して定期的にコマンドを実行させるには、実行内容をcronのテーブル(crontab）に記録しておく。
ターミナルで"crontab -e"と打ち込むと、ターミナル内でエディタが立ち上がる。エディタはnanoになっている。(viあるいはvimというエディタになっているかもしれない。viは古くからあるプロ好みのエディタだが慣れが必要である。もしviが立ち上がってしまったら、とりあえず"zz"を入力して終了し、nanoに切り替える。選択には"select-editor"というコマンドがある。
- エディタでcrontabを編集する。
crontabの書式は、最初の部分に時間、日時指定をし、その後に実行したいコマンドを書く。コマンドはフルパスをつけて書くのが安全である。

サーバとのファイル共有・転送

NetBIOS (Windowsのファイル共有)

8topsの場合だと、Windowsのエクプローラで、「コンピュータ」を右クリック⇒「ネットワークドライブの割り当て」で "\\8tops.yamanashi.ac.jp\ユーザ名" とすることにより接続可能

bdpservなら"\\bdpserv.yamanashi.ac.jp\ユーザ名"とする。

ファイアウォールでは通さない場合が多いので、ローカルな範囲に限られるが、上記のサーバでは学内ホストに対してはアクセスOKにしてある。

（サーバ側にユーザ登録上の特別な設定が必要なので、それを行っていないサーバがあるかもしれない。アクセスできなかったら尋ねてほしい。）

WinSCP

ファイル転送ソフトとしてはWinSCPが安定している。

手元（ローカル）のコンピュータのフォルダとサーバ側のフォルダを表示し、相互にファイルをコピー、移動できる。

「環境設定」によりエクスプローラ風画面での操作もできる。ただ、ファイルを開くを指定した場合、ファイルを一旦作業用ディレクトリにダウンロードし、保存時にアップロードする作業が行われることに注意（「ファイル共有」にみえるだけで、裏でやっていることはネットワークドライブとは異なる。）

ffftp

（説明省略）

VNC (ウインドウ環境)

VNC(Virtual Network Conputing)プロトコルを利用するとサーバのグラフィック画面を手元のコンピュータで操作できる

設定

~/.vnc/startupという名前のファイルを編集する。

   #!/bin/sh

   # Uncomment the following two lines for normal desktop:
   # unset SESSION_MANAGER
   # exec /etc/X11/xinit/xinitrc

   [ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
   [ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
   xsetroot -solid grey
   vncconfig -iconic &
   exec gnome-session &
   gnome-panel &
   gnome-settings-daemon &
   metacity &
   nautilus -n &

ターミナルソフトでログインし次のコマンドを実行

vncserver :1

他の人が使っていればディスプレイ番号を2とかにする。（試していないのでうまく行くかどうかわからない。）

~/.vnc/startupを書き換えたらvncserverを再起動する。

vncserver -kill :1
vncserver :1

vnc クライアントのインストール

いろいろあるが、 https://www.realvnc.com/download/viewer/ が便利そうである。

利用

ターミナルでログインしvncserverを実行
```
vncserver  -geometry 1280x764
```
パラメータは画面の大きさ（設定しなくてもよい）最初だけパスワードの設定をする必要がある。（vnc専用なのでターミナル等でログインするときのパスワードと違うものでOK）
ターミナルのログアウトをすれば、vncserverは終了するが、強制的に終了させるには
```
vncserver -kill :1
```
などとする。
他の人が使っていると画面番号が2以上の数字（コロンの後の数字）になるので注意
vncクライアントを立ち上げ、サーバ名と画面番号を入れる。（適当に名前をつけてセーブして置けば、次のときに楽。
Macからの接続の場合 http://qiita.com/toshiro3/items/808537690bdfe04a391c のように、 Finderの「移動」＞「サーバへ接続」で、VNCクライアントを起動し、サーバ指定を

vnc://ホスト名（IPアドレス):5901

のように、プロトコル、ホスト名、ポート番号を指定する。

ウィンドウマネジャーなどの設定サーバのホームディレクトリのしたの.vnc/xstartupというファイルを次のように書き換える。

#!/bin/sh
# Uncomment the following two lines for normal desktop:
# unset SESSION_MANAGER
# exec /etc/X11/xinit/xinitrc
[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &
# x-terminal-emulator -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &
gnome-panel &
gnome-settings-daemon &
metacity &
nautilus &
gnome-terminal &
# x-window-manager &

サーバでのjavaプログラムの実行

プログラム作成

手元のパソコンでソースファイルを作成しファイルをサーバに送る。(ファイル共有について後述）
端末ソフトでログイン
- プログラムの実行
- 必要に応じてサーバ上のエディタを利用してプログラムを修正。Macならサーバ上のGUIソフト、たとえばeclipseなど)を手元のコンピュータ上に表示することができる。

サーバ上での実行

ソースのディレクトリに移動 "cd フォルダ"　（たとえば cd research/src )
javaのコンパイル
```
javac (package名)/(mainメソッドがあるソースファイル名)
```
とする。javacにオプション -d により出力ディレクトリを指定できる。 eclipseのプロジェクトのようにソースはsrc、コンパイル後のクラスファイルはbinのようにしたいときは、たとえば、
```
javac -d bin (package名)/(mainメソッドがあるソースファイル名)
```
実行は、
```
java -cp bin (package名).(mainメソッドがあるソースファイル名)
```
上記では、"-cp"オプションによりクラスファイルのパスを明示している。

シミュレーションのパラメータコマンドライン引数で与える

シミュレーションではパラメータをコマンドライン引数の与えるのが便利である。たとえば、

java twoLaneSOV.simulation.Main 0.5 0.2 0.02 1.0

のように。（引数はたとえば順に、Pc beta alphaの最初の値 alphaの最後の値）

mainメソッドでの処理の仕方

	public static void main(String[] args) throws IOException {

		double alpha, beta, a, Pc;
		if(args.length!=4) {
			System.out.println("Pc  beta alphaの最小値 最大値 の４つをを引数に与えてください。");
			System.exit(0);
		}
		Pc = Double.parseDouble(args[0]): 0.5;
		beta = Double.parseDouble(args[1]);
		alpha = Double.parseDouble(args[2]);
		double alphaMax = Double.parseDouble(args[3]);
        // 以下略
       }

のように、引数が文字列型配列argsに入っているので、それぞれをDouble等に変換して変数に代入する。

pythonでのコマンドライン引数

https://toyoki-lab.ee.yamanashi.ac.jp/~toyoki/labTips/pythonTips4lab.html を参照

バッチジョブへの投入

端末でのセッションを終了(logout)してもジョブが実行されるように、ジョブを"バックグラウンド"で実行させる。そのためのコマンドがbatchである。（batchはat nowと同様)

batchと入力すると、batch処理をするコマンド入力プロンプトになる。そこに上記のような"java ...."を入れて、Ctrl-Dで抜ければ、入力終了である。
上記では、命令を手入力する必要がありたくさん行うには面倒である。そのようなときには、命令を「パイプ」機能をつかってbatchに流しこむのが便利である。

echo "java twoLaneSOV.simulation.Main 0.5 0.2 0.02 1.0" | batch

のようにする。バーがパイプを表す。シェルのヒストリー機能を利用すれば、次のジョブの投入が簡単である。

バッチジョブ終了の知らせ

終了はメールで知らせてくれる。

ホームディレクトリに".forward"というファイルを作り、その中にメールを転送したいアドレスを書いておく。

TOYOKI Hiroyasu
Updated: 2020-05-06

Home / labTipsHome