2017年度卒論関係

2017年ゼミ用ページ

こちら

到着時刻・新予測システム構築に向けたテスト作業手順(2017)

前半部分は９月の最初のゼミの時に説明した。ゼミのページを参照してほしい。

サンプルとする路線を決める(複数でも良い)
そのIDを http://dev.busmaps.jp/yamanashi/modules/BusMap2/jsonp/BusCategorizedRouteJSON.php から探す。便宜を考え、停留所通過時刻の表示ページにて簡単に得られる方法をつくってある。ゼミのページ参照
上記の路線IDを http://dev.busmaps.jp/yamanashi/modules/BusMap2/jsonp/BusRouteRoadsJSON.php?routes=19|17 のように路線総称IDと路線IDを"|"で区切って与えて、路線の位置データをjson形式で得る。(routes=のオプションにIDを与える"!"で区切って複数指定することもできるが、今は必要ないかもしれない。)
- Web経由でjsonデータを受け取って辞書型データに変換するpythonは単に次ようにすればよい。
```
import json, urllib
url_obj = urllib.request.urlopen("http://dev.busmaps.jp/yamanashi/modules/BusMap2/jsonp/BusRouteRoadsJSON.php?routes=19|17")
json_data = url_obj.read().decode('utf8')
json_dict = json.loads(json_data)
print(json_dict)
```
路線の緯度経度情報を折れ線でGoogle Maps APIを利用して図示してみる。以下の作業上、処理の正しさを視覚的に確認する上で重要。上の「Google Maps API利用のチュートリアル」も参考にしてほしい。
始点から折れ線の頂点までの距離を計算する方法を考える
バスロケの日々の詳細データを下記「バス停通過時刻データの取得」ページからいくつかを取得する。
- 年月日欄をクリックすることにより、CSV形式のデータが一番下の方に表示されるので、それを選択、セーブする。
- 一定期間のものをまとめてセーブすることもできる。ゼミのページに書いてある。
バスロケデータを路線上にマップし表示する。
バスロケの時系列データを(始点からの距離, 出発からの経過時間)に変換するプログラムを作る。
それらをいくつかの時系列分析の手法により解析する。

ピクニックバス車載器情報分析(2017)

研究室内専用の情報もあるので、Google Driveの方に書く。ファイル名：ピクニックバス利用者分析

共通知識

ファイル共有

デスクトップパソコンとノート、あるいは家での作業、ゼミでの利用などの場合、サーバ上にファイルを置いてそれにアクセスできると便利である。いつでも自分の作業領域にアクセスできるようにしておこう。利用例はこちら

サーバ関係の基礎知識

OSの立ち上がり(ブート)の仕組みと管理 https://www.suse.com/ja-jp/documentation/sles11/singlehtml/book_sle_admin/cha.boot.html
- ストレージ(HDなど)の仕組み
- ブートプロセス (MBR, ブートローダ、カーネル)
- 基本的な常駐プロセスの起動
- プロセスの管理
- ログファイル
常駐ソフトウェア
- インストール方法 (apt)
  - apt-get install | update | upgrade | dist-upgrade | remove
  - apt-cache search
- Web (apache2)
- メール (postfix)
- リモートアクセス (sshd)
- ファイル共有 (sshd, samba)
- 起動管理 (systemd)
Web (サーバサイドスクリプトとクライアントサイドスクリプト)
データベース
ネットワーク

研究室のサーバとバッチジョブなど

こちら

pythonの勉強

こちら

少し本格的に勉強する場合は、Googleドライブの「データ処理演習」の問題にチャレンジする。

Google Maps API利用のチュートリアル

もっとも簡単な例
少し実用的な例:GPS、BLEデータ表示(松浦くん卒論用) このページの下の方に地図上への表示例がある。

Javaの勉強

Googleドライブの「2017年度＞Javaサンプル」に置いたので試してみてほしい。

コマンドラインでの実行: それぞれのプログラム言語について開発・実行環境がさまざまあるが、プログラムがある程度完成の域に達し、シミュレーションや観測の実行段階になると、コマンドライン（シェルウィンドウ）でコンパイル、実行するということが便利である。必要であると言ってもよい。どのOSにもシェルウィンドウ（Windowsの場合は「コマンドプロンプト」）が用意されているが、UNIX系のOSの方が便利である。Max OSXを使うか、OSの仮想化ソフト（VirtualBox）をインストールして、その上にLinuxを載せて使うことを推奨する。

メーリングリスト

toyoki-lab@ml.yamanashi.ac.jp へメールするとメンバー全員に届く。（メンバーのアドレス以外のアドレスから投稿すると保留になって、管理者が手動でOKを出さないと配送されない。）メンバーは過去のメールをまとめてみることができる。 https://mailman.yamanashi.ac.jp/mailman/listinfo/toyoki-lab

JAVAのGUIについて

(2015年度学生用に書いたもの)

step 1: ボタン、スライダなどをパラメータ設定ウィンドウに配置
step 2: スライダなどを動かしたときの値を取得する方法
step 3 パラメータ設定ウィンドウとシミュレーション進行状況表示の両方をアクティブにする方法
step 4: シミュレーションモデル本体を作成し、GUIから操作、結果を描画ウィンドウに表示する
step 5: シミュレーションの中断、再開、パラメータ設定した新規スタートを可能にする
研究室Linuxサーバへのアクセス
コマンドラインでのコンパイル､実行など

バスロケーション情報

バス停通過時刻データの取得: http://8tops.yamanashi.ac.jp/~toyoki/buslog2016/getLocationsYamanashi.php バスロケ生データから、バス停通過時刻を割り出し、別テーブルに保存したものから取得しているので高速
やまなしバスコンシェルジュデータの表形式表示: http://8tops.yamanashi.ac.jp/~toyoki/buslog/getLocationsYamanashi.php (リクエストがあった時点でバスロケの生データからの取得するので時間がかかるが同じものが出力されるはず。)
やまなしバスコンシェルジュのロケーションデータ取得テスト: http://8tops.yamanashi.ac.jp/~toyoki/buslog/showBusLocations.html 特定の日、路線、運行時刻の全データポイント（約１５秒おきの位置）を地図表示
国土地理院地図上でのバスロケ＆路線経路表示 (New): http://8tops.yamanashi.ac.jp/~toyoki/geojson/showBusLocGsi.php
国土地理院地図上でのピクニックバス＋α表示 (New): http://8tops.yamanashi.ac.jp/~toyoki/busloc/showBusLocationsGsi.php
HTTPを通じてJSON形式で得られるデータ一覧: http://8tops.yamanashi.ac.jp/~toyoki/labTips/BusMap2json.html 路線、バス停位置、時刻表などのデータを得るためのスクリプトへのリンク

GPS, BLEデータの格納や、位置データをGoogle Map上に表示する方法

(2016年度・松浦卒論関係) busLocationSrv.html
(2017年度) 上記と重複するが、Google Docs上のドキュメント「新バスロケ車載器開発」参照

BLEデータのpythonによる図示: csv_plot_tutorial.html

八ヶ岳ピクニックバス関係

バスロケ(2017/09/22以降)の位置履歴表示例 http://8tops.yamanashi.ac.jp/~toyoki/busloc/showBusLocations.php
期間をGET型引数としてDBより位置情報をjson形式で提供するプログラム http://8tops.yamanashi.ac.jp/~toyoki/busloc/getBusLocationsDevel.php に
http://8tops.yamanashi.ac.jp/~toyoki/busloc/getBusLocationsDevel.php?from=20171002103000&to=20171002111000&boxName=picnic2

のようにGET型変数をつけるとデータが得られる。位置履歴表示スクリプトはJavaScriptでこのURLからデータを取得、描画している。 (boxNameは車載器の名前でpicnic1かpicnic2, 取得した期間2017/10/01から2017/11/5は１台運行期間なので、picnic1かpicnic2のどちらかしか運行していない。)

その他バス情報関係

やまなしバスコンシェルジュ http://www.busmaps.jp/yamanashi/
八ヶ岳方面バスの運行情報取得 http://8tops.yamanashi.ac.jp/~toyoki/local/showBusInfo.php (2015年度の実験で使用したもの。テスト用にある期間のバスロケデータ全部を表示するもの。年は2015年固定。)
表形式でのデータ取得 http://8tops.yamanashi.ac.jp/~toyoki/local/getLocationData.php (同上。ただし、路線IDが現在と異なっているためデータが表示されない。)

pythonの学習など

基本的な文法やライブラリの使い方

http://www.turbare.net/transl/scipy-lecture-notes/index.html
python本家のチュートリアルの和訳もよい。http://docs.python.jp/3/tutorial/index.html
プログラムと付随する文書をまとめておくにはjupyterが便利
- 試しに /~toyoki/lectures/simulationMethods/NumericalMethodsPart1.ipynb をダウンロードし、jupyterで読み込んでみる。説明はゼミの時に。
バスロケ開発用に関連した事項
バスロケ用プログラム例
統計解析によくつかうpandaライブラリの利用： dataFrameの理解が重要

csvファイルを読み込みとグラフ作成

参考スクリプト例

サンプルプログラム

時刻計測（バス到着時刻計測用ストップウォッチ）

動画を作る

mpeg4形式あるいはmoving gifに書き出すことも可能 python_animation.html

Raspberry PI

Google Driveに書く

参考

pythonの勉強
- 数値計算特論のページ
- http://www.turbare.net/transl/scipy-lecture-notes/index.html
2016年度のページ
2015年度のページ
2014年度のページ
社会的ジレンマの数理モデルについて (2010年度に書いたもの）
2013年度のページ
2012年度のページ
[[networkFS.html][研究室サーバとのファイル共有]（Windowsからのログイン、ファイル転送も）2015年度は未設定
macでの作業について
梨大office365内のtoyoki-labフォルダ (2015年度は未設定)

自分用メモ

数式を埋め込む

JavaScriptコードとして

   // TeX 出力用
   $('.tex').each(function(i,obj){
          var base = 'http://chart.apis.google.com/chart?cht=tx&chl=';
          var url = base + encodeURIComponent($(obj).text());
          $('<img>').attr('src',url).insertAfter(obj);
          $(obj).remove();
      });

を書いておき（literalタグで囲んで埋め込む）

 <div class='tex'>
        y(t) = \sum_{n=1}^\infty C_n \sin(nt+\delta_n)
 </div>

のようにTeX形式で書き込む。そうすると次のように表示される。

y(t) = \sum_{n=1}^\infty C_n \sin(nt+\delta_n)

インラインの場合は、divタグの代わりにspanタグを使う。（class指定は同じくtex）