2019年度卒論関係

データサイエンスの勉強

人流解析

早期配属課題用

甲府市

白州地域

とりあえずのデータ表示ページ：https://8tops.yamanashi.ac.jp/hakushu/

笛吹フルーツ公園

https://8tops.yamanashi.ac.jp/ff/

豊田市

https://8tops.yamanashi.ac.jp/ttri/

バス到着予測

Todo
  1. バス時刻表や路線が変更された場合にも対応できるよう、類似路線のデータ検索 ⇒ 予測へ活用
  1. 全路線サービスに向けた回帰係数の蓄積・更新システムと予測出力の高速化

バスコンシェルジュ、バスロケ情報取得

いくつかは、DBからJSON形式でデータをゲットするスクリプトを作ってある。

バスロケの情報取得については、下記「バスロケーション情報」の項を参照

LoRaWAN

https://www.thethingsnetwork.org/community/yamanashi/

種々の情報

pythonスクリプト関係

- python_tips.html (ちょっと前のもの)

サーバ上での実行のこともちょっと触れてある

- pythonTips4lab.html (2019/10/31以降)

バスロケーション情報

バス停通過時刻データの取得
http://8tops.yamanashi.ac.jp/~toyoki/buslog2016/getLocationsYamanashi.php バスロケ生データから、バス停通過時刻を割り出し、別テーブルに保存したものから取得しているので高速
やまなしバスコンシェルジュデータの表形式表示
http://8tops.yamanashi.ac.jp/~toyoki/buslog/getLocationsYamanashi.php (リクエストがあった時点でバスロケの生データからの取得するので時間がかかるが同じものが出力されるはず。)
やまなしバスコンシェルジュのロケーションデータ取得テスト
http://8tops.yamanashi.ac.jp/~toyoki/buslog/showBusLocations.html 特定の日、路線、運行時刻の全データポイント（約１５秒おきの位置）を地図表示
国土地理院地図上でのバスロケ＆路線経路表示
http://8tops.yamanashi.ac.jp/~toyoki/geojson/showBusLocGsi.php
HTTPを通じてJSON形式で得られるデータ一覧
http://8tops.yamanashi.ac.jp/~toyoki/labTips/BusMap2json.html 路線、バス停位置、時刻表などのデータを得るためのスクリプトへのリンク

バスコンシェルジュの情報

路線の地理情報（道路、バス停のjson形式データ)を得る方法
路線総称IDと路線IDを"|"で区切って次のURLに引数として与えると個別のバス路線の情報が得られる。

  http://dev.busmaps.jp/yamanashi/modules/BusMap2/jsonp/BusRouteRoadsJSON.php?routes=19|17
  

総称IDと路線IDの一覧は、 https://drive.google.com/open?id=1-6xotxfRnSkgJATahb4TW_Ch9sc44yOr においた。地理情報が未作成の路線（地理情報が空）があるかもしれない。このファイルを読み込み、URLを指定してファイルにセーブする繰り返すpythonスクリプトを書けば（他の言語でも良いが）、全部入手することは可能である。 pythonでjson形式のデータを得るには、

import json, urllib
url = "http://dev.busmaps.jp/yamanashi/modules/BusMap2/jsonp/BusRouteRoadsJSON.php?routes=" + "19|17"
req = urllib.request.Request(url)
res = urllib.request.urlopen(req)
json_data = url_obj.read().decode('utf8')
json_dict = json.loads(json_data)
print(json_dict)

のように書けば良い。ファイルから読み込んだIDを"19|17"の部分にセットし繰り返す。

バス運行データのオープンデータ化

参考事例(ヴァル研究所 諸星さんのスライド): https://www.slideshare.net/KenjiMorohoshi/20180216-88155353?next_slideshow=1

改善したのは「運行条件」（「年末年始を除く平日」のような運行日の記述）を自動的にカレンダーに落とすためのプログラム。自然言語の解釈をうまく行えるアルゴリズムと実装を行いたい。

変換したいソース（運行条件一覧）はGoogle Driveの研究室ゼミ/2018年度/オープンデータ化に載せてある。

共通知識

ファイル共有

デスクトップパソコンとノート、あるいは家での作業、ゼミでの利用などの場合、サーバ上にファイルを置いてそれにアクセスできると便利である。いつでも自分の作業領域にアクセスできるようにしておこう。利用例はこちら

サーバ関係の基礎知識

Linux関係のいろいろ

こちら

研究室サーバ上のグラフィカルアプリをWindows上に表示

こちら

raspberry piのことはGoogle Drive上の文書にもいろいろ書いてある。

研究室のサーバとバッチジョブなど

こちら

サーバ上での数値計算

こちら　→ batchTutorial.html

Javaの勉強

Googleドライブの「2018年度＞交通流＞Javaサンプル」に置いたので試してみてほしい。

玉田くんの卒論で使ったプログラムは、玉田くんのフォルダから入手。

拡張OV方程式による２車線モデルシミュレーションプログラム(武藤くんがつかったものの原型)は、「交通流＞２車線モデル」フォルダに置かれたzipファイル

JAVAのGUIについて

(2015年度学生用に書いたもの)

参考

自分用メモ

数式を埋め込む

MathJaxを使えば、LaTeX形式での数式埋め込みが可能である。(muse利用の場合はliteralタグで囲む必要がある。）

<!-- MathJax -->
<script type="text/javascript" async
  src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.5/MathJax.js?config=TeX-MML-AM_CHTML">
</script>
<script type="text/x-mathjax-config">
  MathJax.Hub.Config({tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]}});
</script>
$$ y(t) = \sum_{n=1}^\infty C_n \sin(nt+\delta_n) $$

Markdownをhtmlに変換したとき数式が生の文字列のままだとすると、上記のコードが埋め込まれていない可能性がある。その場合は、上記を明示的にMarkdownファイルに挿入する。(vscodeでMarkdown+Mathを使った場合も、現在のところ、その必要があるようだ。)

TOYOKI Hiroyasu
Updated: 2020-03-03 		Home / labTipsHome