Practical Data Science

この授業は、今年から開設するものですので、講義担当者にとっては実験的なものを含みます。提案、質問は歓迎します。

This year is the first time to open this lecture. It includes some experimental contents and so, feel free to ask questions.

英語のみで履修する学生の履修希望がありましたので、授業資料は、極力、和英両方で記述します。

On the course of preparation, I found web browsers can translate the page well. If you prefer to studying this course in English, please use the function of translation in the web browsers.

Preparation to test examples and work on exercises

Installing a development environment for python and its libraries for data analysis

演習は、pythonの開発環境のひとつであるjupyter notebookを利用するので、各自のコンピュータに利用環境を整備してください。

Samples written by python will be given in this class. So, you need to install python interpreter, its libraries, and the development environment "Jupyter Notebook". If you cannot do it, please take the class in the computer room No.2 or No. 3 at "Multimedia Hall".

インストール方法はWeb上にたくさんあるが

https://ai-inter1.com/jupyter-notebook/

あたりが簡単で良いと思う。

An instruction is given in the above URL.

可視化、機械学習、数値計算などライブラリが充実し多くのユーザがいるPythonの開発環境Anaconda (https://www.anaconda.com/products/individual) のインストールを推奨します。

(注) Windowsでのユーザ名(正確にはホームフォルダの名前)が日本語だとインストールがうまくいかないようです。その場合は他のフォルダへインストールしてみてください。

A well-known package Anadonda is strongly recommended.

alternative environments for learning

できない人は、

moodle page

  • この講義のmoodleページは (Lecture notes and sample codes are given in this page and the moodle site:)

    https://moodle.yamanashi.ac.jp/2021/course/view.php?id=2003

    です。このページとmoodleのページを行ったり来たりしますので、両方をWebブラウザの別タブか別ウィンドウで開いておくのが便利でしょう。

    • オンライン授業・演習を行います。zoomのURLは上記moodleのページにあります。

The class is provided online by zoom. (URL is cited in the above moodle page)

Contents

第1週

Exercise 1

For beginner at python

  • python利用環境 (Jupyter Notebook)のセット
  • 上記、「pythonの基本」などを自分のJupyter Notebookで実行するとともにメモをMarkdown形式で書き込む

For students with some skills in using python

  • matplotlibの簡単な利用例を実行してみる
  • サンプルとして利用したい各自の2次元データがあればそれを読み込んで図示するプログラムを用意する。

For students who use python almost everyday

  • Prepare sample numerical data from your everyday work
  • Try to use "ipywidgets" (inline GUI) in 図示ライブラリ matplotlib の簡単な利用例 and make a note on ipywidgets.
  • Make some useful tips on your Jupyter and python development environment and show us them.
  • If you have some technical tips, please submit the forum "QA and Tech Tips" on the moodle site.

第2週

https://toyoki-lab.ee.yamanashi.ac.jp/~toyoki/lectures/PracDataSci/function_fitting.html (Exercise 2 is included.)

第3週

第4週

Bayes statistics

https://toyoki-lab.ee.yamanashi.ac.jp/~toyoki/lectures/PracDataSci/BayesApproach.html (incl. Exercise 4)

https://toyoki-lab.ee.yamanashi.ac.jp/~toyoki/lectures/PracDataSci/prml3.3.html

第5週

Support Vector Machine and its application to regression problems

https://toyoki-lab.ee.yamanashi.ac.jp/~toyoki/lectures/PracDataSci/svc_svm_in_scikit-learn.html (incl. Exercise 5)

Supplement:

第6週

Neural Network and Random Forest methods in regressions

https://toyoki-lab.ee.yamanashi.ac.jp/~toyoki/lectures/PracDataSci/other_ML_methods.html

第7週

  • Logistic Regression In the case where the range of target values is limited, its probability distribution is not Gaussian. We will see "Logistic Regression" as an example.
  • Mixed models

第8週

In [ ]: