無料で工場見学ができます。ビールも無料で2二杯くらい飲めます。
札幌→小樽の移動は電車で移動しました。JRが通っており、40分前後で移動できます。移動中の景色もとても良いので、進行方向一番前にいるのが良いかもしれません。
船に乗って遊覧もできます。ガイドさんの説明を聞くと小樽の歴史など、勉強になります。
筆者のTwitterの投稿頻度が低いので、筆者のツイート頻度はポアソン分布に従っているのではないか？と考え、χ二乗検定で確認してみました。 その結果、two-part ポアソン分布に従っていることが確認できました。その手続とソースコード1の記録です。
コメントとソースコードの通りで、特に説明することはありません。
import os import glob import numpy as np import pandas as pd import scipy.misc import matplotlib.pyplot as plt DIR_HOME = os.path.dirname(os.path.abspath(__file__)) + os.sep + '..' DIR_DAILY_DATA = DIR_HOME + os.sep + 'daily_data' COL_TWEET_COUNT = 'Tweets published' MAX_TWEETS = 7 def main(): # 月ごとにまとめられた日付ごとのツイートデータファイル名を取得 filenames = glob.glob(DIR_DAILY_DATA + os.sep + '*.csv') # 一日ごとのツイート数を集計 num_tweet_freq = read_daily_data(filenames) # ポアソン分布に従った場合の期待度数を算出 expect_distribution = calc_poisson_distribution(num_tweet_freq) zero_expected_tweet_freq = calc_zero_inflated_poisson_distribution( num_tweet_freq) expected_tweet_freq = expect_distribution * np.sum(num_tweet_freq) # χ二乗検定 poi_text = chi_square_test(num_tweet_freq, expected_tweet_freq) two_part_text = chi_square_test(num_tweet_freq, zero_expected_tweet_freq) text = ' Poisson: ' + poi_text + '\n' +\ 'Two-part Poisson: ' + two_part_text # ヒストグラムの可視化 draw_hist(num_tweet_freq, expected_tweet_freq, zero_expected_tweet_freq, text) if __name__ == '__main__': main()
def read_daily_data(filenames): num_tweet_distribution = np.zeros(MAX_TWEETS) for filename in filenames: df = pd.read_csv(filename) for tweet_of_day in df[COL_TWEET_COUNT].values: # 1日のツイート数の分布を調べる num_tweet_distribution[tweet_of_day] += 1 return np.array(num_tweet_distribution, dtype=np.float64)
今回は2種類の理論分布を調べました。
はじめはシンプルなポアソン分布だけを調べたのですが、ツイート数が0の日がとても多いことからデータへの当てはまりがとても悪く、モデルの検討を余儀なくされました。そこで、ツイート数が0かどうかをベルヌーイ分布に従って決定し、ツイート数が0でなければポアソン分布に従う、というtwo-part Poisson 分布を用いました。
ポアソン分布の密度関数は以下のように与えられます。日本語で説明すると、「単位時間あたりに平均 λ 回生じる現象が、単位時間に k 回起きる確率」です。
ポアソン分布には以下のような特性があり自分の感覚としても、この特性は自分のツイート数の分布に合致しているのでは？と思っていました。 - ポアソン分布は低頻度で発生する現象に対して当てはまりがよく、よく使われます。
実装ではデータの平均値からパラメータλ（プログラム中の変数mu）を求めています。関数calc_poisson_distributionを参照）
普通のポアソン分布で当てはまり具合を調べてみるとツイート数が0の日があまりにも多く（観測値）、理論値と乖離がありました。
実はこのように回数0の頻度がとても多い分布はよくある話で、例えば飛行機事故なんかではそもそも飛行機が飛んでない日があるとするとその日の事故数は0としてカウントされます。
Two-part ポアソン分布のTwo-part とは、
という、二段階で考えることを意味します。 私の場合でいうと、仕事が遅くまであって疲れてて or 旅行にいっていて Twitterをそもそも開けていない日は当然ツイート数が0になるというわけです。
適切な実装方法はわからないので、適当に実装しています。 データからツイート数0の頻度を計算し、それを0の発生頻度とします。 1以上の頻度に対してポアソン分布のパラメータを計算し、合体させたものを理論度数としています。
ゼロ過剰ポアソン分布は実装が面倒だったので妥協しています。
一日のツイート数ではなく、一週間のツイート数など、集計期間を長くとることで分布を調整する方法が考えられます。しかし、この方法ではポアソン分布になるかどうか怪しい & 期間を長くしすぎると中心極限定理が働いて正規分布になってしまって面白くない。
def calc_poisson_distribution(distribution): # (e^{-λ}λ^k)/k! に従うかどうか検定 # λ = 未知母数 (データから推定する) # X = クラス k（K回事象が起こる） # パラメータλを標本平均から推定する mu = calc_mean(range(len(distribution)), distribution) # 推定されたパラメータλからポアソン分布に従う場合の期待分布を求める poisson_distribution = np.zeros(MAX_TWEETS) for x in range(MAX_TWEETS): poisson_distribution[x] = calc_poisson(mu, x) return poisson_distribution def calc_zero_inflated_poisson_distribution(distribution): zero_num = distribution[0] zero_rate = distribution[0]/np.sum(distribution) # パラメータλを標本平均から推定する mu = calc_mean(range(1, len(distribution[1:])), distribution[1:]) # 推定されたパラメータλからポアソン分布に従う場合の期待分布を求める poisson_distribution = np.zeros(MAX_TWEETS) for x in range(1, MAX_TWEETS): poisson_distribution[x] = calc_poisson(mu, x) poisson_distribution[0] = zero_rate after_zero = poisson_distribution[1:] * np.sum(distribution[1:]) return np.array([zero_num] + list(after_zero), dtype=np.float64) def calc_mean(xs, distribution): sum_ = 0 for x, freq in zip(xs, distribution): sum_ += x*freq mu = sum_/np.sum(distribution) return mu def calc_poisson(mu, x): e_mu = np.e ** mu return mu**x / (e_mu * scipy.misc.factorial(x))
あるデータが特定の分布に従っているかどうかを判定するにはχ二乗検定を用います2。χ二乗統計量は以下の式で与えられます。
数学的な説明を取っ払うと、観測値と期待値の自乗誤差和を期待値で割って正規化しています。確率変数に基づく計算をやると、χ二乗分布に従うことが確認でき、この値がχ二乗分布から大きく外れているとχ二乗分布であることが棄却され、2つの分布は異なる分布であるという結論が導かれます。
今回の場合は同一の分布であることを確認したいので、χ二乗値が自由度((7-1)×(2-1)=6)の上側有意確率0.05のχ二乗値12.6よりも小さいと嬉しいです。
def chi_square_test(data_freq, expect_freq): def calc_df(shape_): df = 1 for len_ in shape_: df *= (len_ - 1) return df chi_square = np.sum(((data_freq - expect_freq)**2)/expect_freq) df = calc_df(data_freq.shape) text = 'X-squared = {:.4f}, df = {:d}'.format(chi_square, df) print(text) return (text)
matplotlibで、 - 観測データの分布(Observed) - ポアソン分布の理論分布(Poisson) - Two-parat ポアソン分布の理論分布(two-part Poisson) を可視化しています。
def draw_hist(data_dist, expect_dist, two_part_dist, text): fig, ax = plt.subplots(1) ax.set_title('Target period: 2020/09/01~2020/12/31') ax.bar(np.arange(len(data_dist)), data_dist, width=0.2, label='Observed', color='#008000') ax.bar(np.arange(len(data_dist))+0.2, expect_dist, width=0.2, label='Poisson', color='salmon') ax.bar(np.arange(len(data_dist))+0.4, two_part_dist, width=0.2, label='two-part Poisson', color='lightblue') ax.legend(loc='best') ax.text(1.5, 50, text) ax.set_xlabel('Tweets per day') ax.set_ylabel('freq') plt.show() plt.close()
o <- c(75, 20, 12, 7, 3, 3, 2)
e <- c(5.20165547e+01, 4.43419811e+01, 1.88998608e+01, 5.37045225e+00,
1.14452261e+00, 1.95131724e-01, 2.77236329e-02)
chisq.test(o, p = e / sum(e))
qchisq(.95, df=6) # χ二乗値の確認 12.59159
# 出力結果：
Chi-squared test for given probabilities
data: o
X-squared = 210.16, df = 6, p-value < 2.2e-16
沈下橋とは欄干*1がなく、簡易的に作られる橋です。なお、沈下橋という名前ですが、増水時以外は普通に橋として機能しています。
高知県には「日本三大清流」の一つである四万十川が流れておりそこから派生する仁淀川など、水質が良い川が多い。それらに架かる沈下橋は絶景です。
鰹料理とクエ鍋は 土佐料理 司 でいただきました。
筆者が参加した京都マラソン2020の回顧録です。
筆者の運動経験は中学生のときに3年間「市内～都道府県大会レベル」の運動部に所属していた以来、まともな運動をしていません。 また、筆者はメーカー勤務の技術者であり、主な練習は休日のみでした。
そんな筆者が42.195kmを5時間30分で完走するまでにやったことなどをまとめておきます。
いずれもペースは体調に合わせて6~7分/km 程度
ワコール製品は高価ですが、知人、スポーツ選手からの評判がとてもよく、実際の使用感もとてもよかったです。 筆者は他製品と比較したわけではありませんが、おすすめの商品です。
個人的な試行錯誤、マラソンが趣味の知人から聞いたことの中から実践してよかったと思うものを列挙します。
足を高く上げすぎない
かかとから地面に着地する
ストライドを小さくする
ピッチを高くする
腕ぶらぶら走行
上半身を起こす
練習内容を振り返ると十分な練習量とは言えないでしょう。それでも完走できたのは、沿道の力強い応援、給水給食荷物管理などのボランティアの方々、レースを共にしたランナー、応援してくれた家族や友人の支えがあってこそだと思います。独りでは到底走りきれる距離ではありませんでした。ありきたりな文面で恐縮だが、この気持を忘れないように改めて感謝の気持をここに残します。ありがとうございました。
SNSで走る宣言を大々的にして、友人に応援してもらうことで、レース中に心が折れそうになったときにも、「ここで終わるわけにはいかない」という気持ちになれました。
平安神宮のゴール後に完走記念タオルをいただきました。雨の中のあのタオルの暖かさと肌触りに安心感のようなものを覚えました。いろんな人の応援や達成感も相まって、まさに万感の思いでした。マラソンはリピーターが多いといわれています。リピーター達は、フルマラソンのゴールでしか味わえないあの感覚と、レースを共有する仲間を求めているのかもしれません。
git addすることでインデックスに変更を登録する。git commitでコミットする。## 作業を始める前に行うコマンド $ git status # 変更がなかったか確認する癖をつける $ git branch # 今どのブランチで作業しているかに注意 c.f. vscoeの場合 ## 作業が一段落したときに行うコマンド $ git add -A # 変更ファイルのadd # ローカルリポジトリにコミット。コメントを書くことができる # コメントの書き方については後述。 $ git commit -m "coments" # push すると、ローカルリポジトリの内容をリモートリポジトリにアップロードできる $ git push remote リモートリポジトリ名 # リモートリポジトリにあげる。多くの場合 リモートリポジトリ名 = origin ## 変更を取り込みを行い場合 # fetch を行うと、リモートの情報をダウンロードできる $ git fetch リモートリポジトリ名 # 多くの場合 リモートリポジトリ名 = origin $ git merge ブランチ名 # 今いるブランチにブランチ名の内容をマージする
## 開発前の準備 $ git fetch # 後輩Bのローカルリポジトリを最新の状態にする $ git branch -a # ブランチ一覧を表示し、どのブランチから新たなブランチを切るか考える $ git checkout -b 新たなブランチ名 切る元のブランチ # ブランチの作成＋ブランチの切り替え $ git checkout -b shortcut develop # ブランチの作成＋ブランチの切り替え $ git branch # 新たなブランチが無事できたか確認（正しくブランチ切り替えができているか） ### ～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～ ### 適宜 commmit や push をしながら実装ショートカットコネクションを実装 ### ～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～ ## 開発完了後のマージ $ git status # 自分が更新したファイルを確認 $ git add -A # 変更の更新 $ git commit -m "コミットメッセージ" # commit $ git push push origin ブランチ名 # 現在の作業ブランチ名を入れる 初回は新しくリモートにそのブランチが作成される $ git push origin shortcut # 現在の作業ブランチ名を入れる 初回は新しくリモートにそのブランチが作成される
$ git fetch $ git branch -a # どのブランチを取り込むか確認（「Bさん、このブランチであってますか？」） $ git branch # 現在いるブランチの確認 $ git checkout develop # 自分の作業ブランチに移動 $ git merge 更新元のブランチ名 # 今Cさんは更新先（させたい）ブランチ（develop）にいる $ git merge shortcut # 今Cさんは更新先（させたい）ブランチにいる ### ～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～ ### Cさんは現在いるブランチにBさんの更新内容を取り込んだので、開発を再開・完了 ### ～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～ $ git commit -m "[update] ショートカットつきで実験完了" $ git push origin push master # 動作するバージョンができたので master に push ## 注意 $ git pull # は非推奨 git pull == git fetch + git merge
## ローカルブランチの削除 $ git branch $ git branch --delete shortcut # ブランチの削除 ## リモートブランチの削除 $ git branch --remote $ git push --delete origin shortcut # git push origin :shortcut でも可
$ git fetch $ git merge develop CONFLICT (content): Merge conflict in hoge.py Automatic merge failed; fix conflicts and then commit the result.
### ～～～～～～～～～～～～～～ ### Bさんは不要な行を削除する。 ### ～～～～～～～～～～～～～～ $ git add -a $ git commit
$ git checkout ブランチ名 error: Your local changes to the following files would be overwritten by checkout: sample01.py Please commit your changes or stash them before you switch branches. Aborting
$ git stash save -u "スタッシュ名" #スタッシュ名は後で一時退避から復活させる時に、どれを復活させるか見分けるためにわかりやすいものにしましょう。 $ git checkout ブランチ名 ### ～～～～～～～～～～～～～～ ### Cさんはバグ対応を完了させる。 ### ～～～～～～～～～～～～～～ $ git stash list # スタッシュしたリストを確認 $ git stash pop スタッシュ名 # 復活&スタッシュリストからの削除
*1行目：変更内容の要約（タイトル、概要）2行目 ：空行3行目以降：変更した理由（内容、詳細）
基本的にはレファレンスを参照するが、躓きやすいところを中心にメモを残す。
device = 'cuda' CNN().to(device) # 以下のように書くと便利 import torch device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
nvidia-smi -l
でGPUの使用率を確認する。
Parameter とは、学習によって調整する学習パラメータのことである。
括弧 () の順番が大切で[dim1, dim2] のサイズのパラメータを作成する際は、以下のように書く。
import torch.nn as nn nn.Parameter(torch.Tensor(dim1, dim2).to(device))
print(torch_tensor.size()) # タプル型を表示
from torch.autograd import Variable y = Variavble(y).long().to(device) # Variavble()で微分可能に、long()でキャスト
DataLoader とは、pytorch で学習する際にデータをミニバッチサイズに応じて取り出すイテレーターである。
一度TensorDataset を作成する必要がある。
from torch.utils.data import TensorDataset, DataLoader ## 学習前の準備 ds = TensorDataset(x, y) # TensorDataset の作成 loader = DataLoader(ds, batch_size=BATCH_SIZE, shuffle=True) # DataLoaderの作成 ## 学習時 for itr, (x, y) in enumerate(loader): # x, yを使って学習させる。
pytorchでは計算履歴を変数が保存するので、すぐにGPUメモリを枯渇させてしまう。
計算履歴を保存する必要のない評価時には、保存しない設定で計算すべき。
with torch.no_grad(): の中で実行すればよい。
with torch.no_grad(): model_forward() # ここに必要な処理を書く。
torch_tensor_value = torch_tensor.item()
numpy_array = gpu_tensor.cpu().detach().numpy()