やること 金融の実データについて、コレログラムを作成。各指標について、時間依存の関係をみる。 実データはとりあえず以下の指標を使用。 TY1(米10年債先物) ES1(SP先物) USDJPY(ドル円) 日次リターンと週次リターンの２通りで、時間依存の関係をみる。 参…

やること （確率変数列が定常性を満たすとして）次数１の自己回帰モデル（ARモデル）を作成してみる。 単位根を有するか否かの検定（Dickey-Fuller検定） 参考サイト pythonでARモデルの推定 | 分析ノート 時系列分析やってみた！(ARモデル) - Qiita コード …

やること 時系列に沿わず、データをみてみる。（こういう特性の国は、累計感染者数が多い、などの結論が得られればいいなあ。） 仮説 高齢化が進んでいる（平均年齢が高い）ほど、重症化率が高い。 みたいな。 検証 重症化率を「死者数/感染者数」と定義して…

やること 時系列にそって、データをみてみる。 仮説 総人口の～％が感染すると、感染者の伸びは鈍化する。 病床占有率（病床数/感染者数）が～を超えると、重症者数が増える。 どちらもそれほどうまくはいかなそうではあるんだけど、とりあえず手を動かして…

やりたいこと 感染者数、死者数、検査数の３つについて、曜日ごとの周期性があるのかを検証。 予想は、感染者数と検査数は周期性あり（土日は検査数が少なくなる → 感染者数も少なくなる） 死者数は周期性なし。（土日だから死なないとか報告しないとかはな…

やること multi indexを用いたデータフレームについて、levelごとの和をとる 時系列データについて、曜日ごとの平均をとる seabornをaxオブジェクトに格納して細かい調整する（用語変だったらすみません。） 参考サイト pandasのMultiindexで階層ごとの統計…

やること インデックスを用いたデータの整理 + スライスを用いたデータ抽出 before after 参考サイト pandasのMultiindexの指定・追加・解除・ソート・レベル変更 | note.nkmk.me pandasのMultiIndexから任意の行・列を選択、抽出 | note.nkmk.me コード mul…

やること 以下のリンク先で配布されてるデータを用いて、なんか使えそうなものを探す（あやふやだけど） Mortality Risk of COVID-19 - Statistics and Research - Our World in Data データをまずみる データ項目 smoothedとされている移動平均は7日移動平…

やりたいこと 資産価格の推移を基準化するために、累積和リターンで比較するのはあるあるなこと でも、開始時点を以下のようにずらすと、最初の時点がかわるようじゃこまってしまう 目標はずらすたびにこのように、開始時点を０としてくれるようにすること …

やりたいこと 時系列データについて、自己相関関係について。 自己相関関係 ラグ コレログラム 参考 Pythonで自己相関グラフ(コレログラム)を描く - Qiita 使用データ USDJPY, AUDUSD, USDMXNの３種類の為替データ 期間：2010/1/4 ~ 2020/9/30 log_return = …

やりたいこと 抽出データが正規分布に従うか、を以下３通りの方法で確認。 Q-Qプロット Shapiro-Wilk検定 Kolmogorov-Smirnov検定 参考サイト 【Python】正規分布に従っているかを調べる手法3種 | データ分析Navi| データ分析Navi 使用データ USDJPY, AUDUSD…

やりたいこと 列名が日本語だったり、日付のデータ型が文字列なデータフレームを、扱いやすいように変換 Before After 参考サイト pandas.DataFrame, Seriesを時系列データとして処理 | note.nkmk.me コード import pandas as pd import numpy as np import …

やること 季節性がどれほどあるのか、明らかにする。具体的には、曜日と月の２つの観点で見てみようかと。（例えば、２月はドル円上がりやすい、みたいな。） 以下のリンクで、時系列分析ではデータの変動要因が大きく以下の４つになると知った。 なので、そ…

検証したいこと 510日が翌日USDJPY上昇or下落にどれほど影響しているか 月末日が翌日USDJPY上昇or下落にどれほど影響しているか https://www.fxtrade-lab.com/11015 サイトによると、輸入企業のフローが入りやすくドル円は上昇しやすいみたい。（ドル→円の需…

検証したいこと 各特徴量が翌日USDJPY上昇or下落にどれほど影響しているか 特徴量は連続値がいいのか離散値がいいのか 用意した特徴量 5日移動平均ー当日終値 20日移動平均ー当日終値 ボリンジャーバンド(1σ)上側ー当日終値 ボリンジャーバンド(1σ)下側ー当…

やること USDJPYの動きを予測する。 間違えていたこと T時点での各種特徴量をもとにT+1時点での動き（上がるor下がる）を予測するはずなのに、T時点での特徴量からT時点での動きを予測していた、、 正しい方法でやってみた data.head(5) UpDown MA5 MA20 RSI…

やること 特徴量をみながら、自身で調整してみる。 特に今回はRSIをみる きになっていたこと RSIが40~60と比較的狭い範囲で推移しているけど、この指標って本当に翌日のドル円動き予測するのに役にたつのか コード おおまかな流れ 1. RSIのヒストグラム確認 …

やること USDJPYの動きをランダムフォレストを用いて予測する。 サイン点灯（上がるという予測がでたら）ポジションを取り基本的に１日でクローズするという簡単な設定でまずやってみる。 参考サイト Python scikit-learnのランダムフォレストで受診予約のNo…

会社で次やってみようとなったのが、ランダムフォレストを用いた戦略の検証なので、その勉強。 参考サイト 【機械学習】決定木をscikit-learnと数学の両方から理解する - Qiita 【機械学習】ランダムフォレストを理解する - Qiita コード 前回からちょろちょ…

やっていること kaggleのtitanicのやつ www.kaggle.com メモ test.csvの項目は？ Index(['PassengerId', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp', 'Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'], dtype='object') ここに詳細あった https://www.kaggle…

はじめに 機械学習初心者だけど、とりあえずkaggleに手を付けてみることにした。 いつ挫折するかわからない。本当にわからない。まじで３日で終わりそうだけど、とりあえずやってみる。 今回やること とりあえずはじめはタイタニック！ www.kaggle.com 下記…

頭が整理できていないので、メモ まとめること scipy.cluster.hierarchyを用いた階層クラスタリング 階層クラスタリングの引数（距離行列の形式） キーワード scipy.cluster.hierarchy condensed distance matrix redundant distance matrix square-form dis…

やりたいこと before after ときれいにしたい。 参考サイト qiita.com qiita.com bettamodoki.hatenadiary.jp コード それぞれ以下の１文で調整 軸目盛りラベルが被る ax1.set_xticklabels(MSFE_Series.index, ha = 'left') 軸目盛りラベルが見切れる fig.su…

やりたいこと 10000 x 3の２次元データを50個作成する。 この50個のデータを３次元のdata_setという変数へ格納したい。（10000 x 3 x 50のデータセットを作りたい） 今回は、ラベルとかそれほど必要じゃないから、別にxarrayじゃなくてnumpyでいいと思うんだ…

やりたいこと 下のグラフなんだけど、どうみても2008/10らへんと2020/4らへんにめちゃくちゃ値が大きくなっている点があるので、 こんな感じで、補助線と目盛りいれてわかりやすくしたい 参考サイト qiita.com コード def get_line_graph(input_DataFrame : …

やりたいこと datetime型の軸の間隔を、調整したい とびとびになっているこの図を こんな感じで任意の間隔に設定する 参考サイト qiita.com コード import numpy as np import matplotlib.pyplot as plt from matplotlib.dates import date2num from matplot…

やりたいこと 片対数グラフを作成したのはいいんだけど、目盛線がとびとびになっちゃう これだと片対数グラフってすぐわかりにくいなあ コード 「補助目盛線の表示」というワードとかで検索して試してみたけど、改善されなかったので、 力技な気がするけど、…

やりたいこと リスト作成する際、forが２回でてくるやつを作りたい 参考サイト Python のネストした内包表記 - Qiita コード 参考サイトをそのまんま scale = [j * 10 ** -i for i in range(1, 9, 1) for j in range(10)] scale = [round(scale[n], 10) for …

やりたいこと 片対数グラフを作りたい 参考サイト [Pythonによる科学・技術計算] 対数グラフ，可視化，matplotlib - Qiita matplotlibのめっちゃまとめ - Qiita コード import numpy as np import matplotlib.pyplot as plt import pandas as pd from dateut…

全体を通じてやりたいこと 外れ値に対してロバストなポートフォリオの作成、検証をPythonで行う 参考サイト https://commons.sk.tsukuba.ac.jp/wp-content/uploads/sites/13/2016/08/200520858.pdf 今回やること 正規分布に従う変数の作成 互いの相関係数を…