データ分析データ分析で考慮すべきバイアスのまとめ
データには必ずと言って良いほど何らかのバイアスがある。バイアスがあるデータを分析すると、分析結果まで偏ったものになり、意思決定に大きな影響を与えてしまう。 とはいえ、バイアスを完全に取り除くことは難しいのも現実である。しかし、どんな...
データ分析
データ分析
日記G検定に合格したので対策したことと感想を書く
2021年3月に行われたG検定に合格したのでどのように対策したかと受験した感想を書く。受験した理由は会社から助成金が出るのと、深層学習の知識が弱めだったので広く浅く勉強しておきたいと思ったためである。 僕自身は一応情報系の専攻に在籍...
オープンデータ無料で入手できる天気のヒストリーデータ
天気のヒストリーデータは1時間ごと程度の粒度だと日本・世界ともに無料で入手できるものがある。本記事では、その入手方法についてメモする。 はじめに 国立国会図書館のリサーチ・ナビというページが日本・世界の過去の気象データをまとめ...
データ分析グラフ理論における一筆書きとn筆書き
この記事ではまず、グラフ理論における一筆書きができる条件についてまとめる。また、一筆書きができないとき何筆で書くことができるのか、すなわち、n筆書きの理論ついて数学的に紹介する。 そもそもグラフ理論とは グラフ理論におけるグラ...
データ分析トービットモデルとヘーキットモデル
プロビットモデルやロジットモデルのような離散選択モデルでは潜在変数は観察されず、代わりに、選択を行った行動が観測変数として観察された。 本記事では、潜在変数が条件付きで観測される場合に適用できるトービットモデルとヘーキットモデルにつ...
データ分析ロジットモデルとは
本記事では離散選択モデルの1つであるロジットモデルについて紹介する。また、プロビットモデルとの違いについても記述する。 順序ロジットモデルと多項ロジットモデル ロジットモデルは複数の選択肢から1つを選ぶ離散選択モデルの1つであ...
データ分析プロビットモデルとは
本記事では離散選択モデルの1つであるプロビットモデルについてメモする。 プロビットモデルとは 二項選択の確率を非線形なモデルとして推定するときに使われるモデルである。例えば、 商品Aを買うか買わないか大学に進学するかしな...
データ分析回帰分析において最小二乗誤差を使えない場面
最小二乗誤差は回帰分析におけるパラメータの推定法として最も使われる。しかし、最小二乗誤差を利用しても望ましい推定量を得られない場合がある。 本記事では、そのような場面についてメモする。 そもそも最も良い推定量とは 最良線...
データ分析回帰分析において自然対数をとる目的
回帰分析は必ずしも線形モデルだけとは限らず、非線形なモデルを推定する場合も存在する。説明変数や目的変数を自然対数の形にすることで便利になったり、弾性値や偏弾性値などと解釈が変わることがある。 本記事ではそのような場面を簡単にメモする...
データ分析重回帰分析の回帰係数に関するt検定
重回帰分析では、どの指標（説明変数）が目的変数に影響を与えているのか調べたいことがある。このとき、回帰係数を仮説検定（t検定）することで重要度が分かる。 本記事ではこの仮説検定についてざっくりメモする。 問題設定 重回帰...
データ分析電気自動車用充電ステーションの配置最適化に関する研究事例
本記事ではEV向けの充電ステーションの配置最適化に関する研究を紹介する。 取り上げる論文を一通り読んで日本語でまとめたものである。 Employing Opportunistic Charging for Electric T...
オープンデータ自転車シェアリングのオープンデータ まとめ
世界中にある自転車シェアリングサービスの中で、データを公開しているものをメモしておく。適宜情報を追記していく。 Lyft系列 Uberと並んでライドシェアを手掛けるLyftは、自転車シェアリングサービスもアメリカ各地で展開して...