Python

【Python入門講座】タイタニック号のデータ分析

こんにちは(@t_kun_kamakiri)(‘◇’)ゞ

前回の記事ではPandasの基礎的な使い方の記事を書きました。

本日はPandasを使った実践的な内容をやっていきます。
kaggleで有名なタイタニック号のデータを使ったデータ分析入門講義をまとめました。

kaggleの利用には無料アカウント登録が必要ですので、アカウントをお持ちでない方はこちらから登録をしましょう。

データはkaggleで公開されているタイタニック号の乗客のリストです。

こちらのサイトからcsvデータをダウンロードすることができますので、本記事の内容に入る前にダウンロードしておきましょう。
ダウンロードするのは以下のcsvデータです。

ダウンロードファイル
  • train.csv:学習用のデータ(今回こちらを使う)
  • test.csv:検証用のデータ

train.csv(学習用のデータ)でデータの傾向を機械学習によりモデル化し、test.csvによって機械学習でモデル化されたモデルがどれくらいの精度出ているのかを検証するものです。今回は機械学習をするのではなくデータを使ったデータ分析を行うため、train.csvファイルを使います。

本記事ではJupyter labを使います。

こちらのサイトからtrain.csvをダウンロードしたらJupyter labと同じ階層にファイルを保存しましょう。

こんな人が対象
  • Python初心者でPandasを使い始めている人
  • Pandasを使ったDataFrameのを使いこなしたい人
  • Pandasを使って実践的な内容をしてみたい人

Pandasの基礎については以下の記事で勉強ができますので事前に読んでおくことをお勧めします♪

データの読み込み

まずは必要なライブラリをインポートしましょう。

次に、kaggleよりダウンロードしたcsvファイルを読み込みましょう。

以下のようにデータが読み込まれます。

列のそれぞれの意味は以下のような内容となっています。

PassengerId乗客識別ユニークID
Survived生存フラグ(0=死亡、1=生存)
Pclass客室等級(チケットクラス)
1stクラス、2ndクラス、3rdクラス
Name乗客の名前
Sex性別(male=男性、female=女性)
Age年齢
SibSpタイタニックに同乗している兄弟/配偶者の数
parchタイタニックに同乗している親/子供の数
ticketチケット番号
fare料金
cabin客室番号
Embarked出港地(タイタニックへ乗った港)
cabin 客室番号
Embarked出港地(タイタニックへ乗った港)

データの欠損数やデータの型を確認しましょう。

Age(年齢)やcabin(客室番号)に欠損値があるのがわかるでしょう。

SeabornはとてもPandasととても相性の良い優秀なライブラリでデータの可視化を簡単に少ないコードで示すことができます。

タイタニック号の乗客はどのような人達だったのか?

乗客をカテゴリーごとに分析してみましょう。
カテゴリーとしては、以下のものが挙げられます。

カテゴリー
  • 性別
  • 年齢
  • 客室等級

まずは男性・女性の人数の確認を行います。
男性・女性の分類は「Sex」の列に記載されていますので、以下のようにseabornを使って「data」と「カラム(列)」を指定してsns.countplot(‘Sex’, data=df_taitanic)と書くことで数を調べることができます。

男性の方が乗客数が多かったということがわかりますね。

次に、性別の中で客室等級(1,2,3)による分類も見てみましょう。

今までは性別に対しての数を調べましたが、今度は「客室等級(Pclass)」に対しての数を見てみましょう。

ここまでで、男性の数が女性よりも多く、性別で特に差があるのは「Pclassの3」についてだとわかりました。

客室等級による生存数を確認

客室等級による生存確率を確認します。
まずは死亡者のヒストグラムを可視化してみましょう。

【結果】

死亡者数は客室等級3の人がかなり多いというのがわかりますね。

次に、生存者の客室等級のヒストグラムを見てみましょう。

【結果】

生存者に対しては客室等級1等級の人が生存者が比較的多いことがわかりました。

重ねて書くこともできます。

【結果】

客室等級が低いほど死亡者の割合が多くなる傾向にあるのがわかりましたね。

客室等級と年齢の関係を見る

ここでは箱ひげ図というのを紹介します。

箱ひげ図には最大値、最小値と四分位数の情報が含まれています。四分位数はデータを小さい順に並べて、小さいものから順位を付けた時に何パーセント占めるかを示したものです。

ここにボックスタイトルを入力
  • 最小値:データの中で最小の値
  • 25%(全体の1/4の部分)=25パーセンタイル
  • 50%(全体の2/4=1/2の部分)=50パーセンタイル
  • 75%(全体の3/4の部分)=75パーセンタイル
  • 最大値:データの中で最大の値

客室等級に対して年齢層の分布を見てみましょう。

客室等級1stクラスになるほど高い年齢層の人が多いということがわかりますね。

大人と子供に分類する

子供やお年寄りの方を優先的に救助すると考えられるため、生存率には大人と子供といったカテゴリー分けが重要であると考えられます。

年齢の平均値を確認しましょう。

【結果】

全体の年齢平均値は29.6歳であることがわかりました。

次に16歳未満の人は子供として新たなカラム「person」を追加しましょう。

これにより「person」には「male(男性)、female(女性)、child(子供)」の3つのカテゴリーが作成されました男性、女性、子供の数を確認しましょう。

【結果】

性別、大人子供における数を知ることができました。

データの相関係数を見る

項目間の関係性を表す統計量として相関係数があります。
Pandasを使えば相関係数をすぐに調べることができます。

【結果】

知りたいのは「Survived(生存者)」との相関ですね。
どの項目とSurvived(生存者)とが関係がありそうかうかをざっとながめることができます。
ただ、数字だけだと見づらいため視覚的にわかるようにヒートマップを作成してみましょう。

 

 

客室番号の人数を確認する

次に、客室番号の人数を確認してみましょう。

客室番号はheaderの「Cabin」の列に当たるデータです。

【結果】

C85、B42などのように英数字と数字で客室番号が割り振られています。

しかし、どの客室番号の人だったのかを確認するのが難しかったようでデータの欠損値(NaN)が多く存在します。

欠損地を取り除いた方がエラーを防ぐことができるため、欠損値を取り除きます。

【結果】

NaNを含めると891個あったデータ数が204になりました。
結構、欠損値が多いのですね。

客室番号の数字に対しては細かく分類する必要がないため、ここでは客室番号の英数字だけを抽出して大まかにデータをカテゴリー分けします。

まずは、上で作成したdeckというデータをfor文を使ってはじめの英数字1文字のみを抽出してリストに格納します。

【結果】

客室番号の英数字1文字だけを抽出しました。

これを新たにDataFrameにします。

【結果】

このDataFrameを使って客室番号に対する人数を可視化してみましょう。

以下のようにseabornのcountplotを使って可視化します。
引数を以下のようにします。

sns.countplot(

  • ‘Cabin’, :カラム名
  • data=df_cabin,:データフレーム
  • palette=’winter_d’,:配色
  • order=sorted(set(levels)):並び順

)

【結果】

出港地を確認する

もう一度データフレームを確認しておきましょう。

【結果】

数の確認はseabornのcountplotを使えば簡単に確認できますね。
出港地はDataFreameの「Embarked」のカラムなので、Embarkedでカテゴリー分けて人数を確認しつつ、Pclassでチケットクラスによる人数を確認してみましょう。

【結果】

数の確認にはPandasのメソッドを使えば確認ができます。

【結果】

ちなみに、数の確認はPythonのライブラリを使っても確認できます。
必要なライブラリをインポートします。

【結果】

数の確認だけをしたい場合Pandasのvalue_counts()を使う方が簡単かもしれませんね。

家族連れか独りのどちらが生存率が高いのか?

続いて家族連れか一人の乗客のどちらが生存率が高いかを見てみましょう。
なんとなく子供・女性・お年寄りの生存率が高く、それに伴って家族である男性も救助されるのではないかと予想されます。

同乗者のデータ項目は以下です。

SibSpタイタニックに同乗している兄弟/配偶者の数
parchタイタニックに同乗している親/子供の数

なので、その和が家族の人数ということですね。

【結果】

0が独りの乗客、1以上が誰か家族がいる場合ということになります。

では、人数によって生存者数がどうなっているのかを確認してみましょう。

【結果】

見ると家族連れの人の方が死亡者数より生存者数が多い傾向にあります。

知りたいのは何人家族がいて、そのときどれくらいの割合で生存していたかということですね。

生存率=生存者数/人数を計算することになります。

今、Survivedの「0:死亡、1:生存」なので平均値を計算することで生存率を計算することができます。

「Alone」のカラムでカテゴリー分けして、平均値をとりましょう。

【結果】

引数に「as_index=False」としないと、カテゴリー分けする「Alone」がデータではなくindexになってしまうため、引数をお忘れなく。

パーセント表示にしたいので

【結果】

今回使うデータは「Survived」だけです。

【結果】

こちらのサイトを参考にラベルをつけることができます。

【結果】

棒グラフのラベルを付けるためのコーディングが手間ですが、ラベルが付いた方が理解がしやすいですね。
結果は家族連れが3人の人の生存率が高く(72.4%)、ひとりでいた方の生存率は家族連れの方よりも低くなっています。
これは、恐らく子供や女性(奥さん)の救助を優先し、そのついでに男性(夫)も救助されたのではないかと思われます。

次に、ざっくりひとり(Alone)だったのか、家族連れ(with Family)だったのかでカテゴリー分けしてみましょう。

結果を表示します。

【結果】

Aloneの列が「Aloneかwith Family」になっていますね。
列のカテゴリーの種類は以下のようにuniqueメソッドで確認ができます。

【結果】

では、ひとりか家族連れ化で生存者数に違いがあるのかを確認してみましょう。

【結果】

なんと結果はやはり家族連れの方が生存者数が割合が多そうですね。
具体的な割合はAloneでカテゴリー分けして平均をとることで調べることができます。

【結果】

確認すると「Survived」の列が以下のようになっています。

  • Alone:0.303538(約30%)
  • with Family:0.505650(約50%)

これは人数に対する生存者数の割合(生存率)です。

やはり家族連れの方が生存率が高いということが言えそうです。

男女と年齢別で生存者を確認する

さきほどの考察では子供や女性を先に救助され、それが家族連れの方が生存率が高いという結果になったと考えました。

ここでは、具体的に男女と年齢による生存者の分布を確認してみましょう。

【結果】

形状が蜂の巣に似ていることから、”beeswarm(蜜蜂)と呼ばれており、各データポイントが重ならないようにplotするものです。男女で比較すると女性の方が生存者が多く、男性でも10代の人は比較的生存者が多いという結果となりました。

チケットクラスと年齢で生存者を確認

チケットクラスも生存率に多くかかわっているということなので、チケットクラスと年齢別でbeeswarm(蜜蜂)を確認しましょう。

【結果】

やはりチケットクラスが1等客室の人の生存者数が多いですね。

その他にもvioletと呼ばれるバイオリンの形になる分布の表示もできます。

【結果】

別の見方としてポイントを線で結んだ表現もできます。

【結果】

3等客室の乗客の生存率はかなり低いことが分かります。ただし、これは3等客室に男性が多い、つまり、「女性と子供を先に」というポリシーの犠牲になったのかもしれません。これを調べるために、もう少し詳しく見ていきましょう。

 

【結果】

チケットクラスが1等客室、男性よりも女性や子供の方が生存率が高いことがわかります。

ここまで、以下の変数が生存率に影響してる可能性が高いことがわかりました。

  • 性別
  • 年齢
  • 客室の等級

では、子供でかつ客室1等級の生存率を確認しましょう。

【結果】

Survivedを確認すると8.333333e-01(約83%)の生存率という結果です。

では、女性でかつ客室1等級の生存率を確認しましょう。

【結果】

こちらに至っては0.978022(約98%)の生存率となっています。

一方男性はどうかというと・・・・

【結果】

0.352941(約36%)の生存率という悲しい結果でした(‘;’)

男性は客室等級に依らず生存率が低いのですね。

回帰曲線を使って性別、年齢、客室の等級の生存率を確認

今までで何が生存率に影響しているのかがわかってきました。

しかし、一発で理解ができる可視化のグラフがあると良いですよね。
何で結果を表現するかはその人のセンスにも依りますが、seabornは非常に優秀な可視化のライブラリが用意されています。

以下のように回帰モデルの可視化を使ってみましょう。

【結果】

これには性別による影響も含まれているので、性別でわけてグラフを表示してみましょう。

【結果】

女性でも客室等級1,2が年齢に依らず生存率が高く、客室等級3等級でも年齢が低い方が生存率が高いことがわかります。

 

【結果】

【結果】

 

【結果】

 

【結果】

客室等級もごちゃまぜにして行うとこのようになります。

 

【結果】

 

【結果】

 

【結果】

まとめ

今回はkaggleの練習用データであるタイタニック号のデータを使ってデータ分析を行いました。
項目から「性別、年齢、客室等級」が生存率に大きく影響しているということがわかりましたね。

Pythonで動かして学ぶ! Kaggleデータ分析入門 (AI & TECHNOLOGY)

Pythonで動かして学ぶ! Kaggleデータ分析入門 (AI & TECHNOLOGY)

篠田 裕之
2,860円(10/24 06:42時点)
Amazonの情報を掲載しています

【プロフィール】

カマキリ
(^^)

大学の専攻は物性理論で、Fortranを使って数値計算をしていました。
CAEを用いた流体解析は興味がありOpenFOAMを使って勉強しています。

プロフィール記事はこちら

 

大学学部レベルの物理の解説をします 大学初学者で物理にお困りの方にわかりやすく解説します。

このブログでは主に大学以上の物理を勉強して記事にわかりやすくまとめていきます。

  • ・解析力学
  • ・流体力学
  • ・熱力学
  • ・量子統計
  • ・CAE解析(流体解析)
  • note
    noteで内容は主に「プログラミング言語」の勉強の進捗を日々書いています。また、「現在勉強中の内容」「日々思ったこと」も日記代わりに書き記しています。
  • youtube
    youtubeではオープンソースの流体解析、構造解析、1DCAEの操作方法などを動画にしています。
    (音声はありません_(._.)_)
  • Qiita
    Qiitaではプログラミング言語の基本的な内容をまとめています。
関連記事もどうぞ