【初心者向け】超簡単！R studioでやるROC曲線の書き方と使い方！

2024年5月10日2024年6月3日

URLをコピーしました！

こんにちは。ほしのはやしです。
ROC曲線はよく見るものの、実際使うとなるとよく理解していないこと、ありますよね。

このページではR stusioでのROC曲線の書き方と使い方について解説します！

ROC曲線の基本

ROC曲線の由来（感度・特異度・偽陽性）

Receiver Operating Characteristic (ROC)と言われ、元来は信号処理として開発されましたが、現在は臨床検査・機械学習モデルなどの性能を評価するために利用されています。

星柴くん

ある検査やモデルを用いて結果を予測できるようになったけど、古いものと新しいものどっちがいいのかな？

黒星柴くん

ROC曲線で視覚的にしたらわかりやすいのだ！
下の図の場合、赤の方が青よりも性能が高い！

ROC曲線は、縦軸に『感度』（陽性率）、横軸に『１－特異度』（偽陽性率）で表現します。

【感度：Sensitivity】
真陽性率（True Positive Rate、TPR）とも呼ばれます。
実際に陽性のサンプルのうち、検査やモデルで正しく陽性として分類されたサンプルの割合。

【特異度：Specificity】
真陰性率（True Negative Rate、TNR）とも呼ばれます。
実際に陰性のサンプルのうち、検査やモデルで正しく陰性として分類されたサンプルの割合。

【偽陽性：False positive】
実際には疾患がないにもかかわらず、検査結果や予測結果が「疾患あり」とされた場合。

AUC（Area Under the Curve）とは

AUCとは、ROC曲線において下記の図で表される面積のことです。
検査やモデルの性能を0.5(全て外れる)～１(全て当たる)で評価しています。

ROC曲線が必要または有用な状況

以下の例のような場合にROC曲線は有用です。

検査やモデルのカットオフ値を決めたい
検査やモデルの比較をしたい

例えば、心筋梗塞に対してPCIをしたあとの、30日以内のDressler症候群の発症を予測する因子として、新規検査値Factor Xのカットオフ値を決めたい、ときに有用です。

また新規スコアリングモデルを作成したときに、既存の検査と比べて診断率や予後予測が優れているかどうかの比較検討にも使えます。

多くの論文では、Test cohort、Validation cohortのデータセットを用いて、まずはTest cohortでカットオフ値を設定し、Validation cohortでAUCを評価するということが一般的です。

ROC曲線における注意点

ROC曲線は性能評価に非常に有用ですが、注意すべき点があります。

データが不均衡（そもそもの陽性率がめちゃくちゃ低いなど）の場合は、見かけ上ROC曲線がとても良い結果に見えてしまいます。

ROC曲線は、陰性の結果が本当の陰性であること、陽性の結果が本当の陽性であること、の総和の性能を示しているので、陰性の結果自体が非常に多い場合、陰性の結果が本当の陰性であることが大多数になり、性能が良いと間違って解釈される可能性があります。

この場合は、ROC曲線ではなく、PR曲線を用いた方がよいとされています。

PR曲線とは・・・
適合率 (Precision)と再現率 (Recall)の関係を曲線で表したものです。
Precisionは陽性と判定されたものが実際に陽性である割合を表し、Recallは本来陽性であるものをすべて正しく陽性と判定できた割合を表します。PR曲線は、モデルが陽性と判定したものがどれほど信頼できるのかを評価するのに役立ちます。

R studioでのROC曲線の書き方

具体的なコード（R studio）

最もよく使われるpROCというパッケージをインストールしておいてください。
パッケージのインストール方法はこちら！

Age	Troponin	CK	CKMB	Pscore	Dressler
63	0.42	550	300	8	Y
54	0.11	450	250	2	N
58	0.15	700	350	5	Y
72	0.32	900	280	6	Y
87	0.13	800	120	1	N
68	0.28	1200	450	3	N
44	0.33	400	80	7	Y
…	…	…	…	…	…

ROC曲線の書き方

同じデータセットを用いてグラフを描いていきましょう！

パッケージはpROC、ggplot2、tidyverseが必要です。

library(pROC)
library(ggplot2)

#ROCのデータを作成
roc_res <- roc(Dressler ~ Age + Troponin + CK + CKMB + Pscore, datasheet1, ci=TRUE)

#ROC曲線を描画
ggroc(roc_res, size = 1, legacy.axes = TRUE) +
+ geom_abline(color = “dark grey”, size = 0.5) +
+ theme_classic()

このような形でグラフが描けますが、AUCの値の表示は自由が効かないため、イラストレーターやパワーポイントにグラフを貼り付けたあとに追記するのが最も労力が少なくてすみます。

複数のROC曲線の比較

今回のデータセットでは見た目からも差はなさそうですが、AUCの値に差があるか統計的に評価してみましょう！

ROC曲線が複数ある場合、一気に比較する方法はありません。また３つ以上の検討では多重性の問題があるため最終的にはFDR調整が必要になります。

ROC曲線を複数比較する場合は、基準となるreferenceを定めて、それと比較することが基本となります！
よって、１つずつの比較の方法について説明します。

roc1 <- roc(Dressler~Age, datasheet1)
roc2 <- roc(Dressler~Troponin, datasheet1)

roc.test(roc1, roc2, method=”delong”)

このような形でp値が出力されました！

【ROC曲線比較の統計手法について】
Delong法(method=”delong”)とBootstrap法(method=”bootstrap”)があります。
Delong法はnon-parametric、Bootstrap法はparametricで以下の特徴に応じて使い分けましょう。

サンプルサイズ: 小さなサンプルサイズ⇨Delong法
データ分布: データ分布が全て正規分布⇨Bootstrap法
比較する曲線の数: 複数の曲線を比較する場合は、Bootstrap法の方が有利

複数繰り返す場合は、一つずつ比較していきましょう。