High cardinality case tutorial

[tsuruda-yoshito]

high cardinalityなデータのチュートリアルを作成

• example/regression/high_cardinality_case_regression.ipynbを作成
  • High Cardinalityの説明、CBがHigh Cardinalityデータに対して強いこととその理由、High Cardinalityケースの例、等を記載
  • High Cardinality度合いの異なる3データでRegressionを行いLightGBMと比較（LightGBMはインストールが必要）
  • 全データセットでLightGBMにMAEで勝ち、High Cardinality度合いが強くなるにしたがってその差が大きくなるような結果が得られている
  • データはノートブック内では、リモートのリポジトリからロードしてくるように設定（regression.ipynbに倣って）
    ⇒URLでBlue-Yonder-OSS/cyclic-boostingのmainリポジトリを指定しているので、マージされない限りエラーが出る
  • CBでは交互作用を多く設定（確認お願いします）
• tests/high_cardinality_data/以下にHigh Cardinality度合いの異なる3つのデータセットを追加
  • データは https://github.com/FelixWick/demand_forecasting_simulation で作成した日次売上データ

[setoguchi-naoki]

コメントしました

[setoguchi-naoki]

一文目の意味が少し不明瞭に感じました
可視化しているのはユニーク値のカウント数であることを明示した方がいいと思います。分布というと、一見するだけではある階級に属する頻度のように思えます。

The right histogram displays the count of unique product ID (P_ID) with specific number of records. The x-axis shows the number of records, and the y-axis indicates the number of products having that specific number of records, also with a logarithmic scale. It means that total count of y-axis is number of total unique products. The histogram suggests that most product IDs have a lower number of records, and as the number of records increases, the frequency of such products decreases.