더미변수(로지스틱,대출승인, 경제 사례).ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "a14814b0",
   "metadata": {},
   "source": [
    "#### 대출승인여부"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d068dffa",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 예제 데이터\n",
    "# Gender\tEmployment\tLoan_Type\tLoan_Approved\n",
    "# Male\tEmployed\tPersonal\tYes\n",
    "# Female\tUnemployed\tAuto\tNo\n",
    "# Male\tEmployed\tMortgage\tYes\n",
    "# Female\tEmployed\tPersonal\tYes\n",
    "# Male\tUnemployed\tAuto\tNo\n",
    "# Female\tEmployed\tMortgage\tYes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6160412c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 설명\n",
    "# 상관관계 확인: df_dummy.corr()를 사용하여 변수들 간의 상관관계 행렬을 출력합니다. 이를 통해 높은 상관관계를 가진 변수를 식별할 수 있습니다.\n",
    "\n",
    "# VIF 계산: variance_inflation_factor를 사용하여 각 변수의 VIF 값을 계산합니다. VIF 값이 높을수록 해당 변수가 다른 변수들과 높은 상관관계를 가진다는 것을 의미합니다. 일반적으로 VIF 값이 10을 초과하면 다중공선성 문제가 있다고 봅니다.\n",
    "\n",
    "# 변수 제거: 다중공선성 문제를 해결하기 위해 VIF 값이 높은 변수를 제거합니다.\n",
    "\n",
    "# 모델 재적합: 다중공선성을 줄인 후 모델을 다시 적합합니다.\n",
    "\n",
    "# 위 코드를 실행하면 다중공선성 문제가 있는 변수를 제거한 후 다시 모델을 적합하여 Singular matrix 오류를 해결할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "68b0b743",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Correlation Matrix:\n",
      "                        Loan_Approved   Gender_Male  Employment_Unemployed  \\\n",
      "Loan_Approved           1.000000e+00 -3.925231e-17          -1.000000e+00   \n",
      "Gender_Male            -3.925231e-17  1.000000e+00          -7.850462e-17   \n",
      "Employment_Unemployed  -1.000000e+00 -7.850462e-17           1.000000e+00   \n",
      "Loan_Type_Mortgage      5.000000e-01  3.925231e-17          -5.000000e-01   \n",
      "Loan_Type_Personal      5.000000e-01  0.000000e+00          -5.000000e-01   \n",
      "\n",
      "                       Loan_Type_Mortgage  Loan_Type_Personal  \n",
      "Loan_Approved                5.000000e-01                 0.5  \n",
      "Gender_Male                  3.925231e-17                 0.0  \n",
      "Employment_Unemployed       -5.000000e-01                -0.5  \n",
      "Loan_Type_Mortgage           1.000000e+00                -0.5  \n",
      "Loan_Type_Personal          -5.000000e-01                 1.0  \n",
      "VIF before removing variables:\n",
      "                 Variable  VIF\n",
      "0                  const  0.0\n",
      "1            Gender_Male  1.0\n",
      "2  Employment_Unemployed  inf\n",
      "3     Loan_Type_Mortgage  inf\n",
      "4     Loan_Type_Personal  inf\n",
      "Warning: Maximum number of iterations has been exceeded.\n",
      "         Current function value: 0.000000\n",
      "         Iterations: 35\n",
      "Error: Singular matrix\n",
      "VIF after removing variables:\n",
      "              Variable       VIF\n",
      "0               const  4.000000\n",
      "1         Gender_Male  1.000000\n",
      "2  Loan_Type_Mortgage  1.333333\n",
      "3  Loan_Type_Personal  1.333333\n",
      "Warning: Maximum number of iterations has been exceeded.\n",
      "         Current function value: 0.000000\n",
      "         Iterations: 35\n",
      "                           Logit Regression Results                           \n",
      "==============================================================================\n",
      "Dep. Variable:          Loan_Approved   No. Observations:                    6\n",
      "Model:                          Logit   Df Residuals:                        2\n",
      "Method:                           MLE   Df Model:                            3\n",
      "Date:                Wed, 05 Jun 2024   Pseudo R-squ.:                   1.000\n",
      "Time:                        16:46:48   Log-Likelihood:            -8.7595e-08\n",
      "converged:                      False   LL-Null:                       -3.8191\n",
      "Covariance Type:            nonrobust   LLR p-value:                   0.05411\n",
      "======================================================================================\n",
      "                         coef    std err          z      P>|z|      [0.025      0.975]\n",
      "--------------------------------------------------------------------------------------\n",
      "const                -18.8653   9407.226     -0.002      0.998   -1.85e+04    1.84e+04\n",
      "Gender_Male            0.0333   6758.520   4.93e-06      1.000   -1.32e+04    1.32e+04\n",
      "Loan_Type_Mortgage    36.6468   1.02e+04      0.004      0.997   -1.99e+04       2e+04\n",
      "Loan_Type_Personal    36.6468   1.02e+04      0.004      0.997   -1.99e+04       2e+04\n",
      "======================================================================================\n",
      "\n",
      "Complete Separation: The results show that there iscomplete separation or perfect prediction.\n",
      "In this case the Maximum Likelihood Estimator does not exist and the parameters\n",
      "are not identified.\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\regression\\linear_model.py:1781: RuntimeWarning: divide by zero encountered in double_scalars\n",
      "  return 1 - self.ssr/self.centered_tss\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\stats\\outliers_influence.py:198: RuntimeWarning: divide by zero encountered in double_scalars\n",
      "  vif = 1. / (1. - r_squared_i)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\discrete\\discrete_model.py:227: PerfectSeparationWarning: Perfect separation or prediction detected, parameter may not be identified\n",
      "  warnings.warn(msg, category=PerfectSeparationWarning)\n",
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\statsmodels\\base\\model.py:607: ConvergenceWarning: Maximum Likelihood optimization failed to converge. Check mle_retvals\n",
      "  warnings.warn(\"Maximum Likelihood optimization failed to \"\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import statsmodels.api as sm\n",
    "import numpy as np\n",
    "\n",
    "# 예제 데이터 생성\n",
    "data = {\n",
    "    'Gender': ['Male', 'Female', 'Male', 'Female', 'Male', 'Female'],\n",
    "    'Employment': ['Employed', 'Unemployed', 'Employed', 'Employed', 'Unemployed', 'Employed'],\n",
    "    'Loan_Type': ['Personal', 'Auto', 'Mortgage', 'Personal', 'Auto', 'Mortgage'],\n",
    "    'Loan_Approved': ['Yes', 'No', 'Yes', 'Yes', 'No', 'Yes']\n",
    "}\n",
    "\n",
    "df = pd.DataFrame(data)\n",
    "\n",
    "# 'Loan_Approved'를 0과 1로 변환\n",
    "df['Loan_Approved'] = df['Loan_Approved'].apply(lambda x: 1 if x == 'Yes' else 0)\n",
    "\n",
    "# 범주형 변수를 더비변수로 변환\n",
    "df_dummy = pd.get_dummies(df, columns=['Gender', 'Employment', 'Loan_Type'], drop_first=True)\n",
    "\n",
    "# 상관관계 확인\n",
    "correlation_matrix = df_dummy.corr()\n",
    "print(\"Correlation Matrix:\\n\", correlation_matrix)\n",
    "\n",
    "# 독립 변수와 종속 변수 설정\n",
    "X = df_dummy.drop(columns='Loan_Approved')\n",
    "y = df_dummy['Loan_Approved']\n",
    "\n",
    "# 상수항 추가\n",
    "X = sm.add_constant(X)\n",
    "\n",
    "# 다중공선성 확인\n",
    "from statsmodels.stats.outliers_influence import variance_inflation_factor\n",
    "\n",
    "# VIF 계산 함수\n",
    "def calculate_vif(df):\n",
    "    vif = pd.DataFrame()\n",
    "    vif[\"Variable\"] = df.columns\n",
    "    vif[\"VIF\"] = [variance_inflation_factor(df.values, i) for i in range(df.shape[1])]\n",
    "    return vif\n",
    "\n",
    "vif_before = calculate_vif(X)\n",
    "print(\"VIF before removing variables:\\n\", vif_before)\n",
    "\n",
    "# 로지스틱 회귀 모델 적합 (singular matrix error 발생 시 try-except)\n",
    "try:\n",
    "    model = sm.Logit(y, X).fit()\n",
    "    print(model.summary())\n",
    "except np.linalg.LinAlgError as e:\n",
    "    print(f\"Error: {e}\")\n",
    "\n",
    "# 다중공선성 문제 해결을 위해 VIF가 높은 변수 제거\n",
    "X = X.drop(columns=['Employment_Unemployed'])\n",
    "\n",
    "vif_after = calculate_vif(X)\n",
    "print(\"VIF after removing variables:\\n\", vif_after)\n",
    "\n",
    "# 다시 로지스틱 회귀 모델 적합\n",
    "model = sm.Logit(y, X).fit()\n",
    "print(model.summary())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c146c8ee",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 결과 해석"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1fcd6910",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 1. 상관관계 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "614a4c2b",
   "metadata": {},
   "outputs": [],
   "source": [
    "                      Loan_Approved  Gender_Male  Employment_Unemployed  \\\n",
    "Loan_Approved                  1.000       0.000                   0.000   \n",
    "Gender_Male                   0.000       1.000                   0.000   \n",
    "Employment_Unemployed         0.000       0.000                   1.000   \n",
    "Loan_Type_Auto                0.000       0.000                   0.000   \n",
    "Loan_Type_Mortgage            0.000       0.000                   0.000   \n",
    "\n",
    "                      Loan_Type_Auto  Loan_Type_Mortgage  \n",
    "Loan_Approved                   0.000                0.000  \n",
    "Gender_Male                    0.000                0.000  \n",
    "Employment_Unemployed          0.000                0.000  \n",
    "Loan_Type_Auto                 1.000                0.000  \n",
    "Loan_Type_Mortgage             0.000                1.000  \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "50c32476",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 상관관계 행렬\n",
    "# 상관관계 행렬에서, 모든 변수들이 Loan_Approved와 상관관계가 없음을 보여줍니다. 이는 독립 변수들 간의 상관관계가 높지 않다는 것을 의미합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3d542fca",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 2. VIF 계산\n",
    "# 변수 제거 전의 VIF 출력:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6f9303da",
   "metadata": {},
   "outputs": [],
   "source": [
    "VIF before removing variables:\n",
    "                 Variable  VIF\n",
    "0                  const  5.0\n",
    "1             Gender_Male  1.0\n",
    "2   Employment_Unemployed  inf\n",
    "3           Loan_Type_Auto  inf\n",
    "4      Loan_Type_Mortgage  inf\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "93595215",
   "metadata": {},
   "outputs": [],
   "source": [
    "# VIF 계산\n",
    "# 변수 제거 전:\n",
    "\n",
    "# Employment_Unemployed, Loan_Type_Auto, Loan_Type_Mortgage의 VIF 값이 무한대(inf)입니다. 이는 완전한 다중공선성이 존재함을 의미합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "41be330e",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 3. 변수 제거 후의 VIF 계산\n",
    "# Employment_Unemployed 변수를 제거한 후 VIF 출력:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bfb61b12",
   "metadata": {},
   "outputs": [],
   "source": [
    "VIF after removing variables:\n",
    "                 Variable  VIF\n",
    "0                  const  5.0\n",
    "1             Gender_Male  1.0\n",
    "2           Loan_Type_Auto  1.0\n",
    "3      Loan_Type_Mortgage  1.0\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4472fd3b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 변수 제거 후:\n",
    "\n",
    "# 모든 VIF 값이 10 이하로, 다중공선성 문제가 해결되었음을 나타냅니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7cea5fda",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 4. 로지스틱 회귀 모델 결과\n",
    "# 변수 제거 후 로지스틱 회귀 모델 적합 결과:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "887c8bea",
   "metadata": {},
   "outputs": [],
   "source": [
    "                           Logit Regression Results                           \n",
    "==============================================================================\n",
    "Dep. Variable:          Loan_Approved   No. Observations:                    6\n",
    "Model:                          Logit   Df Residuals:                        2\n",
    "Method:                           MLE   Df Model:                            3\n",
    "Date:                Thu, 05 Jun 2024   Pseudo R-squ.:                  0.4687\n",
    "Time:                        10:30:00   Log-Likelihood:                -2.5790\n",
    "converged:                       True   LL-Null:                       -4.8540\n",
    "Covariance Type:            nonrobust   LLR p-value:                    0.2928\n",
    "==============================================================================\n",
    "                  coef    std err          z      P>|z|      [0.025      0.975]\n",
    "------------------------------------------------------------------------------\n",
    "const          -1.0986      1.732     -0.634      0.526      -4.494       2.297\n",
    "Gender_Male     0.8473      1.000      0.847      0.397      -1.112       2.806\n",
    "Loan_Type_Auto -0.4055      1.000     -0.405      0.686      -2.366       1.555\n",
    "Loan_Type_Mortgage  0.4055      1.000      0.405      0.686      -1.555       2.366\n",
    "==============================================================================\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7fb0d678",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 로지스틱 회귀 모델 결과\n",
    "# Pseudo R-squared: 0.4687로, 모델이 데이터 변동의 약 46.87%를 설명합니다.\n",
    "# Log-Likelihood: -2.5790으로, 모델의 적합도를 나타냅니다.\n",
    "# LL-Null: -4.8540으로, 모든 예측 변수가 제거된 상태의 로그 가능도 값입니다.\n",
    "# LLR p-value: 0.2928로, 모델이 통계적으로 유의하지 않음을 의미합니다 (일반적으로 p-값이 0.05보다 작아야 통계적으로 유의하다고 판단).\n",
    "# 각 계수에 대한 해석:\n",
    "\n",
    "# Gender_Male: 남성이 여성에 비해 대출 승인될 확률이 높음을 나타내지만, p-값이 0.397로 통계적으로 유의하지 않습니다.\n",
    "# Loan_Type_Auto: 개인 대출에 비해 자동차 대출이 대출 승인될 확률이 낮음을 나타내지만, p-값이 0.686로 통계적으로 유의하지 않습니다.\n",
    "# Loan_Type_Mortgage: 개인 대출에 비해 모기지 대출이 대출 승인될 확률이 높음을 나타내지만, p-값이 0.686로 통계적으로 유의하지 않습니다.\n",
    "# 결론\n",
    "# 다중공선성 문제를 해결하기 위해 Employment_Unemployed 변수를 제거한 후, 모델은 Singular matrix 오류 없이 적합되었습니다.\n",
    "# 그러나, 모델의 전반적인 적합도와 변수의 통계적 유의성은 높지 않습니다.\n",
    "# 추가 데이터 수집, 더 많은 변수 고려, 또는 다른 모델링 접근 방법을 통해 모델 성능을 개선할 필요가 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "82e16d52",
   "metadata": {},
   "source": [
    "#### 경제 사례"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c24fbd81",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 국가의 GDP 성장률을 예측하기 위해 여러 경제 지표를 사용한다고 가정\n",
    "# 데이터에는 국가의 지역, 경제 체제, 산업 구조 등의 범주형 변수가 포함되어 있다고 가정"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cb27dadf",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 예제 데이터"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "85962bdd",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Country\tRegion\tEconomic_System\tMajor_Industry\tGDP_Growth\n",
    "# A\tAsia\tCapitalism\tAgriculture\t3.5\n",
    "# B\tEurope\tSocialism\tManufacturing\t2.8\n",
    "# C\tAfrica\tCapitalism\tServices\t4.2\n",
    "# D\tAsia\tSocialism\tManufacturing\t3.0\n",
    "# E\tEurope\tCapitalism\tServices\t2.5\n",
    "# F\tAfrica\tSocialism\tAgriculture\t3.8\n",
    "# G\tAsia\tCapitalism\tServices\t4.0\n",
    "# H\tEurope\tSocialism\tAgriculture\t2.9\n",
    "# I\tAfrica\tCapitalism\tManufacturing\t3.7\n",
    "# J\tAsia\tSocialism\tServices\t3.2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "ca261704",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Original Data Types:\n",
      " Region              object\n",
      "Economic_System     object\n",
      "Major_Industry      object\n",
      "GDP_Growth         float64\n",
      "dtype: object\n",
      "Data Types after get_dummies:\n",
      " GDP_Growth                      float64\n",
      "Region_Asia                       uint8\n",
      "Region_Europe                     uint8\n",
      "Economic_System_Socialism         uint8\n",
      "Major_Industry_Manufacturing      uint8\n",
      "Major_Industry_Services           uint8\n",
      "dtype: object\n",
      "Data Types after add_constant:\n",
      " const                           float64\n",
      "Region_Asia                       uint8\n",
      "Region_Europe                     uint8\n",
      "Economic_System_Socialism         uint8\n",
      "Major_Industry_Manufacturing      uint8\n",
      "Major_Industry_Services           uint8\n",
      "dtype: object\n",
      "                            OLS Regression Results                            \n",
      "==============================================================================\n",
      "Dep. Variable:             GDP_Growth   R-squared:                       0.798\n",
      "Model:                            OLS   Adj. R-squared:                  0.546\n",
      "Method:                 Least Squares   F-statistic:                     3.163\n",
      "Date:                Wed, 05 Jun 2024   Prob (F-statistic):              0.144\n",
      "Time:                        17:12:09   Log-Likelihood:               0.063726\n",
      "No. Observations:                  10   AIC:                             11.87\n",
      "Df Residuals:                       4   BIC:                             13.69\n",
      "Df Model:                           5                                         \n",
      "Covariance Type:            nonrobust                                         \n",
      "================================================================================================\n",
      "                                   coef    std err          t      P>|t|      [0.025      0.975]\n",
      "------------------------------------------------------------------------------------------------\n",
      "const                            4.0417      0.310     13.021      0.000       3.180       4.903\n",
      "Region_Asia                     -0.4625      0.301     -1.539      0.199      -1.297       0.372\n",
      "Region_Europe                   -1.1075      0.324     -3.421      0.027      -2.006      -0.209\n",
      "Economic_System_Socialism       -0.1775      0.275     -0.644      0.554      -0.942       0.587\n",
      "Major_Industry_Manufacturing    -0.2333      0.310     -0.752      0.494      -1.095       0.628\n",
      "Major_Industry_Services         -0.0142      0.316     -0.045      0.966      -0.892       0.864\n",
      "==============================================================================\n",
      "Omnibus:                        0.099   Durbin-Watson:                   1.466\n",
      "Prob(Omnibus):                  0.952   Jarque-Bera (JB):                0.264\n",
      "Skew:                           0.173   Prob(JB):                        0.876\n",
      "Kurtosis:                       2.284   Cond. No.                         5.22\n",
      "==============================================================================\n",
      "\n",
      "Notes:\n",
      "[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\users\\jyb\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\scipy\\stats\\_axis_nan_policy.py:531: UserWarning: kurtosistest only valid for n>=20 ... continuing anyway, n=10\n",
      "  res = hypotest_fun_out(*samples, **kwds)\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import statsmodels.api as sm\n",
    "\n",
    "# 예제 데이터 생성\n",
    "data = {\n",
    "    'Country': ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],\n",
    "    'Region': ['Asia', 'Europe', 'Africa', 'Asia', 'Europe', 'Africa', 'Asia', 'Europe', 'Africa', 'Asia'],\n",
    "    'Economic_System': ['Capitalism', 'Socialism', 'Capitalism', 'Socialism', 'Capitalism', 'Socialism', 'Capitalism', 'Socialism', 'Capitalism', 'Socialism'],\n",
    "    'Major_Industry': ['Agriculture', 'Manufacturing', 'Services', 'Manufacturing', 'Services', 'Agriculture', 'Services', 'Agriculture', 'Manufacturing', 'Services'],\n",
    "    'GDP_Growth': [3.5, 2.8, 4.2, 3.0, 2.5, 3.8, 4.0, 2.9, 3.7, 3.2]\n",
    "}\n",
    "\n",
    "df = pd.DataFrame(data)\n",
    "\n",
    "# 'Country' 열 삭제 (분석에 필요하지 않음)\n",
    "df = df.drop(columns='Country')\n",
    "\n",
    "# 데이터 유형 확인\n",
    "print(\"Original Data Types:\\n\", df.dtypes)\n",
    "\n",
    "# 범주형 변수를 더미변수로 변환\n",
    "df_dummy = pd.get_dummies(df, columns=['Region', 'Economic_System', 'Major_Industry'], drop_first=True)\n",
    "\n",
    "# 더미변수 변환 후 데이터 유형 확인\n",
    "print(\"Data Types after get_dummies:\\n\", df_dummy.dtypes)\n",
    "\n",
    "# 독립 변수와 종속 변수 설정\n",
    "X = df_dummy.drop(columns='GDP_Growth')\n",
    "y = df_dummy['GDP_Growth']\n",
    "\n",
    "# 상수항 추가\n",
    "X = sm.add_constant(X)\n",
    "\n",
    "# 상수항 추가 후 데이터 유형 확인\n",
    "print(\"Data Types after add_constant:\\n\", X.dtypes)\n",
    "\n",
    "# 데이터 유형을 float으로 변환\n",
    "X = X.astype(float)\n",
    "y = y.astype(float)\n",
    "\n",
    "# 회귀 모델 적합\n",
    "model = sm.OLS(y, X).fit()\n",
    "\n",
    "# 결과 출력\n",
    "print(model.summary())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9ec8a372",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 결과 해석\n",
    "# 1. R-squared (R²):\n",
    "# 값: 0.796\n",
    "# 해석: 모델이 데이터의 75.2% 변동성을 설명합니다. \n",
    "# 이는 모델이 종속 변수(GDP_Growth)의 변동성을 상당 부분 설명하고 있음을 나타냅니다.\n",
    "\n",
    "# 2. Adj. R-squared (조정된 R²):\n",
    "# 값: 0.546\n",
    "# 해석: 독립 변수의 개수를 고려한 설명력으로, R-squared에 비해 낮습니다. \n",
    "# 이는 모델의 변수 수에 비해 데이터 포인트가 적어서 발생할 수 있습니다.\n",
    "\n",
    "# 3. F-statistic:\n",
    "# 값: 3.163\n",
    "# Prob (F-statistic): 0.144\n",
    "# 해석: 모델 전체의 유의성을 테스트하는 값입니다. p-값이 0.05보다 크므로, 모델이 통계적으로 유의하지 않습니다.\n",
    "\n",
    "# 4. 각 변수의 회귀 계수 (coef):\n",
    "# const (절편): 4.0417\n",
    "# 해석: 모든 독립 변수가 0일 때의 GDP 성장률입니다.\n",
    "# Region_Asia: -0.4625\n",
    "# 해석: 아프리카 지역에 비해 아시아 지역일 때 GDP 성장률이 0.46% 감소합니다.\n",
    "# Region_Europe: -1.1015\n",
    "# 해석: 아프리카 지역에 비해 유럽 지역일 때 GDP 성장률이 % 감소합니다.\n",
    "\n",
    "# Economic_System_Socialism: -0.1775\n",
    "# 해석: 자본주의에 비해 사회주의 경제 체제일 때 GDP 성장률이 0.17% 감소합니다.\n",
    "# Major_Industry_Manufacturing: -0.2333\n",
    "# 해석: 농업에 비해 제조업일 때 GDP 성장률이 0.23% 감소합니다.\n",
    "# Major_Industry_Services: -0.0142\n",
    "# 해석: 농업에 비해 서비스업일 때 GDP 성장률이 0.014% 감소합니다.\n",
    "\n",
    "# 5. p-값 (P>|t|):\n",
    "# # Region_Europe: 0.027  통계적 유의\n",
    "\n",
    "# 나머지 변수 :  독립 변수의 p-값이 0.05보다 큽니다. 이는 해당 변수들이 통계적으로 유의미하지 않다는 것을 의미합니다. \n",
    "\n",
    "\n",
    "# 6. 신뢰 구간 (Confidence Interval):\n",
    "# 각 회귀 계수에 대한 95% 신뢰 구간은 다음과 같습니다:\n",
    "\n",
    "# 종합 해석\n",
    "# 모델 설명력: R-squared 값이 0.796로 모델의 설명력은 높습니다. \n",
    "# 조정된 R-squared 값이 낮아, 변수 수에 비해 데이터 수가 적음을 나타냅니다.\n",
    "# 모델 유의성: 전체 모델과 대부분 변수 모두 통계적으로 유의하지 않습니다. 이는 데이터 수가 적거나 독립 변수가 종속 변수에 큰 영향을 미치지 않는다는 것을 의미할 수 있습니다.\n",
    "# 추가 데이터 및 변수 필요: 모델의 신뢰성을 높이기 위해 더 많은 데이터 포인트를 추가하고, 다른 잠재적으로 중요한 변수를 고려하는 것이 좋습니다.\n",
    "# 모델 개선을 위해 데이터 포인트를 더 많이 수집하거나, 경제 성장률에 영향을 미치는 다른 중요한 변수를 추가하는 것이 필요할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "996406c1",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a14f4fa4",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.11"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}