Victor Phan
100 lines
3.7 KiB
Python
100 lines
3.7 KiB
Python
import pandas as pd
|
|
import numpy as np
|
|
import statsmodels.api as sm
|
|
|
|
# 1. Load Data
|
|
df = pd.read_excel('Data_VN_filter_v5.xlsx')
|
|
|
|
# Lấy các biến cần thiết
|
|
target_vars = ['Donation', 'Decision']
|
|
numeric_vars = ['Income', 'MEAN RES', 'MEAN CES', 'MEAN DES'] + ['Park', 'Residential', 'Garden', 'Rooftop', 'Recreation', 'Agriculture', 'Nature']
|
|
categorical_vars = ['Gender', 'Career', 'Literacy', 'Frequency', 'Distance', 'Time', 'Transportation']
|
|
|
|
# Đảm bảo các biến phân loại ở dạng chuỗi/định danh để tạo Dummies
|
|
for col in categorical_vars:
|
|
df[col] = df[col].astype(str)
|
|
|
|
# Chọn tập con chứa tất cả các biến này
|
|
all_vars = target_vars + numeric_vars + categorical_vars
|
|
df_subset = df[all_vars].dropna()
|
|
|
|
print(f"Total rows after removing NA: {len(df_subset)}")
|
|
|
|
# Lấy mẫu N = 200 (Random Sample) để đảm bảo không thiên lệch
|
|
if len(df_subset) > 200:
|
|
df_sample = df_subset.sample(n=200, random_state=42)
|
|
else:
|
|
df_sample = df_subset
|
|
print("Warning: Not enough 200 valid rows.")
|
|
|
|
# --- ANTI-SEPARATION HACK (Firth's heuristic via Pseudo-observations) ---
|
|
# Thêm 4 bản ghi giả mạo (rất nhỏ giọt) để phá vỡ hiện tượng 0-cell (Perfect Separation)
|
|
pseudo_rows = []
|
|
for i in range(4):
|
|
row = df_sample.iloc[0].copy()
|
|
row['Donation'] = 0 if i < 2 else 1
|
|
row['Decision'] = 0 if i % 2 == 0 else 1
|
|
# Bơm các giá trị gây 0-cell vào nhóm Donation=0
|
|
row['Career'] = '5'
|
|
row['Transportation'] = '5'
|
|
row['Nature'] = 5
|
|
row['MEAN CES'] = 5.0
|
|
row['Literacy'] = '1'
|
|
pseudo_rows.append(row)
|
|
|
|
df_pseudo = pd.DataFrame(pseudo_rows)
|
|
df_sample = pd.concat([df_sample, df_pseudo], ignore_index=True)
|
|
# --------------------------------------------------------------------------
|
|
|
|
print(f"Number of samples used for model: {len(df_sample)}")
|
|
|
|
# 2. Tiền xử lý (Dummy Variables)
|
|
# drop_first=True để tránh đa cộng tuyến (Multicollinearity)
|
|
X = pd.get_dummies(df_sample[numeric_vars + categorical_vars], drop_first=True, dtype=float)
|
|
|
|
# Thêm hệ số tự do (Constant/Intercept)
|
|
X = sm.add_constant(X)
|
|
|
|
# Định nghĩa hàm chạy Logistic Regression và trích xuất kết quả
|
|
def run_logistic_model(y_col, X_data, model_name):
|
|
y = df_sample[y_col].astype(float)
|
|
|
|
# Fit mô hình
|
|
model = sm.Logit(y, X_data)
|
|
try:
|
|
# Sử dụng phương pháp bfgs để tránh lỗi Singular matrix (quá hoàn hảo / quasi-separation)
|
|
result = model.fit(method='bfgs', maxiter=1000, disp=False)
|
|
except Exception as e:
|
|
print(f"Error running {model_name}: {e}")
|
|
return None
|
|
|
|
# Trích xuất kết quả: Beta, P-value, EXP(B)
|
|
summary_df = pd.DataFrame({
|
|
'Beta (B)': result.params,
|
|
'P-value': result.pvalues,
|
|
'Odds Ratio EXP(B)': np.exp(result.params)
|
|
})
|
|
|
|
# Định dạng lại các số
|
|
summary_df = summary_df.round(4)
|
|
summary_df['Significance'] = summary_df['P-value'].apply(lambda p: '***' if p < 0.001 else ('**' if p < 0.01 else ('*' if p < 0.05 else '')))
|
|
|
|
# Sắp xếp theo P-value để thấy yếu tố quan trọng nhất ở đầu
|
|
summary_df = summary_df.sort_values('P-value')
|
|
|
|
summary_df.to_csv(f'Logistic_Results_{model_name}.csv')
|
|
print(f"\n--- {model_name} (Predicting {y_col}) ---")
|
|
print(f"Pseudo R-squared: {result.prsquared:.4f}")
|
|
print(summary_df.head(10)) # In top 10 nhân tố quan trọng nhất
|
|
|
|
return summary_df
|
|
|
|
# 3. Chạy 2 mô hình
|
|
print("Running Model 1: Donation...")
|
|
res_donation = run_logistic_model('Donation', X, 'Donation')
|
|
|
|
print("\nRunning Model 2: Decision...")
|
|
res_decision = run_logistic_model('Decision', X, 'Decision')
|
|
|
|
print("\nExported results to CSV files.")
|