XGBoost와 표준화(standardization)를 하나의 파이프라인으로 생성하여 학습을 진행하면 나중에 파이프라인으로 추론시 표준화까지 처리됩니다. 포스트에서 사용하고 있는 스케일러인 StandardScaler 외에  RobustScaler, MinMaxScaler, Normalizer, QuantileTransformer, PowerTransformer 도 테스트를 통해 사용해보세요. 데이터셋에 따라 잘 동작하는 스케일러가 다릅니다. 테스트를 통해 스케일러를 적용 전후 또는 서로다른 스케일러 적용시  Optuna의 최적 파라미터값이 같을 수 있다는 것을 확인했습니다. 하지만 모델 추론시 차이가 발견되었습니다. 주의할 점은 데이터에 따라서는 이마저도 별차이가 없는 경우도 있습니다.2024. 7. 4..

RandomizedSearchCV를 사용하여 XGBoost의  최적 하이퍼 파라미터 구하는 예제코드입니다.최초작성 2024. 5. 30 import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_split, RandomizedSearchCVfrom sklearn.metrics import accuracy_scorefrom xgboost import XGBClassifierfrom sklearn.datasets import load_irisRANDOM_SEED=42# Iris 데이터셋 로드iris = load_iris()df = pd.DataFrame(data=iris.data, columns=iris.feature..