XGBoost와 표준화(standardization)를 하나의 파이프라인으로 생성하여 학습을 진행하면 나중에 파이프라인으로 추론시 표준화까지 처리됩니다. 포스트에서 사용하고 있는 스케일러인 StandardScaler 외에  RobustScaler, MinMaxScaler, Normalizer, QuantileTransformer, PowerTransformer 도 테스트를 통해 사용해보세요. 데이터셋에 따라 잘 동작하는 스케일러가 다릅니다. 테스트를 통해 스케일러를 적용 전후 또는 서로다른 스케일러 적용시  Optuna의 최적 파라미터값이 같을 수 있다는 것을 확인했습니다. 하지만 모델 추론시 차이가 발견되었습니다. 주의할 점은 데이터에 따라서는 이마저도 별차이가 없는 경우도 있습니다.2024. 7. 4..

Optuna를 사용하여 XGBoost의  최적 하이퍼 파라미터 구하는 예제코드입니다.2022. 03. 12  최초작성2024. 5. 292024. 7. 4import pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scorefrom xgboost import XGBClassifierimport optunafrom sklearn.datasets import load_irisRANDOM_SEED = 42# Iris 데이터셋 로드iris = load_iris()df = pd.DataFrame(data=iris.data, columns=iris.feature_names)df['la..

Optuna를 사용하여 MNIST 데이터셋에 대한 keras 분류 모델의 하이퍼파라미터를 최적화하는 예제코드입니다. 2023. 11. 5 최초작성 실행결과입니다. (tensorflow-dev) webnautes@webnautesui-MacBookAir keras_example % /Users/webnautes/miniforge3/envs/tensorflow-dev/bin/python /Users/webnautes/keras_example/optuna _mnist.py [I 2023-11-05 12:06:30,500] A new study created in memory with name: no-name-42c2fbc2-e7d7-4e40-a7af-f9c08dc199a5 Metal device set to:..

Optuna를 사용하여 iris 데이터셋에 대한 Keras 분류 모델 하이퍼파라미터를 최적화하는 예제입니다. 2023. 10. 20 최초작성 최적화 시도를150번 한 결과입니다. [I 2023-10-20 15:34:32,846] A new study created in memory with name: no-name-a9a9d87a-1258-4aee-91ac-09818702060f Metal device set to: Apple M1 systemMemory: 16.00 GB maxCacheSize: 5.33 GB [I 2023-10-20 15:34:38,095] Trial 0 finished with value: 0.2703423798084259 and parameters: {'n_units_l1': 55..