반응형
SPARK를 사용하여 대용량 데이터셋의 평균과 표준편차 구하기
Deep Learning & Machine Learning/강좌&예제 코드2021. 12. 12. 12:39SPARK를 사용하여 대용량 데이터셋의 평균과 표준편차 구하기

메모리에 한번에 올리기 힘든 데이터셋에 표준화(standardization)를 적용하기 위해 평균 및 표준 편차를 계산하기 위해 사용한 방법입니다. 2021. 12. 12 최초작성 1. JDK가 필요합니다. 안드로이드 스튜디오를 사용중이라면 이미 OpenJDK가 설치되어 있으므로 바로 4번을 확인해보세요. 아래 링크에서 11 GA 윈도우 버전을 다운로드합니다. https://jdk.java.net/archive/ 2. 압축을 풀은 후, jdk-11 폴더를 C:\에 복사합니다. 3. 윈도우 키 + R을 누른 후, sysdm.cpl를 실행하여 시스템 환경 변수 path에 아래 경로를 추가합니다. C:\jdk-11\bin 4. 명령 프롬프트에서 java 실행 가능 여부를 확인합니다. C:\Users\webna..

프로그래밍 노트/C&C++2021. 10. 10. 10:06C++의 vector로부터 표준편차와 평균 구하기

C++의 vector에 저장된 값으로 부터 표준편차와 평균을 구하는 예제 코드입니다. 2021. 10. 10 - 최초작성 #include #include #include #include #include using namespace std; int main() { vector v = {1, 2, 3, 4, 5}; double sum = std::accumulate(v.begin(), v.end(), 0.0); double mean = sum / v.size(); std::vector diff(v.size()); std::transform(v.begin(), v.end(), diff.begin(), [mean](double x) { return x - mean; }); double sq_sum = std::..

반응형
image