[DOE] 탐색적 데이터 분석, 실험계획법 이란 ?

1. 탐색적 데이터 분석, 실험 계획법 이란 무엇인가 ?

   1) 철학 : 

      - 그래픽을 기반으로 특성치를 찾아내고자 함

      - 데이터 자체를 모델화 하고 모델에 따라 최적치를 찾아내고자 함

   2) 접근 방법

      - 데이터 집합에 대한 통찰력의 최대화 

      - 데이터의 기본 구조를 확인 

      - 중요한 변수를 추출

      - 특이하고 이상 현상을 감지

      - 가정을 기본으로 하고 Test 를 수행

      - 최적의 요소를 결정 

   3) 실험 계획법 

      - 실험 하고자 하는 공정에 대한 실험으로부터 유용한 데이터를 얻기 위하여 실험에 영향을 미치는 

        요인을 선택하고 어떤 조건으로 실험할 것 인가 에 대하여 실험 계획을 수행하고 그 실험으로 부터 
        얻어진 데이터 중에서 실험오차와 유효한 인자를 구분하고 그 영향을 파악하여 최적화 하는 방법

 

    4) 데이터 분석 방법별 차이점   

 

고전적방식	문제 → 데이터 → 모델 → 분석 → 결론
탐색적방식	문제 → 데이터 → 분석 → 모델 → 결론
베이지안방식	문제 → 데이터 → 모델 → 사전분포 → 분석 → 결론

 

 

   5) 탐색적 데이터 분석 및 실험 계획의 목표

     - 비용대비 좋은 질 제공

     - 특이한 내용 제공

     - 결론에 대한 견고함의 정도 

     - 매개 변수의 추정

     - 추정에 대한 불확실성

     - 중요한 요인의 순서 또는 비율

     - 결론이 통계적으로 유의한지 제공

     - 최적의 설정

 

    6) 그래픽의 역할

      - 정량적 측면 : 가설검증, 분산분석, 점추정과 신뢰구간, 최소 제곱회귀

      - 그래픽 측면 : 산포도, 히스토그램, 확률도, 잔차그림, 상자의 플롯, 블록 플롯

      - 역할 : 테스트 가정, 모델선정, 모델 검증, 추정 선택, 관계식별, 요인효과 판정, 특이 검출

 

2. 탐색적 데이터 분석을 위한 가정 

   1) 측정 프로세스에서의 가정

      - Random drawing : 임의적 발생

      - From a fixed distribution : 분포에 따라서

      - with the distribution having fixed loaction : 정의된 위치에서

      - with the distribution having fixed variation : 고정된 분산을 따라야 한다. 

   2) 단변량 응답 변수일 경우 일반 모델 

      - Response = Deterministic component + Random component

        응답 = 결정적요소 + 임의적요소

      이를 일반적인 모델로 표현

      - Resonse = Constant + Error

        응답 = 상수 + 오류

      - with the distrivution hanving fixed location 에서 "fixed location" 이란 알 수 없는 상수 

   3) 단변량 모델을 위한 가정 

      - the data are uncorrelated with one another

        데이터간에 상관관계가 없어야 한다.

      - the random component has a fixed distribution

        임의적 요소는 고정된 분포를 따라야 한다.

      - the deterministic component consists of only a constant

        결정적요소는 하나의 상수이어야 한다.

      - the random component has fixed variation

        임의의 구성 요소는 분산이 고정 되어야 한다.

   4) 잔차는 단변량 모델의 가정을 따른다.

      - ramdom drawings : 임의적 발생 ( 랜덤성 )

      - from a fixed distribution : 고정된 분포를 따라야 함

      - with fixed location : 고정된 위치

      - widh fixed variation : 고정된 분산 

 

   5) 잔차의 모델이 가정을 따르는지 검증 방법

      - R2 를 활용하여 검증