2022년 5월 6일 금요일

Orange3 Preprocess 위젯에서 Standardize 와 Normalize

 1. Orange3 Preprocess 위젯에서 Normalize Features 의 Standardize 와 Normalize 의 차이를 알고 계신가요. 용어가 참 햇갈리게 사용됩니다.


2. 데이터 표준화와 정규화의 차이
데이터전처리를 하기 위해 흔히 표준화와 정규화라는 방법을 많이 사용하게 된다. 혼동하기 쉬운 용어이나
의미와 사용목적의 차이가 있으므로 적절한 전처리 방법을 선택해 분석해야 한다.


3. 참고로 VSCode에서도 오렌지의 작업을 할 수 있으며, 
import Orange
from Orange.preprocess import Normalize
health = Orange.data.Table('housing.tab')
normalizer = Normalize(norm_type=Normalize.NormalizeBySD)
normalized_data = normalizer(health)
print("Before Normalization: ",health[2])
print("After Normalization: ",normalized_data[2])

Before Normalization: [0.02729, 0.0, 7.07, 0, 0.4690, 7.185, 61.1, 4.9671, 2, 242, 17.8, 392.83, 4.03 | 34.7] After Normalization: [-0.417342, -0.4877, -0.59338, -0.273, -0.74026, 1.28271, -0.2658, 0.557160, -0.868, -0.9873, -0.303, 0.396427, -1.20873 | 34.7]
import Orange
from Orange.preprocess import Normalize
health = Orange.data.Table('housing.tab')
normalizer = Normalize(norm_type=Normalize.NormalizeBySpan)
normalized_data = normalizer(health)
print("Before Normalization: ",health[2])
print("After Normalization: ",normalized_data[2])

Before Normalization: [0.02729, 0.0, 7.07, 0, 0.4690, 7.185, 61.1, 4.9671, 2, 242, 17.8, 392.83, 4.03 | 34.7] After Normalization: [0.000235698, 0.000, 0.242302, 0, 0.172840, 0.694386, 0.59938, 0.348962, 0.0435, 0.10496, 0.5532, 0.9897373, 0.063466 | 34.7]

4. 같은 방법으로 오렌지의 파이썬스크립트를 이용해 처리 할 수 있습니다.


파일 불러오는 부분은 #(Remark)로 막아야 하는데 파일위젯에서 불러왔으므로......

5. 당연히 같은 결과를 얻을 수 있습니다.




댓글 없음:

tensorflow gpu 사용하기에서

 tensorflow 설치시 주의해야 한다. # Anything above 2.10 is not supported on the GPU on Windows Native python - m pip install "tensorflow<2.11...