[파이썬] pandas에서 데이터 정규화 (Normalize data)

<질문>

팬더 데이터 프레임이 있다고 가정합니다.df:

데이터 프레임의 열별 평균을 계산하고 싶습니다.

이것은 쉬워요:

df.apply(average) 

그런 다음 열별 범위 max(col) - min(col). 이것은 다시 쉽습니다.

df.apply(max) - df.apply(min)

이제 각 요소에 대해 열의 평균을 빼고 열 범위로 나누고 싶습니다. 나는 그것을하는 방법을 잘 모르겠다

모든 도움/포인터에 감사드립니다.

---

<답변1>

In [92]: df
Out[92]:
           a         b          c         d
A  -0.488816  0.863769   4.325608 -4.721202
B -11.937097  2.993993 -12.916784 -1.086236
C  -5.569493  4.672679  -2.168464 -9.315900
D   8.892368  0.932785   4.535396  0.598124

In [93]: df_norm = (df - df.mean()) / (df.max() - df.min())

In [94]: df_norm
Out[94]:
          a         b         c         d
A  0.085789 -0.394348  0.337016 -0.109935
B -0.463830  0.164926 -0.650963  0.256714
C -0.158129  0.605652 -0.035090 -0.573389
D  0.536170 -0.376229  0.349037  0.426611

In [95]: df_norm.mean()
Out[95]:
a   -2.081668e-17
b    4.857226e-17
c    1.734723e-17
d   -1.040834e-17

In [96]: df_norm.max() - df_norm.min()
Out[96]:
a    1
b    1
c    1
d    1

---

<답변2>

수입품이 마음에 들지 않는다면sklearn 라이브러리에서 이야기한 방법을 추천합니다.this 블로그.

import pandas as pd
from sklearn import preprocessing

data = {'score': [234,24,14,27,-74,46,73,-18,59,160]}
cols = data.columns
df = pd.DataFrame(data)
df

min_max_scaler = preprocessing.MinMaxScaler()
np_scaled = min_max_scaler.fit_transform(df)
df_normalized = pd.DataFrame(np_scaled, columns = cols)
df_normalized

---

<답변3>

당신이 사용할 수있는apply 이를 위해 조금 더 깔끔합니다.

import numpy as np
import pandas as pd

np.random.seed(1)

df = pd.DataFrame(np.random.randn(4,4)* 4 + 3)

          0         1         2         3
0  9.497381  0.552974  0.887313 -1.291874
1  6.461631 -6.206155  9.979247 -0.044828
2  4.276156  2.002518  8.848432 -5.240563
3  1.710331  1.463783  7.535078 -1.399565

df.apply(lambda x: (x - np.mean(x)) / (np.max(x) - np.min(x)))

          0         1         2         3
0  0.515087  0.133967 -0.651699  0.135175
1  0.125241 -0.689446  0.348301  0.375188
2 -0.155414  0.310554  0.223925 -0.624812
3 -0.484913  0.244924  0.079473  0.114448

또한, 그것은 잘 작동합니다groupby, 관련 열을 선택하는 경우:

df['grp'] = ['A', 'A', 'B', 'B']

          0         1         2         3 grp
0  9.497381  0.552974  0.887313 -1.291874   A
1  6.461631 -6.206155  9.979247 -0.044828   A
2  4.276156  2.002518  8.848432 -5.240563   B
3  1.710331  1.463783  7.535078 -1.399565   B


df.groupby(['grp'])[[0,1,2,3]].apply(lambda x: (x - np.mean(x)) / (np.max(x) - np.min(x)))

     0    1    2    3
0  0.5  0.5 -0.5 -0.5
1 -0.5 -0.5  0.5  0.5
2  0.5  0.5  0.5 -0.5
3 -0.5 -0.5 -0.5  0.5

---

<답변4>

다음에서 약간 수정됨:Python Pandas Dataframe: Normalize data between 0.01 and 0.99? 그러나 일부 의견에서 관련성이 있다고 생각했습니다(재게시로 간주된다면 죄송합니다...)

데이터 또는 z-점수의 정규 백분위수가 적절하지 않다는 점에서 맞춤형 정규화를 원했습니다. 때때로 나는 모집단의 가능한 최대값과 최소값이 무엇인지 알고 있으므로 내 표본이나 다른 중간점 또는 그 밖의 다른 것으로 정의하고 싶었습니다! 이것은 종종 0과 1 사이의 모든 입력을 원할 수 있는 신경망에 대한 데이터의 크기를 조정하고 정규화하는 데 유용할 수 있지만 일부 데이터는 보다 맞춤화된 방식으로 크기를 조정해야 할 수도 있습니다. 그러나 때때로 우리는 이것이 사실이 아님을 압니다. 히트맵에서 데이터를 시각화할 때도 매우 유용했습니다. 그래서 나는 사용자 정의 함수를 만들었습니다(여기에 코드에서 가능한 한 읽기 쉽게 만들기 위해 추가 단계를 사용했습니다).

def NormData(s,low='min',center='mid',hi='max',insideout=False,shrinkfactor=0.):    
    if low=='min':
        low=min(s)
    elif low=='abs':
        low=max(abs(min(s)),abs(max(s)))*-1.#sign(min(s))
    if hi=='max':
        hi=max(s)
    elif hi=='abs':
        hi=max(abs(min(s)),abs(max(s)))*1.#sign(max(s))

    if center=='mid':
        center=(max(s)+min(s))/2
    elif center=='avg':
        center=mean(s)
    elif center=='median':
        center=median(s)

    s2=[x-center for x in s]
    hi=hi-center
    low=low-center
    center=0.

    r=[]

    for x in s2:
        if xhi:
            r.append(1.)
        else:
            if x>=center:
                r.append((x-center)/(hi-center)*0.5+0.5)
            else:
                r.append((x-low)/(center-low)*0.5+0.)

    if insideout==True:
        ir=[(1.-abs(z-0.5)*2.) for z in r]
        r=ir

    rr =[x-(x-0.5)*shrinkfactor for x in r]    
    return rr

이것은 팬더 시리즈 또는 심지어 목록을 가져와 지정된 저점, 중앙 및 고점으로 정규화합니다. 또한 수축 요인이 있습니다! 끝점 0과 1에서 데이터를 축소할 수 있도록 합니다(matplotlib에서 컬러맵을 결합할 때 이 작업을 수행해야 했습니다.Single pcolormesh with more than one colormap using Matplotlib) 따라서 코드가 어떻게 작동하는지 볼 수 있지만 기본적으로 샘플에 값 [-5,1,10]이 있지만 -7에서 7 사이의 범위를 기반으로 정규화하려고 한다고 말합니다(7보다 큰 값은 " 10"은 중간점이 2인 경우 효과적으로 7로 처리되지만 256 RGB 컬러맵에 맞게 축소합니다.

#In[1]
NormData([-5,2,10],low=-7,center=1,hi=7,shrinkfactor=2./256)
#Out[1]
[0.1279296875, 0.5826822916666667, 0.99609375]

또한 데이터를 뒤집을 수도 있습니다. 이상하게 보일 수 있지만 히트 매핑에 유용하다는 것을 알았습니다. hi/low가 아닌 0에 가까운 값에 대해 더 어두운 색상을 원한다고 가정해 보겠습니다. insideout=True인 정규화된 데이터를 기반으로 히트맵할 수 있습니다.

#In[2]
NormData([-5,2,10],low=-7,center=1,hi=7,insideout=True,shrinkfactor=2./256)
#Out[2]
[0.251953125, 0.8307291666666666, 0.00390625]

따라서 이제 "1"로 정의된 중앙에 가장 가까운 "2"가 가장 높은 값입니다.

어쨌든 유용한 응용 프로그램을 가질 수 있는 다른 방식으로 데이터를 재조정하려는 경우 내 응용 프로그램이 관련이 있다고 생각했습니다.

---

<답변5>

열 단위로 수행하는 방법은 다음과 같습니다.

[df[col].update((df[col] - df[col].min()) / (df[col].max() - df[col].min())) for col in df.columns]