[파이썬] 기존 csv 파일에 pandas 데이터를 추가하는 방법

<질문>

팬더를 사용할 수 있는지 알고 싶습니다.to_csv()기존 csv 파일에 데이터 프레임을 추가하는 기능. csv 파일은 로드된 데이터와 동일한 구조를 가집니다.

---

<답변1>

pandas에서 파이썬 쓰기 모드를 지정할 수 있습니다.to_csv기능. 추가의 경우 'a'입니다.

귀하의 경우:

df.to_csv('my_csv.csv', mode='a', header=False)

기본 모드는 'w'입니다.

파일이 초기에 누락되었을 수 있는 경우 다음 변형을 사용하여 첫 번째 쓰기에서 헤더가 인쇄되도록 할 수 있습니다.

output_path='my_csv.csv'
df.to_csv(output_path, mode='a', header=not os.path.exists(output_path))

---

<답변2>

당신은 할 수 있습니다추가csv로opening the file추가 모드에서:

with open('my_csv.csv', 'a') as f:
    df.to_csv(f, header=False)

이것이 당신의 csv라면,foo.csv:

,A,B,C
0,1,2,3
1,4,5,6

예를 들어 읽은 다음 추가하면df + 6:

In [1]: df = pd.read_csv('foo.csv', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open('foo.csv', 'a') as f:
             (df + 6).to_csv(f, header=False)

foo.csv된다:

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

---

<답변3>

with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)

• 존재하지 않는 경우 파일 생성, 그렇지 않은 경우 추가
• 파일이 생성되는 경우 헤더를 추가하고 그렇지 않으면 건너뜁니다.

---

<답변4>

모든 것을 처리하기 위해 몇 가지 헤더 검사 보호 장치와 함께 사용하는 작은 도우미 기능:

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)

---

<답변5>

처음에는 pyspark 데이터 프레임으로 시작 - 내 pyspark 데이터 프레임의 스키마/열 유형이 주어지면 유형 변환 오류(pandas df로 변환한 다음 csv에 추가할 때)가 발생했습니다.

각 df의 모든 열을 문자열 유형으로 강제 설정한 다음 이를 다음과 같이 csv에 추가하여 문제를 해결했습니다.

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

---

<답변6>

2021년에는 이렇게 했어요

csv가 있다고 가정해 보겠습니다.sales.csv다음 데이터가 있습니다.

판매.csv:

Order Name,Price,Qty
oil,200,2
butter,180,10

더 많은 행을 추가하기 위해 데이터 프레임에 로드하고 다음과 같이 csv에 추가할 수 있습니다.

import pandas

data = [
    ['matchstick', '60', '11'],
    ['cookies', '10', '120']
]
dataframe = pandas.DataFrame(data)
dataframe.to_csv("sales.csv", index=False, mode='a', header=False)

출력은 다음과 같습니다.

Order Name,Price,Qty
oil,200,2
butter,180,10
matchstick,60,11
cookies,10,120

---

<답변7>

파티에 조금 늦었지만 파일을 여러 번 열고 닫거나 데이터, 통계 등을 로깅하는 경우 컨텍스트 관리자를 사용할 수도 있습니다.

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`