파이썬에서 JSON은 데이터를 교환하거나 저장하는 데 매우 유용한 형식입니다. 파일로부터 JSON 데이터를 읽거나 쓸 때는 적절한 구문 분석이 필요하며, 이를 위해 표준 라이브러리인 json 모듈을 활용하게 됩니다. 이번 글에서는 파일에서 JSON 데이터를 읽고 파싱하는 방법에 대해 쉽게 설명드릴 예정입니다. 실습과 함께 이해를 높여보도록 하겠습니다. 아래 글에서 자세하게 알아봅시다!
JSON 파일 읽기와 파싱의 기본 개념 이해하기
JSON이란 무엇인가요? 왜 파이썬에서 유용한가요?
JSON은 JavaScript Object Notation의 줄임말로, 데이터를 텍스트 형식으로 간단하고 직관적으로 표현하는 방식입니다. 사람이 읽기 쉽고, 기계가 빠르게 읽고 쓸 수 있기 때문에 데이터 교환이나 저장에 매우 적합합니다. 특히 웹 애플리케이션이나 API 통신에서 많이 사용되며, 파이썬에서도 json 모듈을 통해 쉽게 다룰 수 있어 편리합니다. JSON은 딕셔너리와 유사한 구조를 가지고 있어서, 파이썬의 딕셔너리 형태로 바로 변환하거나 저장하는 것이 가능하죠.
왜 파일에서 JSON 데이터를 읽어야 할까요?
많은 경우 서버나 다른 시스템에서 데이터를 받아오거나, 저장된 데이터를 불러와서 활용할 때 JSON 포맷이 사용됩니다. 예를 들어, 사용자 정보가 담긴 JSON 파일을 읽어서 프로그램 내에서 가공하거나 보여줄 때, 직접 문자열을 파싱하는 것보다 json 모듈을 이용하는 게 훨씬 쉽고 안정적입니다. 또한, 대량의 데이터를 처리하거나 여러 번 반복해서 읽어야 하는 경우에도 표준화된 방법인 json.load()를 사용하는 것이 개발 효율성을 높입니다.
파이썬에서 JSON 파일을 어떻게 열고 구문 분석하나요?
먼저 open() 함수를 이용해 JSON 파일을 연 후, json.load() 함수를 호출해서 파일 내용을 딕셔너리 또는 리스트 등으로 변환합니다. 이때 반드시 ‘rb’ 또는 ‘r’ 모드로 열어야 하며, 작업이 끝난 뒤에는 close() 메서드를 호출하거나 with 구문을 사용하는 것이 좋아요. 이렇게 하면 JSON 문자열이 파이썬 데이터 구조로 자연스럽게 바뀌는데, 이후에는 일반 딕셔너리처럼 접근하거나 조작할 수 있습니다.
파이썬 코드 레시피 302: 파일에서 JSON 구문 분석
실습 예제: 간단한 JSON 파일 읽기
예제 준비: 샘플 JSON 데이터 생성하기
우선 테스트용으로 사용할 작은 JSON 파일을 만들어 보겠습니다. 예를 들어 학생 명단과 점수 정보를 담은 students.json이라는 이름의 파일을 만든다고 생각해보세요. 내용은 다음과 같이 구성할 수 있겠죠:
{
“학생목록”: [
{“이름”: “철수”, “나이”: 15, “점수”: 85},
{“이름”: “영희”, “나이”: 14, “점수”: 92},
{“이름”: “민수”, “나이”: 16, “점수”: 78}
]
}
이런 식으로 미리 만들어 놓으면 이후에 코드를 통해 쉽게 불러올 수 있습니다.
파이썬 코드로 JSON 데이터 읽기
먼저 파일을 열고 json.load()로 데이터를 로드하는 과정을 살펴봅시다. with 구문을 사용하면 자동으로 파일 닫기를 해주기 때문에 더 안전하고 깔끔합니다. 예를 들어:
import json
with open(‘students.json’, ‘r’, encoding=’utf-8′) as f:
data = json.load(f)
그럼 이제 data 변수에는 딕셔너리가 저장되어 있고, ‘학생목록’ 키를 통해 목록에 접근할 수 있어요. 이 목록 안에 있는 각 학생별 정보를 반복문으로 출력하거나 원하는 방식으로 활용 가능합니다.
로드한 JSON 데이터 활용하기
로드된 데이터를 활용하려면 일반 딕셔너리처럼 접근하면 됩니다. 예를 들어 전체 학생들의 이름만 출력하려면:
for student in data[‘학생목록’]:
print(student[‘이름’])
혹은 평균 점수를 계산한다거나 특정 조건에 맞는 학생만 필터링하는 것도 쉽게 할 수 있죠. 이렇게 불러온 데이터는 수정하거나 새로운 정보를 추가하는 것도 가능하며 필요하다면 다시 json.dump() 함수로 저장할 수도 있습니다.
복잡한 구조의 JSON 다루기와 주의 사항
중첩 구조의 JSON 처리 방법
대부분의 실무에서는 단순한 리스트와 딕셔너리 조합보다 더 복잡하게 중첩된 구조를 갖는 경우가 많습니다. 예를 들어 학생별 성적 세부 항목들이 또 다른 딕셔너리로 묶여 있다든지 하는 경우죠. 이러한 경우에는 원하는 계층까지 차근차근 접근해야 합니다.
예를 들어:
{
“학교명”: “서울고등학교”,
“학년별”: {
“1학년”: [
{“이름”: “철수”, “성적”: {“국어”: 80, “수학”: 90}},
…
],
…
}
}
그러면 데이터에 접근하려면 먼저 top-level 키를 잡아내고 그 내부 계층도 차례차례 탐색하는 과정이 필요합니다.
큰 용량의 JSON 처리 시 주의점
매우 큰 크기의 JSON 파일일 경우 한 번에 모두 메모리에 올리는 것은 비효율적일 수 있습니다. 이럴 땐 스트리밍 방식이나 부분 로딩 방식을 고려해야 하며, 표준 라이브러리에서는 이 기능을 제공하지 않으니 외부 패키지(예: ijson)를 사용하는 것도 방법입니다.
또한 오류 발생 가능성도 염두에 두어야 하는데, 잘못된 형식이나 손상된 데이터가 있으면 json.load()는 예외를 던지므로 try-except 문으로 적절히 처리하는 습관도 중요합니다.
JSON 구문 분석 시 흔히 하는 실수 피하기
가장 흔한 실수 중 하나는 인코딩 문제입니다. UTF-8 인코딩으로 저장된 파일인데 다른 인코딩(예: ANSI)로 열거나 할 때 문제가 생기니 반드시 encoding=’utf-8′ 옵션을 넣어주는 것이 좋습니다. 또 하나는 잘못된 구문인 경우인데, 쉼표 누락이나 따옴표 문제 등 사소한 문법 오류라도 오류 메시지가 나오니 에러 메시지를 꼼꼼히 확인하세요.
그리고 마지막으로 parse 후 받은 자료를 수정했더라도 원래 원본과 비교하거나 백업본 없이 무작정 덮어쓰지 않도록 주의하세요—데이터 손실 방지 차원에서 버전 관리를 병행하면 더 안전하게 작업할 수 있습니다.
JSON 데이터를 안전하게 저장하고 다시 쓰기
파이썬 객체를 다시 JSON 형식으로 저장하기
읽은 데이터를 수정하거나 새롭게 만든 후 다시 디스크에 저장하려면 json.dump() 또는 json.dumps() 함수를 사용해야 합니다.
json.dump(객체, 파일 객체, indent=4) 와 같이 쓰면 가독성을 위해 들여쓰기를 넣어서 보기 좋은 포맷으로 저장할 수 있어요.
반대로 문자열 형태로 만들려면 json.dumps(객체, indent=4)를 이용하면 됩니다.
파일에 쓸 때 주의사항과 팁
파일 쓰기는 read와 달리 기존 내용을 덮어쓰기 때문에 기존 데이터를 유지하려면 별도로 백업하거나 append 모드를 사용하지 않는 게 좋습니다. 대부분은 ‘w’ 모드로 열어서 새롭게 써 넣어요.
그리고 인코딩 옵션도 꼭 지정해서 깨짐 현상을 방지하세요.
또한 비슷한 이름의 여러 버전 관리 또는 버퍼 플ush 등을 고려하면 안정적인 작업 환경을 구축할 수 있습니다.
인증서 및 보안 고려 사항
외부에서 받은 JSON 데이터 중 신뢰하지 않는 소스라면 반드시 검증 절차를 거치세요. 악성 코드 삽입 가능성이 없도록 하고 민감정보 포함 시 암호화 방식을 함께 고민해야 합니다.
특히 네트워크 상에서 전달받거나 외부 API 응답인 경우에는 데이터 무결성을 체크하고 필요한 최소 정보만 추출하여 사용하는 게 중요합니다.
자동화 스크립트 작성과 활용 사례들
대량 데이터 처리 자동화하기
반복되는 작업이나 여러 개의 JSON 파일들을 일괄적으로 처리하는 스크립트를 만들어놓으면 업무 효율성이 엄청 올라갑니다.
예를 들어 특정 폴더 내 모든 .json 확장자 파일들을 순차적으로 열어서 필요한 정보 추출 후 결과 정리하는 작업도 쉽게 구현 가능하죠.
웹 크롤러 또는 API 연동 시 활용법
웹 크롤러나 API 요청 후 받는 응답 내용 역시 대부분 JSON 형태입니다.
이를 바로 파싱해서 필요한 항목만 골라내거나 가공하여 데이터베이스에 저장하는 등의 자동화를 할 때 매우 유용하며 이를 위해서는 requests 라이브러리와 함께 사용하는 방법도 익혀두면 좋습니다.
데이터 분석 및 시각화 전처리 단계 활용하기
분석용 데이터셋 역시 종종 다양한 소스에서 온 JSON 형식일 때가 많아서 이를 pandas DataFrame 으로 변환하거나 필터링하는 과정에서 중요한 역할을 합니다.
즉시 사용할 수 있는 형태로 가공해서 분석 시간 단축 또는 시각화 자료 준비에도 큰 도움이 되죠.
마지막으로
이번 글에서는 JSON 파일을 읽고 파싱하는 기본 개념과 실습 방법을 살펴보았습니다. 복잡한 구조의 JSON 처리와 안전한 저장 방법도 함께 알아보았으며, 자동화와 활용 사례를 통해 실무에 바로 적용할 수 있는 내용도 포함되어 있습니다. JSON은 데이터 교환과 저장에 매우 유용하니, 적극적으로 활용해보시기 바랍니다.
추가적으로 참고할 자료
1. 공식 Python json 모듈 문서: https://docs.python.org/3/library/json.html
2. JSON 데이터 형식과 구조 이해하기: https://json.org/json-ko.html
3. ijson 라이브러리로 큰 JSON 파일 처리하기: https://pypi.org/project/ijson/
4. Python에서 API 요청과 JSON 응답 처리 예제: https://realpython.com/python-requests/
5. pandas를 이용한 JSON 데이터 분석 기초: https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#json-data
주요 포인트 모아보기
JSON은 텍스트 기반의 데이터 포맷으로, 파이썬에서는 json 모듈을 통해 쉽게 읽기, 쓰기, 파싱이 가능합니다.
파일에서 JSON 데이터를 읽을 때는 open()과 json.load()를 이용하며, 중첩 구조와 대용량 파일 처리 시 주의해야 합니다.
데이터 수정 후 다시 저장하려면 json.dump() 또는 json.dumps()를 사용하며, 인코딩 문제와 보안도 고려해야 합니다.
자동화 스크립트와 API 연동, 데이터 분석 등 다양한 분야에서 JSON 활용도가 높습니다.