본문 바로가기

[파이썬]/데이터 분석16

판다스를 활용한 데이터프레임 데이터 추출 및 컬럼명 변경 HTML 삽입 미리보기할 수 없는 소스 본 글에서는 "데이터프레임 데이터 추출 및 컬럼명 변경"에 관한 내용을 다룰 것이다. 컬럼명이 영문명인 데이터프레임을 한글명으로 변환할 것이다. 이는 편의성을 향상하기 위한 목적이다. 차례와 사용 툴은 아래와 같다. [차례] 첫 번째, 사용할 데이터 호출하기 두 번째, 메타정의서(컬럼정의서)를 통해 컬럼명을 담는 객체 생성하기 세 번째, 해당 객체로부터 데이터 추출 네 번째, 추출한 데이터를 기존 테이터프레임에 저장하기 [사용 툴] - Jupyter notebook(웹 기반 대화형 코딩 환경) . 데이터 호출하기 글쓴이는 "포항시 BIS 교통카드 사용내역 데이터"를 국가 교통 데이터 오픈마켓에서 수집하여, 이를 활용하고자 한다. 판다스 라이브러리에서 제공하는 함수 .. 2023. 12. 3.
[데이터 분석] SQL 명령어를 이용한 데이터베이스 관리 : 입력, 수정, 삭제 HTML 삽입 미리보기할 수 없는 소스 이전에 다루었던 "SQL 조회 결과로 판다스 데이터프레임 생성하기"에 이어, 이번에는 데이터의 입력, 수정, 삭제하는 방법을 간략하게 살펴보고자 한다. 조회할 때와 마찬가지로, SQL 문을 데이터베이스로 전달하고, 받은 응답을 바탕으로 데이터를 입력, 수정, 삭제하는 과정을 진행해 보겠다. (2023.12.01 - [[파이썬]/데이터 분석] - [데이터 분석] SQL 조회 결과로 판다스 데이터프레임 생성하기) 본 글에서는 라이브러리 호출 및 데이터베이스 연결에 대해서는 다루지는 않겠다. 해당 내용에 대해 자세히 다룬 내용을 참고하실 분들은 아래의 링크를 참조하시길 바란다. (2023.12.01 - [[파이썬]/데이터 분석] - [데이터 분석] pymysql 라이브러.. 2023. 12. 2.
[데이터 분석] SQL 조회 결과로 판다스 데이터프레임 생성하기 HTML 삽입 미리보기할 수 없는 소스 이전 글(데이터베이스에 저장된 데이터조회)에 이어, 이번 글에서는 "SQL 조회 결과로 판다스 데이터프레임 생성하기"에 대한 글을 작성하려 한다. [차례] 첫 번째, 작업 전 준비과정에 대해 다룰 것이다. 두 번째, SQL 문을 통해 데이터베이스로부터 응답받은 결과가 여러 건일 때의 값을 변수에 담아 임시로 보관할 것이다. 세 번째, 판다스 라이브러리를 사용하여 위의 변수가 가진 데이터를 새로운 데이터프레임에 옮겨줄 것이다. 네 번째, 커서로부터 새로운 데이터프레임으로 데이터가 옮겨질 때, 변환되는 데이터 타입에 대해 살펴볼 것이다. [사용 툴] - Jupyter notebook(웹 기반 대화형 코딩 환경) - MariaDB(오픈 소스 관계형 데이터베이스 관리 시스.. 2023. 12. 1.
[데이터 분석] pymysql 라이브러리를 활용한 데이터베이스에 저장된 데이터 조회하기(cursor, execute, fetchall & fetchone, close) HTML 삽입 미리보기할 수 없는 소스 이번 글에서는 "데이터베이스에 저장된 데이터를 호출하고 조회"하는 데에 초점을 맞추어 글을 작성할 것이다. [차례] 첫 번째, 데이터베이스에 저장된 데이터를 호출하기 위해, 데이터베이스와 연결(connect)하는 방법을 작성할 것이다. 두 번째, 연결한 데이터베이스 내의 저장된 데이터를 호출할 것이다. 세 번째, 조회 결과가 여러 건일 때와 한 건일 때의 경우로 나누어 조회를 수행할 것이다. [사용 툴] - Jupyter notebook(웹 기반 대화형 코딩 환경) - MariaDB(오픈 소스 관계형 데이터베이스 관리 시스템) ("일반 파일에 저장된 데이터를 호출하는 방법"에 대해서는 아래의 링크를 확인) 2023.11.29 - [[파이썬]/데이터 분석] - [데이.. 2023. 12. 1.
[데이터 분석] 판다스를 활용한 데이터프레임 재구성 HTML 삽입 미리보기할 수 없는 소스 (데이터프레임 생성에 관한 글은 아래의 링크를 참고하시라.) 2023.11.29 - [[파이썬]/데이터 분석] - [데이터 분석] 판다스를 활용한 데이터프레임 생성 및 개념 데이터프레임 재구성 한국전력거래소에서 수집한 "시간별 전력수요량" 공공데이터를 새로운 데이터프레임으로 재구성하려고 한다. 이러한 작업을 수행하는 이유는 데이터의 구조가 보기 불편하다고 느껴지기 때문이다. (왜 이렇게 생각하는지에 대해서는 아래에 명시하였다.) · 데이터 조회 import pandas AS pd # 데이터 불러오기 file_path = "./01_data/new_data.csv" # CSV 파일을 읽어 데이터프레임 객체로 변환 df = pd.read_csv(file_path) # .. 2023. 11. 30.
[데이터 분석] 판다스를 활용한 데이터프레임 생성 및 개념 · 데이터프레임이란 데이터프레임은 행과 열로 구성된 2차원의 데이터 구조를 가진다. 이는 표 형태의 데이터를 다루기에 적합하며, 행은 개별 데이터를, 열은 데이터의 속성을 나타낸다. 각 열은 서로 다른 데이터 타입(정수, 실수, 문자열 등)을 가질 수 있다. 즉, 하나의 데이터프레임 내에서도 다양한 유형의 데이터를 관리할 수 있다. 또한, 데이터프레임은 행과 열 모두에 레이블을 지정할 수 있다. '레이블'이란 데이터를 구분하고 식별하기 위한 태그나 이름을 말한다. 열 레이블은 각 열의 이름을 말하고, 행 레이블은 보통 데이터의 순서를 나타내는 인덱스를 사용하여 각 행을 구분한다. 이 레이블을 사용하면 원하는 데이터에 쉽게 접근할 수 있다. 특히, 판다스 라이브러리의 데이터프레임은 레이블을 기반으로 데이터.. 2023. 11. 29.