garret

이전까진 postman을 통한 rest api 호출로 값을 확인했었다. 하지만, 최근 실제 rest api를 python으로 호출해 사용할 일이 생겨서 REST API 호출하는 과정을 시행착오 포함해 모두 정리해보았다. 앞 2가지는 실패한 것들의 원인을 적어놓았고, 마지막은 성공한 코드를 적어놓았으니, 급한 사람은 마지막 시도를 참고할 것. 첫번째 시도 [실패] 구글링해서 가장 먼저 나온 블로그를 참고해서 아래처럼 시도해보았다. #예시 코드 import requests import json def send_api(path, method): API_HOST = "http://www.example.com" url = API_HOST + path headers = { 'Authorization': 'Basic..

데이터 분석을 할 경우, 카테고리형 변수, 또는 string을 전처리할 경우가 종종 생긴다. 사실 이전까지는 얄팍하게 알고 사용해온 감이 없지 않아 있어서, 이번 기회에 파라미터를 어떤 걸 쓸 수 있는지 공부해 보았다. str.replace() 함수 정의 Series.str.replace(pat,rept, n=-1, case=None, flags=0, regex=False) Series나 index에서 패턴이나 regex(정규식)를 교체하는 함수 str.replace(), re.sub()와 동일한 기능 수행 아웃풋 Series 나 object의 인덱스 파라미터 구성 pat : 기존 str 이나 regex repl : 대체 str n : 시작에서 부터 대체하고자 하는 개수(int). 디폴트 -1(전체) c..

DataFrame 함수 전처리할 때 종종 사용하는 dropna(). 보통 axis 파라미터만 사용했는데, 다양한 옵션들이 있어서 알면 유용할 거 같아 정리. dropna 함수 정의 DataFrame.dropna(*, axis=0, how=_NoDefault.no_default, thresh=_NoDefault.no_default, subset=None, inplace=False,ignore_index=False) 결측값을 삭제하는 함수 파라미터 구성 axis : drop할 row나 column 선택, single axis만 가능. 디폴트 0 0 , 'index' : 결측값 있으면 row drop 1, 'columns' : 결측값 있으면 column drop how : 하나의 결측값만 있어도 drop할지,..

MySQL에서 데이터 타입 변환하기 MySQL에서 데이터 타입을 변환하는 함수는 크게 2가지가 있다. 1번째는 CAST 함수 CAST(expression AS data_type) SELECT CAST(타입 바꾸려는 컬럼명 AS 데이터타입) FROM 테이블명 /*예시*/ CAST(7 AS CHAR) 2번째는 CONVERT 함수 CONVERT(data_type, expression) SELECT CONVERT(타입 바꾸려는 컬럼명, 데이터타입) FROM 테이블명 /*예시*/ CONVERT (7, CHAR) MySQL의 CAST, CONVERT 함수에서 사용가능한 데이터 타입 BINARY [(N)] CHAR [(N)] DATE DATETIME DECIMAL [(M[,D])] DOUBLE FLOAT [(p)] ..

conda에서 python 가상 환경 생성하는 법 정리 작업 환경 : Window, Anaconda3, VScode 윈도우에서 작업하는 관계로, Anaconda가 연결된 VScode의 터미널에서 작업을 진행했다. 1. 가상환경 생성 및 활성화 1.1 가상환경 생성 먼저, 원하는 가상환경이름과 파이썬 버전을 지정해서 환경 생성을 해주자. $ conda create -n python = # 예시 $ conda create -n testenv python=3.10 Proceed : y 선택 가상환경 리스트 확인 $ conda env list 새로운 가상환경 testenv가 생성된 것 확인 가능 1.2 가상환경 활성화(실행) 가상환경을 생성했으니, 이제 사용할 수 있게 활성화해준다. $ conda activat..

데이터 전처리할 때, 범주형 변수와 수치형 변수를 분리해서 전처리를 해주어야 하는데, 이때 사용하면 좋을 거 같아 정리. 정의 Return a subset of the DataFrame's columns based on the column dtypes 즉, 설정한 DataFrame의 컬럼을 반환하는 함수 DataFrame.select_dtypes(include = None, exclude = None) 사용가능한 데이터 타입 데이터 타입명 입력 형식 비고 all numerical types np.number 또는 'number' string object return all object dtype columns datetimes np.datetime64 또는 'datetime' 또는 'datetime64'..

정의 Return a random sample of items from an axis of object 즉, 데이터프레임에서 랜덤하게 샘플링하고 싶을 때 사용하는 함수 DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None, ignore_index=False) 예시 먼저 DataFrame 준비하기. >>> import pandas as pd >>> df = pd.DataFrame({'size': [2, 4, 8, 1], ... 'order_counts': [0, 5, 8, 2], ... 'num_counts': [10, 2, 1, 8]}, ... index=['plum', 'peach', 'w..

GPT를 공부하다가 발견한 JSON Lines. json과 jsonl은 형태도 비슷해 보여서 정확한 차이점을 공부해보았다. JSON Lines JSONL text format is also referred to as newline-delimited JSON. JSON Lines is an easy-to-use format for storing structured data that allows for record-by-record processing. JSON에서 발전된 형태로, 각 라인이 별개의 JSON으로 구성되는 형식. JSON Lines Format 1. UTF-8 Encoding 2. 각 라인은 유요한 JSON 값이어야 한다. 3. Line separator는 '\n' JSONL 포맷과 JSON ..