해당 내용은 Datacamp의 Data engineering track을 정리했습니다. 해당 강의는 실습 위주로 구성되어 챕터를 나누지 않고 한 파일에 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. shell을 다룰 때 활용하는 기본적인 내용 1. Manipulating files and directories Shell과 파일탐색기는 모두 명령을 위한 인터페이스입니다. Shell은 command-line을 통해 원하는 명령을 입력하고, 파일탐색기는 UI를 활용해서 명령을 입력합니다. 이번 강의에서는 기본적으로 command-line을 다루는 명령어에 대해서 배웁니다. 명령어 설명 활용방법 pwd 현재 위치한 폴더를 확인 pwd ls 현재 위치한 폴더의 파일 확인 ls ls 특정 경로 특..
학습포스팅/가짜연구소
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Functions in Python의 chapter 4에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. 시간 측정하는 time 데코레이터 만들기 decorator 설정된 function 정보 확인하기 decorator에 인수 추가하기 Timeout 데코레이터 만들기 1. Real-world examples 이번 강의에서는 time 라이브러리를 활용해서 런타임을 측정하는 데코레이터를 만듭니다. 보통 데코레이터는 이전 강의에서도 언급했듯이 다양한 함수에 동일한 함수를 적용해야 할 경우에 만듭니다. import..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Functions in Python의 chapter 3에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. function 변수로 할당하기 global, nonlocal, local 차이 closure decorator 1. Functions are objects 파이썬에서는 함수를 변수로 선언이 가능합니다. 예를 들어, my_function이라는 함수가 있다고 가정해봅시다. 해당 함수를 사용할 때에는 my_function() 형태로 활용할 수 있지만, x = my_function으로 정의하면, x()로 해도..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Functions in Python의 chapter 2에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. context manager 사용과 만들기 Nested context manager 에러 핸들링 1. Using context managers context manager는 context를 불러오고 원하는 코드를 실행한 뒤 해당 context를 제거하는 역할을 수행합니다. 보통 흔히 많이 사용하고 있는 context manager는 with문과 함께 사용됩니다. with open('my_file.txt'..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Functions in Python의 chapter 1에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. Docstring 함수의 활용 Immutable, mutable 1. Docstrings Docstring은 함수나 클래스에 다른 사람이 이해하기 쉽도록 작성하는 내용을 말합니다. 보통 docstring에는 해당 함수가 어떤 역할을 하고, 어떤 인수들이 들어가야 하는지, return은 어떤 형태로 나오는지 등을 포함합니다. def split_and_stack(df, new_names): """Split ..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 4에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. Pandas DataFrame iteration function 비교 iloc, iterrows, itertuples, apply, Broadcasting 1. Intro to pandas DataFrame iteration 일반적으로 pandas에서 새로운 feature를 만들 때, column간의 연산을 해야할 경우가 존재합니다. 이번 강의에서는 column을 다양하게 연산하는 방법을 배워봅니다...
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 3에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. 객체 모으기, Counting하기 (collections, itertools) 집합연산, list, tuple, set 탐색 속도 비교 for, while 문 대신 효율적으로 바꾸기 1. Efficiently combining, counting, and iterating 다양한 리스트를 하나의 튜플형태로 만들거나, 합치는 작업은 많이 쓰게 됩니다. 강의에서는 포켓몬스터로 예시를 들어서 설명했습니다. ..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 2에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. runtime 측정하기(%timeit) 병목구간 찾기(line_profiler) 메모리 문제 구간 찾기(memory_profiler) 1. Examining runtime 이전 강의를 통해 좋은 코드는 빠르게 실행할 수 있어야 하며, 적은 메모리를 사용하는 것이 중요한 것을 알 수 있었습니다. 이번 강의에서는 해당 지표들을 어떻게 측정할 수 있는지를 알아봅니다. 가장 먼저 알아볼 것은 IPython ..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 1에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. 코스 오버뷰, 효율적인 코드를 위한 조건, 파이썬스러운 코드란 무엇인가? Built-in types, functions, modules Numpy 라이브러리 특징 1. Welcome ! 이번 4강에서는 효율적인 파이썬 코드를 작성하는 방법과 병목현상이 발생하는 부분을 프로파일링하고 불필요한 부분을 제거하는 방법을 배웁니다. 효율적인 파이썬 코드는 어떠한 요소를 갖추고 있어야 할까요? 당연하게도 빠른 ..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Streamlined Data Ingestion with pandas의 chapter 4에 대한 내용입니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. JSON 파일 소개 및 Pandas에서 불러오기 API 소개 및 requests로 데이터 가져오기 리스트로 묶인 JSON파일 처리하기 여러 개의 데이터를 합치기 1. Introduction to JSON JSON은 Javascript Object Notation의 약자로 주로 웹 데이터 공식 포맷입니다. Tabular 데이터와 다른 점은 모든 속성 값을 반드시 가질 필요가 없습니다. 또한 1:1 관계가 아니라, 1:N 관계로 data mapping이 가능한 형태..
