해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Functions in Python의 chapter 3에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. function 변수로 할당하기 global, nonlocal, local 차이 closure decorator 1. Functions are objects 파이썬에서는 함수를 변수로 선언이 가능합니다. 예를 들어, my_function이라는 함수가 있다고 가정해봅시다. 해당 함수를 사용할 때에는 my_function() 형태로 활용할 수 있지만, x = my_function으로 정의하면, x()로 해도..
학습포스팅
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Functions in Python의 chapter 2에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. context manager 사용과 만들기 Nested context manager 에러 핸들링 1. Using context managers context manager는 context를 불러오고 원하는 코드를 실행한 뒤 해당 context를 제거하는 역할을 수행합니다. 보통 흔히 많이 사용하고 있는 context manager는 with문과 함께 사용됩니다. with open('my_file.txt'..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Functions in Python의 chapter 1에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. Docstring 함수의 활용 Immutable, mutable 1. Docstrings Docstring은 함수나 클래스에 다른 사람이 이해하기 쉽도록 작성하는 내용을 말합니다. 보통 docstring에는 해당 함수가 어떤 역할을 하고, 어떤 인수들이 들어가야 하는지, return은 어떤 형태로 나오는지 등을 포함합니다. def split_and_stack(df, new_names): """Split ..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 4에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. Pandas DataFrame iteration function 비교 iloc, iterrows, itertuples, apply, Broadcasting 1. Intro to pandas DataFrame iteration 일반적으로 pandas에서 새로운 feature를 만들 때, column간의 연산을 해야할 경우가 존재합니다. 이번 강의에서는 column을 다양하게 연산하는 방법을 배워봅니다...
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 3에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. 객체 모으기, Counting하기 (collections, itertools) 집합연산, list, tuple, set 탐색 속도 비교 for, while 문 대신 효율적으로 바꾸기 1. Efficiently combining, counting, and iterating 다양한 리스트를 하나의 튜플형태로 만들거나, 합치는 작업은 많이 쓰게 됩니다. 강의에서는 포켓몬스터로 예시를 들어서 설명했습니다. ..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 2에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. runtime 측정하기(%timeit) 병목구간 찾기(line_profiler) 메모리 문제 구간 찾기(memory_profiler) 1. Examining runtime 이전 강의를 통해 좋은 코드는 빠르게 실행할 수 있어야 하며, 적은 메모리를 사용하는 것이 중요한 것을 알 수 있었습니다. 이번 강의에서는 해당 지표들을 어떻게 측정할 수 있는지를 알아봅니다. 가장 먼저 알아볼 것은 IPython ..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Writing Efficient Python Code의 chapter 1에 대한 내용입니다. 기본적인 내용보다는 강의를 들으면서 처음 알게 된 내용을 위주로 작성했습니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. 코스 오버뷰, 효율적인 코드를 위한 조건, 파이썬스러운 코드란 무엇인가? Built-in types, functions, modules Numpy 라이브러리 특징 1. Welcome ! 이번 4강에서는 효율적인 파이썬 코드를 작성하는 방법과 병목현상이 발생하는 부분을 프로파일링하고 불필요한 부분을 제거하는 방법을 배웁니다. 효율적인 파이썬 코드는 어떠한 요소를 갖추고 있어야 할까요? 당연하게도 빠른 ..
해당 논문은 2017년 CVPR 학회에 발표한 논문입니다. 논문에 대한 전문을 보시려면 여기를 클릭하세요. 혹시 잘못된 내용이 있으면 언제든지 댓글 부탁드립니다! 최근 프로젝트 내용들을 정리하다가 객체 검출에서 DetectorRS 모델의 Backbone으로 활용했던 resnext 논문을 읽고 정리했습니다. 1. 논문 정리 Abstract 논문에서는 동일한 형태의 연산으로 얻은 값들을 합하는 buliding block을 반복하는 방식으로 네트워크를 구축합니다. 새로운 개념인 "Cardinality"를 소개하는데, Cardinality는 변환을 적용한 동일한 빌딩의 개수를 일컫습니다. Cardinality는 depth와 width와 더불어 중요한 요소라고 주장합니다. 실험은 제한된 복잡도를 유지한 상태로 C..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Streamlined Data Ingestion with pandas의 chapter 4에 대한 내용입니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. JSON 파일 소개 및 Pandas에서 불러오기 API 소개 및 requests로 데이터 가져오기 리스트로 묶인 JSON파일 처리하기 여러 개의 데이터를 합치기 1. Introduction to JSON JSON은 Javascript Object Notation의 약자로 주로 웹 데이터 공식 포맷입니다. Tabular 데이터와 다른 점은 모든 속성 값을 반드시 가질 필요가 없습니다. 또한 1:1 관계가 아니라, 1:N 관계로 data mapping이 가능한 형태..
해당 내용은 Datacamp의 Data engineering track을 정리했습니다. Streamlined Data Ingestion with pandas의 chapter 3에 대한 내용입니다. 해당 포스팅에는 아래의 내용을 포함하고 있습니다. 데이터베이스에서 sqlalchemy와 Pandas를 활용해서 불러오기 SQL 언어의 기본적인 문법 1. Introduction to databases 데이터베이스로부터 가져오는 방법은 이전 강의에서 설명해놓은 부분을 참고하시면 좋을 것 같아서 해당 링크를 걸어놓겠습니다. 여기를 클릭하세요. 포스팅의 Extract 부분을 읽으시면 됩니다. 2. Refining imports with SQL queries 이번 강의에서는 SQL 언어에서 Data를 불러올 때 활용하..
