물리/데이터 척척석사

네트워크는 경로가 중요하다. 경로를 짧게 가는 것도 중요하지만 여러개로 분산된 경로를 가지는 것도 중요하다. 네비게이션을 생각해보면 가까운 길이 꼭 빠른 길이 아닌 경우도 많다. 가까워도 길이 좁거나 갑자기 공사를 진행할 수도 있다. 심지어는 도로가 폐쇄 되서 아예 가지도 못할 수가 있다... 네트워크도 같은 원리에 따라 망 생존성을 위해 다양하게 분산된 경로를 가지는게 중요하다. 집까지 가는데 하나뿐인 다리가 무너져서 집으로 못가게 되면 얼마나 슬프겠는가... 그럼 이제 networkX라는 파이썬 네트워크 분석 라이브러리로 경로를 찾아보자 import matplotlib.pyplot as plt from matplotlib import font_manager, rc # 한글 폰트가 깨지지 않기 위한 세..

프로그래밍/Python 2023. 11. 7. 16:32

입사한지 벌써 3개월차! 그리고 내년도에 무엇을 할지 계획을 세우는 시기이다. 업무자동화 툴을 개발하라는 업무가 주어졌다. 근데... 회사 문서는 전부 DRM이 걸려있어서 파이썬에서 불러올 수가 없다... 사내개발 환경이 있긴한데... 느리기도 하고 환경설정을 매번 새로해주는게 여간 번거롭다. xlwings를 이용하면 DRM이 걸려있는 문서도 판다스 데이터 프레임으로 불러올 수 있다. 원리를 알아보면 xlwings는 엑셀 프로그램을 이용해서 데이터를 조작한다. xlwings가 있어도 DRM 키가 없는 엑셀 프로그램은 파일을 열 수 없다. 아래 코드를 이용해서 엑셀 데이터를 판다스 데이터 프레임으로 불러올 수 있다. import xlwings as xw import pandas as pd data_path..

프로그래밍/Python 2023. 11. 7. 15:28

데이터 프레임안에 array를 넣을 수 있을까? 측정 데이터를 가공하지 않고 그 자체를 array 배열로 학습데이터를 만들어서 회귀나 분류를 할 수 있지 않을까? 하는 생각을 했다. 넘파이를 이용해 Array 배열을 만들고 이를 판다스 데이터프레임에 요소로서 넣었다. 그 결과 각 행에 넘파이 어레이가 들어갔다. 각 행의 데이터 타입은 Object 타입이다. 왜 어레이를 데이터 프레임에 넣으려고 하는가? 데이터 프레임을 엑셀처럼 사용했기 때문에 어레이를 데이터프레임 안에 넣는다는 생각은 뭔가 어색했다. 하지만 측정한 센서데이터 자체를 학습데이터로 사용해 머신러닝을 학습시키기 위해 이런 방법을 시도하고 있다. 기존의 ML모델 학습방법은 이러했다. 센서데이터를 가공해 어떤 물리량을 계산한다 물리량을 요소(co..

프로그래밍/Python 2023. 3. 4. 20:29

대기압 플라즈마(특히 DBD)의 전류데이터를 분석해보면 전류신호가 마치 노이즈 처럼 삐죽삐죽 솟아있는 경우가 있다. 어떤 저자는 생선가시 같은 모양이라고도 하는데, 커패시터에 흐르는 변위전류보다 플라즈마가 발생할 때 생기는 전류가 더 크기 때문에 이런 전류그래프가 그려진다. (아래 붉은색은 전압, 파란색은 전류 그래프이다) 플라즈마가 발생할 때 전류신호에 짧은 펄스가 생기게 되는데 각 전류펄스의 에너지를 계산하고 전자밀도 등을 계산하려면 피크의 길이와 크기를 알아야 한다. 파이썬 라이브러리중 과학 계산 라이브러리인 scipy를 사용해서 피크를 찾아보겠다. 사용방법은 다음과 같은데 변수 peaks에 피크위치를 저장한다. peaks, _ = scipy.signal.find_peaks(피크를 찾을 데이터 셋)..

프로그래밍/Python 2021. 10. 9. 13:59

이 자료는 방전가스를 공기로 사용한 플라즈마 제트에서 방출된 빛의 스펙트럼을 분석한 데이터이다. 논문정보는 다음과 같다. Air plasma jet with hollow electrodes at atmostpheric pressure 저자 : Yong Cheol Hong and Han Sup Uhm 공기를 이용한 플라즈마 방전에선 위 그림과 같은 OES가 측정 된다. 질소와 산소원자에서 방출되는 빛이 측정되는 것인데 실험을 하면 그냥 wavelength에 따른 intensity 정보만을 알 수 있다. 어떤 파장이 어떤 원소에서 나오는지는 알 수 없는 것이다. 그럼 이런 정보들은 어디에서 알 수 있을까? 다행히 NIST라는 미국의 표준기술연구소 홈페이지에 데이터베이스를 구축해놔서 누구나 들어가서 스펙트럼 ..

프로그래밍/Python 2021. 6. 20. 16:03

본 포스팅은 이전의 curve_fit 포스팅에 이어서 curve_fit 을 이용해 피팅을 하는 알고리즘과 수학적인 증명에 대한 포스팅 입니다. curve_fit을 어떻게 사용하는지에 대한 간단한 설명은 이전 포스팅에 있습니다. 2021.06.19 - [자연과학도를 위한 프로그래밍 (Python+MATLAB)/확장성이 좋은 파이썬 (Python)] - [SciPy. Curve_Fit] 쓰기위해서 배우는 최소한의 curve_fit 함수 [SciPy. Curve_Fit] 쓰기위해서 배우는 최소한의 curve_fit 함수 과학은 실험을 통해 만들어가고 증명해가는 것이라고 생각한다. 그럼 실험데이터를 이용해 말이 되도록? 설명할 수 있도록 해야하는데 그게 바로 그래프를 그리는 일이다. 백번 말로 이런거 같 sup..

프로그래밍/Python 2021. 6. 19. 22:10

과학은 실험을 통해 만들어가고 증명해가는 것이라고 생각한다. 그럼 실험데이터를 이용해 말이 되도록? 설명할 수 있도록 해야하는데 그게 바로 그래프를 그리는 일이다. 백번 말로 이런거 같습니다 저런거 같습니다 해도 실제 그래프로 보여주지못하는 실험은 설득력이 떨어질 수 밖에 없다. Scipy 라이브러리는 수학과 과학 계산에 필요한 여러 수식이나 계산식을 제공하는 라이브러리이다. MATLAB은 라이브러리를 하나 사려면 수십 수백인데 파이썬은 공짜로 쓸 수 있으니 얼마나 좋은 세상인지... curve_fit( ) 함수는 Scipy의 Optimize에 있습니다. 먼저 백문의 불여일견이라고 책에 있는 예를 이용해 curve_fit의 간단한 사용법을 알아보자. (책이름은 SciPy and Numpy 저자는 Eli ..

프로그래밍/Python 2021. 6. 19. 02:22

측정 데이터의 헤더는 데이터를 다룰때 귀찮은 존재지만 헤더의 존재이유를 생각하면 마냥 귀찮아 할 녀석은 아니다. CSV file에서 HEADER란? 오실로스코프나 OES로 측정을 하고 데이터를 저장하면 실험조건 등이 header라는 이름으로 저장된다. 헤더란 일종의 표지판과 같아서 측정데이터의 경우 측정시간과 날짜, 측정조건에 대한 정보, 측정값에 대한 정보 등이 들어있다. 일회성으로 csv파일에서 값을 가져와서 계산만 한다면 사실 헤더는 의미없다. 그래서 이전의 계산프로그램에선 skip_header와 같은 명령어로 헤더정보를 빼고 파일을 불러왔다. 하지만 Python으로 자동화 코드를 짜고 이를 통해 수많은 csv 파일에서 데이터를 불러와 계산한다면 헤더파일의 정보는 데이터를 분류하는데 유용하게 사용될..

프로그래밍/Python 2021. 6. 16. 19:11