물리/데이터 척척석사

#학습데이터와 테스트데이터를 분리합니다 #학습데이터 80% 테스트데이터 20%로 설정합니다 #알고리즘별 학습결과를 비교하기 위해 random state를 0으로 설정합니다 from sklearn.model_selection import train_test_split #분류문제의 경우 X_train, X_test, y_train, y_test = train_test_split(data, data_label, test_size = 0.2, random_state=0) #회귀문제의 경우 X_train, X_test = train_test_split(data, test_size = 0.2, random_state=0) 코드설명 왜 필요한가? 머신러닝은 컴퓨터한테 기출문제 잔뜩 주고 모의고사를 풀게하는것과 같다...

프로그래밍/Data&ML 2022. 11. 29. 01:24

넘파이의 Array는 파이썬의 기본 내장 list와 비슷하게 사용된다. 다만 배열을 단지 요소들의 집합으로만 보는게 아니라 연산을 위한 행렬로서 사용하기 위해선 Array사용이 필요하다. 물론 리스트도 연산에 사용 될 수 있지만 array에 비해 명확한 단점이 존재한다. 1. Array에 비해 연산 속도가 느리다 (array는 데이터가 인덱스와 함께 저장되기 때문에 숫자를 바로바로 꺼내서 연산을 할 수 있지만 list는 단지 데이터를 들어온 순서대로 넣은 형태이기 때문에 연산을 위해선 for문 등을 이용해 하나씩 꺼내서 계산하고 다시 넣어야 한다) 2. list 끼리의 연산이 불가능하다 list A + list B 는 그냥 A 뒤에 B 이어붙이기가 된다. 계산을 위해 Array를 사용하다 보면 리스트의 ..

프로그래밍/Data&ML 2022. 5. 12. 15:29

대기압 플라즈마(특히 DBD)의 전류데이터를 분석해보면 전류신호가 마치 노이즈 처럼 삐죽삐죽 솟아있는 경우가 있다. 어떤 저자는 생선가시 같은 모양이라고도 하는데, 커패시터에 흐르는 변위전류보다 플라즈마가 발생할 때 생기는 전류가 더 크기 때문에 이런 전류그래프가 그려진다. (아래 붉은색은 전압, 파란색은 전류 그래프이다) 플라즈마가 발생할 때 전류신호에 짧은 펄스가 생기게 되는데 각 전류펄스의 에너지를 계산하고 전자밀도 등을 계산하려면 피크의 길이와 크기를 알아야 한다. 파이썬 라이브러리중 과학 계산 라이브러리인 scipy를 사용해서 피크를 찾아보겠다. 사용방법은 다음과 같은데 변수 peaks에 피크위치를 저장한다. peaks, _ = scipy.signal.find_peaks(피크를 찾을 데이터 셋)..

프로그래밍/Python 2021. 10. 9. 13:59

강송희 선임연구원님의 "제조 분야 인공지능 활용 동향과 도입 고려사항" 리포트를 읽고 개인적인 생각과 함께 작성한 글입니다. https://spri.kr/posts/view/23204?code=industry_trend 제조 분야 인공지능 활용 동향과 도입 고려사항 - SPRi 산업 현장에 인공지능을 도입하여 문제를 해결하는 과정은 일반적으로 문제정의 → 데이터 수집 → 전처리 → 모델링 → 검증 → 분석 → 적용의 단계를 거친다. 따라서 인공지능 활용을 고민하 spri.kr 제조업에서 인공지능이 활용되고 있는 분야는 주로 제품/서비스 개발(21%)과 서비스운영(21%) 마케팅(15%)였고, 생산분야에서 도입한 비율은 12%에 불과했다. 사용되고 있는 기술을 보면 기계학습(23%) 로봇프로세스자동화(RP..

프로그래밍/Data&ML 2021. 7. 9. 01:35

이 자료는 방전가스를 공기로 사용한 플라즈마 제트에서 방출된 빛의 스펙트럼을 분석한 데이터이다. 논문정보는 다음과 같다. Air plasma jet with hollow electrodes at atmostpheric pressure 저자 : Yong Cheol Hong and Han Sup Uhm 공기를 이용한 플라즈마 방전에선 위 그림과 같은 OES가 측정 된다. 질소와 산소원자에서 방출되는 빛이 측정되는 것인데 실험을 하면 그냥 wavelength에 따른 intensity 정보만을 알 수 있다. 어떤 파장이 어떤 원소에서 나오는지는 알 수 없는 것이다. 그럼 이런 정보들은 어디에서 알 수 있을까? 다행히 NIST라는 미국의 표준기술연구소 홈페이지에 데이터베이스를 구축해놔서 누구나 들어가서 스펙트럼 ..

프로그래밍/Python 2021. 6. 20. 16:03

본 포스팅은 이전의 curve_fit 포스팅에 이어서 curve_fit 을 이용해 피팅을 하는 알고리즘과 수학적인 증명에 대한 포스팅 입니다. curve_fit을 어떻게 사용하는지에 대한 간단한 설명은 이전 포스팅에 있습니다. 2021.06.19 - [자연과학도를 위한 프로그래밍 (Python+MATLAB)/확장성이 좋은 파이썬 (Python)] - [SciPy. Curve_Fit] 쓰기위해서 배우는 최소한의 curve_fit 함수 [SciPy. Curve_Fit] 쓰기위해서 배우는 최소한의 curve_fit 함수 과학은 실험을 통해 만들어가고 증명해가는 것이라고 생각한다. 그럼 실험데이터를 이용해 말이 되도록? 설명할 수 있도록 해야하는데 그게 바로 그래프를 그리는 일이다. 백번 말로 이런거 같 sup..

프로그래밍/Python 2021. 6. 19. 22:10

과학은 실험을 통해 만들어가고 증명해가는 것이라고 생각한다. 그럼 실험데이터를 이용해 말이 되도록? 설명할 수 있도록 해야하는데 그게 바로 그래프를 그리는 일이다. 백번 말로 이런거 같습니다 저런거 같습니다 해도 실제 그래프로 보여주지못하는 실험은 설득력이 떨어질 수 밖에 없다. Scipy 라이브러리는 수학과 과학 계산에 필요한 여러 수식이나 계산식을 제공하는 라이브러리이다. MATLAB은 라이브러리를 하나 사려면 수십 수백인데 파이썬은 공짜로 쓸 수 있으니 얼마나 좋은 세상인지... curve_fit( ) 함수는 Scipy의 Optimize에 있습니다. 먼저 백문의 불여일견이라고 책에 있는 예를 이용해 curve_fit의 간단한 사용법을 알아보자. (책이름은 SciPy and Numpy 저자는 Eli ..

프로그래밍/Python 2021. 6. 19. 02:22

측정 데이터의 헤더는 데이터를 다룰때 귀찮은 존재지만 헤더의 존재이유를 생각하면 마냥 귀찮아 할 녀석은 아니다. CSV file에서 HEADER란? 오실로스코프나 OES로 측정을 하고 데이터를 저장하면 실험조건 등이 header라는 이름으로 저장된다. 헤더란 일종의 표지판과 같아서 측정데이터의 경우 측정시간과 날짜, 측정조건에 대한 정보, 측정값에 대한 정보 등이 들어있다. 일회성으로 csv파일에서 값을 가져와서 계산만 한다면 사실 헤더는 의미없다. 그래서 이전의 계산프로그램에선 skip_header와 같은 명령어로 헤더정보를 빼고 파일을 불러왔다. 하지만 Python으로 자동화 코드를 짜고 이를 통해 수많은 csv 파일에서 데이터를 불러와 계산한다면 헤더파일의 정보는 데이터를 분류하는데 유용하게 사용될..

프로그래밍/Python 2021. 6. 16. 19:11