물리/데이터 척척석사

데이터 프레임안에 array를 넣을 수 있을까? 측정 데이터를 가공하지 않고 그 자체를 array 배열로 학습데이터를 만들어서 회귀나 분류를 할 수 있지 않을까? 하는 생각을 했다. 넘파이를 이용해 Array 배열을 만들고 이를 판다스 데이터프레임에 요소로서 넣었다. 그 결과 각 행에 넘파이 어레이가 들어갔다. 각 행의 데이터 타입은 Object 타입이다. 왜 어레이를 데이터 프레임에 넣으려고 하는가? 데이터 프레임을 엑셀처럼 사용했기 때문에 어레이를 데이터프레임 안에 넣는다는 생각은 뭔가 어색했다. 하지만 측정한 센서데이터 자체를 학습데이터로 사용해 머신러닝을 학습시키기 위해 이런 방법을 시도하고 있다. 기존의 ML모델 학습방법은 이러했다. 센서데이터를 가공해 어떤 물리량을 계산한다 물리량을 요소(co..

프로그래밍/Python 2023. 3. 4. 20:29

빅데이터 기반의 플라즈마 진단에 관한 생각 플라즈마 진단, 꼭 정확하게 해야 할까? 전자온도, 전자밀도, 라디칼 농도 등의 플라즈마 파라미터를 측정하고 계산하는 것은 비싸고 복잡한 장비(레이저, 분광기, 증폭기, 고전압측정기, 높은 해상도의 B dot 전류프로브, 고해상도 오실로스코프, 가스질량분석기 등등..)와 측정이 가능한 형태의 안정적으로 발생하는 플라즈마가 필요하다. 플라즈마 진단은 비싸다 고전압 프로브로 흔히 사용되는 Tektronix의 P6015A의 경우 500만 원 정도이며 OES로 사용되는 Ocean Optics사의 USB 2000 모델의 경우 1000만 원 정도 한다. 하지만 이건 실험기구치고 저렴한 편이다.. LIF(Laser-Induced-Flourescence)는 플라즈마의 밀도, ..

프로그래밍/Data&ML 2023. 3. 4. 15:24

2022.12.01 - [자연과학도를 위한 프로그래밍 (Python+MATLAB)/머신러닝과 데이터분석 (Python)] - [머신러닝 커닝 페이퍼] 분류를 위한 결정트리모델의 모든 것 1편 [머신러닝 커닝 페이퍼] 분류를 위한 결정트리모델의 모든 것 1편 from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 학습데이터와 테스트데이터 나눠준다 X_train, X_test, y_train, y_test = train_test_split(data, l super-master.tistory.com 1편의 ..

프로그래밍/Data&ML 2022. 12. 15. 00:15

모델을 학습시키고 결과를 시각화하려고 보면 feature_importances_ 처럼 밑줄이 붙는 값들이 있다. 선형회귀 모델에서도 결과로 나온 기울기(가중치)가 coef_ 로 계산되어서 나온다. 크게 중요해보이지는 않지만.. 왜 그럴까? > 훈련데이터에서 유도된 속성들은 항상 끝에 밑줄이 붙는다. 그 이유는 사용자 지정 변수와 구분하기 위해서이다! > 변수만들때 사용자 변수는 끝에 _를 붙이지 말도록하자! 모델에서 기인한 값인지 사용자지정변수인지 헷갈릴 수 있기 때문에! 를 참고했습니다.

프로그래밍/Data&ML 2022. 12. 7. 22:57

매서드 연결은 이전에도 언급했다. 2022.12.01 - [자연과학도를 위한 프로그래밍 (Python+MATLAB)/머신러닝과 데이터분석 (Python)] - [머신러닝 커닝 페이퍼] 메서드 연결 y_pred = dt_clf(X_train, y_train).predict(X_test) [머신러닝 커닝 페이퍼] 메서드 연결 y_pred = dt_clf(X_train, y_train).predict(X_test) 일반적으로 모델을 정의하고 학습하고 예측값을 만들때 코드를 나눠서 작성한다. 하지만 효율성을 위해 가독성을 포기하고 코드를 조금 짧게 작성할 수도 있다. # 일반적인 머신러닝 학습모델 super-master.tistory.com 데이터 Scale을 바꾸는 등의 전처리작업을 할 때 보통 fit 함수 ..

프로그래밍/Data&ML 2022. 12. 3. 15:28

결정트리모델은 쉽게 과적합이 되는 문제가 있었다. 근데 이런 질문을 해볼 수 있다. 과적합이 꼭 나쁠까? 적어도 학습데이터세트안에서는 완벽하게 예측하는데? 학습모델이 어느정도는 데이터세트의 특성을 파악하고 있는게 아닐까? 랜덤 포레스트 모델은 결정트리모델의 이러한 과적합을 방치하고 오답을 더 많이 만들어낸다. 그 다음 수 많은 과대적합 모델들을 통계적으로 평균을 내서 과적합을 줄이는 알고리즘이다. 핸덤포레스트 알고리즘은 트리모델의 높은 예측성능은 유지하면서 과적합을 줄이는 것이 수학적으로 증명되었다. (출처 : 파이썬 라이브러리를 활용한 머신러닝 p122) 랜덤 포레스트 모델이 효과적이려면 잘 틀려야한다. 각각의 과대적합된 트리모델이 할당된 학습데이터에 대해서는 과적합이 되어있어야 한다. 또한 각각의 트..

프로그래밍/Data&ML 2022. 12. 3. 13:50

from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 학습데이터와 테스트데이터 나눠준다 X_train, X_test, y_train, y_test = train_test_split(data, label, test_size = 0.2, random_state=0) # 결정트리 모델 학습 dt_clf = DecisionTreeClassifier(random_state=0) #dt_clf = DecisionTreeClassifier(random_state=0, min_samples_split = 3, ma..

프로그래밍/Data&ML 2022. 12. 1. 18:54

일반적으로 모델을 정의하고 학습하고 예측값을 만들때 코드를 나눠서 작성한다. 하지만 효율성을 위해 가독성을 포기하고 코드를 조금 짧게 작성할 수도 있다. # 일반적인 머신러닝 학습모델 작성방법 (결정트리모델) dt_clf = DecisionTreeClassifier(random_state=0) dt_clf.fit(X_train, y_train) dt_pred = dt_clf.predict(X_test) 모델생성과 학습을 한번에 하거나 # 모델 생성과 학습을 한번에 실행합니다. dt_clf = DecisionTreeClassifier(random_state=0).fit(X_train, y_train) dt_pred = dt_clf.predict(X_test) 학습과 예측을 한번에 할 수 있다 # 학습과 예..

프로그래밍/Data&ML 2022. 12. 1. 18:37