물리/데이터 척척석사

매서드 연결은 이전에도 언급했다. 2022.12.01 - [자연과학도를 위한 프로그래밍 (Python+MATLAB)/머신러닝과 데이터분석 (Python)] - [머신러닝 커닝 페이퍼] 메서드 연결 y_pred = dt_clf(X_train, y_train).predict(X_test) [머신러닝 커닝 페이퍼] 메서드 연결 y_pred = dt_clf(X_train, y_train).predict(X_test) 일반적으로 모델을 정의하고 학습하고 예측값을 만들때 코드를 나눠서 작성한다. 하지만 효율성을 위해 가독성을 포기하고 코드를 조금 짧게 작성할 수도 있다. # 일반적인 머신러닝 학습모델 super-master.tistory.com 데이터 Scale을 바꾸는 등의 전처리작업을 할 때 보통 fit 함수 ..

프로그래밍/Data&ML 2022. 12. 3. 15:28

결정트리모델은 쉽게 과적합이 되는 문제가 있었다. 근데 이런 질문을 해볼 수 있다. 과적합이 꼭 나쁠까? 적어도 학습데이터세트안에서는 완벽하게 예측하는데? 학습모델이 어느정도는 데이터세트의 특성을 파악하고 있는게 아닐까? 랜덤 포레스트 모델은 결정트리모델의 이러한 과적합을 방치하고 오답을 더 많이 만들어낸다. 그 다음 수 많은 과대적합 모델들을 통계적으로 평균을 내서 과적합을 줄이는 알고리즘이다. 핸덤포레스트 알고리즘은 트리모델의 높은 예측성능은 유지하면서 과적합을 줄이는 것이 수학적으로 증명되었다. (출처 : 파이썬 라이브러리를 활용한 머신러닝 p122) 랜덤 포레스트 모델이 효과적이려면 잘 틀려야한다. 각각의 과대적합된 트리모델이 할당된 학습데이터에 대해서는 과적합이 되어있어야 한다. 또한 각각의 트..

프로그래밍/Data&ML 2022. 12. 3. 13:50

from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 학습데이터와 테스트데이터 나눠준다 X_train, X_test, y_train, y_test = train_test_split(data, label, test_size = 0.2, random_state=0) # 결정트리 모델 학습 dt_clf = DecisionTreeClassifier(random_state=0) #dt_clf = DecisionTreeClassifier(random_state=0, min_samples_split = 3, ma..

프로그래밍/Data&ML 2022. 12. 1. 18:54

일반적으로 모델을 정의하고 학습하고 예측값을 만들때 코드를 나눠서 작성한다. 하지만 효율성을 위해 가독성을 포기하고 코드를 조금 짧게 작성할 수도 있다. # 일반적인 머신러닝 학습모델 작성방법 (결정트리모델) dt_clf = DecisionTreeClassifier(random_state=0) dt_clf.fit(X_train, y_train) dt_pred = dt_clf.predict(X_test) 모델생성과 학습을 한번에 하거나 # 모델 생성과 학습을 한번에 실행합니다. dt_clf = DecisionTreeClassifier(random_state=0).fit(X_train, y_train) dt_pred = dt_clf.predict(X_test) 학습과 예측을 한번에 할 수 있다 # 학습과 예..

프로그래밍/Data&ML 2022. 12. 1. 18:37

#학습데이터와 테스트데이터를 분리합니다 #학습데이터 80% 테스트데이터 20%로 설정합니다 #알고리즘별 학습결과를 비교하기 위해 random state를 0으로 설정합니다 from sklearn.model_selection import train_test_split #분류문제의 경우 X_train, X_test, y_train, y_test = train_test_split(data, data_label, test_size = 0.2, random_state=0) #회귀문제의 경우 X_train, X_test = train_test_split(data, test_size = 0.2, random_state=0) 코드설명 왜 필요한가? 머신러닝은 컴퓨터한테 기출문제 잔뜩 주고 모의고사를 풀게하는것과 같다...

프로그래밍/Data&ML 2022. 11. 29. 01:24

넘파이의 Array는 파이썬의 기본 내장 list와 비슷하게 사용된다. 다만 배열을 단지 요소들의 집합으로만 보는게 아니라 연산을 위한 행렬로서 사용하기 위해선 Array사용이 필요하다. 물론 리스트도 연산에 사용 될 수 있지만 array에 비해 명확한 단점이 존재한다. 1. Array에 비해 연산 속도가 느리다 (array는 데이터가 인덱스와 함께 저장되기 때문에 숫자를 바로바로 꺼내서 연산을 할 수 있지만 list는 단지 데이터를 들어온 순서대로 넣은 형태이기 때문에 연산을 위해선 for문 등을 이용해 하나씩 꺼내서 계산하고 다시 넣어야 한다) 2. list 끼리의 연산이 불가능하다 list A + list B 는 그냥 A 뒤에 B 이어붙이기가 된다. 계산을 위해 Array를 사용하다 보면 리스트의 ..

프로그래밍/Data&ML 2022. 5. 12. 15:29

강송희 선임연구원님의 "제조 분야 인공지능 활용 동향과 도입 고려사항" 리포트를 읽고 개인적인 생각과 함께 작성한 글입니다. https://spri.kr/posts/view/23204?code=industry_trend 제조 분야 인공지능 활용 동향과 도입 고려사항 - SPRi 산업 현장에 인공지능을 도입하여 문제를 해결하는 과정은 일반적으로 문제정의 → 데이터 수집 → 전처리 → 모델링 → 검증 → 분석 → 적용의 단계를 거친다. 따라서 인공지능 활용을 고민하 spri.kr 제조업에서 인공지능이 활용되고 있는 분야는 주로 제품/서비스 개발(21%)과 서비스운영(21%) 마케팅(15%)였고, 생산분야에서 도입한 비율은 12%에 불과했다. 사용되고 있는 기술을 보면 기계학습(23%) 로봇프로세스자동화(RP..

프로그래밍/Data&ML 2021. 7. 9. 01:35

데이터 분석에서 가장 기본은 무엇일까? 데이터는 왜 필요할까? 과학과 공학분야에서 뿐만 아니라 출판업계나 음반업계와 같은 다양한 분야에서 데이터라는 말을 사용하고 있다. SNS에서 국민은행 채용 관련된 서류전형을 보고 기겁할 뻔했다. IT업계도 아닌 (심지어 국민은행은 자사앱도 통일못하고 있음...) 은행원 뽑는데 데이터를 이해하고 활용하는 능력이 필요하다고 이런 공고를 내놨다. 앞으로 데이터를 이해하고 분석하는 능력이 없으면 어디서 밥벌어먹기도 힘들어 질 것 같다. 데이터는 왜 필요할까? 그건 시대상황이 말해주듯 데이터를 볼 줄 모르면 밥벌어먹고 살기 힘들기 때문이다. 반대로 데이터를 잘 다루는 나스닥의 거대 기업들은(구글, 넷플릭스, 페이스북 등등) 수조원의 돈을 데이터를 이용해 벌어먹고 있다. 데이..

프로그래밍/Data&ML 2020. 10. 6. 21:20