물리/데이터 척척석사

결국 하고 싶은 말은 박스안에 있는 말이다. p-value가 작아야 실험값을 사용할 수 있고 논문이 통과되고 연구자가 행복해진다. 가설검정의 대상은 항상 귀무가설이다. 대립가설 = 연구자의 주장 귀무가설 = 대립가설의 반대 가설검정하면 알게되는 값 p-value (가설검정은 항상 귀무가설을 검정한다) p-value가 0에 가깝다! = 귀무가설이 틀렸을 가능성이 높다 귀무가설이 틀릴 가능성이 높다 = 대립가설이 맞을 가능성이 높다 대립가설이 맞다 = 연구자의 가설이 맞았다 = 연구자가 행복해진다 생물이나 의학관련 논문을 보면 항상 나오는 말이 p-value가 어쩌고~ 해서 자기가 맞았다. 라는 식으로 이야기를 전개하는 경우가 많다. 시계열을 공부하면서 가설에 대한 검정으로 p-value라는 말이 자꾸 나와..

프로그래밍/Data&ML 2023. 4. 24. 17:32

3일동안 새벽 3시에 잠들면서 세팅 중인데... 텐서플로우가 자꾸 버전 충돌이 일어나고.. gpu를 사용하지 않는다고 나와서 괴로운 시간들을 보내다가 드디어 성공했다. 계속 안되서 혹시 OS가 13버전이라 충돌이 일어나는지 몰라서 공식문서를 찾아보고..버전도 낮춰보고 높혀보고 말그대로 노가다를 했다. 아직도 머리가 멍한데.. 일단 정리를 해보려고 글을 쓴다. 일단 성공인증 설치방법 1. miniforge3 환경에서 설치해야한다. 미니포지를 쓰자. 일단 공식적으로 애플실리콘을 지원하고 있고 아나콘다가 애플실리콘 지원한다고해서 되겠지~ 하고 아나콘다에서 설치했다가 이틀을 날려먹었다. 미니콘다도 시도해봤는데 자꾸 뭐가 충돌한다 뜨는거보면 그냥 마음편하게 미니포지설치하자. 이미 아나콘다가 설치되어있으면 opt에..

프로그래밍/Data&ML 2023. 3. 28. 14:04

라마와 알파카? 동물원 이야기인가?얼마 전에 메타(구 페이스북)에서 공개한 (유출되었다가 공개해 버렸다) GPT-3보다 더 작으면서 고성능 모델인 LLaMA를 발표했다. GPT-3보다 크기는 1/10로 작지만 GPT-3보다 더 성능이 좋다는 소문이 있었는데 토렌트에서 받기는 귀찮고 하이퍼파라미터만 가지고 서비스를 구현하기에는 실력이 부족해서 똑똑한 사람들이 해내주기를 기다리고 있었다. 그런데 3월 18일 스텐포드에서 LLaMA (라마라고 부르겠다)를 양자화한 모델인 Alpaca (알파카)를 발표했다. 이젠 라즈베리파이4로도 작동시킬 수 있는 챗봇이 나와버린 것이다. GPT-3의 매개변수가 175B (1750억 개) 인 것에 비해 Alpaca는 7B (70억 개)로 용량이 겨우 4기가 정도밖에 되지 않는다..

프로그래밍/Data&ML 2023. 3. 26. 16:25

Isolation Forest : 트리알고리즘을 이용한 비지도 이상탐지 장점과 단점 장점 군집기반 알고리즘에 비해 계산량이 적다 (누적 평균치를 계산한 이후 서브셋을 만들어 계산량을 줄일 수 있다) Robust한 모델이다 → 계속 실행해도 같은 결과가 나온다 Train 데이터에 이상치가 포함되어 있어도 잘 작동한다 트리계열 알고리즘이기 때문에 데이터에 대한 가정이 없어도 잘 동작하고 전처리가 거의 필요없다 단점 어떤 값이 이상치인지는 하이퍼파라미터를 조정해 threshold를 정의해야한다 특정 데이터 분포의 경우 Isolation Forest로 분류가 어렵다 (Extended Isolation Forest로 개선한 모델 사용) 이상치에 대한 가정 이상치는 적은 데이터로 구성되어 있을 것이다 이상치는 특정..

프로그래밍/Data&ML 2023. 3. 19. 14:38

머신러닝 프로젝트는 중구난방이 되기 쉽다! 프레임워크가 필요해 캐글이나 데이콘에서 프로젝트를 진행해보면 알 수 있다. 문제가 얼마나 중구난방이 되는지. 여러 전처리과정, 모델 최적화 등을 거치다보면 점수를 0.01점 더 높히기 위한 끝없는 노가다가 되기 마련이다. 하지만.. 실제 서비스를 할 때 Accuracy가 0.80 이나 0.85나 큰 차이가 있을까? 모델 개발을 위한 작은 데이터셋에서 Accuracy가 0.99999 가 나오는 것도 오버피팅의 가능성이 있기에 그렇게 바람직하지는 않다. 복잡한 문제일 수록 프레임워크가 필요해! 오히려 머신러닝 프로젝트를 성공하기 위해 필요한건 결과보다 구체적인 과정이다. 데이터에 어떤 가정이 들어갔는지, 각 전처리와 모델 최적화 과정에서 어떤부분이 고려되었는지 등등..

프로그래밍/Data&ML 2023. 3. 7. 13:56

빅데이터 기반의 플라즈마 진단에 관한 생각 플라즈마 진단, 꼭 정확하게 해야 할까? 전자온도, 전자밀도, 라디칼 농도 등의 플라즈마 파라미터를 측정하고 계산하는 것은 비싸고 복잡한 장비(레이저, 분광기, 증폭기, 고전압측정기, 높은 해상도의 B dot 전류프로브, 고해상도 오실로스코프, 가스질량분석기 등등..)와 측정이 가능한 형태의 안정적으로 발생하는 플라즈마가 필요하다. 플라즈마 진단은 비싸다 고전압 프로브로 흔히 사용되는 Tektronix의 P6015A의 경우 500만 원 정도이며 OES로 사용되는 Ocean Optics사의 USB 2000 모델의 경우 1000만 원 정도 한다. 하지만 이건 실험기구치고 저렴한 편이다.. LIF(Laser-Induced-Flourescence)는 플라즈마의 밀도, ..

프로그래밍/Data&ML 2023. 3. 4. 15:24

2022.12.01 - [자연과학도를 위한 프로그래밍 (Python+MATLAB)/머신러닝과 데이터분석 (Python)] - [머신러닝 커닝 페이퍼] 분류를 위한 결정트리모델의 모든 것 1편 [머신러닝 커닝 페이퍼] 분류를 위한 결정트리모델의 모든 것 1편 from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 학습데이터와 테스트데이터 나눠준다 X_train, X_test, y_train, y_test = train_test_split(data, l super-master.tistory.com 1편의 ..

프로그래밍/Data&ML 2022. 12. 15. 00:15

모델을 학습시키고 결과를 시각화하려고 보면 feature_importances_ 처럼 밑줄이 붙는 값들이 있다. 선형회귀 모델에서도 결과로 나온 기울기(가중치)가 coef_ 로 계산되어서 나온다. 크게 중요해보이지는 않지만.. 왜 그럴까? > 훈련데이터에서 유도된 속성들은 항상 끝에 밑줄이 붙는다. 그 이유는 사용자 지정 변수와 구분하기 위해서이다! > 변수만들때 사용자 변수는 끝에 _를 붙이지 말도록하자! 모델에서 기인한 값인지 사용자지정변수인지 헷갈릴 수 있기 때문에! 를 참고했습니다.

프로그래밍/Data&ML 2022. 12. 7. 22:57