물리/데이터 척척석사

3일동안 새벽 3시에 잠들면서 세팅 중인데... 텐서플로우가 자꾸 버전 충돌이 일어나고.. gpu를 사용하지 않는다고 나와서 괴로운 시간들을 보내다가 드디어 성공했다. 계속 안되서 혹시 OS가 13버전이라 충돌이 일어나는지 몰라서 공식문서를 찾아보고..버전도 낮춰보고 높혀보고 말그대로 노가다를 했다. 아직도 머리가 멍한데.. 일단 정리를 해보려고 글을 쓴다. 일단 성공인증 설치방법 1. miniforge3 환경에서 설치해야한다. 미니포지를 쓰자. 일단 공식적으로 애플실리콘을 지원하고 있고 아나콘다가 애플실리콘 지원한다고해서 되겠지~ 하고 아나콘다에서 설치했다가 이틀을 날려먹었다. 미니콘다도 시도해봤는데 자꾸 뭐가 충돌한다 뜨는거보면 그냥 마음편하게 미니포지설치하자. 이미 아나콘다가 설치되어있으면 opt에..

프로그래밍/Data&ML 2023. 3. 28. 14:04

라마와 알파카? 동물원 이야기인가?얼마 전에 메타(구 페이스북)에서 공개한 (유출되었다가 공개해 버렸다) GPT-3보다 더 작으면서 고성능 모델인 LLaMA를 발표했다. GPT-3보다 크기는 1/10로 작지만 GPT-3보다 더 성능이 좋다는 소문이 있었는데 토렌트에서 받기는 귀찮고 하이퍼파라미터만 가지고 서비스를 구현하기에는 실력이 부족해서 똑똑한 사람들이 해내주기를 기다리고 있었다. 그런데 3월 18일 스텐포드에서 LLaMA (라마라고 부르겠다)를 양자화한 모델인 Alpaca (알파카)를 발표했다. 이젠 라즈베리파이4로도 작동시킬 수 있는 챗봇이 나와버린 것이다. GPT-3의 매개변수가 175B (1750억 개) 인 것에 비해 Alpaca는 7B (70억 개)로 용량이 겨우 4기가 정도밖에 되지 않는다..

프로그래밍/Data&ML 2023. 3. 26. 16:25

Isolation Forest : 트리알고리즘을 이용한 비지도 이상탐지 장점과 단점 장점 군집기반 알고리즘에 비해 계산량이 적다 (누적 평균치를 계산한 이후 서브셋을 만들어 계산량을 줄일 수 있다) Robust한 모델이다 → 계속 실행해도 같은 결과가 나온다 Train 데이터에 이상치가 포함되어 있어도 잘 작동한다 트리계열 알고리즘이기 때문에 데이터에 대한 가정이 없어도 잘 동작하고 전처리가 거의 필요없다 단점 어떤 값이 이상치인지는 하이퍼파라미터를 조정해 threshold를 정의해야한다 특정 데이터 분포의 경우 Isolation Forest로 분류가 어렵다 (Extended Isolation Forest로 개선한 모델 사용) 이상치에 대한 가정 이상치는 적은 데이터로 구성되어 있을 것이다 이상치는 특정..

프로그래밍/Data&ML 2023. 3. 19. 14:38

HTML은 컴퓨터 언어가 아니다...? Python이나 JavaScript와 같은 컴퓨터 언어는 변수를 지정하고 함수를 만들어 어떤 동작들을 처리할 수 있다. 하지만 HTML은 정해진 형식에 따라 원하는 자리에 컨텐츠를 입력하는...따지고 보면 HTML은 조금 불편한 워드/한글을 작성하는 것과 같다. 지금 쓰고 있는 티스토리 블로그 편집기도 결과물은 HTML로 작성되니까 따지고 보면 인터넷에서 글을 쓰는 모든 사람은 직간접적으로 HTML을 작성하고 사용해봤을 것이다. 그러니 복잡하게 생각하지말고 일단 한번 만들어보자! Chat-GPT를 사용해 블로그 글을 HTML로 작성해달라고 부탁했다. 제목1 본문내용 메뉴1 메뉴2 하이퍼링크를 무슨 이름으로 할 것인지 여기에 적으면 됨 웹사이트 구조를 잡기 위한 HT..

네트워크엔지니어/웹공부 2023. 3. 11. 15:32

머신러닝 프로젝트는 중구난방이 되기 쉽다! 프레임워크가 필요해 캐글이나 데이콘에서 프로젝트를 진행해보면 알 수 있다. 문제가 얼마나 중구난방이 되는지. 여러 전처리과정, 모델 최적화 등을 거치다보면 점수를 0.01점 더 높히기 위한 끝없는 노가다가 되기 마련이다. 하지만.. 실제 서비스를 할 때 Accuracy가 0.80 이나 0.85나 큰 차이가 있을까? 모델 개발을 위한 작은 데이터셋에서 Accuracy가 0.99999 가 나오는 것도 오버피팅의 가능성이 있기에 그렇게 바람직하지는 않다. 복잡한 문제일 수록 프레임워크가 필요해! 오히려 머신러닝 프로젝트를 성공하기 위해 필요한건 결과보다 구체적인 과정이다. 데이터에 어떤 가정이 들어갔는지, 각 전처리와 모델 최적화 과정에서 어떤부분이 고려되었는지 등등..

프로그래밍/Data&ML 2023. 3. 7. 13:56

요즘 엘리스 2023 군장병 AI SW 역량강화 프로그램에서 Node.js를 배우고 있는데 자바스크립트 문법을 전혀모르니까 매번 검색하기가 번거로워서 YouTube에서 기초강의를 찾아봤다. 조코딩님이 쉽고 재미있고 짧게 설명해주는 강의가 있어서 공부하고 핵심내용을 정리해봤다. https://www.youtube.com/watch?v=E-PzX2mKGUQ 새로운 컴퓨터 언어를 배운다는 건 변수/함수/조건문/반복문을 배운다는 것이다! 변수 : var / const / let 💡 변수란 상자안에 어떤 정보를 담는 행위 var a = 1 : a라는 변수에 1을 담는다라는 의미이다 사실 JavaScript는 유연한 언어라서 그냥 a = 1라고 해도 변수지정이 된다. 히지만 표준문법이 앞에 변수형을 지정해주는 것임..

네트워크엔지니어/웹공부 2023. 3. 5. 16:03

데이터 프레임안에 array를 넣을 수 있을까? 측정 데이터를 가공하지 않고 그 자체를 array 배열로 학습데이터를 만들어서 회귀나 분류를 할 수 있지 않을까? 하는 생각을 했다. 넘파이를 이용해 Array 배열을 만들고 이를 판다스 데이터프레임에 요소로서 넣었다. 그 결과 각 행에 넘파이 어레이가 들어갔다. 각 행의 데이터 타입은 Object 타입이다. 왜 어레이를 데이터 프레임에 넣으려고 하는가? 데이터 프레임을 엑셀처럼 사용했기 때문에 어레이를 데이터프레임 안에 넣는다는 생각은 뭔가 어색했다. 하지만 측정한 센서데이터 자체를 학습데이터로 사용해 머신러닝을 학습시키기 위해 이런 방법을 시도하고 있다. 기존의 ML모델 학습방법은 이러했다. 센서데이터를 가공해 어떤 물리량을 계산한다 물리량을 요소(co..

프로그래밍/Python 2023. 3. 4. 20:29

블로그 글을 쓰고 퇴고하는 과정에 Chat-GPT로 머신러닝 기반 플라즈마 진단의 장단점이라고 검색을 했더니 나온 결과가 소름돋는다.. 블로그에 글을 올리지도 않았는데... 내 생각과 비슷한 결과가 바로 튀어나와서 깜짝 놀라버렸다.... 쓰려고 했던 글을 아래의 글이다. 2023.03.04 - [자연과학을 위한 프로그래밍/Data&ML] - 빅데이터 기반의 플라즈마 진단에 관한 생각 빅데이터 기반의 플라즈마 진단에 관한 생각 빅데이터 기반의 플라즈마 진단에 관한 생각 플라즈마 진단, 꼭 정확하게 해야 할까? 전자온도, 전자밀도, 라디칼 농도 등의 플라즈마 파라미터를 측정하고 계산하는 것은 비싸고 복잡한 장비( super-master.tistory.com

요즘드는 생각들 2023. 3. 4. 15:34