물리/데이터 척척석사

네트워크는 경로가 중요하다. 경로를 짧게 가는 것도 중요하지만 여러개로 분산된 경로를 가지는 것도 중요하다. 네비게이션을 생각해보면 가까운 길이 꼭 빠른 길이 아닌 경우도 많다. 가까워도 길이 좁거나 갑자기 공사를 진행할 수도 있다. 심지어는 도로가 폐쇄 되서 아예 가지도 못할 수가 있다... 네트워크도 같은 원리에 따라 망 생존성을 위해 다양하게 분산된 경로를 가지는게 중요하다. 집까지 가는데 하나뿐인 다리가 무너져서 집으로 못가게 되면 얼마나 슬프겠는가... 그럼 이제 networkX라는 파이썬 네트워크 분석 라이브러리로 경로를 찾아보자 import matplotlib.pyplot as plt from matplotlib import font_manager, rc # 한글 폰트가 깨지지 않기 위한 세..

프로그래밍/Python 2023. 11. 7. 16:32

입사한지 벌써 3개월차! 그리고 내년도에 무엇을 할지 계획을 세우는 시기이다. 업무자동화 툴을 개발하라는 업무가 주어졌다. 근데... 회사 문서는 전부 DRM이 걸려있어서 파이썬에서 불러올 수가 없다... 사내개발 환경이 있긴한데... 느리기도 하고 환경설정을 매번 새로해주는게 여간 번거롭다. xlwings를 이용하면 DRM이 걸려있는 문서도 판다스 데이터 프레임으로 불러올 수 있다. 원리를 알아보면 xlwings는 엑셀 프로그램을 이용해서 데이터를 조작한다. xlwings가 있어도 DRM 키가 없는 엑셀 프로그램은 파일을 열 수 없다. 아래 코드를 이용해서 엑셀 데이터를 판다스 데이터 프레임으로 불러올 수 있다. import xlwings as xw import pandas as pd data_path..

프로그래밍/Python 2023. 11. 7. 15:28

빅오표기법 빅오 표기법(Big O notation)은 알고리즘의 성능 분석을 위한 수학적인 표기법이다. 컴퓨터가 같은 계산결과를 내더라도 어떤 자료구조와 어떤 알고리즘을 사용하는가에 따라 계산시간이 달라진다.피보나치 수열을 구하는 알고리즘을 보자. 두개의 알고리즘의 실행시간은 계산횟수를 통해 유추해볼 수 있다. if문의 경우 시간복잡도도 O(1)이고 덧셈의 시간복잡도도 O(1)여서 함수한번 호출하는데에는 시간복잡도가 O(1)지만 함수 호출 횟수가 많아질 경우 프로그램 실행속도가 급격하게 느려진다. 하지만 cache라는 리스트를 도입해서 값을 임시저장해놓으면 계산횟수가 획기적으로 줄어든다. 일반적으로 코딩테스트의 실행시간 제한은 1~2초이고 1억까지는 1~2초안에 실행된다고 한다. 오른쪽의 경우 30번째 ..

프로그래밍/코딩테스트준비 2023. 5. 8. 11:23

결국 하고 싶은 말은 박스안에 있는 말이다. p-value가 작아야 실험값을 사용할 수 있고 논문이 통과되고 연구자가 행복해진다. 가설검정의 대상은 항상 귀무가설이다. 대립가설 = 연구자의 주장 귀무가설 = 대립가설의 반대 가설검정하면 알게되는 값 p-value (가설검정은 항상 귀무가설을 검정한다) p-value가 0에 가깝다! = 귀무가설이 틀렸을 가능성이 높다 귀무가설이 틀릴 가능성이 높다 = 대립가설이 맞을 가능성이 높다 대립가설이 맞다 = 연구자의 가설이 맞았다 = 연구자가 행복해진다 생물이나 의학관련 논문을 보면 항상 나오는 말이 p-value가 어쩌고~ 해서 자기가 맞았다. 라는 식으로 이야기를 전개하는 경우가 많다. 시계열을 공부하면서 가설에 대한 검정으로 p-value라는 말이 자꾸 나와..

프로그래밍/Data&ML 2023. 4. 24. 17:32

3일동안 새벽 3시에 잠들면서 세팅 중인데... 텐서플로우가 자꾸 버전 충돌이 일어나고.. gpu를 사용하지 않는다고 나와서 괴로운 시간들을 보내다가 드디어 성공했다. 계속 안되서 혹시 OS가 13버전이라 충돌이 일어나는지 몰라서 공식문서를 찾아보고..버전도 낮춰보고 높혀보고 말그대로 노가다를 했다. 아직도 머리가 멍한데.. 일단 정리를 해보려고 글을 쓴다. 일단 성공인증 설치방법 1. miniforge3 환경에서 설치해야한다. 미니포지를 쓰자. 일단 공식적으로 애플실리콘을 지원하고 있고 아나콘다가 애플실리콘 지원한다고해서 되겠지~ 하고 아나콘다에서 설치했다가 이틀을 날려먹었다. 미니콘다도 시도해봤는데 자꾸 뭐가 충돌한다 뜨는거보면 그냥 마음편하게 미니포지설치하자. 이미 아나콘다가 설치되어있으면 opt에..

프로그래밍/Data&ML 2023. 3. 28. 14:04

라마와 알파카? 동물원 이야기인가?얼마 전에 메타(구 페이스북)에서 공개한 (유출되었다가 공개해 버렸다) GPT-3보다 더 작으면서 고성능 모델인 LLaMA를 발표했다. GPT-3보다 크기는 1/10로 작지만 GPT-3보다 더 성능이 좋다는 소문이 있었는데 토렌트에서 받기는 귀찮고 하이퍼파라미터만 가지고 서비스를 구현하기에는 실력이 부족해서 똑똑한 사람들이 해내주기를 기다리고 있었다. 그런데 3월 18일 스텐포드에서 LLaMA (라마라고 부르겠다)를 양자화한 모델인 Alpaca (알파카)를 발표했다. 이젠 라즈베리파이4로도 작동시킬 수 있는 챗봇이 나와버린 것이다. GPT-3의 매개변수가 175B (1750억 개) 인 것에 비해 Alpaca는 7B (70억 개)로 용량이 겨우 4기가 정도밖에 되지 않는다..

프로그래밍/Data&ML 2023. 3. 26. 16:25

Isolation Forest : 트리알고리즘을 이용한 비지도 이상탐지 장점과 단점 장점 군집기반 알고리즘에 비해 계산량이 적다 (누적 평균치를 계산한 이후 서브셋을 만들어 계산량을 줄일 수 있다) Robust한 모델이다 → 계속 실행해도 같은 결과가 나온다 Train 데이터에 이상치가 포함되어 있어도 잘 작동한다 트리계열 알고리즘이기 때문에 데이터에 대한 가정이 없어도 잘 동작하고 전처리가 거의 필요없다 단점 어떤 값이 이상치인지는 하이퍼파라미터를 조정해 threshold를 정의해야한다 특정 데이터 분포의 경우 Isolation Forest로 분류가 어렵다 (Extended Isolation Forest로 개선한 모델 사용) 이상치에 대한 가정 이상치는 적은 데이터로 구성되어 있을 것이다 이상치는 특정..

프로그래밍/Data&ML 2023. 3. 19. 14:38

머신러닝 프로젝트는 중구난방이 되기 쉽다! 프레임워크가 필요해 캐글이나 데이콘에서 프로젝트를 진행해보면 알 수 있다. 문제가 얼마나 중구난방이 되는지. 여러 전처리과정, 모델 최적화 등을 거치다보면 점수를 0.01점 더 높히기 위한 끝없는 노가다가 되기 마련이다. 하지만.. 실제 서비스를 할 때 Accuracy가 0.80 이나 0.85나 큰 차이가 있을까? 모델 개발을 위한 작은 데이터셋에서 Accuracy가 0.99999 가 나오는 것도 오버피팅의 가능성이 있기에 그렇게 바람직하지는 않다. 복잡한 문제일 수록 프레임워크가 필요해! 오히려 머신러닝 프로젝트를 성공하기 위해 필요한건 결과보다 구체적인 과정이다. 데이터에 어떤 가정이 들어갔는지, 각 전처리와 모델 최적화 과정에서 어떤부분이 고려되었는지 등등..

프로그래밍/Data&ML 2023. 3. 7. 13:56