코딩하는 곰의 일상 저장소

계층적 군집 분석 - 군집 간 거리 측정

dist(data, method) mahalanobis(data, center, cov) hclust(data, method) agnes(data, metric, method) daisy(data, metric) #유클리드 거리 측정 US.dist_euclidean = dist(USArrests, "euclidean") US.dist_euclidean #맨하탄 거리 측정 US.dist_manhattan = dist(USArrests, "manhattan") US.dist_manhattan #마할라노비스 거리 측정 mahalanobis(USArrest, colMeans(USArrests), cov(USArrests)) #계층적 군집 분석 US.single = hclust(US.dist_euclidean^2..

1. 정형 데이터 분석 - 앙상블(ensemble) : 랜덤 포레스트(random forest)

3. 랜덤 포레스트(random forest) 랜덤 포레스트는 의사결정나무의 특징인 분산이 크다는 점을 고려해, 배깅과 부스팅보다 더 많은 무작위성을 주어 약한 학습기를 생성한 후, 이를 선형 결합하여 최종 학습기를 만드는 방법 randomForest(formula, data, ntree, mtry, ...) : ntree - 사용할 트리 수, mtry - 각 분할에서 랜덤으로 뽑힌 변수의 수(분류 모델인 경우 변수의 갯수 값, 회귀모델은 변수의 갯수를 3으로 나눈 값) library(randomForest) md.rf = randomForest(diabetes ~., data = train, ntree = 100, proximity = T) #랜덤 포레스트 모델 생성 pred = predict(md.r..

1. 정형 데이터 분석 - 앙상블(ensemble) : 부스팅(boosting)

2. 부스팅(boosting) 부스팅이란 예측력이 약한 모형(weak leaners)를 결합하여, 강한 예측 모형을 만드는 방법 부스팅 기법을 사용하는 알고리즘에는 AdaBoost, GBM, LightGBM, XGBoost, eXtreme Gradient Boosting, CatBoost 등이 있다. XGboost : 병렬 처리가 지원되도록 구현하여 훈련과 분류 속도가 빠른 알고리즘 xgb.train(params, data, nrounds, early_stopping_rounds, watchlist) : nrounds - 최대 부스팅 반복 횟수, early_stopping_rounds - 지정된 회수 이상 성능 향상이 없는 경우 중지, watchlist - 모형을 성능하기 위하여 사용하는 xgb.DMat..

1. 정형 데이터 분석 - 앙상블(ensemble) : 배깅(bagging)

앙상블이란 여러 동일한 종류나 상이한 모형들의 예측 또는 분류 결과를 종합하여, 최종적인 의사결정에 반영하는 기법이다. 1. 배깅(bagging) : 배깅은 훈련 데이터에서 다수의 부트스트랩(bootstrap) 자료를 생성해, 각 자료를 모델링한 후 결합하여, 최종 예측 모형을 만드는 것이다. bagging(formula, data, mfinal, control) : mfinal - 반복수 또는 트리의 수(기본 100), control - 의사결정나무 옵션 library(mlbench) PimaIndiansDiabetes2 = na.omit(PimaIndiansDiabetes2) #결측값 제거 train_idx = sample(1:nrow(PimaIndianDiabetes2), size = 2/3 * n..

1. 정형데이터 분석 - 나이브 베이즈(Naive Bayes) 분류

나이브 베이즈 분류는 특성 사이의 독립을 가정하는 베이즈 정리(Bayes Theorem)와 조건부 확률(Conditional Probability)를 적용한 확률 분류기 * 조건부 확률이란 주어진 사건(A)에 일어났다는 가정하에 다른 사건(B)이 일어날 확률[P(B|A)] naiveBayes(formula, data, subset, laplace, ...) : subset - 훈련 데이터에서 사용할 데이터를 지정하는 인덱스 벡터, laplace - 라플라스 스무딩 매개변수 입력(0이면 사용하지 않음) * 나이브 베이즈 분류는 학습 데이터에서 나타나지 않은 관측의 사후확률을 0으로 계산하는 문제점이 존재. -> 이를 해결하기 위해 라플라스 스무딩(laplace smoothing) 기법으로 사후확률을 보정함..

1. 정형데이터 분석 - KNN(K-Nearest Neighbor)

K-NN 알고리즘은 해당 데이터와 가장 가까운 k개의 데이터들의 클래스로 분류하는 알고리즘이다. 보통 유클리드 거리, 맨하탄 거리, 민코우스키 거리 등을 사용하며, 기본적으로는 유클리드 거리를 사용한다. 근접 이웃 수는 k로 학습 난도와 훈련 데이터 개수에 따라 결정하며, 일반적으로 훈련 데이터 개수의 제곱근으로 설정한다. knn(train, test, cl, k) : cl - 훈련 데이터의 종속변수, k - 근접 이웃 수(기본 1) data = iris[, c("Sepal.Length", "Sepal.Width", "Species")] idx = sample(x=c("train", "valid", "test"), #학습, 검증, 테스트 데이터로 분할 size = nrow(data) replace = T..

1. 정형데이터 분석 - 서포트 벡터 머신(SVM, Support Vector Machine)

서포트 벡터 머신은 데이터를 분리하는 초평면(Hyperplance) 중 데이터와의 거리가 가장 먼 초평면을 선택하여 분리하는 지도학습 기반의 이진 선형 분류 모델이다. 사물 인식, 패턴 인식 등에서 사용하고 있는 지도 학습 모델 중 하나다. svm(formula, data) install.packages("e1071") #svm 함수를 사용하기 위해 패키지 설치 library(e1071) #svm 함수를 사용하기 위한 라이브러리 불러오기 model = svm(Species ~.,data = iris) #SVM 모델 생성 pred = predict(model, iris) library(caret) #혼동행렬 함수를 사용하기 위한 라이브러리 불러오기 confusionMatrix(data = pred, ref..

1. 정형데이터 분석 - 의사결정나무(decision tree)

의사결정나무는 데이터가 가진 속성으로부터 분할 기준 속성을 판단하여, 트리형태로 모델링하는 분류 예측 모델이다. 의사결정 나무를 수행할 수 있는 대표적인 함수는 다음 3가지다. rpart() : CART 기법 방법을 사용 tree() ctree() library(rpart) md = rpart(Species~., data = iris) #rpart 함수로 의사결정나무 모형생성 #의사결정나무 시각화 처리 1(plot 이용) plot(md, compress = T, margin = 0.5) #트리 모형 시각화 text(md, cex = 1) #텍스트 크기 조정 #의사결정나무 시각화 처리 2(rpart.plot 패키지 이용) library(rpart.plot) prp(md, type = 2, extra = 2..

1. 정형데이터 분석 - 로지스틱 회귀 분석(Logistic Regression)

로지스틱 회귀분석은 반응변수가 '범주형'인 경우 적용되는 회귀 분석 모형 새로운 설명변수 값이 주어질 때, 반응변수의 각 범주에 속할 확률이 얼마인지 추정하여 추정확률을 기준치에 따라 분류하는 목적으로 사용된다. 로지스틱 회귀분석은 카이제곱 검정을 이용하여 실시한다. glm(formula, family, data, ...) : family - 모델에서 사용할 분포(보통 이항 로지스틱 회귀 분석인 경우 "binomial" 사용 confusionMatrix(data, reference, ...) auc(actual, predicted, ...) : actual - 정답 label 벡터, predicted - 예측된 값의 벡터 library(ISLR) bankruptcy = Default set.seed(Sy..

1. 정형데이터 분석 - 회귀 분석(Regression Analysis)

회귀분석은 하나 이상의 독립변수들이 종속변수에 미치는 영향을 추정 lm(formula, data) : formula 종속변수 ~ 독립변수(다중 회귀인 경우, 여러개) first_model = lm(Salary ~ AtBat + Hits + Walks + Cwalks + Division + PutOuts, data = hitters) fit_model = step(first_model, direction = "backward") #후진소거법으로 모델에 적합한 변수선택 vif(fit_model) #다중공선성 확인 vif결과가 10이상이면 다중공선성 문제가 심각 second_model = lm(Salary ~ Hits + Cwalks + Division + PutOuts, data = hitters) vif(..

[ChatGPT] AI Sandwich, AI와 사람과의 관계

https://www.samsungsds.com/kr/insights/chatgpt_whitepaper2.html ChatGPT 기술 분석 백서 - 2부 ChatGPT 활용 | 인사이트리포트 | 삼성SDS ChatGPT는 다양한 국적의 자연어 텍스트 및 이미지를 전체적인 맥락에서 이해하고, 그에 따른 답변을 생성해낼 수 있습니다. 자연어를 생성하도록 설계된 아키텍처를 따르는 것이지만, ChatGPT가 특 www.samsungsds.com 삼성SDS에서 내놓은 ChatGPT 글을 읽으면서 생각보다 많은 생각이 든다. AI Sandwich 라는 말을 처음 접하게 되었는데, 내가 생각하는 현상이 한 단어로 존재한다는게 너무 신기하다. 이글을 접하는 사람들은 위의 포스트를 꼭 읽어보았으면 좋겠다.

[ChatGPT]조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건?

https://twitter.com/yechanism_/status/1627881535037923329?s=46&t=drRvp8re6HB5mOQTLS9ycw 트위터에서 즐기는 예차니즘✨ “Q: 조선왕조실록에 기록 된 세종대왕의 맥북므로 던짐 사건에 대해 알려줘” twitter.com 세종대왕 시대에 맥북프로라니 ㅋㅋ... 너무 늦게 알았지만, ChatGPT는 생각지도 못하게 재밌는 답변을 종종(?) 내놓는다.

R, R studio 다운로드

https://docs.posit.co/ Posit Documentation - Posit Documentation docs.posit.co 회사에서 R studio 다운로드 받아보려다가, posit 페이지 접속이 안되서 남기는 글... 1: Install R RStudio requires R 3.3.0+. Choose a version of R that matches your computer’s operating system. Download and install R 2: Install RStudio Find your operating system in the table below. All Installers and Tarballs RStudio requires a 64-bit operating sys..

엑셀 VBA 칸에 맞게 사진 사이즈 조정하기

최근 엑셀 파일에 사진을 넣는데, 자동화 시킬 필요가 있었다. 사이즈를 클릭 한 번으로 조절하고 칸에 맞춰보자 Sub 사진조정() ' ' 크기조절, 위치이동 ' 단위는 point 단위 ' Selection.Placement = xlMoveAndSize Selection.ShapeRange.LockAspectRatio = msoFalse Selection.ShapeRange.IncrementLeft 1.3636220472 Selection.ShapeRange.IncrementLeft 1.3636220472 Selection.ShapeRange.IncrementTop 1.3636220472 Selection.ShapeRange.IncrementTop 1.3636220472 Selection.ShapeRang..

깃옵스(GitOps)

DevOps의 확장? www.samsungsds.com/kr/insights/gitops.html

Makefile 만들기

java랑 다르게, c언어 계열은 오브젝트 파일 *.o 로 컴파일하고 *.out 처럼 링크하는 2번의 절차를 거쳐야 한다. 그래서 makefile을 만들어 놓으면, make, make clean을 사용할 수 있어 편리하다. 물론, Incremental build가 되기 때문에 좋기도 한데 아무튼, 편리하다. (자료를 뒤져보다가 잘 정리 해놓은 글이 있어서 소개하고 싶어서 글을 쓴거다 _ _;;) velog.io/@hidaehyunlee/Makefile-%EB%A7%8C%EB%93%A4%EA%B8%B0 Makefile 만들기 Makefile을 사용하는 이유는 위와 같은 복잡한 과정을 생략할 수 있어서이기도 하지만, Makefile이 제공하는 강력한 기능 중 하나인 Incremental build 를 사용하..

XR: OpenVR Error!

XR: OpenVR Error! OpenVR failed initialization with error code VRInitError_Init_PathRegistryNotFound: "Installation path could not be located (110)"! Steam을 다운로드 하면 해결된다. 내 컴퓨터에는 Steam을 안깔아 놓은 것을 미쳐 생각하지 못했던 것...

Google VR unity sdk

https://github.com/googlevr/gvr-unity-sdk/releases/tag/v1.200.1 Release GVR SDK for Unity v1.200.1 · googlevr/gvr-unity-sdk GVR SDK for Unity v1.200.1 (2019-07-17) Breaking changes Removed all instances of deprecated GUILayer component from the Main Camera in all sample scenes, for compatibility with Unity 2019.3. Dep... github.com https://github.com/googlevr/gvr-unity-sdk/releases/tag/v0.6 Rele..

사업다각화, 진로의 비관련 다각화로 인한 실패사례

네이버 메인에 비즈한국이 쓴 [기업의 흥망] '두꺼비 진로만 남기고' 진로그룹과 장진호의 몰락 이라는 포스트를 보게되었다. 지난 1학기 생산운영관리시간에 배운 관련다각화와 비관련다각화관련 내용을 사례로 접하니, 감회가 새로웠다. 2004년 4월, 진로는 1년간의 법정관리 끝에 주인 잃은 기업이 되었다. 주식은 법원의 정리계획안 인가에 따라 전량 휴지 조각이 됐다. 2003년 은행 어음을 결제하지 못해 부도가 난 후 법정관리를 겪는 와중에도 진로는 역대 최고의 영업이익과 시장점유율을 자랑했다. 매출 6900억 원, 영업이익 1930억 원, 국내와 수도권 시장점유율은 55.3%, 92.7%에 달했다. 소주를 마시는 국민의 절반 이상, 수도권에서는 10명 중 9명이 ‘두꺼비 진로’를 찾은 셈이다. 결론은 진로..

SpringBoot 개발시 H2 Console을 사용하기

SpringBoot로 한창 개발하던 중에, mysql로 Test DB를 구축하기 귀찮아서 H2를 사용해보려고 했다. 근데 이상하게, H2 Console이 작동이 안되는 것... 하루정도 헤맸는데, 결국에는 dependency 문제였다. build.gradle에 아래 처럼 적어주자. dependencies{ compile('org.springframework.boot:spring-boot-devtools') compile ('com.h2database:h2') } org.springframework.boot:spring-boot-devtools를 안적어서 h2가 작동하지 않았었다..