코딩하는 곰의 일상 저장소

23년 6회 빅데이터분석기사(빅분기) 실기 후기

올해 6회부터는 필답형이 실기형으로 변경되었다! 이게 뭐냐 체험환경에 들어가면 나와 있는 문제는 다음과 같다 주저리 주저리 해서 뭐 변경된 시험 문항에 대한 소개는 이쯤 해두고 이번 시험에 대해서 간략하게 소개해본다. 문항 3개, 각 10점, 총 30점 문항 1-1 : 평균 소방서별 출동 시간 구하고 최고(?) 시간이 걸린 소방서의 이름 찾기 문항 1-2 : 각 초등학교의 1~6학년 수를 합계해서, 교사당 학생 수가 제일 낮은(?) 학교의 교사 수 찾기 문항 1-3 : 전국 경찰청 5대 범죄율 통계하기, 데이터는 아마 다음 주소같은데... https://www.data.go.kr/data/3074462/fileData.do 문항1개, 총 40점 문항 2 : 나이대 예측하기... 정확한 문제가 기억이 안나..

[작업형2] 중고차 가격 예측하기 : 22년 5회 기출

자동차 가격을 예측해주세요! 예측할 값(y): price 평가: RMSE (Root Mean Squared Error) data: train.csv, test.csv 제출 형식: submission.csv파일을 아래와 같은 형식(수치형)으로 제출 (id는 test의 index임) id,price 0,11000 1,20500 2,19610 ... 1616,11995 train.df = read.csv("C:/BigDataCertificationCourses-main/5th/train.csv", header=T) test.df = read.csv("C:/BigDataCertificationCourses-main/5th/test.csv", header=T) summary(train.df) head(train...

[작업형2] 자동차 시장 세분화 : 22년 4회 기출

[마케팅] 자동차 시장 세분화 자동차 회사는 새로운 전략을 수립하기 위해 4개의 시장으로 세분화했습니다. 기존 고객 분류 자료를 바탕으로 신규 고객이 어떤 분류에 속할지 예측해주세요! 예측할 값(y): "Segmentation" (1,2,3,4) 평가: Macro f1-score data: train.csv, test.csv 제출 형식: ID,Segmentation 458989,1 458994,2 459000,3 459003,4 train.df = read.csv("C:/BigDataCertificationCourses-main/4th/train.csv", header=T) test.df = read.csv("C:/BigDataCertificationCourses-main/4th/test.csv", he..

[작업형2] 입학여부 확률 구하기

x_train = read.csv("C:/BigDataCertificationCourses-main/3rd/t2-2-X_train.csv", header=T) x_test = read.csv("C:/BigDataCertificationCourses-main/3rd/t2-2-X_test.csv", header=T) y_train = read.csv("C:/BigDataCertificationCourses-main/3rd/t2-2-Y_train.csv", header=T) summary(x_train) summary(x_test) summary(y_train) df.train = as.data.frame(merge(x_train, y_train)) #train 데이터 합치기 summary(df.train) ..

[작업형2] PimaIndiansDiabetes2 데이터 연습

library(mlbench) data("PimaIndiansDiabetes2") df_pima = na.omit(PimaIndiansDiabetes2) set.seed(Sys.Date()) train.idx = sample(1:nrow(df_pima), size = nrow(df_pima) * 0.8) #테스트데이터로 사용할 행 추출 train = df_pima[train.idx,] test = df_pima[-train.idx,] library(rpart) md.rpart = rpart(diabetes ~., data = train) pred.rpart = predict(md.rpart, newdata = test) library(randomForest) #랜덤포레스트를 사용하기 위한 라이브러리 가져..

[작업형2] 서비스 이탈예측 데이터 분석 : 4모델 만들기(빅분기 작업형2 실전대비)

#https://www.datamanim.com/dataset/03_dataq/typetwo.html #분류 #서비스 이탈예측 데이터 #데이터 설명 : 고객의 신상정보 데이터를 통한 회사 서비스 이탈 예측 (종속변수 : Exited) #데이터 불러오기 x_train = read.csv("https://raw.githubusercontent.com/Datamanim/datarepo/main/churnk/X_train.csv", stringsAsFactors = T) y_train = read.csv("https://raw.githubusercontent.com/Datamanim/datarepo/main/churnk/y_train.csv", stringsAsFactors = T) x_test = read.c..

참고할 빅분기 실기 5회 후기

https://velog.io/@sujin1018/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D%EA%B8%B0%EC%82%AC-%EC%8B%A4%EA%B8%B0-%ED%95%A9%EA%B2%A9

빅데이터분석기사 실기 팁

https://blog.naver.com/ansrl23/222837334157 빅분기 #10 빅데이터분석기사 실기 독학 및 합격 후기 빅데이터분석기사 실기 독학 1시도1합격 후기 풀어봅니다 아, 저번 필기 후기 게시물에서 적었던 것처럼 유... blog.naver.com 실기팁... 누가 잘 적어놓으셨길래 공유한다. 내 팁만 요약하면 1. 함수 기억 안 나거나 할 때, help, dir 사용하기 2. goormIDE 환경은 Rstudio와는 다르므로 미리 연습하기 3. 작업형2는 데이터 전처리(결측값처리), 데이터스케일링(연속형 변수), 더미 변수 만들기(명목형 변수, as.factor 사용), 모델만들기(보통 랜덤포레스트RF)만 해도 30점은 받는다고 한다...

[작업형2] Travel Insurance : 21년 3회 기출

여행 보험 패키지 상품을 구매(값이 1인)할 확률 값을 구하시오 예측할 값(y): TravelInsurance (여행보험 패키지를 구매 했는지 여부 0:구매안함, 1:구매) 평가: roc-auc 평가지표 data: t2-1-train.csv, t2-1-test.csv 제출 형식 id,TravelInsurance 0,0.3 1,0.48 2,0.3 3,0.83 df_train = read.csv("C:/BigDataCertificationCourses-main/3rd/t2-1-train.csv", header=T) df_test = read.csv("C:/BigDataCertificationCourses-main/3rd/t2-1-test.csv", header=T) head(df_train, 10) df_t..

[작업형3] blood pressure (T test) : 작업환경 예시문제

data = read.csv("blood_pressure.csv", header = T) head(data) diff = data$bp_after - data$bp_before round(mean(diff), 2) #(a) 답 #Simple T검정 결과 testResult2 = t.test(diff, alternative = "greater", #귀무가설이 diff가 클 때 이므로 greater conf.level = 0.95) #conf.level은 0.95이므로 유의수준이 0.05라면 작성안해도 됨. testResult2 round(testResult2$statistic, 2) round(testResult2$p.value, 4) #F검정 결과 testResult3 = var.test(data$bp_..

[작업형2] 전자상거래 배송 데이터 : 21년 2회 기출

전자상거래 배송 데이터 제품 배송 시간에 맞춰 배송되었는지 예측모델 만들기 학습용 데이터 (X_train, y_train)을 이용하여 배송 예측 모형을 만든 후, 이를 평가용 데이터(X_test)에 적용하여 얻은 예측 확률값을 다음과 같은 형식의 CSV파일로 생성하시오(제출한 모델의 성능은 ROC-AUC 평가지표에 따라 채점) ID, Reached.on.Time_Y.N 4733,0.6 2040,0.8 5114,0.45 2361,0.23 5996,0.43 df_train = read.csv("C:/BigDataCertificationCourses-main/2nd/train.csv", header=T) summary(df_train) df_train$Warehouse_block = as.factor(df_t..

[작업형1] BostonHousing, Insurance : 21년 2회 기출

library(mlbench) data("BostonHousing") df = as.data.frame(BostonHousing) crim.top10 = head(sort(df$crim, decreasing = T), 10) #범죄율(crim) 상위 10개 도시 #범죄율 10위 도시 ten = crim.top10[10] library(dplyr) #filter 사용을 위한 라이브러리 불러오기 age.over80 = data %>% filter(age >= 80) #age 항목이 80이상인 데이터만 추출 #80세 이상 범죄율 평균값 over80crim = mean(age.over80$crim) housing.idx = sample(x = c("train", "test"), size = nrow(Boston..

1. 정형데이터 분석 - 회귀모형 분석평가 : MSE, RMSE, 혼동행렬, AUC

RMSE, MSE : 값이 낮을 수록 정확도가 높다고 할 수 있음 1. RMSE, MSE, 결정 계수, 수정 결정 계수 library(ISLR) hitters = na.omit(Hitters) fit_model = lm(Salary ~ Atbat + Hits + CWalks + Division + PutOuts, data = hitters) second_model = lm(Salary ~ Hits + CWalks + Division + PutOuts, data = hitters) #MSE, RMSE library(ModelMetrics) rmse(fit_model) mse(fit_model) rmse(second_model) mse(second_model) #결정 계수, 수정된 결정 계수 summary(..

연관성 분석

연관성 분석, 장바구니 분석(Market Basket Analysis), 서열 분석(Sequence Analysis) as(data, class) : data를 transaction 데이터로 변경 inspect(x, ...) : apriori 함수로 만든 연관 규칙을 검증하는 함수, x - apriori로 만든 데이터 apriori(data, parameter, appearance, control) : 연관 규칙 생성 함수 install.packages("arulesViz") library(arules) library(arulesViz) #Groceries 데이터셋 이용을 위한 라이브러리 불러오기 data("Groceries") apr = apriori(Groceries, parameter = list(..

비계층적 군집 분석 - kmeans cluster

kmeans(data, centers) : centers - 군집의 갯수 k install.packages("rattle") library(rattle) #wine 데이터 세트 사용을 위한 라이브러리 불러오기 df = scale(wine[-1]) #데이터 스케일링 set.seed(Sys.Date()) fit.km = kmeans(df, 3, nstart = 25) #K-means cluster fit.km$size #k개의 점과 가장 가까운 데이터의 갯수 fit.km$center #k개의 점에 대한 위치값 plot(df, col = fit.km$cluster) #K-means cluster 결과 그래프 출력(시각화) points(fit.km$center, col = 1:3, pch = 8, cex = 1..

계층적 군집 분석 - 군집 간 거리 측정

dist(data, method) mahalanobis(data, center, cov) hclust(data, method) agnes(data, metric, method) daisy(data, metric) #유클리드 거리 측정 US.dist_euclidean = dist(USArrests, "euclidean") US.dist_euclidean #맨하탄 거리 측정 US.dist_manhattan = dist(USArrests, "manhattan") US.dist_manhattan #마할라노비스 거리 측정 mahalanobis(USArrest, colMeans(USArrests), cov(USArrests)) #계층적 군집 분석 US.single = hclust(US.dist_euclidean^2..

1. 정형 데이터 분석 - 앙상블(ensemble) : 랜덤 포레스트(random forest)

3. 랜덤 포레스트(random forest) 랜덤 포레스트는 의사결정나무의 특징인 분산이 크다는 점을 고려해, 배깅과 부스팅보다 더 많은 무작위성을 주어 약한 학습기를 생성한 후, 이를 선형 결합하여 최종 학습기를 만드는 방법 randomForest(formula, data, ntree, mtry, ...) : ntree - 사용할 트리 수, mtry - 각 분할에서 랜덤으로 뽑힌 변수의 수(분류 모델인 경우 변수의 갯수 값, 회귀모델은 변수의 갯수를 3으로 나눈 값) library(randomForest) md.rf = randomForest(diabetes ~., data = train, ntree = 100, proximity = T) #랜덤 포레스트 모델 생성 pred = predict(md.r..

1. 정형 데이터 분석 - 앙상블(ensemble) : 부스팅(boosting)

2. 부스팅(boosting) 부스팅이란 예측력이 약한 모형(weak leaners)를 결합하여, 강한 예측 모형을 만드는 방법 부스팅 기법을 사용하는 알고리즘에는 AdaBoost, GBM, LightGBM, XGBoost, eXtreme Gradient Boosting, CatBoost 등이 있다. XGboost : 병렬 처리가 지원되도록 구현하여 훈련과 분류 속도가 빠른 알고리즘 xgb.train(params, data, nrounds, early_stopping_rounds, watchlist) : nrounds - 최대 부스팅 반복 횟수, early_stopping_rounds - 지정된 회수 이상 성능 향상이 없는 경우 중지, watchlist - 모형을 성능하기 위하여 사용하는 xgb.DMat..

1. 정형 데이터 분석 - 앙상블(ensemble) : 배깅(bagging)

앙상블이란 여러 동일한 종류나 상이한 모형들의 예측 또는 분류 결과를 종합하여, 최종적인 의사결정에 반영하는 기법이다. 1. 배깅(bagging) : 배깅은 훈련 데이터에서 다수의 부트스트랩(bootstrap) 자료를 생성해, 각 자료를 모델링한 후 결합하여, 최종 예측 모형을 만드는 것이다. bagging(formula, data, mfinal, control) : mfinal - 반복수 또는 트리의 수(기본 100), control - 의사결정나무 옵션 library(mlbench) PimaIndiansDiabetes2 = na.omit(PimaIndiansDiabetes2) #결측값 제거 train_idx = sample(1:nrow(PimaIndianDiabetes2), size = 2/3 * n..

1. 정형데이터 분석 - 나이브 베이즈(Naive Bayes) 분류

나이브 베이즈 분류는 특성 사이의 독립을 가정하는 베이즈 정리(Bayes Theorem)와 조건부 확률(Conditional Probability)를 적용한 확률 분류기 * 조건부 확률이란 주어진 사건(A)에 일어났다는 가정하에 다른 사건(B)이 일어날 확률[P(B|A)] naiveBayes(formula, data, subset, laplace, ...) : subset - 훈련 데이터에서 사용할 데이터를 지정하는 인덱스 벡터, laplace - 라플라스 스무딩 매개변수 입력(0이면 사용하지 않음) * 나이브 베이즈 분류는 학습 데이터에서 나타나지 않은 관측의 사후확률을 0으로 계산하는 문제점이 존재. -> 이를 해결하기 위해 라플라스 스무딩(laplace smoothing) 기법으로 사후확률을 보정함..