#잔차

[kaylee-smartmoney]

드뎌 자전거 시즌이오는건가? Team Pedal #잔차 #라이딩 #자덕 #자전거 #로드 #그란폰도 #가민 #스트라바 #간지 #열정 있는 사람들만 들어와 요! https://open.kakao.com/o/g8qAuYZ https://www.instagram.com/p/B7f3lwNFTBn/?igshid=u12dpfmwmzub

[22361968]

#잔차 #여행준비 끝!!! #단양에서 출발 #영월 #동강을 지나 강원도 #정선까지!!! #북한산 만한 고개를 두개를 넘어야 한다는 부담을 같지만, 내 살들이 못살겠다 떨어지는 상상을 하며, 올해 마지막이 될지 모르는 #라이딩 #투어를 기대해 본다. #설레임 ㅋㅋ(은평뉴타운 상림마을에서) https://www.instagram.com/p/B3wcdchFHVU/?igshid=14c6cyyukregq

[sajinbonneung-blog]

내 잔차.

[wunsigcho]

한강어벤져스^^ (Hangang Avengers) #health #cycle #riding #잔차 #자전거 #한강공원 #avengers #hangangriver #nike #nrc #nikerunclub #running #june #summer(여의도 한강공원 원효대교 남단에서)

[clearwombatgiantbear]

좋은 매물이 나와 형님께 선보이니 구매! 인탠스 트레이서 t275 인탠스 우지 내 잔차 와 잘 어울리네! 헌디 더운날 요래되는 요술! 덥다 https://www.instagram.com/p/CgijlHLpcQx/?igshid=NGJjMDIxMWI=

[jong-il-park]

2020 11 28 대전 잔차 여행 산림청 선정 아름다운 임도 100선 식장산 임도 라이딩 코스 & 거리 : 신탄진역 금강 갑천 유동천 대전천 보문산 식장산 고봉산 추동임도 대전역 70km https://www.instagram.com/p/CIKOdUkhiTe9u5WcVlzUwxljHlL9K8CqQGqiyk0/?igshid=124i0tmrzi1pl

[wonbindatascience]

Gradient Boosting (XGBoost, LightGBM, CatBoost)

Gradient Boosting Algorithm (GBM)

LightGBM, CatBoost, XGBoost 같은 파이썬 패키지들이 모두 Gradient Boosting Algorithm을 구현한 패키지들입니다. 

GBM은 계산량이 상당히 많이 필요한 알고리즘이기 때문에, 이를 하드웨어 효율적으로 구현하는 것이 필요한데, 위 패키지들은 모두 GBM을 효율적으로 구현하려고한 패키지들이라고 볼 수 있습니다.

GBM을 이해하는 가장 쉬운 방법은 Residual fitting으로 이해하는 것입니다. 아주 간단한 모델 A를 통해 y를 예측하고 남은 잔차 (residual)을 다시 B라는 모델을 통해 예측하고 A+B 모델을 통해 y를 예측한다면 A보다 나은 B 모델을 만들 수 있게 되죠. 이러한 방법을 계속하면 잔차는 계속해서 줄어들게되고, training set을 잘 설명하는 예측 모형을 만들 수 있게 됩니다.

하지만 이러한 방식은 bias는 상당히 줄일 수 있어도, 과적합이 일어날 수도 있다는 단점이 있습니다. 따라서 실제로 GBM을 사용할 때는 sampling, penalizing 등의 regularization 테크닉을 이용하여 더 advanced 된 모델을 이용하는 것이 보편적입니다.

위 그림을 보시면 tree 1을 통해 예측하고 남은 잔차를 tree2를 통해 예측하고, 이를 반복함으로서 점점 잔차를 줄여나가는 것을 볼 수 있습니다. 이 때, 각각의 모델 tree1,2,3 을약한 분류기 (weak learner), 이를 결합한 분류기를 강한 분류기 (strong learner)라고도 합니다. 

보통 약한 분류기로는 간단한 의사결정나무 (decision tree)를 많이 사용합니다. 이를 Gradient boosting tree라고도 하는데, 구현한 대표적인 라이브러리로 XGboost를 들 수 있습니다. XGBoost는 python, R로 이용할 수 있습니다.

Gradient boosting is typically used with decision trees (especially CART trees) of a fixed size as base learners.

직관적으로 이것은 무엇을 뜻할까요? 왜 negative gradient를 이용해서 새로운 모델을 만드는 걸까요? negative gradient는 pseudo-residual이라고도 불리며, 이것은 어떤 데이터 포인트에서 loss function이 줄어들기 위해 f(x)가 가려고하는 방향입니다. 이 방향에 새로운 모델을 fitting해서 이것을 이전 모델과 결합하면, f(x) 는 loss function이 줄어드는 방향으로 업데이트가 되겠죠. 이것이 gradient boosting의 아이디어입니다. Gradient boosting을 gradient descent + boosting 이라고 하기도 합니다. 어쨌든, loss function을 줄이는 방향의 negative gradient를 얻고, 이를 활용해 boosting을 하는 것이기 때문에 gradient descent와 boosting이 결합된 방법이다. 라고 이해하셔도 괜찮습니다.

https://3months.tistory.com/368 https://en.wikipedia.org/wiki/Gradient_boosting

XGBoost vs LightGBM vs CatBoost

https://towardsdatascience.com/catboost-vs-light-gbm-vs-xgboost-5f93620723db

Accuracy

They were all similar

Speed

(slowest) XGBoost < LightGBM < CatBoost (fastest)

XGBoost

Avoid Overfitting By Early Stopping

Reference

https://machinelearningmastery.com/avoid-overfitting-by-early-stopping-with-xgboost-in-python/

Intro

Overfitting is a problem with sophisticated non-linear learning algorithms like gradient boosting.

Early stopping is an approach to training complex machine learning models to avoid overfitting.

Code

# fit model eval_set = [(X_train, y_train), (X_test, y_test)] model.fit(X_train, y_train, eval_metric="logloss", early_stopping_rounds=10, eval_set=eval_set, verbose=True) # retrieve performance metrics results = model.evals_result()

How to Tune the Number and Size of Trees

Reference

https://machinelearningmastery.com/tune-number-size-decision-trees-xgboost-python/

Intro

Gradient boosting involves the creation and addition of decision trees sequentially, each attempting to correct the mistakes of the learners that came before it.This raises the question as to how many trees (weak learners or estimators) to configure in your gradient boosting model and how big each tree should be.

The number of trees

In general

Most implementations of gradient boosting are configured by default with a relatively small number of trees, such as hundreds or thousands. The general reason is that on most problems, adding more trees beyond a limit does not improve the performance of the model.

The size of trees

In general

Generally, boosting algorithms are configured with weak learners, decision trees with few layers, sometimes as simple as just a root node, also called a decision stump rather than a decision tree.

How to Tune Learning Rate

Reference

https://machinelearningmastery.com/tune-learning-rate-for-gradient-boosting-with-xgboost-in-python/

Intro

A problem with gradient boosted decision trees is that they are quick to learn and overfit training data. One effective way to slow down learning in the gradient boosting model is to use a learning rate, also called shrinkage

[kaylee-smartmoney]

#lab306 무한번창 무한할인! ㅋ 내 잔차 이름은 #썸 ㅋ #아재 #기부 #라이딩 #자덕 #자전거 #로드 #고프로 #그란폰도 #가민 #포커스이자르코맥스  #스노우보드 #sup #수상스키 #트레일러닝 #프리다이빙 #딸바보 #아들사랑 #대박 #갑부 #펠라코리아 #알바옵틱스 #펀드매니저 #운동하는남자 #하이원 #nidecker #카빙 #근육연금 https://www.instagram.com/p/B8GXB06lKl9/?igshid=5kl3tz08o2vl

[amnaehw]

친숙한 강남안마

강남구청역 시월애안마 다정한 서부장 O1O-32OO-9873

#수서동 #다오안마 #역삼동다오안마 #압구정가인안마 #역삼동도너츠안마 #역삼동마사지

수서동 잠원 다오안마 썹망 역삼동다오안마 장례사 압구정가인안마 송아서점 역삼동도너츠안마 용진식육점 역삼동마사지 캐드2013  성원빌라트  20대미팅데이트  전포  모드  달달이  백다다기  스트레이터  학산동개불이  로렛또의집  얼짱동호회  신기동조건  동호회앱후기  서민기  30대몸짱남만남

맨살 으뜸촌 인천한과 어도비플래 한국식물도감 잔차 무관할 여성캡틴 삼정동밥집 해물냉채소스

대치 월드안마 알만한 서부장 o1o-32oo-9873

[hotissuelist-blog]

[보배드림] 이효리의 소신 발언 - 2018-06-11 18:29:59

[루리웹(기기)] 삼각코어 이벤 최단루트(공수필수 지령썩는분) - 2018-06-11 18:29:54

[뽐뿌] [신한카드 올댓쇼핑]상반기 대결산 - 2018-06-11 18:29:48

[뽐뿌] 오랜만에 자작해봤습니다. - 2018-06-11 18:29:48

[딴지일보] [속보] 오늘 한미정상 통화…북미정상회담 하루 - 2018-06-11 18:29:28

[SLRCLUB] 35mm f2.8 Macro Limited 방진 - 2018-06-11 18:25:04

[SLRCLUB] 알리에서 오랜만에 지른 물건 - 2018-06-11 18:25:04

[SLRCLUB] LR44 밧데리 문의드��니다. - 2018-06-11 18:25:04

[SLRCLUB] a7m3 내수는 얼마정도에 팔아야 할까요? - 2018-06-11 18:25:04

[SLRCLUB] 아이패드로 그린 그림.jpg - 2018-06-11 18:25:04

[SLRCLUB] K3 디자인 대박이네요 ㄷ ㄷ - 2018-06-11 18:25:04

[보배드림] 선거판에서 제일 이해 안가는 등심같은 넘들 - 2018-06-11 18:24:59

[보배드림] 아직도 해매는 조선일보 - 2018-06-11 18:24:59

[루리웹(기기)] 휴가센세 신작 핫산이 나왔어요 - 2018-06-11 18:24:53

[루리웹(기기)] 한섭 검열해제 패치 제작중 - 2018-06-11 18:24:53

[루리웹(기기)] 우지챠 - 2018-06-11 18:24:53

[루리웹(기기)] [마감] USJ 2차 1시간 연장해서 15:30 - 2018-06-11 18:24:53

[루리웹(기기)] 길드에서 갑자기 욕을 먹는 순간.JPG - 2018-06-11 18:24:53

[루리웹(기기)] 해머유저의 역전왕 키린 공략을 글로 써보겠습니다 - 2018-06-11 18:24:53

[루리웹(기기)] [THIS WEEK] #4. 다시한번 정상을 향 - 2018-06-11 18:24:53

[루리웹(기기)] 탑근접챔들 정수 후기 - 2018-06-11 18:24:53

[루리웹(기기)] 욕숲 상시화 하면 생길 일 - 2018-06-11 18:24:53

[루리웹(기기)] 와우저 현실 - 2018-06-11 18:24:53

[루리웹(기기)] 라오어 멀티 한국인들 매너 드럽게 없네요 - 2018-06-11 18:24:53

[루리웹(기기)] 격아 사냥꾼 야수에 대하여. - 2018-06-11 18:24:53

[루리웹(기기)] 이것저것으로 원딜러를 가봤습니다. - 2018-06-11 18:24:53

[루리웹(기기)] 임무가 없는 날의 404 소대 - 2018-06-11 18:24:53

[루리웹(기기)] 장난감 상자에서 확인되는 현재까지 추가된 격아 - 2018-06-11 18:24:53

[루리웹(기기)] 티콘 얼라 PVP 길드 ARK - 2018-06-11 18:24:53

[루리웹(기기)] (충격) 무려 실화입니다. - 2018-06-11 18:24:53

[루리웹(기기)] [스포일러] 드러스트바 스토리 피날레 컷신 - 2018-06-11 18:24:53

[루리웹(기기)] 인간성 무한파밍 영상 - 2018-06-11 18:24:53

[루리웹(기기)] 여름 화방녀들 - 2018-06-11 18:24:53

[루리웹(기기)] 아니 MMORPG중에 와우보다 진입장벽 낮은게 - 2018-06-11 18:24:53

[루리웹(기기)] 스뎅이 한장 - 2018-06-11 18:24:53

[루리웹(기기)] 아시안게임 예선 최종 결과 관련 찌라시.TXT - 2018-06-11 18:24:53

[루리웹(기기)] 벌받는 아카시.jpg - 2018-06-11 18:24:53

[루리웹(기기)] 자유지대 컷신 - 2018-06-11 18:24:53

[루리웹(기기)] 이런거 올리면 용자 인정해줌? - 2018-06-11 18:24:53

[루리웹(기기)] 롤 30갓찍은 신입임. - 2018-06-11 18:24:53

[루리웹(기기)] 바니걸 4명이서 한명을.. .JPG - 2018-06-11 18:24:53

[루리웹(기기)] 초코우유_ep3 - 2018-06-11 18:24:53

[루리웹(기기)] [소전사전 v2] 소전사전이 새롭게 변했습니다! - 2018-06-11 18:24:53

[루리웹(기기)] 루리웹 최초! 투명 코카콜라 리뷰! - 2018-06-11 18:24:52

[루리웹(기기)] 블랙베리 키2 실기 사진 - 2018-06-11 18:24:52

[루리웹(기기)] 노트9 지문인식 위치 및 카메라 배열 - 2018-06-11 18:24:52

[루리웹(기기)] 간단한 맥주안주 콘치즈 만들기! - 2018-06-11 18:24:52

[루리웹(기기)] 한우 부채살~~~ - 2018-06-11 18:24:52

[루리웹(기기)] 자출 6개월차 후기 - 2018-06-11 18:24:52

[루리웹(기기)] 독립 후, 어느정도 정리된 제 개인취미 물품들입 - 2018-06-11 18:24:52

[루리웹(기기)] 독립한지 6개월이 지났습니다 - 2018-06-11 18:24:52

[루리웹(기기)] [2018 대한민국 라면박람회] 나만의 DIY - 2018-06-11 18:24:52

[루리웹(기기)] 팔도 막국수 - 2018-06-11 18:24:52

[루리웹(기기)] 나혼자 자전거 미국횡단 20일차에 만난 바람의 - 2018-06-11 18:24:52

[루리웹(기기)] 마누라 잔차(현 사망) 잉여 크랭크 꾸며주기(체 - 2018-06-11 18:24:52

[루리웹(기기)] (스압) 30대 빚없이 장만한 50평대 아파트 - 2018-06-11 18:24:52

[루리웹(기기)] 소고기 굽는날 - 2018-06-11 18:24:52

[루리웹(기기)] 궁보기정 (宮保鸡丁) - 2018-06-11 18:24:52

[루리웹(기기)] 공주 신관짬뽕 다녀왔습니다. - 2018-06-11 18:24:52

[루리웹(기기)] 부산 모터쇼에 전시된 hp4 - 2018-06-11 18:24:52

[루리웹(기기)] 갤럭시on7프라임 - 2018-06-11 18:24:52

[루리웹(기기)] 냥이 빗질 - 2018-06-11 18:24:52

[루리웹(기기)] 이케아에서 찰칵♥ - 2018-06-11 18:24:52

[루리웹(기기)] 32세 방사진입니다. - 2018-06-11 18:24:52

[루리웹(기기)] 삼성동 오스카(OSKAR)에서 먹은 피자와 스파 - 2018-06-11 18:24:52

[루리웹(기기)] 나의 이지은! - 2018-06-11 18:24:52

[루리웹(기기)] 고기와 가재에요 - 2018-06-11 18:24:52

[루리웹(기기)] 집에서 마르게리타 피자 만들기 - 2018-06-11 18:24:52

[루리웹(기기)] 부어서 먹는 점심 - 2018-06-11 18:24:52

[루리웹(기기)] 30대 십덕 직장인 원룸 - 2018-06-11 18:24:52

[루리웹(기기)] 구글 픽셀3XL 렌더링 이미지 - 2018-06-11 18:24:52

[루리웹(기기)] 삽겹살과 그 영혼의 친구를 영접했습니다 - 2018-06-11 18:24:52

[루리웹(기기)] 경북 김천에서 유명한 중국만두집 - 2018-06-11 18:24:52

[루리웹(자유)] 후기) 이전에 남친 문제로 상담글 올렸던 사람입 - 2018-06-11 18:24:51

[루리웹(자유)] 소니가 에볼루션 판 건 실수였음. - 2018-06-11 18:24:51

[루리웹(자유)] 애가 생겼습니다 - 2018-06-11 18:24:51

[루리웹(자유)] 부모를 버리면 나중에 후회하겠지요 - 2018-06-11 18:24:51

[루리웹(자유)] [추억]브레스 피해욧!!!! - 2018-06-11 18:24:51

[루리웹(자유)] 사유지 침입 캣맘 고소 관련 아시는 분 조언 부 - 2018-06-11 18:24:51

[루리웹(자유)] 사파원딜 목적에 따른 선택지 - 2018-06-11 18:24:51

[루리웹(자유)] 탑게 이건 인정한다 - 2018-06-11 18:24:51

[루리웹(자유)] 31세입니다. 고등학교 졸업 후에 허송세월로 1 - 2018-06-11 18:24:51

[루리웹(자유)] 와 왜 럭포터를 싫어하는지 느꼈다. - 2018-06-11 18:24:51

[루리웹(자유)] 학교폭력으로 날 지��준 중학교동창 연락해도될까요 - 2018-06-11 18:24:51

[루리웹(자유)] 제키가 2미터1인데요.... - 2018-06-11 18:24:51

[루리웹(자유)] 약팔아서 죄송합니다. - 2018-06-11 18:24:51

[루리웹(자유)] DAYS OF PLAY 할인 목록 - 2018-06-11 18:24:51

[루리웹(자유)] 블러드후프서버.. 안퀴라즈 징 사건 - 2018-06-11 18:24:51

[루리웹(자유)] Elv UI 기본 베이스 애드온 - 2018-06-11 18:24:51

[루리웹(자유)] 다시 사과문 - 2018-06-11 18:24:51

[루리웹(자유)] 쐐기주차팟 막넴서 추방 - 2018-06-11 18:24:51

[루리웹(자유)] 근데 지휘관 삭제 안하면 - 2018-06-11 18:24:51

[루리웹(자유)] 개인 EUI 프로필 - 2018-06-11 18:24:51

[루리웹(자유)] 라이엇 올해초부터 원딜박살낼 계획이었나봄 - 2018-06-11 18:24:51

[루리웹(자유)] ㅋㅋ 원징징이들 소원대로 됫자너 - 2018-06-11 18:24:51

[루리웹(자유)] 으악 부족한 실력에 군단끝물이지만 안토공략쓸려고 - 2018-06-11 18:24:51

[루리웹(자유)] 탑기도메타 꿀팁 방출합니다. 인증) - 2018-06-11 18:24:51

[루리웹(자유)] cs200개우디르vs cs130개 오공 - 2018-06-11 18:24:51

[루리웹(자유)] 도망왔당. - 2018-06-11 18:24:51

[루리웹(자유)] 멋있게 솔킬 딴 영상 올려봄 - 2018-06-11 18:24:51

[clearwombatgiantbear]

콩국물 잘 만드시는 잔차 타시는 누님께 18L 사서 메밀면으로 콩국수 해 묵기! 소화가 잘되유~~~ https://www.instagram.com/p/CfDlklup4wH/?igshid=NGJjMDIxMWI=

[lemoncar]

간만에 증말 간만에 잔차 끌고 나옴. #경인아라뱃길 #계양역 #계양대교 밑 #귤현나루 에서 한숨 돌리기. (at 경인아라뱃길)

[irunlab-blog]

아이런케이스 5가지 혁신적인 기능 1)충격보호에 우수한 특수소재,  3중샌딩기술  디자인으로 충격으로 부터  3중보호 2)1년 리사이클 AS정책으로 환경보호 3)유해물질 불검출,bpa free 안전한 국내생산으로  인체보호. 4)스트랩 기능으로 분���방지 5)특수코팅으로 지문방지 청결유지 경험으로, 더 똑똑하게 iRUN은 2010년 8월 IFACE로 첫 걸음을 뗐습니다. 아무도 생각하지 못한 핸드폰 케이스의 고급화, 세계 최초로 우레탄 폰 케이스 IFACE를 출시하며 이를 증명해 냈습니다. 이제 iRUN은 경험으로 함께 성장할 수 있는 방법을 연구하며, 스포츠 라이프에 대한 끊임없는 관심과 새로운 아이디어 표현과 라이프스타일을 창조합니다 🇰🇷Made in Korea🇰🇷  💥www.irunlab.com💥 @irun_lab #마실 #cyclingphotos #산행 #잔차 #프로야구 #야간라이딩 #감성라이딩 #아웃도어 #gymday #스키 #끝판 #muscle mania #트레킹 #픽시 #업힐 #겨울라이딩 #풋살 #수원라이딩 #죽을뻔 #비발디파크 #바디체크 #방망이 #광교호수공원 #허벌라이프24 #김연아 #운동후 #운동× #글러브 #휘닉스파크 #유벤투스

[kaylee-smartmoney]

흐르면 따라가면 되더이다 내 잔차 이름은 #썸 ㅋ #열정 #아재 #기부 #라이딩 #자덕 #자전거 #로드 #gopro #gopromax #gopropic #그란폰도 #가민 #포커스이자르코맥스  #스노우보드 #sup #수상스키 #트레일러닝 #프리다이빙 #xcrew #대박 #갑부 #펠라코리아 #lapassione #알바옵틱스 #펀드매니저 #운동하는남자 #teampedal #근육연금 https://www.instagram.com/p/B_z6kVugHTr/?igshid=obwjwo4a7xiq