AI,머신러닝 23

L1, L2 정규화(Regularization)

https://junklee.tistory.com/29 L1, L2 Norm, Loss, Regularization? 정규화 관련 용어로 자주 등장하는 L1, L2 정규화(Regularization)입니다. 이번에는 단순하게 이게 더 좋다 나쁘다보다도, L1, L2 그 자체가 어떤 의미인지 짚어보고자합니다. 사용된 그림은 위키피디아 junklee.tistory.com L1 Norm 과 L2 Norm 의 직관적 차이 위 그림을 보시면 두 개의 검은 점(벡터)를 잇는 여러 선들이 존재합니다. 벡터 사이의 거리를 재는 서로 다른 Norm을 표기한 셈입니다. 여기서 초록색 선이 우리가 가장 잘 알고있는, Euclidean distance, 즉 L2 Norm입니다. 단 하나의 경우밖에 있을 수 없지요. 그런데 나..

크로스 엔트로피 (Cross-Entropy)

https://towardsdatascience.com/understanding-binary-cross-entropy-log-loss-a-visual-explanation-a3ac6025181a Understanding binary cross-entropy / log loss: a visual explanation Have you ever thought about what exactly does it mean to use this loss function? towardsdatascience.com https://3months.tistory.com/436 Cross-entropy 의 이해: 정보이론과의 관계 Cross-entropy 의 이해: 정보이론과의 관계 1. 손실함수로서의 Cross-entropy ..

의사결정 트리(Decision Tree) - 피쳐 중요도(Feature Importance) 측정

2023.09.04 - [AI,머신러닝] - XGBoost 피쳐 중요도 https://medium.com/the-artificial-impostor/feature-importance-measures-for-tree-models-part-i-47f187c1a2c3 Feature Importance Measures for Tree Models — Part I An Incomplete Review medium.com https://mljar.com/blog/feature-importance-in-random-forest/ Random Forest Feature Importance Computed in 3 Ways with Python The feature importance (variable importanc..

AI,머신러닝 2023.09.01

의사결정 트리(Decision Tree) - C4.5 알고리즘

https://levelup.gitconnected.com/c4-5-decision-tree-explained-from-bottom-up-67468c1619a7 C4.5 Decision Tree. Explained from bottom up C4.5 Decision Tree is a complicated Algorithm to understand. It does require a lot of background knowledge. This blog has tried to collate… levelup.gitconnected.com https://tyami.github.io/machine%20learning/decision-tree-3-c4_5/ 의사결정 나무 (Decision Tree) C4.5 알고리즘..

AI,머신러닝 2023.08.24

의사결정 트리 (Decision Tree)

https://www.ibm.com/topics/decision-trees What is a Decision Tree | IBM Learn the pros and cons of using decision trees for data mining and knowledge discovery tasks www.ibm.com 트리 노드 분할 Decision tree 노드 분할 시 최적의 피쳐를 고르는 대표적인 방법으로는 정보 이득(information gain)과 지니 불순도(Gini impurity)가 있다. 정보 이득 (Information Gain) 정보 이득은 보통 노드 분할 전후의 엔트로피 차이를 뜻하지만, 엔트로피 대신 지니 불순도나 평균 제곱 오차(mean squared error) 등을 사용할 때에..

AI,머신러닝 2023.08.24

지니 불순도 (Gini Impurity)

https://www.learndatasci.com/glossary/gini-impurity/ Gini Impurity 7 Best Artificial Intelligence (AI) Courses Top courses you can take today to begin your journey into the Artificial Intelligence field. Learn more www.learndatasci.com 지니 불순도(Gini Impurity)는, 데이터셋에 다른 데이터가 섞여 있는 정도 - 데이터셋이 얼마나 완벽하게 하나의 클래스만 갖고 있는지(= 잘 분류되었는지) - 또는, 여러 클래스가 섞여 있는지(= 분류되지 않았는지)를 보여주는 지표 최소값은 0 - 완벽하게 분류됐음을 의미 (모든 ..