Profile cover photo
Profile photo
Terry TaeWoong Um
317 followers -
A PhD student at U. Waterloo
A PhD student at U. Waterloo

317 followers
About
Posts

Post has attachment
#34. KL divergence, 순서가 중요할까요?
Kullback-Leibler Divergence (쿨벡-라이블러 다이버전스, 혹은 KL divergence) 많이 써보셨죠? 두개의 확률분포가 있을 때 둘 사이의 차이를 측정해주는 용도로 많이 쓰는데요, 아마 'KL Divergence는 거리처럼 쓰이지만 거리는 아니다'라는 얘기도 많이 들어보셨을 겁니다. 이유는 두 분포의 순서 중 어떤 것을 먼저 넣느냐에 따라 나오는 값이 달라지기 때문인데요, 즉 KL(P,Q) != KL(Q,P)라는거죠. 그렇다면......
Add a comment...

Post has attachment
#33. On Calibration of Modern Neural Networks
딥러닝으로 classification을 하면 "클래스 확률"이라 믿어지는 softmax 아웃풋이 나오죠? 하지만 아웃풋 노드값이 0.9가 나왔다고해서, 그것이 90% 확률로 맞을 가능성이 있다는 뜻은 아니랍니다. 그렇다면 0.9가 실제 "90% 정확도"를 표현하게 만들려면 어떻게 해야할까요? 이러한 주제를 calibration이라고 하는데요, 이번에 PR-12 논문읽기 모임에서 발표한 "On Calibration of Modern Neural Network...
Add a comment...

Post has attachment
#32. PCA의 이해
PCA라고 들어보셨나요? 보통 차원축소(dimensionality reduction)나 시각화(visualization), 그리고 특징 추출(feature extraction)을 할 때 많이 쓰는 방법인데요, 사실 PCA는 모든 dimensionality reduction 기법들의 기본이자 선형대수의 종합일 정도로 너무나 중요하고 꼭 숙지해야 할 기법입니다. 아름다울 뿐만 아니라 실용적이기도 하고요. 그래서 오늘은 PCA를 "수식없이" 살펴봤습니다. 내용이...
#32. PCA의 이해
#32. PCA의 이해
t-robotics.blogspot.com
Add a comment...

Post has attachment
#30. Deep Learning: A Critical Appraisal
이번에 리뷰한 논문은 논문이라기보단 칼럼에 가까운 글입니다. 딥러닝과 현재 딥러닝 연구들의 한계점들에 대해 이야기한 "Deep learning: A critical appraisal"이란 논문인데요, "왜 딥러닝을 이용해야하는가?", "딥러닝이 잘하는 것은 무엇이고 못하는 것은 무엇인가?", "인공지능은 얼마나 멀리있는가?" 등에 대해 이야기하려면 꼭 짚어봐야하는 내용들이죠. 심리학자이자 인공지능학자이자 우버에 스타트업을 매각한 사업가이기도 한 Gary M...
Add a comment...

Post has attachment
#20. ROC 커브 (+ AUC, Precision, Recall)
Accuracy가 성능을 나타내는 전부는 아니란거 다들 알고 계시죠? 지난번엔 암환자 진단의 예를 통해 accuracy의 함정을 알아보고, precision과 recall에 대해서 설명을 했는데요, 이번에는 이와 함께 많이 쓰이는 개념 중 하나인 ROC curve에 대해서 알아보았습니다. 특히 메디컬 페이퍼에선 신뢰성 있는 판단을 위해 ROC를 많이 이용하는데요, ROC란 무엇이고 도대체 왜 쓰는 것일까요? ROC에 대해 한번 알아보시죠. [비디오] [슬라...
Add a comment...

Post has attachment
#29. Tensorflow vs. PyTorch
딥러닝 공부를 시작하시는 분들의 큰 고민 중 하나가 짜장면이냐 짬뽕이냐가 아니라 Tensorflow냐 Pytorch냐일텐데요, 두가지를 가볍게 비교해 보았습니다. 결론은? 뭐든 그냥 손에 착 달라붙고 좀더 끌리는걸 하세요~ 저는 개인적으로 무엇을 선택했을까요...?^^ [Reference] "PyTorch vs Tensorflow" https://medium.com/towards-data-science/pytorch-vs-tensorflow-spotting...
#29. Tensorflow vs. PyTorch
#29. Tensorflow vs. PyTorch
t-robotics.blogspot.com
Add a comment...

Post has attachment
#28. Understanding Black-box Predictions via Influence Functions
Tensorflow KR에서 진행하고 있는 논문읽기 모임 PR12에서 발표한 저의 네번째 발표입니다. 이번에는 ICML2017에서 베스트페이퍼상을 받은 "딥러닝의 결과를 어떻게 이해할 수 있는가"에 대한 논문을 리뷰해보았습니다. 딥러닝은 성능은 좋지만 왜 그게 잘되는지 모르는, 그야말로 "블랙박스"와 같은 모델인데요, 이 논문에서는 '만약 A라는 트레이닝 데이터가 없다면 어떤 변화가 일어날까?', 'B라는 테스트 이미지에 가장 결정적인 영향을 주는 트레이닝...
Add a comment...

Post has attachment
#27. Cross entropy와 KL divergence
혹시 "classification을 위해 cross-entropy를 loss function으로 사용합니다" 라든지, "분포의 차이를 줄이기 위해 KL-divergence를 최소화시킵니다"와 같은 이야기를 들어보신 적 있으신가요? 정보의 양을 따질 때, 혹은 확률 분포들의 차이를 따질 때 중요하게 사용되는 개념 중 하나가 바로 Entropy인데요, 오늘은 엔트로피란 무엇인지에 대해 쉬운 예제와 함께 살펴봤습니다. 결론을 말씀드리자면 "엔트로피는 정보를 최적...
Add a comment...

Post has attachment
#26. 정보량을 나타내는 엔트로피 (Entropy)
혹시 "classification을 위해 cross-entropy를 loss function으로 사용합니다" 라든지, "분포의 차이를 줄이기 위해 KL-divergence를 최소화시킵니다"와 같은 이야기를 들어보신 적 있으신가요? 정보의 양을 따질 때, 혹은 확률 분포들의 차이를 따질 때 중요하게 사용되는 개념 중 하나가 바로 Entropy인데요, 오늘은 엔트로피란 무엇인지에 대해 쉬운 예제와 함께 살펴봤습니다. 결론을 말씀드리자면 "엔트로피는 정보를 최적...
Add a comment...

Post has attachment
#25. Learning with side information through modality hallucination (2016)
Tensorflow KR에서 진행하고 있는 논문읽기 모임 PR12에서 발표한 저의 세번째 발표입니다. 이번에는 "다양한 재료들을 어떻게 학습에 사용할 수 있을까"에 대한 내용을 발표하였습니다. 전형적인 supervised learning setting에선 이미지와 레이블을 주고 그것의 매핑을 학습하는데요, 사실 이미지 말고도 우리가 줄 수 있는 정보가 더 많을 수도 있습니다. 예를 들면 Kinect를 이용한 depth image 처럼 말이죠. 하지만 문제는...
Add a comment...
Wait while more posts are being loaded