Yayımdan önce açılan vaka dosyaları

AI İnceleme Masası

Bir cümleyi yayımlamadan önce bağımsız rollerle sınıyor, her alıntıyı doğrulanmış kaynaklarla eşleştiriyorum.

Son kontrol: Cem.

DOSYA: AİM-CLAIM-1DURUM: İNCELEME BEKLİYOR

İnceleme Modu

HİPOTEZ / ÖNERME

Yüksek doğruluk (accuracy), modelin güvenilir olduğunu kanıtlar mı?

Temel Önermeler:

Yüksek sınıflandırma doğruluğu tek başına bir modelin güvenilir veya kalibre olduğunu kanıtlamaz.
Modern sinir ağları zayıf kalibre edilmiş olasılıklar üretebilir.
İyi kalibre edilmiş bir sınıflandırıcının predict_proba çıktısı güven seviyesi olarak yorumlanabilir. — Kaynak, Brier skoru veya güvenilirlik eğrisini her sistem için zorunlu kılmaz.

İnceleme başlatılmaya hazır. Bir vaka ve mod seçip başlatabilirsiniz.

Kaynak Havuzu (2)

On Calibration of Modern Neural Networks

arXiv / International Conference on Machine Learning (ICML 2017) · Abstract, arXiv v2 landing page

“Confidence calibration -- the problem of predicting probability estimates representative of the true correctness likelihood -- is important for classification models in many applications. We discover that modern neural networks, unlike those from a decade ago, are poorly calibrated. Through extensive experiments, we observe that depth, width, weight decay, and Batch Normalization are important factors influencing calibration.”

Orijinal Kaynağı Aç

Probability calibration

scikit-learn developers, version 1.7 documentation · Section 1.16, Probability calibration

“Well calibrated classifiers are probabilistic classifiers for which the output of the predict_proba method can be directly interpreted as a confidence level. For instance, a well calibrated (binary) classifier should classify the samples such that among the samples to which it gave a predict_proba value close to 0.8, approximately 80% actually belong to the positive class.”

Orijinal Kaynağı Aç