دقت خوب با وجود ارزش از دست دادن بالا

در طول آموزش یک طبقه بندی باینری شبکه عصبی ساده ، با استفاده از آنتروپی متقاطع ، مقدار از دست دادن بالایی را دریافت می کنم. با وجود این ، ارزش دقت در مجموعه اعتبارسنجی بسیار خوب است. آیا معنایی دارد؟بین از دست دادن و دقت ارتباط سختی وجود ندارد؟

من در آموزش و اعتبار سنجی این مقادیر: 0. 4011 - ACC: 0. 8224 - Val_loss: 0. 4577 - Val_Acc: 0. 7826. این اولین تلاش من برای اجرای یک NN است ، و من فقط به یادگیری ماشین نزدیک شدم ، بنابراین نمی توانم به درستی این نتایج را ارزیابی کنم.

$ begingroup $ آیا فقط در مجموعه آموزش یا اعتبارسنجی نیز ارزش ضرر بالایی را مشاهده می کنید؟آیا هنگام مقایسه مجموعه آموزش و مجموعه اعتبار سنجی ، دقت یا ضرر زیادی وجود دارد؟برخی از ارقام می توانند $ endgroup $ مفید باشند

4 پاسخ 4

من مسئله مشابهی را تجربه کرده ام.

من طبقه بندی کننده باینری شبکه عصبی خود را با از دست دادن آنتروپی متقاطع آموزش داده ام. در اینجا نتیجه آنتروپی متقاطع به عنوان تابعی از دوره. قرمز برای مجموعه آموزش است و آبی برای مجموعه آزمون است.

با نشان دادن صحت ، تعجب کردم که دقت بهتری برای Epoch 1000 در مقایسه با Epoch 50 ، حتی برای مجموعه آزمایش داشته باشم!

برای درک روابط بین آنتروپی متقاطع و دقت ، من به یک مدل ساده تر ، رگرسیون لجستیک (با یک ورودی و یک خروجی) حفر شده ام. در ادامه ، من فقط این رابطه را در 3 مورد خاص نشان می دهم.

به طور کلی ، پارامتر که در آن آنتروپی صلیب حداقل است ، پارامتر نیست که حداکثر دقت باشد. با این حال ، ممکن است انتظار داشته باشیم که بین آنتروپی متقاطع و دقت رابطه برقرار کنیم.

[در ادامه ، من فرض می کنم که شما می دانید آنتروپی متقابل چیست ، چرا ما به جای صحت برای آموزش مدل و غیره از آن استفاده می کنیم.]

تصویر 1 این نشان می دهد که پارامتر که در آن آنتروپی صلیب حداقل است ، پارامتر نیست که حداکثر دقت باشد و برای درک دلیل.

در اینجا داده های نمونه من است. من 5 امتیاز دارم و به عنوان مثال ورود ی-1 منجر به خروجی 0 شده است.

آنتروپی صلیب. پس از به حداقل رساندن آنتروپی متقاطع ، دقت 0. 6 را بدست می آورم. برش بین 0 تا 1 در x = 0. 52 انجام می شود. برای 5 مقدار ، من به ترتیب یک آنتروپی متقاطع از: 0. 14 ، 0. 30 ، 1. 07 ، 0. 97 ، 0. 43 را بدست می آورم.

دقت. پس از به حداکثر رساندن دقت در یک شبکه ، پارامترهای مختلفی را به دست می آورم که منجر به 0. 8 می شود. این می تواند با انتخاب برش x = -0. 1 به طور مستقیم نشان داده شود. خوب ، همچنین می توانید x = 0. 95 را برای برش مجموعه ها انتخاب کنید.

در حالت اول ، آنتروپی متقاطع بزرگ است. در واقع ، نکته چهارم بسیار دور از برش است ، بنابراین یک آنتروپی متقاطع بزرگ دارد. یعنی ، من به ترتیب یک آنتروپی متقاطع از: 0. 01 ، 0. 31 ، 0. 47 ، 5. 01 ، 0. 004 به دست می آورم.

در حالت دوم ، آنتروپی متقاطع نیز بزرگ است. در این حالت ، نکته سوم بسیار دور از برش است ، بنابراین یک آنتروپی متقاطع بزرگ دارد. من به ترتیب یک آنتروپی متقاطع از: 5E-5 ، 2E-3 ، 4. 81 ، 0. 6 ، 0. 6 را بدست می آورم.

$ A $ به حداقل رساندن آنتروپی صلیب 1. 27 است. برای این $ A $ ، می توانیم تکامل آنتروپی متقاطع و دقت را نشان دهیم که $ B $ متفاوت باشد (در همان نمودار).

تصویر 2 در اینجا من $ n = 100 $ می گیرم. من داده ها را به عنوان نمونه تحت مدل Logit با شیب $ A = 0. 3 $ و یک رهگیری $ B = 0. 5 $ گرفتم. من یک بذر را انتخاب کردم تا اثر زیادی داشته باشد ، اما بسیاری از دانه ها منجر به یک رفتار مرتبط می شوند.

در اینجا ، من فقط جالب ترین نمودار را ترسیم می کنم.$ B $ به حداقل رساندن آنتروپی صلیب 0. 42 است. برای این $ B $ ، می توانیم تکامل آنتروپی متقاطع و دقت را نشان دهیم که $ $ متفاوت باشد (در همان نمودار).

در اینجا یک نکته جالب وجود دارد: طرح مانند مشکل اولیه من به نظر می رسد. آنتروپی متقاطع در حال افزایش است ، $ $ A $ بسیار بزرگ می شود ، اما دقت همچنان در حال افزایش است (و سپس متوقف می شود).

ما نمی توانیم مدل را با این دقت بزرگتر انتخاب کنیم (ابتدا به این دلیل که در اینجا می دانیم که مدل زیرین با $ A = 0. 3 $!).

تصویر 3 در اینجا من $ n = 10000 $ ، با $ a = 1 $ و $ b = 0 $ می گیرم. اکنون می توانیم رابطه محکمی بین دقت و آنتروپی متقاطع مشاهده کنیم.

من فکر می کنم که اگر این مدل از ظرفیت کافی برخوردار باشد (کافی برای داشتن مدل واقعی) ، و اگر داده ها بزرگ باشد (یعنی اندازه نمونه به بی نهایت می رود) ، ممکن است در صورت حداکثر دقت آنتروپی ، حداقل برای مدل لجستیک حداقل باشد. بشرمن هیچ مدرکی در این مورد ندارم ، اگر کسی مرجع دارد ، لطفاً به اشتراک بگذارید.

کتابشناسی: موضوعی که به آنتروپی متقاطع و دقت پیوند می زند جالب و پیچیده است ، اما من نمی توانم مقالاتی را پیدا کنم که با این موضوع سروکار دارند. مطالعه صحت جالب است زیرا با وجود یک قانون به ثمر رساندن نادرست ، همه می توانند معنای آن را درک کنند.