Q:
لماذا غالباً ما يصعب تدريب الشبكات العصبية المتكررة الاصطناعية؟
أ:ترتبط صعوبة تدريب الشبكات العصبية المتكررة الاصطناعية بتعقيداتها.
واحدة من أبسط الطرق لشرح سبب صعوبة تدريب الشبكات العصبية المتكررة هي أنها ليست شبكات عصبية متقدمة.
في الشبكات العصبية الأمامية ، تتحرك الإشارات في اتجاه واحد فقط. تنتقل الإشارة من طبقة الإدخال إلى مختلف الطبقات المخفية ، وإلى الأمام ، إلى طبقة الإخراج للنظام.
على النقيض من ذلك ، فإن الشبكات العصبية المتكررة وأنواع مختلفة من الشبكات العصبية لديها حركات إشارة أكثر تعقيدًا. يمكن تصنيف الشبكات العصبية المتكررة على أنها شبكات "تغذية مرتدة" ، ويمكن أن تحتوي على إشارات تنتقل إلى الأمام والخلف ، وقد تحتوي على "حلقات" مختلفة في الشبكة حيث يتم تغذية الأرقام أو القيم مرة أخرى في الشبكة. يربط الخبراء هذا مع جانب الشبكات العصبية المتكررة المرتبطة بذاكرتهم.
بالإضافة إلى ذلك ، هناك نوع آخر من التعقيد يؤثر على الشبكات العصبية المتكررة. مثال ممتاز على ذلك هو في مجال معالجة اللغة الطبيعية.
في معالجة اللغة الطبيعية المعقدة ، يجب أن تكون الشبكة العصبية قادرة على تذكر الأشياء. يجب أن تأخذ المدخلات في السياق ، أيضا. افترض أن هناك برنامجًا يريد تحليل كلمة أو التنبؤ بها داخل جملة من الكلمات الأخرى. قد يكون هناك ، على سبيل المثال ، طول ثابت من خمس كلمات للنظام لتقييمها. وهذا يعني أن الشبكة العصبية يجب أن يكون لها مدخلات لكل من هذه الكلمات ، إلى جانب القدرة على "تذكر" أو التدريب على سياق هذه الكلمات. ولهذه الأسباب وغيرها من الأسباب المماثلة ، عادة ما يكون للشبكات العصبية المتكررة هذه الحلقات والتعليقات المخفية الصغيرة في النظام.
يندب الخبراء أن هذه المضاعفات تجعل من الصعب تدريب الشبكات. واحدة من أكثر الطرق شيوعًا لشرح ذلك هي ذكر مشكلة التدرج المتفجر والتلاشي. بشكل أساسي ، تؤدي أوزان الشبكة إما إلى تنفجر أو اختفاء القيم بعدد كبير من التمريرات.
يشرح رائد الشبكة العصبية جيف هينتون هذه الظاهرة على شبكة الإنترنت بقوله إن الممرات الخطية المتخلفة ستؤدي إلى تقلص الأوزان الأصغر بشكل كبير وتنفجر أوزان أكبر.
ويواصل قائلاً إن هذه المشكلة تزداد سوءًا مع التسلسلات الطويلة والخطوات الزمنية العديدة ، التي تنمو أو تتحلل فيها الإشارات. قد تساعد تهيئة الوزن ، ولكن تلك التحديات مضمنة في نموذج الشبكة العصبية المتكررة. ستكون هناك دائمًا تلك المشكلة المرتبطة بتصميمها وبنائها. في الأساس ، بعض أنواع الشبكات العصبية الأكثر تعقيدًا تتحدى حقًا قدرتنا على إدارتها بسهولة. يمكننا خلق كمية لا حصر لها من التعقيد ، لكننا نرى في كثير من الأحيان أن تحديات القابلية للتنبؤ والقابلية للتطوير تتزايد.
