سؤال كيف يمكنني تنزيل موقع ويب كامل؟


كيف يمكنني تنزيل جميع الصفحات من موقع الويب؟

أي منصة على ما يرام.


319


الأصل


الدفع serverfault.com/questions/45096/website-backup-and-download على خطأ الخادم. - Marko Carter
tnorthcutt ، أنا مندهش للغاية. إذا لم أتذكر خطأ فظيماً ، فإن إجابتي على Wget اعتادت أن تكون الإجابة المقبولة ، وبدا هذا وكأنه شيء مستقر. أنا لا أشكو على الرغم من ذلك - فجأة أعطتني الانتباه المتجدد أكثر من قيمة ما يستحقه. : P - Jonik
هل جرحت IDM؟ superuser.com/questions/14403/... يتم دفن منصبي أسفل. ماذا وجدت في عداد المفقودين في IDM؟ - Lazer
joe: قد تساعدك إذا كنت تعطي تفاصيل حول الميزات المفقودة ... - Ilari Kajaste
browse-offline.com يمكن تحميل شجرة كاملة من موقع الويب حتى تتمكن من ... تصفحها دون اتصال - Menelaos Vergis


الأجوبة:


HTTRACK يعمل كبطل لنسخ محتويات الموقع بأكمله. يمكن لهذه الأداة أيضًا أن تلتقط القطع اللازمة لإنشاء موقع ويب به محتوى ترميز نشط يعمل دون اتصال. أنا مندهش من الاشياء التي يمكن أن تتكرر دون اتصال.

سيقوم هذا البرنامج بكل ما تطلبه.

صيد سعيد!


310



تم استخدام هذا لسنوات - يوصى بشدة. - Umber Ferrule
يمكنك أيضًا تقييد سرعة التنزيل بحيث لا تستخدم الكثير من النطاق الترددي على حساب أي شخص آخر. - Umber Ferrule
هل هذه النسخة رمز ASP الفعلي الذي يعمل على الخادم على الرغم من؟ - Taptronic
@ حلول الاكتتاب: لا ، هذا غير ممكن. ستحتاج إلى الوصول إلى الخوادم أو رمز المصدر لذلك. - Sasha Chedygov
بعد تجربة كل من httrack و wget للمواقع ذات التخويل ، يجب علي أن أميل لصالح wget. لا يمكن الحصول على httrack للعمل في تلك الحالات. - Leo


مجلد مشترك هو أداة سطر الأوامر الكلاسيكية لهذا النوع من المهام. يأتي مع معظم أنظمة يونكس / لينكس ، ويمكنك الحصول عليه للنوافذ جدا. على جهاز Mac البيرة هي أسهل طريقة لتثبيتها (brew install wget).

ستفعل شيئًا مثل:

wget -r --no-parent http://site.com/songs/

لمزيد من التفاصيل ، انظر دليل Wget و أمثلةأو على سبيل المثال التالية:


243



لا توجد إجابة أفضل من هذا - يمكن أن تفعل wget أي شيء: 3 - Phoshi
إجراء 1+ لتضمين - no-parent. بالتأكيد استخدام --mirror بدلا من -r. وقد ترغب في تضمين -L / - نسبة إلى عدم اتباع الروابط إلى خوادم أخرى. - quack quixote
كما سألت أيضا عن httrack.com - هل هذه أداة سطر cmd الحصول على ASP الشفرة أو أنها ستجعل مجرد تقديم HTML؟ يجب علي محاولة ذلك. قد يكون هذا مثيرًا للقلق قليلاً بالنسبة للمطورين إذا كان ... - Taptronic
@ optimal ، خرج HTML بالطبع - سيحصل على الكود فقط إذا كان الخادم سيء التكوين بشكل سيئ - Jonik
للأسف لا يعمل بالنسبة لي - وجود مشكلة مع وصلات إلى ملفات المغلق، فهي لم تتغير إلى أي نسبي، يمكنك ان ترى شيئا من هذا القبيل في الملفات: <الارتباط يختلط = "أنماط" نوع = "نص / المغلق" أ href = "/ static / css / reset.css" media = "screen" /> التي لا تعمل بشكل جيد محليًا ، ما لم يكن هناك waz لخداع فايرفوكس للاعتقاد بأن دير معين هو الجذر. - gorn


استخدم wget:

wget -m -p -E -k www.example.com

الخيارات الموضحة:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

126



+1 لتقديم التفسيرات للخيارات المقترحة. (على الرغم من أنني لا أعتقد ذلك --mirror هو واضح جدا. هنا من صفحة الرجل: "يقوم هذا الخيار بتشغيل التكرار وختم الوقت ، وتحديد عمق الاستعادة اللانهائي ويحافظ على قوائم دليل FTP. وهو يعادل حاليًا -r -N -l inf - عدم إزالة القائمة") - Ilari Kajaste
إذا كنت لا تريد تنزيل كل شيء في مجلد باسم النطاق الذي تريد نسخه ، أنشئ مجلدك واستخدم الخيار -nH (الذي يتخطى جزء المضيف). - Rafael Bugajewski
ماذا لو تطلب المصادقة؟ - Val
حاولت استخدام الخاص بك wget --mirror -p --html-extension --convert-links www.example.com وانها مجرد تحميل الفهرس. أعتقد أنك بحاجة إلى -r لتنزيل الموقع بأكمله. - Eric Brotto
لأولئك المعنيين حول قتل موقع بسبب حركة المرور / طلبات كثيرة جدا، استخدم -w seconds (لانتظار عدد من secconds بين الطلبات ، أو --limit-rate=amount، لتحديد الحد الأقصى لعرض النطاق الترددي لاستخدامه أثناء التنزيل - vlad-ardelean


يجب عليك إلقاء نظرة على سجل الصور، تمديد فايرفوكس. لديها وضع التقاط عميق.

enter image description here


8



لم تعد متوافقة مع فايرفوكس بعد الإصدار 57 (Quantum). - Yay295


مدير تحميل الانترنت يحتوي على أداة Site Grabber مع الكثير من الخيارات - والتي تمكنك من تنزيل أي موقع تريده تمامًا ، بالطريقة التي تريدها.

  1. يمكنك ضبط الحد على حجم الصفحات / الملفات المراد تنزيلها

  2. يمكنك تعيين عدد مواقع الفروع للزيارة

  3. يمكنك تغيير الطريقة التي تتصرف بها البرامج النصية / النوافذ المنبثقة / المكررة

  4. يمكنك تحديد نطاق ، فقط تحت هذا المجال سيتم تنزيل جميع الصفحات / الملفات التي تستوفي الإعدادات المطلوبة

  5. يمكن تحويل الروابط إلى روابط بلا اتصال للتصفح

  6. لديك قوالب تسمح لك باختيار الإعدادات أعلاه لك

enter image description here

البرنامج غير مجاني - انظر إذا كان يناسب احتياجاتك ، استخدم إصدار التقييم.


8





itsucks - هذا هو اسم البرنامج!


7





سأعالج التخزين المؤقت عبر الإنترنت الذي تستخدمه المتصفحات ...

عادةً ما تستخدم معظم المتصفحات ذاكرة تخزين مؤقت للاحتفاظ بالملفات التي تقوم بتنزيلها من موقع ويب قليلاً حتى لا تضطر إلى تنزيل الصور الثابتة والمحتوى مرارًا وتكرارًا. هذا يمكن أن تسرع الأمور قليلاً في بعض الظروف. بشكل عام ، فإن معظم ذاكرة التخزين المؤقت للمتصفح تقتصر على حجم ثابت وعندما تصل إلى هذا الحد ، ستقوم بحذف أقدم الملفات في ذاكرة التخزين المؤقت.

يميل مزودو خدمات الإنترنت إلى امتلاك خوادم مؤقتة تحفظ نسخًا من مواقع الويب التي يتم الدخول إليها بشكل شائع مثل ESPN و CNN. هذا يوفر عليهم مشكلة ضرب هذه المواقع في كل مرة يذهب شخص ما على شبكته هناك. هذا يمكن أن يصل إلى وفورات كبيرة في كمية الطلبات المتكررة إلى مواقع خارجية إلى ISP.


5