#wget

[irradiate-space]

wgat would we do without wget?

[brightgreendandelions]

downloading a tumblr backup is very fun /s

[blackmoreops]

Download Entire Website in Linux

Downloading an entire website can be incredibly useful for various purposes, from creating local backups to analysing website structure offline. The wget command-line tool offers a powerful and flexible solution for downloading complete websites with just a few simple commands. Whether you’re a developer, content creator, or digital archivist, understanding how to download an entire website using…

[a7la-home]

أوامر Linux لتحميل وفك ضغط الملفات مباشرة من terminal

إدارة الملفات من خلال الطرفية في Linux توفر كفاءة وسرعة في التعامل مع المهام اليومية. باستخدام أوامر مثل wget وcurl، يمكنك تحميل الملفات من الإنترنت مباشرة، ومن ثم استخدام tar أو unzip لفك ضغطها، كل ذلك دون الحاجة إلى واجهة رسومية.

كنتُ أنزل الملفات وأفك ضغطها باستخدام متصفح ومدير ملفات، حتى أدركتُ أنني أستطيع القيام بذلك من خلال نافذة الأوامر، دون الحاجة للنقر أو الانتقال بين النوافذ. الآن، أستخدم ستة أوامر فقط طوال الوقت. إليك ما هي ولماذا تستحق الحفظ.

ابدأ بـ Wget: أمري الافتراضي للتنزيل السريع

كان أول أمر استخدمته لتنزيل شيء ما من سطر الأوامر هو Wget. إنه مُدمج في معظم توزيعات لينكس وسهل الاستخدام للغاية. هل تريد تنزيل ملف من رابط؟ ما عليك سوى تشغيل: wget https://example.com/file.zip

هذا كل شيء. يُحفظ الملف في مجلد العمل الحالي. إذا أردت إعادة تسمية الملف أثناء تنزيله، يمكنك استخدام الخيار -O: wget -O newname.zip https://example.com/file.zip هذا مفيد عندما يكون اسم ملف URL طويلًا أو غريبًا، وترغب في الحفاظ على ترتيبه. خيار آخر أستخدمه كثيرًا هو -q، الذي يُلزم wget بالعمل بهدوء. لن يكون هناك أي مُخرَجات إلا في حال وجود خطأ: wget -q https://example.com/file.zip هذا مفيد في البرامج النصية أو عندما لا أريد أن أملأ نافذة الأوامر بنتائج التقدم.

عند فشل wget، أستخدم cURL

في معظم الحالات، يُنجز Wget المهمة. لكن في بعض الأحيان لا يعمل، خاصةً إذا كان الملف مُعاد توجيهه أو كان الخادم يتوقع عناوين مختلفة. عندها أنتقل إلى cURL. إليك الصيغة الأساسية التي أستخدمها: curl -L https://example.com/file.zip -o file.zip

يُرشد الأمر -L برنامج curl لاتباع عمليات إعادة التوجيه. قد يفشل الأمر بدونه إذا كان عنوان URL يُشير إلى إعادة توجيه بدلاً من الملف نفسه. يُرشد الأمر -o برنامج curl فقط إلى تسمية الملف بعد تنزيله. بصراحة، يتطلب استخدام cURL بعض العناء إذا بدأتَ بالتعمق في جميع خياراته. مع ذلك، يُغطي هذا الأمر معظم حالات الاستخدام لتنزيلات الملفات البسيطة.

بعد ذلك، فك الضغط لاستخراج ملفات .zip

بعد التنزيل، غالبًا ما أحتاج إلى استخراج المحتويات. بالنسبة لملفات ZIP، يكون أمر فك الضغط بسيطًا. لفك ضغط ملف في المجلد الحالي، اكتب: unzip file.zip

سيؤدي هذا إلى استخراج كل شيء إلى المجلد الحالي. إذا كنت ترغب في تنظيم الأمور بشكل أفضل، يمكنك استخراجها إلى مجلد محدد: unzip file.zip -d myfolder إذا لم يكن المجلد موجودًا، فسيُنشئه برنامج فك الضغط تلقائيًا. أحيانًا أواجه مشاكل عندما تكون بعض الملفات موجودة لديّ بالفعل، ولا أرغب في استبدالها. في هذه الحالة، أستخدم: unzip -n file.zip الخيار -n يعني "عدم الكتابة فوق الملفات الموجودة أبدًا". من ناحية أخرى، إذا كنتُ أقوم بعمل سريع وأريد الكتابة فوقها دون طلب، فسأستخدم: unzip -o file.zip وهذا ينقذني من الإجابة بـ "نعم" أو "لا" عشرات المرات.

بالنسبة لأرشيفات tar، حفظتُ هذه الاختلافات في tar

ملفات ZIP ليست الصيغة الوحيدة التي ستراها. على لينكس، يُعدّ كلٌّ من .tar.gz و.tar.bz2 شائعين أيضًا، خاصةً عند التعامل مع حزم البرامج أو الشيفرة المصدرية أو أرشيفات النسخ الاحتياطية في لينكس. إليك ما أستخدمه لاستخراجها: tar -xzf archive.tar.gz وللملفات المضغوطة بصيغة bzip2: tar -xjf archive.tar.bz2

إذا كنت أريد فك ضغط المحتويات في دليل محدد، أقوم بإضافة العلم -C: tar -xzf archive.tar.gz -C myfolder ما يعجبني في tar هو أنه يسمح لك بمعاينة محتويات الأرشيف قبل استخراج أي شيء: tar -tf archive.tar.gz يشير رمز -t إلى "اختبار" أو "قائمة"، مما يتيح لك رؤية ما تتعامل معه قبل فك ضغط الملف بالكامل.

ألقي نظرة سريعة دائمًا قبل الاستخراج

أفضّل سرد المحتويات قبل استخراج أي شيء، خاصةً إذا لم أكن متأكدًا مما بداخله. بالنسبة لملفات .zip، يبدو ذلك كما يلي: unzip -l file.zip وبالنسبة لملفات .tar، أستخدم: tar -tf file.tar.gz

أحيانًا يحتوي الأرشيف على مجلد رئيسي واحد، وأحيانًا أخرى على مجموعة كبيرة من الملفات. معرفة ما ستستخرجه يُجنّبك الفوضى. بعد فك ضغط أي ملف، عادةً ما أقوم بـ: ls هذا فقط للتأكد من أن كل شيء وصل إلى المكان الذي توقعته. ثم انتقلت إلى المجلد الجديد: cd foldername

ميزة إضافية: دمج كل شيء في أمر واحد

من أفضل مزايا استخدام الطرفية سهولة ربط الأوامر معًا. على سبيل المثال، إليك كيفية تنزيل ملف وفك ضغطه في سطر واحد: wget https://example.com/files.zip && unzip files.zip -d extracted/ أو باستخدام Curl: curl -L https://example.com/files.zip -o files.zip && unzip files.zip لقد أعددتُ بعض الدوال في ملف .bashrc الخاص بي والتي تُمكّنني من إعادة استخدام هذه الأوامر مع أي عنوان URL. لذا يُمكنني الآن تشغيل getzip أو gettar دون الحاجة إلى إعادة كتابة الأمر بالكامل في كل مرة.

أنت في طريقك إلى حرية استخدام الطرفية

لقد غيّر تعلّم تنزيل الملفات وفك ضغطها دون مغادرة الطرفية عملي. فهو أسرع، ويُحافظ على تركيزي، ويعمل بنفس الطريقة على جميع أنظمة لينكس التي أستخدمها. بمجرد تكراره عدة مرات، يُصبح الأمر مُرهقًا. أوصي بشدة بالاعتياد على هذه الأوامر إذا كنت تُجري أي نوع من التطوير أو البرمجة النصية أو أعمال الأنظمة على لينكس. ستوفر الوقت، وتُقلل النقرات، وتشعر بمزيد من التحكم في نظامك. باستخدام أوامر الطرفية في Linux، يمكنك تحميل وفك ضغط الملفات بكفاءة وسرعة، مما يعزز من إنتاجيتك ويقلل من الاعتماد على الواجهات الرسومية. تعلم هذه الأوامر يفتح أمامك آفاقًا جديدة في إدارة الملفات والتحكم الكامل في نظامك. Read the full article

[jijimachu]

Oswald’s dad is so… dad

[batterys-oc-blog]

[utopicwork]

Okay, after disabling a couple modules we aren't using we seem to be good to load up to ~100 kB files in one go through the web interface

Im using a directory listing compiled using Pythons built in http server which I run and wget off the build machine before putting it on the micro sd to give a simple interface for browsing without too much screwing around.

Note: the text is split into 5kB pieces in the image which is no longer necessary

[irradiate-space]

I'm trying to download a series of files from a file host (HTTPS) which refuses to allow more than one download at a time.

wget --wait 11 --random-wait -c --http2-request-window 1 -i urls.txt

wget is being very helpful, noticing the presence of HTTP/2 support, and is attempting to parallelize the download with as many connections as the server will support (6). The server 429's all connections after the first; this breaks wget -i and requires me to manually re-trigger the process after each file is finished downloading.

Is there a way to get wget to only make one (1) request at a time?

Edit: --max-threads=1 solves it.

Turns out it wasn't HTTP/2; it's that when I switched from Ubuntu to Fedora I got as a bonus a packaged version of wget (GNU wget2) that supports multithreading.

[jjcocker]

LOOKA T WGET HER RRBE YHR TGE LOOK AT HEF THE . YHE JJ GJRLER THE ROCKHER THE JJR THE THEY EH GEH

[awesomeart-83]

My take on the Missing Kids of FNAF 1

This is a focus on one of my AUs called Mansion Made. I won’t go into this AU too much here, but the main gist and plot divergence is that William doesn’t kill the kids and neither does Henry. It will also take much inspiration from

CWs: Child Abuse, Child Murder (detialed description), Divorce, Child Death, Animal death (impiled)

Gabriel

Age: 9

Jermey

Age: 8

A kid who wanted to be a baseball player (when he was alive) and is Gabriel’s best friend.

Susie

Age: 7

The youngest of the group, Susie is a wild spirit but the most innocent one. Her parents

Death: She was the third to go. During the first weeks of summer break, her beloved dog Cupcake went missing.

That wasn’t Cupcake.

Fritz

Age: 8

A troubled child who moved in a few months ago and haven’t fit in. He is misunderstood by most adults and kids of Hurricane as a nothing but a troublemaker. He didn’t know what Gabriel or Susie saw in

Death: When he saw what they did to his friends (his only

Cassidy

Age: 10

The oldest kid, having lived in Hurricane for 5 years. Due to having a….. difficult relationship with her father, she has a very close relationship with Mr. Afton, who runs Fazbear Pizzeria. She is the definition of cheerful, having a go getter attitude and is the co leader alongside Gabriel although Jermey protests over it.

She is a regular costumer

Death: After all of her friends disappeared, Cassidy was getting desperate, so she started to investigate their disappearances while having nightmares. When she confronted them for the sake of getting revenge for her murdered friends, they managed to slice and damaged their ear. While attempting to escape them, she discovered a abandoned suit lying there so she slide in it to hide from him. As they passed by, she thought that she needed wget out in order to attack them from behind

Well, that’s well-known history for the rest of them.

BONUS

Charlie Emily

Age: Wait… what is SHE doing here?

She isn’t supposed to be here

Death:

(Yes, that plot twist in TFC will still happen.)

Picrews I used:

[leolaroot]

theyre taking away my blood tomorrowwww wgets scared. okay i have to pee then im eatjng dinner of some description then who knoes

[sammypog]

wget vvcitroe frankwsteiwned idot

oh fuck oh shit ive already reached my limit of gay thoughts about him today oh fuck what have you done!!!! transforms gruesomely into henry clerval and immediately starts making out sloppy style with him

[batking-lich]

can anyone link me to like. a simple baby tutorial for archiving websites. or a string of tutorials to go from baby to competent. i've tried looking stuff up but almost everything i found assumes i have way more technical knowledge than i actually do. i don't want to just rely on the internet archive for everything since that can be taken down. i have zero python experience and i don't know what a wget is

i've tried using webrecorder which is mostly fine but it just cannot handle anything with infinite scroll, it just outright doesn't work. i have a lot of time on my hands and don't mind manually visiting pages to save them, though there are some larger sites where this would be a bit of a daunting task. i think i'd actually prefer to be more hands-on with it, just in case? i'm also cheap and don't really wanna buy expensive software if i can help it

[faggotstump]

Wget the fuxk

[mcb3k]

So, wrote a dumb bash thing

$> count=$(wc -l media-links.txt) $> for i in $(cat media-links.txt); do wget $i; file=echo $i | awk -F '/' '{print $NF}'; mv $file $count-$file; count=$((count - 1)); sleep 2 ; echo ================================; done

It mostly works, although that sleep apparently needs to be longer because I was getting of "ERROR 429: Too Many Requests".

The rename doesn't always work because sometimes the URL has a URL encoded character, which gets decoded by wget when the actual file gets saved. e.g.

--2024-07-01 00:11:17-- https://static1.squarespace.com/static/55dca83de4b018ac1524526f/t/622990a6d88dfa624f168cbd/1646891207920/Samuel+Spruce%2C+The+Little+Wooden+Boy+in_+The+Frosty+Wood.mp3 Resolving static1.squarespace.com… 146.75.32.238 Connecting to static1.squarespace.com|146.75.32.238|:443… connected. HTTP request sent, awaiting response… 200 OK Length: 33151680 (32M) [audio/mpeg] Saving to: ‘Samuel+Spruce,+The+Little+Wooden+Boy+in_+The+Frosty+Wood.mp3’ Samuel+Spruce,+The+Little+Wooden+Boy+in_+The+Frosty 100%[=================================================================================================================>] 31.62M 20.2MB/s in 1.6s 2024-07-01 00:11:19 (20.2 MB/s) - ‘Samuel+Spruce,+The+Little+Wooden+Boy+in_+The+Frosty+Wood.mp3’ saved [33151680/33151680] mv: can't rename 'Samuel+Spruce%2C+The+Little+Wooden+Boy+in_+The+Frosty+Wood.mp3': No such file or directory

Anyway, that's a problem for future me.

[cyber-sec]

Malicious Go Modules Deliver Disk-Wiping Linux Malware in Advanced Supply Chain Attack

Source: https://thehackernews.com/2025/05/malicious-go-modules-deliver-disk.html

More info: https://socket.dev/blog/wget-to-wipeout-malicious-go-modules-fetch-destructive-payload