Amazon S3 5GB Upload Limit
-
Hi,
I have a Problem with saving big Backups to amazon S3. Despite beeing able to crate zip Archive with correct Size, each Backup is only 4.9GB in size on Bucket.
As far as I know this is magical border for single Uploads but I checked that multipart is enabled in the Job Setup. (Neither can I uncheck it, it is always checked and activated as soon as I reload the Site the checkbox is activated again)
Another fun fact is that as soon as I use zip as archive function the Backup Process takes forever. During the Process i see the following files under backWPup temp directory:
4.1G Nov 7 16:25 2022-11-07_14-53-40_YMGUZER401.zip 643M Nov 7 16:25 2022-11-07_14-53-40_YMGUZER401.zip.if9l4k
I guess the second file is the multipart file and if it reaches 4.1G in size their should be a new file created.
But as soon as it reaches 4.1G it is deleted and a new file is created. This happens well ….. forever…….Job log:
[INFO] BackWPup 3.10.0; Ein Projekt der Inpsyde GmbH [INFO] WordPress 6.0.3 auf https://planetmutlu.com/ [INFO] Log-Level: Normal (übersetzt) [INFO] BackWPup-Auftrag: FilelevelWeekly [INFO] Logfile ist: backwpup_log_371508_2022-11-07_14-53-40.html [INFO] Backup-Datei ist: 2022-11-07_14-53-40_YMGUZER401.zip [07-Nov-2022 14:53:40] 1. Versuche, die Datenbank zu sichern … [07-Nov-2022 14:53:40] Mit Datenbank pm_live auf db verbunden [07-Nov-2022 14:53:44] Datenbank-Backup ?pm_live.sql“ mit 505,77 MB zur Backup-Datei-Liste hinzugefügt [07-Nov-2022 14:53:44] Datenbank-Backup fertig! [07-Nov-2022 14:53:44] 1. Versuche, eine Liste der Verzeichnisse für das Backup zu erstellen … [07-Nov-2022 14:53:45] ?wp-config.php“ zur Backup-Datei-Liste hinzugefügt [07-Nov-2022 14:53:45] 1786 Verzeichnisse zu sichern. [07-Nov-2022 14:53:45] 1. Versuche, eine Liste der installierten Plugins zu erstellen … [07-Nov-2022 14:53:45] Die Datei mit der Plugin-Liste ?planetmutlu.pluginlist.2022-11-07.txt“ mit 1,91 kB zur Backup-Datei-Liste hinzugefügt. [07-Nov-2022 14:53:45] 1. Versuche, eine Manifest-Datei zu generieren … [07-Nov-2022 14:53:45] Die Datei manifest.json mit 2,92 kB wurde zur Backup-Datei-Liste hinzugefügt. [07-Nov-2022 14:53:45] 1. Versuche, Backup zu erstellen … [07-Nov-2022 14:53:45] Komprimiere Dateien als ZipArchive. Bitte haben Sie einen Moment Geduld.
Okay what can I do ?? try tar.gz as archive. This looks in the Job log like this:
[INFO] BackWPup 3.10.0; Ein Projekt der Inpsyde GmbH [INFO] WordPress 6.0.3 auf https://planetmutlu.com/ [INFO] Log-Level: Normal (übersetzt) [INFO] BackWPup-Auftrag: FilelevelWeekly [INFO] Logfile ist: backwpup_log_4f17b6_2022-11-03_12-34-31.html [INFO] Backup-Datei ist: 2022-11-03_12-34-31_UAGUZEQF01.tar.gz [03-Nov-2022 12:34:31] 1. Versuche, die Datenbank zu sichern … [03-Nov-2022 12:34:31] Mit Datenbank pm_live auf db verbunden [03-Nov-2022 12:34:35] Datenbank-Backup ?pm_live.sql“ mit 505,65 MB zur Backup-Datei-Liste hinzugefügt [03-Nov-2022 12:34:35] Datenbank-Backup fertig! [03-Nov-2022 12:34:35] 1. Versuche, eine Liste der Verzeichnisse für das Backup zu erstellen … [03-Nov-2022 12:34:36] ?wp-config.php“ zur Backup-Datei-Liste hinzugefügt [03-Nov-2022 12:34:36] 1785 Verzeichnisse zu sichern. [03-Nov-2022 12:34:36] 1. Versuche, eine Liste der installierten Plugins zu erstellen … [03-Nov-2022 12:34:36] Die Datei mit der Plugin-Liste ?planetmutlu.pluginlist.2022-11-03.txt“ mit 1,91 kB zur Backup-Datei-Liste hinzugefügt. [03-Nov-2022 12:34:36] 1. Versuche, eine Manifest-Datei zu generieren … [03-Nov-2022 12:34:36] Die Datei manifest.json mit 2,92 kB wurde zur Backup-Datei-Liste hinzugefügt. [03-Nov-2022 12:34:36] 1. Versuche, Backup zu erstellen … [03-Nov-2022 12:34:36] Komprimiere Dateien als TarGz. Bitte haben Sie einen Moment Geduld. [03-Nov-2022 12:34:51] WARNUNG: Dateiname ?wp-content/plugins/elementor-pro/assets/js/notes/vendors-node_modules_radix-ui_react-alert-dialog_dist_index_module_js-node_modules_radix-ui_r-c71607.js“ ist zu lang, um ihn korrekt im TarGz-Archiv zu speichern! ... TRUNCATED ... [03-Nov-2022 12:45:09] WARNUNG: Dateiname ?wp-content/uploads/2022/10/planetmutlu-Bremen-Agenturkater-Yokai-DALL·E-2022-08-19-10.23.21-Smiling-White-British-Shorthair-Cat-with-blue-eyes-playing-with-planets-in-the-style-of-Edvard-Munch-150x150.jpg“ ist zu lang, um ihn korrekt im TarGz-Archiv zu speichern! [03-Nov-2022 12:45:17] Backup wurde erstellt. [03-Nov-2022 12:45:17] Archivgr??e ist 8,64 GB. [03-Nov-2022 12:45:17] 51120 Dateien mit 9,40 GB im Archiv. [03-Nov-2022 12:45:17] 1. Versuche, ein Backup zum S3-Service zu senden … [03-Nov-2022 12:45:17] Verbunden zum S3 Bucket ?planetmutlu.com“ in eu-central-1 [03-Nov-2022 12:45:17] Prüfe auf nicht abgebrochene, mehrteilige Uploads … [03-Nov-2022 12:45:17] Upload zum S3 Service begonnen … [03-Nov-2022 12:55:08] FEHLER: Backup kann nicht zu Amazon S3 übertragen werden! (0) [03-Nov-2022 12:55:09] FEHLER: Job mit Fehlern beendet in 1238 Sekunden. Um eine korrekte Ausführung zu gew?hrleisten, müssen Sie die Fehler beheben.
Dont’t mind the Warnings due to too long paths.
So this time it finishes creating the Archive. It tells me a size of 9,40 GB.
But crashes during s3 transmission. Well at least it transmited 5.1 GB according to Amazon. Maybe tar.gz + Mutipart is a no! no!.But how am I supposed to Backup big sites ???
DEBUG_INFO
WordPress-Version: 6.0.3 BackWPup-Version: 3.10.0 PHP-Version: 7.4.29 (64bit) MySQL-Version: 10.5.6-MariaDB-1:10.5.6+maria~focal cURL-Version: 7.74.0 cURL-SSL-Version: OpenSSL/1.1.1n WP-Cron-URL: https://planetmutlu.com/wp-cron.php Server-Selbstverbindung: Response-Test OK. Document root: /var/www/html Temp-Verzeichnis: /var/www/html/wp-content/uploads/backwpup-0d4c92-temp/ Protokoll-Verzeichnis: /var/www/html/wp-content/uploads/backwpup-0d4c92-logs/ Server: Apache/2.4.53 (Debian) Betriebssystem: Linux PHP-SAPI: apache2handler Aktueller PHP-User: www-data Maximale Skript-Laufzeit: 30 Sekunden BackWPup Maximale Script-Ausführungszeit: 30 Sekunden Alternative WP Cron: Aus WP Cron abgeschaltet: Aus Verzeichnis-Rechte: 493 Server-Zeit: 15:52 Zeit der Website: 16:52 Zeitzone der Website: Europe/Berlin Zeitverschiebung der Website: 1 Stunden Sprache der Website: de-DE Zeichensatz des MySQL-Clients: utf8 PHP-Memory-Limit: 256M WordPress-Memory-Limit: 40M Maximales WordPress-Memory-Limit: 256M Benutzter Speicher: 2,00 MB Geladene PHP-Erweiterungen:: Core, PDO, Phar, Reflection, SPL, SimpleXML, Zend OPcache, apache2handler, bcmath, ctype, curl, date, dom, exif, fileinfo, filter, ftp, gd, hash, iconv, imagick, intl, json, libxml, mbstring, mysqli, mysqlnd, openssl, pcre, pdo_sqlite, posix, session, sodium, sqlite3, standard, tokenizer, xml, xmlreader, xmlwriter, zip, zlib
The page I need help with: [log in to see the link]
- The topic ‘Amazon S3 5GB Upload Limit’ is closed to new replies.