Backups maken en bewaren low-cost

[Joshua Orbit]

In een opwelling heb ik een 2e-handse NAS overgenomen van iemand via Marktplaats, Facebook, en deze opgesteld in mijn kleine huis-labo.

Ik heb een betalende Cloud gekocht van 2Tb bij pCloud maar het is een heel gedoe om daar backups op te synchroniseren.
Even nagedacht en voor amper 65 € een NAS van Zyxel gekocht mét een 2TB Western Digital Red Label - disk er nog in .
De Firmware is overgezet naar openWRT om eventuele Mac-blocks van de ISP grondig te omzeilen.

Zowel mijn backup laptops (synchrone laptops met Zorin OS 16 er op - 1 met -17 er op) als mijn huidige laptop (Fedora Workstation -40) synchronizeren perfect .... en dankzij openWRT heb ik vele opties via de Firmware om backups te maken.

Het leven van een IT-er draait om backups ..... Wat doen jullie zo al om met backups om te gaan ?

Op AliExpress kost een Western Digital Red Label - disk een goede 48 Euri voor een 1 Tb versie ..... de verzendkosten zijn de killer in China.
Tevens een kleine vraag aan jullie: ik zou willen overwegen om de 2Tb (mechanische -) harde schijf te vervangen met een NAS SSD van 4 Tb (die dingen staan nu in de aanbieding in China). Moet ik dan ook montagestukken kopen (2,5" --- 3,5" formaat van de disk) ? Of kan je ze gewoon erin meppen zonder al te veel gedoe ? Hoe doen jullie dat ?

[De-Witte]

De Firmware is overgezet naar openWRT.

Het leven van een IT-er draait om backups ..... Wat doen jullie zo al om met backups om te gaan ?

Tevens een kleine vraag aan jullie: ik zou willen overwegen om de 2Tb (mechanische -) harde schijf te vervangen met een NAS SSD van 4 Tb (die dingen staan nu in de aanbieding in China). Moet ik dan ook montagestukken kopen (2,5" --- 3,5" formaat van de disk) ? Of kan je ze gewoon erin meppen zonder al te veel gedoe ? Hoe doen jullie dat ?

Ik backup dagelijks meermaals mijn werkzaamheden die ik verricht heb naar 2 Seperate HDD. Maak wekelijks een systeem back-up. En dagelijks een backup van mijn /home/persoonlijke map wel alleen de gebruikte mappen naar ook 2 Seperate HDD.

Ik heb een Qnap TS230 12 TB voor mijn media bestanden en back-up waar ik maandelijks de nieuwste systeem back-up naar toe kopieer.
In deze nas zitten 2 x 3.5 inch bays met montage plaatsen voor 2.5 en 3.5 HDD / SSD.
De gebruiksaanwijzing van jouw nas zal uitkomst bieden over hoe jij je 2.5 inch HDD of SSD kan monteren.

Let op met data dragers in China en koop alleen een A merk SSD omdat er veel mee geknoeid wordt. Als het te goedkoop lijkt is het dat gegarandeerd ook. Ik lees o.a. dat ze meerdere geheugen kaartjes op printjes plaatsen in een 2.5 inch SSD behuizing die dan voor 4 TB door gaat. Wees gewaarschuwd.

Open WRT is heel goed in router en NAS firmware en daar haperen de meeste instap NAS-sen dan ook op, de meegeleverde firmware en besturingssoftware is vaak een draak om te bedienen of te configureren.

Gelukkig valt QNAP wel mee maar open WRT zou zeker beter zijn. Met mijn 12 TB aan data kan ik echter geen gekke dingen gaan doen met het gevaar dit voor goed kwijt te raken aangezien de data nu slecht 2x voorhanden is 1 x op de NAS en 1 x op mijn media server pc.
Van Zyxel zijn zeker handleidingen te vinden zoek maar eens op merk en type.
Gr Gerard.

PS als ik met het terminalvenster werk is dat bij mij altijd Terminaal ook van de week weer een terminaal probleem gehad en dan weet je hoe belangrijk een goed back-up is.
Hoe meer data je hebt des te langer het duurt eerdat je pc weer terug ok is en een dag is snel voorbij.

[Joshua Orbit]

@De-Witte met die SSD van China ga ik inderdaad een beetje voorzichtig zijn met de aankoop ervan. Een SSD - expert heeft me trouwens op het hart gedrukt dat dan weer mechanische schijven een stuk meer dankbaar zijn omwille van persistente resten van data op de schijf. Een SSD is erg moeilijk te resetten en je moet al industrieel formatteren met NVM-tools om de NAND-poorten terug op reset te krijgen. Heel omslachtige procedure helaas. En met een mechanische schijf is het stukken meer eenvoudig, vandaar dat vele fabrikanten dus 3,5 inch nemen ipv de toch goedkopere SSD-versies van 2,5 .

OpenWRT is een erg complete software die dient als Firmware. Soms gaat het ook mijn petje te boven om te ontrafelen wat de instellingsopties zoal te bieden hebben. Ook erg rigide en technisch aandoend .... Ik ben zeker dat vele thuisgebruikers openWRT niet in dank zullen aannemen.

Dus op het lijstje een mechanische schijf van 4 Tb en ik denk dat ik het gewoon in de locale economie ga aankopen .... die Chinezen durven nogal veel prutsen met bestaande goede dingen. Hoewel ..... mijn laptop SSD's 500 Gb exemplaren zijn van een Chinees merk 'GoldenFir' en ik heb er 0,0 problemen mee. Die dingen zijn nu toch al + 2 jaren oud.

[stegiman]

Ik heb Qnap en synology NAS met Harddisk schijven.
Ik heb totaal geen bang dat er iets verloren gaat want als je goed afstelt kan je gemakkelijk een kapotte schijf eruit halen en een nieuwe insteken zonder verlies van data. (Meegemaakt)

Dat SSD moeilijk data te wissen zijn is eerder een fabel.
Zelfs als de harddisk kapot is kan men enkel de schijf eruit halen en nog data eruit halen.

De meeste SSD die ik kapot gingen waren meer dan 10 jaar oud.
De huidige M2 SSD is ook al 9 jaar oud.

Ze zijn wel allemaal van bekende merken.

[De-Witte]

Ik heb Qnap en synology NAS met Harddisk schijven.
Ik heb totaal geen bang dat er iets verloren gaat want als je goed afstelt kan je gemakkelijk een kapotte schijf eruit halen en een nieuwe insteken zonder verlies van data. (Meegemaakt)

Dat SSD moeilijk data te wissen zijn is eerder een fabel.
Zelfs als de harddisk kapot is kan men enkel de schijf eruit halen en nog data eruit halen.

De meeste SSD die ik kapot gingen waren meer dan 10 jaar oud.
De huidige M2 SSD is ook al 9 jaar oud.

Ze zijn wel allemaal van bekende merken.

Dat ligt maar net aan de toe gepaste raid instelling van jou NAS @stegiman.

Raid 0 = Striping. Bij RAID 0 schrijf je de data op minimaal 2 schijven. Als er bijvoorbeeld een foto van 1 MB op een RAID 0 set gezet wordt dan wordt tegelijkertijd de helft van de foto op schijf 1 gezet en de andere helft op schijf 2. Het proces van het tegelijkertijd schrijven en lezen op 2 schijven wordt ook wel striping genoemd. Dit betekent dat dit ongeveer 2 keer zo snel overgezet kan worden ten opzichte van een enkele schijf. Het nadeel van het verdelen over 2 schijven is dat wanneer 1 schijf defect is, alle data verloren is.
- Met deze methode kun je snel lezen en schrijven van en op de schijf.
- Als één van de schijven faalt, is alle data verloren. Dus geen fout correctie.
- Geen redundantie, de volledige ruimte op de schijven kan gebruikt worden.
Alleen gebruiken als de data niet van groot belang is maar snelheid en kosten juist wél van groot belang zijn.

Raid 1 = Mirroring. Bij RAID 1 wordt de data gedupliceerd (mirroring) op een 2e schijf. Op het moment dat je een bestand van 1MB opslaat, word deze op beide schijven weggeschreven. Er is bij RAID 1 dus weinig sprake van een verbetering in de snelheid, maar wel in de veiligheid. RAID 1 kan een fractie sneller zijn met het lezen van bestanden. De schijf die het eerste de opgevraagde data bereikt zal de data lezen. Dit verschil in snelheid is echter niet heel groot. Wanneer bij een RAID1 set een schijf uitvalt, staat de data nog op de andere schijf en kan je technisch gezien gewoon doorwerken. Een nadeel van RAID 1 is dat maar de helft van de totale ruimte beschikbaar is om data op te slaan, dezelfde data staat ten slotte op beide schijven.
-De data wordt gedupliceerd op een 2e schijf.
-Er is hier wel sprake van redundantie. Als één van beide schijven uitvalt, kan de data altijd gelezen worden van, of overgeschreven naar, de andere schijf.
-Niet de snelste oplossing.
Gebruiken als kosten en veiligheid de hoogste prioriteit hebben.

Raid 2 = Striping met HECC. Bij deze RAID-set wordt gebruikt gemaakt van bit-level striping tussen alle schijven in de array. RAID 2 maakt naast striping gebruik van Hamming Error CorrectCode. Vroeger hadden harde schijven geen eigen fout correctie ten opzichte van alle moderne schijven. De Hamming code is zeer gecompliceerd en vaak zijn er meerdere schijven nodig om deze code alleen al op te slaan. Deze RAID-set wordt mede hierdoor (bijna) niet meer gebruikt.

Raid 3 + Bit Striping With PARITY
Deze RAID-set lijkt veel op RAID 2 met als verschil er 1 schijf gebruikt wordt voor het opslaan van de berekende pariteit*. Doordat de pariteit continue wordt berekend, is het mogelijk om na het falen te berekenen wat de verloren data had moeten zijn. Door deze vorm van pariteit is tegelijkertijd lezen en schrijven vaak wel een probleem bij een RAID 3 set. Raid 3 wordt vooral gebruikt door bedrijven waarbij opslag een hoge prioriteit heeft.

* Pariteit is een techniek voor het herstellen van data. Pariteit is eigenlijk herstel informatie. Als in een RAID set pariteit wordt gebruikt dan wordt er naar 1 of meer schijven pariteitsdata weggeschreven. Wanneer er 1 schijf faalt in het array dan zal de pariteitsdata worden gebruikt om de verloren data te corrigeren en hiermee de volledige data te herstellen. Dus als je 4 schijven hebt met ieder 500 GB, heb je in totaal ongeveer 1 TB ruimte tot je beschikking voor data. De resterende 500 GB wordt gebruikt voor pariteitsdata.

Raid 4 = Block Striping With PARITY
Het verschil tussen RAID 4 en RAID 3 is de manier van striping. Waar RAID 3 'striped' per bit, striped RAID 4 per blok. Een blok is vaak 32 of 64 KB groot. Hierdoor kan je met een RAID 4 set ten opzichte van een RAID 3 set beter tegelijkertijd lezen en schrijven. RAID 4 wordt tegenwoordig, net als RAID 2 en 3, niet veel meer gebruikt omdat de technieken steeds beter worden.

Raid 5 = Striping With DIVIDED PARITY
De techniek die gebruikt wordt bij een RAID 5 set is vergelijkbaar aan die van een RAID 4 set. Er is echter een heel belangrijk verschil. Waar er in een RAID 4 set, 1 schijf wordt gebruikt voor de pariteit, worden de pariteitsblokken in een RAID 5 set verdeeld over alle schijven in de array. Omdat de blokken nu tegelijkertijd te lezen/beschrijven zijn gaat het lezen/beschrijven veel sneller. RAID 5 is dus eigenlijk RAID 0 in combinatie met de pariteit-data voor de veiligheid. Het is een combinatie van snelheid en veiligheid. Je snapt waarschijnlijk wel dat dit één van de veelgebruikte RAID-sets is in de huidige netwerkomgevingen. RAID 5 wordt echter niet door alle controllers ondersteund, maar als je je goed laat adviseren, zal dit geen problemen veroorzaken. Er zijn minimaal 3 harde schijven nodig om een RAID 5 set te maken.
-Deze methode geeft de meeste ruimte met de minste hoeveelheid schijven.
-De veiligheid is even groot als bij RAID 1 alleen is de performance beter.
-Er mag maar 1 schijf falen in het gehele array.
-Array is qua performance niet aanbevolen voor Database intensieve applicaties.
-Wanneer 1 schijf faalt werkt het RAID 5 array zeer traag.

Raid 6 = Striping With DOUBLE PARITY
RAID 6 is bijna gelijk aan RAID 5 met als verschil dat er twee pariteitsblokken per schrijf aanwezig zijn. Dit maakt voor de snelheid van het lezen en schrijven weinig uit, maar je kunt bij het uitvallen van 1 schijf wel sneller herstellen. Het opbouwen van de pariteitsdata kan gewoon doorgaan terwijl het systeem draait. Deze RAID-set is nooit heel goed aangeslagen. Een reden hiervoor kan zijn dat er een extra schijf aangeschaft moet worden omdat er meer ruimte beschikbaar moet zijn voor de pariteitsblokken.

Raid 10 = Nested Raid
RAID 10 is eigenlijk een hybride combinatie tussen RAID 1 en RAID 0. Je combineert de snelheid van striping met de veiligheid van mirroring. Dit is de veiligste en snelste methode maar ook de duurste. Het is een dure methode omdat je gebruikt maakt van RAID 1, dus voor iedere 100 GB aan opslagruimte heb je ook 100 GB aan mirror ruimte nodig, in combinatie met RAID 0 waardoor je veel schijven nodig hebt (de 200GB mirror dient ook weer gestriped te worden naar de andere mirror, resulaat 400 GB totaal). Het werkt zo: De data wordt parallel geschreven naar een RAID 1 set (1e mirror), vervolgens wordt het weer verdeeld weggeschreven naar een 2e mirror (RAID 0).

De 2 Raid 1 sets vormen een striped set (RAID 0). Zo zijn er nog veel meer combinaties mogelijk maar de kosten worden vaak steeds hoger. Veel controllers kunnen bijvoorbeeld nog net RAID 10 aan maar kunnen andere combinaties vaak niet aan. Het combineren van RAID-sets wordt overigens Nested RAID of Hybrid RAID genoemd.
- Deze methode geeft de beste resultaten als het gaat om performance.
- De recovery tijd tijdens een disk failure is vele malen sneller dan de andere methodes
- Er mogen in een RAID 10 set per mirror 1 schijf falen. Dus van 4 disks in RAID10 kunnen 2 schijven falen.
- Duurste oplossing omdat de minimale setup 4 schijven bedraagt waarvan je netto de helft aan opslag overhoudt.

JBOD - Just A Bunch Of Disks
Just a Bunch of Disks, zoals de naam al doet vermoeden is dit een techniek waarbij er verschillende schijven aan elkaar gekoppeld worden. In tegenstelling tot RAID-configuraties werken de harde schijven niet samen en hoeven de schijven niet dezelfde opslagcapaciteit te bevatten. Schijf 1 wordt beschreven tot die vol is, vervolgens wordt schijf 2 beschreven. Als 1 schijf niet meer werkt, is alleen de data op die schijf verloren. Er is verder geen voordeel wat betreft de snelheid, iets wat bij sommige RAID-sets wel het geval is. Het goedkoop, gemakkelijk maar niet snel of betrouwbaar.

Bij mij worden beiden schijven tot een Pool gecombineerd en bij verlies van een schijf ben je dan alle data kwijt.
Waarom? Omdat je sowieso maar 90% van 90% maximaal kan benutten van de kleinste schijf als je het veilige Raid 1 wil gebruiken in een Qnap NAS. Mijn kleinste schijf is 6 TB de maximale pool grootte bedraagt 90% en is 5.4 TB, QNAP kan hier weer maximaal 90 % van benutten wat neerkomt op 4.86 GB Dus van de door mij geplaatste 6 TB + 8 TB houd ik slechts 4.86 GB Maximaal aan bruikbare data over bij Raid 1.

Vandaar dat ik voor JBOD ben gegaan met 1 pool van 12 TB waarvan je pool maximaal 90% kan zijn wat uitkomt op 10.8 TB en door de QNAP software beperking je maximaal 90% van je pool kan benutten wat uit komt op 9.72 TB. Daarom heb ik JBOD je verliest te veel aan data met verschillende grootte van de harde schijven.

[De-Witte]

Opmerking:
Niet elke NAS ondersteund alle Raid configuraties, dit is afhankelijk van de door jou aangekochte NAS of en welke Raid opties deze ondersteund.
Iets waar je op dient te letten bij de aanschaf ervan, net zoals op de maximaal te gebruiken harde schijven of SSD en wat je daar daadwerkelijk netto van kan benutten.

[stegiman]

Ik schreef:

Ik heb totaal geen bang dat er iets verloren gaat want als je goed afstelt

Als je Nas koopt hoor je ook te weten wat je moet doen en lees de handleiding en informeert op internet.

Op die manier had ik Nas van 2 schijven, 4 schijven en 8 schijven.
Geen van beiden gebruik ik nog omdat het veel te veel elektriciteit verbruikt.

Zodra ik zonnepanelen heb zal ik het weer gebruiken want dat is ook de periode dat we boekhouding moeten houden afgelopen.

[Joshua Orbit]

Ik heb Qnap en synology NAS met Harddisk schijven.

Dat SSD moeilijk data te wissen zijn is eerder een fabel.
Zelfs als de harddisk kapot is kan men enkel de schijf eruit halen en nog data eruit halen.

Hier spreek je je ook tegen eh .... De ganse pointe is natuurlijk dat de persistente data niet per se ten grabbel mag gegooid worden met het vervangen van de dsik of een teloor gegane disk afdanken.

Daarom zal je ook van overheidsinstellingen GEEN SSD's occassie kunnen overkopen via een veiling of via ramsj-verkoop. Die data wissen is enorm moeilijk en vereist ook speciale softwaretools om de NAND-poorten terug in non-state te zetten (de befaamde 'secure-erase' ).
Uiteraard vind je op de Super User-portaal talloze technieken en howto's maar dan ben je met een 2Tb-disk al snel 2 - 3 uren bezig ...Vandaar dat in onderhoudsschema's en met vervangingen van disks eerder een shredder wordt gebruikt dan dat die SSD's in een parallel circuit terecht komen. Particulier vind je occassie SSD's meer dan genoeg ..... maar je weet niet WAT je koopt en je weet ook niet wat er in de persistente data nog zou zitten van 'resten' oude data (je zou dan met BleachBit de schijf moeten overschrijven met nullen en enen). Enfin .... redenen genoeg om toch zeer voorzichtig te werk te gaan, met de vervanging van SSD's.

Daarom ook dat vele bedrijven hun SSD's totaal vernietigen met shreddings (verpulveren bijna ) en niet als een cadeau weggeven aan hun werknemers noch dat ze ze aanbieden op veilingssites (Catawiki b.v. of anderen). Via eBay kan je ook kopen, maar ik koop liefst van de Chinezen de refurbished SSD's en NVMe's omdat net het gevoelige deel sowieso wordt vervangen met gloednieuwe onderdelen.

Op de lijst een A-reeks Samsung 4Tb via een vriend die stopt met zijn home-lab .... en deze disk zit nog verzegeld in de verpakking. 122€ is de vraagprijs .... Ik denk dat ik het van hem ga kopen. Nieuw gaat deze 256,40€ via AliExpress (Samsung op AliExpress (shop)).

[stegiman]

Ieder bedrijf met verstand moet zijn ssd en harddisk en andere media vernietigen bij erkend bedrijf.
Dat staat in de wet.

Dat wil niet zeggen dat je data niet kan vernietigen.
100% kan men nooit zijn en dat is met alles zo (ook softwarematig)

Harddisk of ssd verkoop ik nooit.