WD: Flash-Chips für Metadaten steigern Festplatten-Kapazität merklich

oder

Zugangsdaten vergessen?

Jetzt kostenlos Registrieren!
[o1] Windows 10 User am 01.09. 17:37
+ -2
50 Terabyte, na dann wird es nicht mehr lange dauern bis man die ersten Games mit 5TB runter laden kann. :D
[re:1] 1Man am 01.09. 18:22
+1 -
@Windows 10 User: je nach Leitung wird es ewig dauern die 5tb zu herunterzuladen
[re:1] pcfan am 01.09. 18:28
+1 -
@1Man: Selbst ne Gigabit Leitung dürfte dafür nen halben Tag ca. brauchen 10-12 Stunden.

Vermutlich wird man aber so große Spiele vorerst nicht anbieten, und wenn doch dann nur einen Teil auf der Platte speichern und den Rest bei Bedarf streamen, sie aktueller Flight Sim.
[re:1] DRMfan^^ am 01.09. 19:30
+1 -
@pcfan: Und das auch nur, wenn das CDN die voll liefern kann.
[re:2] Laggy am 01.09. 19:15
+1 -
@Windows 10 User:
HDDs für Games haben eh keine Zukunft.
Für next-gen sind NVME SSDs pflicht. Siehe die neuen Konsolen. Die haben alle schnelle NVME SSDs und für Direct Storage am PC wird auch NVME verlangt. Nichtmal SATA SSDs werden dann ausreichen.

Und bei SSDs siehts mit den Kapazitäten eben ganz anders aus. Da sind 4 TB schon sehr viel.
Viele PCIe 4.0 SSDs gibts nichtmal mit 4 TB, sondern nur mit 1 TB und 2 TB, wobei die 1 TB schon 200€ kosten...

Also auf absehbare Zeit braucht man da keinen großen Sprung bei den Kapazitätsanforderungen erwarten. Erstens lassen das die Preise nicht zu und zweitens würde man die Konsolen komplett ausschließen, da z.B. die PS5 nunmal nur ca 650 GB an nutzbaren Speicher bietet. Folglich wird mindestens bis zur nächsten Generation in 7+ Jahren kein Multiplattform spiel jemals die 650 GB sprengen.

Dazu kommt, dass mit SSD Speicher und schneller hardwareseitiger Dekompression künftig deutlich an Speicherbedarf eingespart werden kann. Auch mit dingen wie Raytracing spart man theoretisch Speicher, weil z.B. die globale Beleuchtung nicht mehr in die Texturen "gebaked" werden muss (für jede Tageszeit extra) sondern live berechnet werden kann. Ich erwarte daher erstmal eine Stagnation bei den Spielegrößen trotz besserer Grafik.
[re:1] pcfan am 02.09. 07:49
+ -
@Laggy: Wenn es genug RAM und intelligentes Preload / Streaming der Welt gibt, dann ist das nicht mal so das Problem. Wobei es natürlich schon hilft, hier mehr Bandbreite zu haben.

Aber selbst eine normale SSD ist oft ausreichend, wenn das Game richtig optimiert ist.
[re:1] Laggy am 02.09. 19:47
+ -
@pcfan: Das was du beschreibst ist genau das was aktuell getan wird. Man nutzt einen großteil des RAM, um möglichst viele Daten vorauszuladen, weil man es auf jeden Fall vermeiden will, auf das elendig langsame Storage warten zu müssen.
Das heißt, von meinetwegen 32 GB RAM werden vielleicht 4-6 GB aktiv für eine Anwendung genutzt, der Rest geht fürs preloading drauf

Der neue Ansatz, den die neuen Konsolen und auch der PC mit Direct Storage verfolgt:
Man setzt z.B. bei den Konsolen nur auf 16 GB RAM und zusätzlich sehr schnelles NVME Storage.
Da das Storage jetzt vielfach schneller ist, ist es nicht mehr notwendig, so viele Daten vorauszuladen. Es reicht nun ein kleinerer Puffer.

Folglich kann man in Zukunft dann meinetwegen 80% des RAM für aktiv genutzte Daten verwenden und nur noch 20% für das Vorausladen weiterer Daten. (Die Werte sind jetzt nur geschätzt, um das Prinzip zu veranschaulichen)

Und genau da ist der Knackpunkt: Die Menge an Daten die aktiv genutzt wird und nicht nur herumliegt und darauf wartet genutzt zu werden - darauf kommt es an.
Je größer der Anteil der aktiv genutzten Daten sein kann, desto aufwändiger werden die Spiele sein können.

Natürlich könntest du jetzt deinen RAM auf 64 oder 128 GB aufrüsten und meinetwegen das gesamte Spiel in den RAM laden.
Der Vorteil dadurch wäre aber nur solange wirklich gegeben wie das Spiel komplett in den RAM passt und zudem wäre diese Lösung vielfach teurer.

Wobei man umgekehrt natürlich auch mit der "neuen" Lösung mehr RAM nutzen kann. 64 GB RAM, wovon 80+% aktiv genutzt werden können wäre natürlich wiederum der "alten" Lösung überlegen, wo ein größerer Teil der 64 GB RAM fürs Bereithalten von Daten gebraucht wird und daher nicht aktiv von der CPU genutzt werden kann.

Lange rede kurzer Sinn: Die Lösung die die next-gen Konsolen und bald auch der PC mit Direct Storage verfolgen ist deutlich effizienter und unterm Strich leistungsfähiger als die alte, da viel weniger Daten im RAM vorgehalten werden müssen, wodurch der Anteil der aktiv genutzten Daten und damit die Größe und Komplexität von Spielwelten deutlich steigen kann.

Fairerweise muss man aber auch sagen, dass beide Ansätze aktuell zumindest am PC keine Flaschenhälse sind, da die Spiele in Sachen I/O performance und Datendurchsatz auf das limitiert sind, was die alten Konsolen schaffen können. Sprich 8 GB RAM in Kombination mit einer 5200 rpm notebook HDD. Darauf sind die Games optimiert und auf nix anderes.

Was passiert, wenn diese limitierung jetzt wegfällt kann man sich aktuell nur ausmalen. Ich vermute, dass sich erstmal nicht viel tun wird, weil der neue Ansatz sehr viel Umdenken erfordert. Es wird Jahre dauern, bis die Entwickler die neu geschaffenen Möglichkeiten ausreizen.
[re:2] MrKlein am 02.09. 09:17
+ -
@Laggy: "Und bei SSDs siehts mit den Kapazitäten eben ganz anders aus. Da sind 4 TB schon sehr viel."

Warum ist das eig. so? Klar, so ne kleine NVME SSD ist vom Platz begrenzt, aber warum packt man nicht mehr Flashbausteine in z.B. die Gehäuse von 2,5" oder 3,5" und nutzt weiterhin den NVME Anschluss? Dann darf der halt nicht mehr unter der Grafikkarte liegen. Können die Controller noch nicht mehr ansteuern oder wo liegt da das Problem?
[re:1] Laggy am 02.09. 19:15
+ -
@MrKlein: Ich denke Platz ist das kleinste Problem.
Selbst bei den 2,5 Zoll SATA SSDs ist die Platine oft nur 1/3 so groß wie das ganze Gehäuse...
Das Problem ist wie bei allen PC Komponenten die Chipfläche die genutzt werden muss.
Je größer die Fläche eines Chips oder je mehr Chips benötigt werden, desto teurer.

Das war schon immer praktisch der Kostenfaktor Nr 1.
Werden die Strukturgrößen verkleinert bekommt man auf der gleichen Chipfläche eben mehr Schaltkreise unter, daher steigt z.B. die Kapazität bei gleichem preis bzw. gleicher Chipfläche.

Natürlich gibt es auch Komponenten die sehr viel Chipfläche nutzen und physikalisch dann alles ausnutzen, was möglich ist. Nur wird das dann eben irrsinnig teuer. Sowas kommt dann im Server/HPC Bereich zum Einsatz, wo Geld zumindest in normalsterblichen Maßstäben keine Rolle spielt.
[re:3] Hanni&Nanni am 02.09. 04:24
+ -
@Windows 10 User: Logisch... Seit es die 18 TB Platten gibt, sind die Spiele ja schon auf 2 TB angewachsen! Das macht die Spieleindustrie aus lauter Boshaftigkeit. *ironie off*
[o2] Fleischmann am 01.09. 20:37
+ -
Überzeugt mich mal so überhaupt nicht. Der große Vorteil den Festplatten gegenüber NAND-Flash haben ist doch die höhere Data-Retention. Diese mit einem NAND-Flash Speicher zu riskieren, der für einen minimalen Zugewinn an Speicherplatz sorgt halte ich für nicht gerechtfertigt.
[re:1] Hanni&Nanni am 02.09. 04:22
+ -
@Fleischmann: Warum das? Der NAND-Flash-Speicher wird dafür benutzt, Metadaten zu schreiben. Bei aktuellen HDDs kommen diese in einen speziellen Bereich der Magnetscheiben. Da wird erst der Datenblock geschrieben, dann die Schreib-Leseköpfe neu positioniert und dann die Metadaten geschrieben. Bei dieser Idee hier können die Meta-Daten gleichzeitig im Flash-Speicher abgelegt werden, während der Controller die Datenblöcke auf die Magnetscheiben schreibt. Und es sorgt für noch mehr Platz auf den Plattern.

Wo ist dein Problem?
[re:1] Fleischmann am 02.09. 09:13
+1 -
@Hanni&Nanni: Ich nutze HDD Festplatte für Long-Term-Storage von wichtigen Daten (ähnlich wie es die Industrie mit Magnetbändern handhabt). Alle zwei bis vier Jahre wird eine HDD aus dem Tresor geholt und der Datensatz aktualisiert. Wenn die Metadaten nun auf NAND-Flash gespeichert wären, dann würde ein großes Risiko entstehen, dass diese über die vielen Jahre der Lagerung ohne Strom ihre Datenintegrität verlieren. Denn bekanntlich verlieren NAND-Flash Speicherzellen langsam die Spannung, wenn sie über lange Zeiträume nicht mit einer Stromquelle verbunden sind. Natürlich verlieren auch magnetische Speicher langsam die Magnetisierung, aber in der Regel erst nach 40+ Jahren. Da WD hier TLC verwenden will, wird sich das ganze noch um einiges beschleunigen. Gehen wir also davon aus, dass nach vier Jahren einige Bitflips im NAND-Flash auftreten. Dann wären auch einige Metadaten beschädigt, was Auswirkung auf die Datei selbst haben kann.
Für Long-Term Storage also ungeeignet.
[re:1] Hanni&Nanni am 02.09. 17:50
+ -
@Fleischmann: Dann empfehle ich Dir die Daten mit einem Packprogramm einzutüten und mit QuickPAR Paritätsdaten davon zu erzeugen. Und vor allen Dingen würde ich auf NAND-Speicher verzichten. Es gibt ja noch normale Festplatten ohne dieses Flash-Addon.

Auf Bänder zu switchen, wird sich preislich für Dich wohl eher nicht lohnen. Oder? Ich habe auch schon lange nicht mehr mit Bändern gearbeitet. Deshalb kenne ich die Kosten dieser und der benötigten Laufwerke nicht wirklich.
[o3] LittelD am 02.09. 04:32
+ -
Intressant wäre gewesen warum das eine gewisse Daten effizienter speichern kann. Daten sollten doch am Ende nur Null und eins sein, ob ich nun meta Daten die 10bits lang sind auf der Scheibe speichere oder 10bits eines 8k heimvideo films, sollte keinen Unterschied machen. Einzig in der Geschwindigkeit könnte man sich das vorstellen, wenn der Kopf hin und zurück müsste.

Und um das zu verhindern setzen die aktuell auf reservierte Bereiche auf der HDD? Wenn ja, dann steigert man nicht die Kapazität, sondern nutzt die anders.

Also müsste für die 200gb Metadaten entsprechend ssd bereitgestellt werden. Diese wird ja nicht auf dem ggf. Vorhandenen Cache gespeichert der vll 2gb groß ist.
[re:1] masterjp am 02.09. 06:50
+ -
@LittelD: Der Zugriff auf den File Table sollte schneller sein, sofern der da drin gespeichert wird.
[re:2] pcfan am 02.09. 07:55
+ -
@LittelD: Hatte ich mir auch überlegt. Aber vielleicht liegt es an der Blockgröße?
Eine Datei auf einer HDD braucht immer so viel PLatz wie die Blockgröße, weil pro Block nur eine Datei liegen darf. Hat man nun lauter 1kb Metadaten, braucht jede davon trotzdem 32 kb oer sogar 64 kb Platz, weil die Datei einen ganezn Block einnimmt.

Wenn man nun aber den Flash Speicher anders nutzen kann und es so pratisch ohne Lücken speichern kann?

Wäre zumindest meine Idee. Im Idealfall könnte man damit bei dieser Art von winzigen Dateien ein vielfaches an Speicherplatz sparen.
Desktop-Version anzeigen
Hoch © 2021 WinFuture Impressum Datenschutz Cookies