Od ostatniej aktualizacji z 11 marca, w której potwierdzono zakończenie pobierania archiwum (około 385 TB danych), wiele się działo. Zespół postanowił tym razem podzielić się większą ilością szczegółów, żebyście wiedzieli, na jakim etapie jest projekt i co dokładnie dzieje się za zamkniętymi drzwiami.
Co się teraz dzieje? Samo pobranie danych to dopiero początek. Deweloperzy skupiają się obecnie na dwóch kluczowych obszarach:
- weryfikacji i sprawdzaniu integralności całego archiwum,
- generowaniu i dystrybucji torrentów, które umożliwią dostęp do archiwum każdemu – nawet osobom bez ogromnych zasobów dyskowych.
Dlaczego trwa to tak długo? To pytanie zadaje sobie wielu z was, więc czas na trochę perspektywy. Praca z 385 TB danych to operacja o ogromnej skali. Dla porównania: pojedynczy system haszujący z prędkością 48 MB/s potrzebowałby ponad 100 dni nieprzerwanej pracy, żeby przetworzyć całość. Do tego dochodzi dodatkowy narzut związany z otwieraniem skompresowanych plików i haszowaniem ich zawartości, która często jest większa niż same archiwa.
Dobra wiadomość jest taka, że dzięki dostępowi do szybkiej infrastruktury haszowanie odbywa się z prędkością wielu GB/s – więc prace idą tak szybko, jak to tylko możliwe.
Jak wygląda weryfikacja plików? Weryfikacja opiera się na kilku metodach jednocześnie:
- Sumy kontrolne są porównywane z zaufanymi danymi z plików *.DAT,
- Społecznościowe sumy kontrolne pomagają sprawdzać dane,
- Stosuje się wiele typów hashy, w tym SHA-256, co zapewnia wysoki poziom pewności.
Pojawia się naturalne pytanie: po co ponownie haszować, skoro hashe już istnieją? Odpowiedź jest prosta – istniejące hashe dotyczą zazwyczaj całych archiwów ZIP, a do właściwej weryfikacji względem plików DAT potrzebne są hashe poszczególnych plików wewnątrz tych archiwów. To oznacza przetwarzanie na głębszym poziomie, co wymaga czasu, ale gwarantuje znacznie wyższy poziom dokładności.
Czy archiwum będzie rozszerzane? Kilka osób pytało o to, czy planowane jest dodanie nowszych treści lub rozbudowa zbioru. Na chwilę obecną nie ma planów rozszerzania archiwum. Cały wysiłek skupiony jest na weryfikacji i stabilizacji tego, co już zostało pozyskane. Celowo pomija się też treści bieżącej generacji, by zachować zgodność z długoterminowymi celami projektu i zminimalizować ryzyko prawne – a te sądząc po skali przedsięwzięcia z pewnością nadejdą.Nie wiem jak prawda do abandonware, ale Nintendo z pewnością nie odpuści 😉
Zatem największe archiwum gier retro przetrwa. Jednak w trochę innej wersji.
