Extrahování velkých souborů Vyřešeno

[petr22]

Precte, rozbali, zapise na disk, precte zapsane a zkontroluje zda je zapsano v poradku a tak stale dokola.
Na kazdy zapsany soubor je tech operaci docela dost a nemuze je delat soucasne.

Pri extrakci na jiny disk to pujde rychle, na stejny disk pomalu, z SSD na SSD nejrychleji.

Nejpomalejsi to bude u jednoho 5400 otackoveho notebookoveho disku, ktery je jeste navic
urcite fragmentovany. A verifikace zapsanych dat to zpomali jeste vic.

Nikdy to nikdo nevidel fungovat jinak.

Na externi disk to bude urcite rychlejsi nez na ten samy kde je archiv.

Take to muze zrychlit podpora vice vlaken (musi se zapnout), ale plotnovy disk z toho nebude mit radost.

[Reklama]

[Krakatoa]

petr22:
Ach jo, Petře. Rozbaloval jsi ty vůbec někdy něco? Používal jsi někdy vůbec plotnový disk? Asi ne.
Na rozdíl od tebe plotnový disk nebo plotnové disky používám přes 20 let. A rozbalování na nich používám taky.
Udělal jsem ti teď malý test:

Virtuálka VMware, na 2 jádrech 9 let starého 4 jádrového amd a na plotnovém disku (1 TB seagate hodně starý, v provozu 32000 hodin).
Při rozbalování na výše uvedeném příkladu mi Správce zařízení píše vytížení u cpu 40 - 100 % a vytížení disku 10 - 15 %. Takže mi to HDD neomezuje, omezuje mi to CPU. A i tak tam je rychlost 10 MB/s... On má 40 - 90 kB/s...
Ještě doplním že u mě ty soubory byly menší než ty jeho fotky.
JEŠTĚ NĚCO? Nebo tu budeš dál psát, že jsou plotnové HDD tak neschopné jak si myslíš?

[dvorakj]

jo, zkus to rozbalovat na externi disk nebo flesku

[petr22]

Ano, od roku 1988 jsem nikdy nic nerozbaloval

Mame i par archivu, ktere trva rozbalit na diskove pole ve filerech i nekolik desitek hodin.

Nikdy jsem nenapsal, ze se to musi zpomalit vzdy na 90 KB/s, ale ze se to zpomalit MUZE
za urcitych okolnosti - ale pomalejsi to bude VZDYCKY a to tak ze vyrazne. Tech tvych 10 MB/s
(je na stejnem disku OS?) je dukazem ze pravdu mam ja a pri dekompresi na stejny plotnovy disk
vzdy dojde k vyraznemu zpomaleni a zalezi na dalsich okolnostech, k jak velkemu. Videl jsem
i pripady, kdy pri rozbalovani archivu neslo ani hybat kurzorem mysi takze tomu co popisuje
tazatel verim, uz jsem to videl.

Kde pisu, ze plotnove disky jsou neschopne ? Jenom uz tady asi podesate opakuji, ze rozbalovani
archivu na stejny plotnovy disk kde je ulozen archiv bude vzdycky pomale. Je dalsich x vlivu, ktere
maji na rychlost rozbalovani znacny dopad:

- tazatel ma 1 disk, tudiz na nem ma i aktualne spoustene Windows, ktere taktez zapisuji a ctou
- plotnovy disk, SSD, rychlost otaceni
- fragmentace
- verifikace v rozbalovacim sw
- antivir a kontrola kazdeho souboru pri cteni a zapisu (vse soucasne na 1 disku, tedy dalsi cteni kazdeho souboru)
- stav disku
- nastaveni cache ve Windows (vypla cache ve Windows a mas zapis v jednotkach KB/s okamzite)

Vliv Windows jde snadno overit nabootovanim treba Linux Mint z flashky, tam jsou potrebne
nastroje na rozbalovani primo obsazene. Kdyz to bude vyrazne rychlejsi, je to necim ve Windows.

Dotaz znel, jak zrychlit rozbalovani - ja odpovidam - rozbalovat na jakykoliv jiny disk,
nez na kterem jsou ulozena zdrojova data. A vypnout docasne v antiviru kontrolu souboru
"pri pristupu", vsetsina obrazovych souboru muze obsahovat nejakou potvoru, takze
je antiviry kontroluji (antivir dokaze zastavit treba stroje na vyrobnich linkach, jak zpomali
zapis souboru na disk).

Nema smysl se hadat jestli to je nebo neni mozne, kdyz priklad tazatele ukazuje ze to mozne je.

[Krakatoa]

petr22:
"Dotaz znel, jak zrychlit rozbalovani" ne, tak dotaz nezněl.
Dotaz zněl: "mám problém s extrahováním" a "rychlostí okolo 40-90 kb/s" a "Tak malá rychlost se mi nechce líbit" a "ukazuje na nějaký jiný problém? Lze proces nějak zrychlit?"
Jde o to, že má rychlost v testu je úplně normální a odpovídá. Jenže jeho ne, předpokládám, že myslel 40 - 90 kB/s a to máš 100 - 250 x menší hodnoty než v mém testu. A takové nízké hodnoty nezpůsobí to, že to jede na plotnovém HDD a že hlavy nestíhají kvůli tomu že se při extrahování raru čte a zapisuje na jeden disk.
Těch mých 10 MB/s je důkazem mého tvrzení, ne tvého. A to i bez ohledu na to, že jsem psal vytížení HDD 10 - 15 %.
Kdyby měl nějaké normální hodnoty tak si klidně piš co píšeš, jenže on je má extrémně nízké.
Kromě antiviru, který jsem už uvedl, mě napadlo třeba to, že já když dával extrahovat ve virtuálce z externí síťové složky nasdílené přes Shaders Folders, tak mi to taky jelo extrémně pomalu, tak jestli to rozbaluje na lokálním disku.
Jestli chceš tazateli pomoct, tak mu piš fakt důvod, který by mohl způsobit těch 40 - 90 kB/s, jeden plotnový disk to podle mě není.

[Psychotic17]

Vypadá to, že vypnutí antiviru trochu pomohlo stáhnout očekávanou dobu extrakce na alespoň reálnou dobu. A zítra si půjčím externí harddisk a zkusím to přes něj. Není to naposled, co něco podobného budu extrahovat, tak snad to pomůže pro příště.

Dík za pomoc!

[faraon]

... rar archiv vpodstatě můžeš číst sekvenčně.

Ne, nemůžeš. Sekvenčně můžeš číst třeba TAR. V RARu se nejdřív musíš prokousat přes několik vnořených struktur, potom ze správného místa příslušného chunku vezmeš token, ten vyhledáš ve slovníku, zkontroluješ jestli není rekurzivní a jestli tuhle proceduru nemusíš prodělat znovu, a teprve na konci toho všeho zapíšeš do výstupu několik bajtů. Takže to bude klidně i víc než deset seeků na každý ždibíček každého obrázku - jednoduchým výpočtem mi vychází 83+ obrázků/sekundu, což při téhle zátěži není zase tak špatný výkon.

Navíc, vzhledem k tomu že jde o obrázky, obvykle komprimované už samy o sobě a tím pádem dost těžko dále komprimovatelné, budou slovníky zabírat většinu z těch 15 GB. Další zpomalení může způsobovat velikost alokační jednotky disku, protože při seekování se budou muset opakovaně načítat ty, které se už nevešly do diskové cache a operační systém je vyhodil.

Ono i vytvoření nového souboru má nějakou režii, je potřeba ho zanést do adresáře, alokovat pro něj místo na disku, fyzicky ho tam zapsat a verifikovat. A jestli si ho přitom ještě přežvýkává nějaký antivirus...

Další problémy způsobuje fragmentace, a to jak samotného archivu, tak i volného místa na disku, které může být rozházené po všech čertech. Operační systém se pokouší optimalizovat jeho spotřebu vyhledáním nejvhodnějšího právě potřebného úseku, a to také chvilku trvá.

Padla tady také zmínka o více hlavách a plotnách, to je sice pravda, ale číst nebo zapisovat může vždy jen jedna z těch hlav na jednom místě.

No a rozbalování na flashku nebo externí disk je opravdu dobrý fór, vzhledem k "rychlosti" komunikace a zápisu těchhle zařízení. Ono už jenom pouhé kopírování několika gigabajtů přes USB je záležitost na dlouhé zimní večery!

---

Takže za sebe radím použít druhý disk připojený přímo do základní desky, nejlépe na jiný řadič než na kterém je ten ze kterého se čte, a k tomu nastavit v systému co největší diskové cache, jaké umožní velikost operační paměti, a vypnout všechny programy a služby které jsou právě spuštěné.

[Krakatoa]

faraon:
Předně uvedu pár čísel.
Tazatel: přibližně 15 GB archiv, přibližně 500 000 souborů, rychlost 40 - 90 kB/s (předpokládám, že myslel B). Dejmě tomu, že je to přibližně 30 kB / obrázek (komprimaci u obrázků zanedbávám). Při té rychlosti je to průměrně přibližně jeden a něco až 3 obrázky za sekundu. A víc mu to z nějakého důvodu nejede.
Můj příklad: 200 MB archiv, 827 MB velikost, 37749 souborů, asi 23 kB / soubor, rychlost 10 MB / s, což je asi 430 souborů / s, přičemž vytížený je cpu a plotnový disk je vytížen na 10 - 15 %.

A teď samotná reakce.
Co myslím tím sekvenčně v reakci na petr22 a to proč tu řeší plotnový disk a lítající hlavy sem a tam. Pokud se někdo podívá na testy rychlosti na netu u plotnových disků tak se uvádí sekvenční čtení/zápis, což je prostě čtení/zápis v řadě a ten údaj je třeba někde kolem 150 MB/s. A pokud se někdo podívá naopak na druhou stranu, tak náhodný zápis třeba 4 kB souborů náhodně zapisovaných na disku je kolem 1 MB/s, minimálně řádově v několika set kB/s. Jenže tu se čte 15 GB soubor, navíc data pro extrakci se čtou postupně. To samé platí pro zápis. Není to žádný náhodný zápis hromady souborů různě poházených po hdd, s tím má hdd problém, ne že bude kontinuálně zapisovat hromadu malých souborů za sebou, tam prostě takový problém není.

"vychází 83+ obrázků/sekundu"
Nechápu kde jsi vzal to číslo, mu to rozbaluje 1 a něco až 3 obrázky o průměrné velikosti 30 kB za s. Což je logické, že se diví proč to jede tak pomalu. Při mém testu je rychlost 430 souborů o průměrné velikosti 23 kB za sekundu. A taky na plotnovém disku. Což je hodnota na rychlost B/s 100 - 250x víc. A to může být pro běžný plotnový disk bráno jako normální hodnota.

"budou slovníky zabírat většinu z těch 15 GB" "se budou muset opakovaně načítat ty, které se už nevešly do diskové cache"
Nechápu proč do toho nesmyslně planceš slovník, ten na to nemá vliv. Navíc velikost slovníku je defaultní např. u 7z 16 MB (max. 1536 MB) a u rar, který použil tazatel, tak defaultní 32 MB a max 1024 MB. Takže tebou uvedených většinu těch 15 GB může slovník zabírat jen sotva A ještě dodám, že pro rozbalení, což dělá tazatel, je potřeba zhruba tolik, kolik je nastavený slovník, takže i kdyby se použil max. veliký slovník, tak bude potřeba max. 1 GB a nějaké drobné. Navíc i kdyby se to v extrémním případě cachovalo na disk, tak to ani v tom případě nezpůsobí pokles na 40 kB/s.

"má nějakou režii"
Ano, všechno má svou režii, která v případě plotnového disku dovoluje hodnoty rychlosti 430 souborů (23 kB) / sekundu při rozbalování a to ještě ten disk není vytížen, ne že to klesne někam k hodnotě zhruba 1 soubor o velikosti 30 Kb / s a to vlivem disku, respektive toho, že by ten disk zcela vytížilo pouze to rozbalování a byl potřeba jiný disk.

"fragmentace"
běžnovu fragmentaci klidně můžeš zanedbat, to by musela být brutálně extrémní, navíc ideálně s nabořenýcm systémem tak, aby čtení i zápis byl na náhodné pozice a fragmentovaný.

A na hlavy a usb reagovat nebudu, protože to jsem nepsal já.

Takže za mě, napsal jsi podle mě nesmysly. A rozhodně řádově vyšší rychlosti by měl dosáhnout i při použití jednoho plotnového disku a problém není to to, že použil pouze jeden plotnový disk.

[ITCrowd]

Dlabte na to chlapci. Kokotoa už zde několikrát dokázal, že existuje přímá výměna obsahu mezi lebkou a zádelí.