Internet Archive má problémy s robots.txt.

Internet Archive má problémy s robots.txt. V praxi to znamená, že přestali robots.txt řešit pro americké vládní a vojenské weby a celé to ukazuje dlouhodobý problém s „archivací internetu“. Viz Robots.txt meant for search engines don’t work well for web archives a pokud netušíte k čemu že ten robots.txt je, tak zkuste robots.txt? K čemu něco takového je? A proč je to užitečné? a případně ještě Znáte Internet Archive: Wayback Machine? A víte, co je to Google Cache?

2017-04-22 09_44_39-Internet Archive_ Digital Library of Free Books, Movies, Music & Wayback Machine.png

Advertisements