*archlinux-ru *wbmd< komar_> А гугель не поклал ли на robots.txt?
< Voker57> komar_: нет
< komar_> Даже wget на robots.txt не поклал.
< komar_> Странички они, значит, все по-своему отображают, а на robots.txt у них, видите ли, стандарт.
< komar_> Вот всё через жопу в этом мире, всё.
< Voker57> robots.txt же не в SGML
< Voker57> если бы он хотя бы в XML был, было бы веселее
< Voker57> всякие там кодировки, эскейпинги
< Voker57> потом бы кто-нибудь приделал туда Brainfuck
< Voker57> появились бы библиотеки robotsPath, robotsQuery
< Voker57> Robots.txt Builder Professional 2013
< Voker57> quirks mode
< Voker57> а текстовый файл — это ерунда
< Voker57> разве что переводы строк можно факапнуть
from pavilion6F5CC7EE, 20 months ago
Voker57