Какво според вас може да се случи с един сравнително голям уебсайт, който се намира на собствен сървър и има около 200 хил. индексирани от Google страници, за да се получава така, че системата за се претоварва и да забива от време на време? Неправилна конфигурация на софтуера, недостатъчен хардуерен ресурс, неоптимизиран софтуер… ами не, просто “паяците” на Google, като налазят за опресняване на съдържанието и положението става лошо. Стотици заявки в секунда генерирани от Google Spider като нищо може да сринат един голям сайт на собствен сървър, особено когато никой не се е постарал да “насочи” паяка на Google (и на други търсачки) как, къде и какво да прави, както и разбира се колко често да проверява за обновени версии на страниците… 😉
Тази тема е публикувана на 05.06.2008 г. и се намира в категория Интернет.
60-80 рекуеста в минута при мен при много повече от споменатите индексирани страници. Изхвърляш се малко:)
иначе имал съм го този проблем, трябва да се ползва disallow за наистина бавните неща.
Оставен от dzver на
June 5th, 2008
Аз също не мисля, че Google ще направи по-тежко натоварване от това на стандартните потребители на сайта – все пак 200K страници не са малко и вероятно освен регулярните клиенти, там “кацат” и много случайни потребители.
Иначе, поне частичен контрол върху поведението на spider-а Google позволяват от тук:
http://www.google.com/webmasters/tools
Там и ще може да се види статистика от последните минавания. Алгоритъмът им е адаптивен, демек ако се вдигне response time-а, се намаляват и заявките.
Оставен от Alex Stanev на
June 6th, 2008
Мммм, може би трябва да напиша нещо и на тема нечетенето/невнимаването, което обаче не пречи за даването на съвети в блоговете, а и не само 😛
Оставен от Bloody на
June 7th, 2008
Може би всички сме прави:)
Съвсем възможно е тези заявки да не са от истински ботове на google, а от фиктивни такива – провери обратния resolv, както и whois инфото на тези IP адреси.
Случвало ми се е да засичам посещения от “ботове на google”, които са такива само по UserAgent, но проверката показа, че са ботове търсещи форми за субмитване:)
Оставен от Марто на
June 15th, 2008
