Четвертого числа куда-то разом проебались около 200 подписчиков. Беглый анализ показал, что лохи пользовались читалкой feedly. Не пользуйтесь всяким говном, это говно.
http://vitrina89.ru/pomoch-proektu/ — это уже третий, по-моему.
Плюс долбоеб, который жаловался мне вговне, что не может подхуярить RSS в своей CMS’ке.
Плюс еще какой-то мутный чел, который предлагал купить мои 16 000 000 объявлений. Попросил у него $120, он отъебался.
Нахуя они это делают?
Спасибо всем откликнувшимся. Теперь у меня есть 6 прокси-серверов, благодаря которым удалось снизить время обновления до получаса: http://avito2rss.bitcheese.net/feeds/
Наращивать дальше пул серверов нет смысла, пока у меня не появится настроение погрузиться в рубишные треды с троттлингом.
Проекту avito2rss требуется больше прокси-серверов. В настоящее время используется только три. Так как им приходится обслуживать уже 2328 фидов, время обновления каждого фида выросло до двух часов. Если у вас есть постоянно включенный VPS, вы можете поднять у себя squid3, который будет использовать скрейпер avito2rss для обновления фидов:
http://dump.bitcheese.net/files/ekolote/squidy.tar.gz
В basic-passwords задайте любой пароль и отправьте его в xmpp:komar@bitcheese.net вместе с адресом вашего VPS’а.
В rc.local находится пример, как эту херню запускать при старте.
Спасибо.