Дата поста: 17-06-2014
Пришлось мне на днях писать парсер для одного известного сайта, и возникла проблема, сайт периодически блокировал меня, не давая нормально отпарсить их контент. В процессе анализа выяснил, что идёт проверка по связке User-Agent плюс IP адрес. Под катом находится пример того, как можно отправить запрос с изменённым User-Agent'ом, да и вообще с любым хедером используя стандартный пакет net/http из языка программирования GO.
package main
import (
"io/ioutil"
"log"
"net/http"
)
func main() {
client := &http.Client{}
req, err := http.NewRequest("GET", "http://httpbin.org/user-agent", nil)
if err != nil {
log.Fatalln(err)
}
req.Header.Set("User-Agent", "Golang Spider Bot v. 3.0")
resp, err := client.Do(req)
if err != nil {
log.Fatalln(err)
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
log.Fatalln(err)
}
log.Println(string(body))
}
В результате мы получим следующий ответ:
2012/11/07 15:05:47 {
"user-agent": "Golang Spider Bot v. 3.0"
}
Так же рекомендую OpenSource сервис httbin.org при отладке ваших приложений, которые работают с http протоколом. Если нужно добавить что-то своё, то можно сделать форк от них на GitHub.