Semalt: Meşhur açyp bolmaýan web sahypalary
Isleýän maglumatlaryňyzy el bilen döwmek üçin ajaýyp programmirleme endikleri bolmaly. Ativea-da bolmasa, maglumatlary belli bir formatda okamagy, gurmagy we döwmegi maksat edinýän web maglumatlary çykarmak gurallarynyň birnäçesini ulanyp bilersiňiz. Şeýle-de bolsa, käbir web sahypalary ýapyp bolmaýar, bu bolsa ýa-da döwmäge garşy usullary ulanýandygyny ýa-da belliklerini yzygiderli üýtgedýändigini aňladýar. Mysal üçin, LinkedIn, Alibaba we Facebook giriş maglumatlaryny talap edýär, CAPTCHA girmegi teklip edýär we ulanyjylarynyň goragyny we gizlinligini üpjün etmek üçin IP adreslerini bloklaýar.
1. Facebook:
“Facebook” dünýäde 20 milliondan gowrak işjeň ulanyjy bolan iň meşhur sosial ulgam web sahypalarynyň biridir. “Facebook” -dan aýry-aýry maglumatlary çykarmagy maksat edinýän köp sanly programma we maglumatlary döwmek programmalary bar. Gynansagam, gurallaryň köpüsi bize takyk we okalýan maglumatlary bermeýär. “Facebook” spamçylara we hakerlere ulanyjylary barada maglumat ýygnamagy kynlaşdyrdy. Diňe Python ýaly HTML derňewçisiniň kömegi bilen alyp bolýar, ýöne web ussatlarynyň we erkin işleýänleriň köpüsi Python-yň esaslaryny bilenoklar. Recentlyaňy-ýakynda bu sosial ulgam web sahypasyndan möhüm maglumatlary çykarmak üçin “Facebook” skraperi işe girizildi. “Facebook” gyryjy bilen, diňe “Facebook” ulanyjylarynyň atlaryny we e-poçta salgylaryny ýygnap bilersiňiz. Inöne çuňňur maglumatlary ýygnamak isleseňiz, bu guraly ýa-da başga bir şuňa meňzeş gyryjy ulanyp bilmersiňiz.
2. LinkedIn:
LinkedIn, gyryp bolmajak başga bir sosial ulgam web sahypasydyr. Şeýle-de bolsa, birnäçe web sahypasyndan maglumatlary bölekleýin alyp bilersiňiz, emma maglumatlaryň köpüsine elýeterli däl. “LinkedIn” -iň umumy profilinden “Import.io” ýa-da “Kimono Labs” -y ulanyp bilersiňiz. LinkedIn-iň berk howpsuzlyk çäreleri sebäpli marketologlar gyryş hyzmatlaryndan peýdalanyp bilmeýärler. Şeýle-de bolsa, köpçülige açyk profilleri gyrmaga kömek edýän gurşun ekstraktoryny ulanyp başladylar. Bu gural diňe profil baglanyşyklaryny, atlaryny we e-poçta salgylaryny gyryp biler. Emma Skype ID, Yahoo Messenger ID, doly salgy we ulanyjynyň Twitter ID-sini almak isleseňiz, LinkedIn size rugsat bermez.
3. Alibaba:
Alibaba onlaýn-işewür adamlara hyzmatlaryny hödürleýän tehnologiýa birleşigi. Gynansagam, bu web sahypasyndan maglumatlary gyryp bolmaýar. “Amazon” we “eBay” -dan tapawutlylykda, “Alibaba” ulanyjylaryna önümleri, suratlary, beýany we bahalary barada maglumat almagy kynlaşdyrdy. 2015-nji ýylda Alibabadan maglumatlary aňsatlyk bilen döwüp bilýän birnäçe gural halka hödürlendi. Gurallaryň köpüsi tölenýär we başlangyçlaryň garaşyşlaryny ýerine ýetirmeýär. Alibaba dünýäniň dürli künjeklerinde işleýär we alyjylary üpjün edijiler bilen baglanyşdyrýar. Şol bir wagtyň özünde, olaryň şahsy durmuşyny üpjün edýär we hiç kimiň maglumatlary gyrmagyna ýol bermeýär. 2017-nji ýylyň oktýabr aýyna çenli Alibaba platformasynda her aýda 500 milliondan gowrak işjeň ulanyjy bar. Alibaba hatda bulut girdejileriniň ösüşinde Amazon, Google we Microsoft ýaly esasy bulut oýunçylaryndan öňe geçdi. Üpjün edijileriniň şahsy durmuşyny üpjün etmek üçin iň oňat strategiýalary durmuşa geçirdi we ähli şübheli IP adresleri birnäçe sekundyň içinde bloklaýar.