English
联系我们
网站地图
邮箱
旧版回顾



霍去病

숨진 채 발견된 20대 중국인 여학생…다니던 대학원 강사에 참변_我的网站

胡雪岩

一 |     

     阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法,今天在添加一个POST方法来采集Ajax刷新页面的教程。    之前的文章请看:火车头采集动态加载Ajax数据(无分页瀑布流网站)    如果遇到POST方法来架子Ajax数据,这和我之前写的是两个类型,瀑布流是直接刷新出数据的页面。    경찰, 30대男 구속영장 신청 예정 범행 뒤 여장으로 위장, 수사 혼선피해 여성 시신 일부 훼손 정황도대학원 수료증을 받기 위해 한국에 귀국한 20대 중국인 여학생이 실종 닷새 만에 숨진 채 발견된 가운데 경찰이 30대 중국인 남성 정모씨(35)를 피의자로 붙잡아 범행 동기 등을 수사하고 있다.피해자가 다니던 대학에서 강사로 근무했던 정씨는 피해 여성의 실종 사실을 경찰에 맨 처음 알린 인물이다. 정씨는 자신의 주거지에서 이 여성을 숨지게 한 후 여성처럼 옷을 입고 이동하는 등 경찰 수사에도 혼선을 준 것으로 확인됐다.26일 경북 경산경찰서에 따르면 중국인 여학생 A씨(25)는 졸업식이 열린 지난 20일 오후 늦게부터 가족 등과 연락이 끊겼다. 이후 A씨에 대한 실종 신고는 다음 날인 지난 21일 오후 7시께 정씨가 경찰에 가장 먼저 접수했다. 당시 정씨는 경찰에 자신을 A씨의 남자친구라고 밝히며 “대구로 나간다고 했는데 연락이 안 된다”고 신고했다.하지만 경찰은 정씨를 참고인 신분으로 조사하는 과정에서 진술이 수상한 점을 포착했고 그의 행적을 수상히 여긴 경찰은 정씨를 유력 용의자로 긴급 체포했다. 이에 경찰은 정씨 집에서 숨진 A씨를 발견했다. 경찰은 A씨의 시신 일부가 훼손된 정황도 파악해 정씨를 상대로 유기 장소 등도 집중 추궁하고 있다.정씨는 A씨를 살해한 후 수사에 혼선을 주기 위해 A씨인 것처럼 위장한 혐의도 받고 있다. 조사 결과 정씨는 실종 신고 전날인 지난 20일 오후 10시 30분께 혼자 여성 옷을 입고 모자 등으로 얼굴을 가린 채 주거지를 빠져나온 것으로 조사됐다. 이후 그는 동대구역까지 이동했고 동대구역 인근에서 피해자의 휴대전화 전원을 껐다. 이후 정씨는 동대구역 인근 화장실에서 다시 남자 옷으로 갈아입고 자신의 집으로 돌아왔다.경찰은 정씨가 피해자가 다니던 대학에서 강사로 수업을 맡았던 만큼 A씨와 평소 친분은 있는 것으로 보고 있다. A씨는 대학원 수료 후 중국에 취업한 상태로 수료 관련 증서를 받기 위해 한국에 입국했다가 결국 변을 당했다.경찰 관계자는 “정씨를 상대로 구체적인 범행 동기를 파악한 후 살인과 공무집행방해 등의 혐의로 구속 영장을 신청할 계획”이라고 밝혔다.。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。

二 |     列表页分析    这个网站的列表页,前面并不是通过Ajax加载的。CTRL+U可以直接看到列表内容,通过浏览器也看不到相关请求地址。    

    因为习惯原因,我直接看了下尾页列表页。然后顺手CTRL+U看看网站代码结构有没有大的变化。

三 | 防止后期采集出错。结果就发现无法看到列表内容。浏览器可以看到一个通过post请求的地址。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。    通过笨方法,手动访问页面看看Ajax加载大概是哪些。

四 | 最后找到大概从2200页左右开始Ajax加载。

五 |     那我们采集的时候,前面的列表页就可以使用普通方式去采集(速度更快)。

六 |     2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。最后只能使用抓包工具看一下详细的请求内容了。    

    使用抓包工具Fiddler    Fiddler下载地址:OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。

七 | 重新访问一下采集页面,Fiddler会抓到很多请求地址。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址    

火车头使用Post方法采集Ajax页面教程
    Fiddler会以黄色将搜索到的结果显示出来,我们点击一下他。    
火车头使用Post方法采集Ajax页面教程
    在Fiddler右侧会显示这个请求地址的相关详细信息。    
    信息顶部可以看到是post请求方法。

八 |     可以看到有我们请求的页码相关内容。    

    访问不同页码的页面,经过研究发现规律。    
    currentPageIndex的值和页码相关,值等于页码减一。我们访问6139页时,currentPageIndex值是6138。

九 |     这就找到了规律,我们打开火车头采集器。    火车头采集器配置分页设置    起始网址填入Ajax请求地址    

    点“高级模式”。    
    点“分页设置”,http请求方式“post”。    
    把我们Fiddler抓包获取的内容填进去。    
    将currentPageIndex值的内容替换成火车头采集器的“分页”标签。    
    下面填入页码。    页面地址是从2200到6140,上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.    
    网址获取选项设置    为了筛选出我们需要的内容,我们设置一下网址获取选项。    打开浏览器F12开发工具,预览一下Ajax获取的内容。    
    可以看到链接的形式是    自考成考报名条件有哪些?    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。    
    我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。    
    可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。    
    注意事项    采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多,频率过高导致对方网站开启了防CC设置。

十 | 拉黑了我一个服务器IP,此教程写完用了两台服务器。    我们实际采集可以只开1个线程,并设置合适的间隔时间,比如1000ms到1500ms左右。    本文来自2号站长网,转载请注明出处:https://www.zz2zz.com/331414.html

        
    

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!。

Current article:http://o72x6ox.gamajionghuanmuniuzhuanguchu.cyou/list_20r65y/ngdjyn.html

Published on:03:44:49


专题推荐

相关新闻


© 1996 - 我的网站 版权所有   联系我们

地址:北京市三里河路52号 邮编:100864