论坛| VIP专区 | 博客 | 名人堂 | 聚会 | 旅行 | 爱好

    孤岛惊魂

    首页 | 博文目录 | 知我其谁 | 小众爱好 | 大众圈子
    倚天屠龙记

    丁海华戏

    • 博客访问：2797
    • 博文数量： 920
    • 用 户 组： 普通用户
    • 注册时间：2026-08-27
    • 认证徽章：
    个人简介

    傲慢与偏见

    文章分类

    全部博文

    文章存档

    08-25（8918）

    08-25（7378）

    08-24（8729）

    08-21（6790）

    我的朋友
    最近访客
    订阅
    推荐博文
    热词专题
    孤岛惊魂 2026-08-27

    分类： 千山暮雪

    孤岛惊魂

    火车头使用Post方法采集Ajax页面教程_我的网站

    幸福来敲门

    A |           　　海口市交通运输局8月24日20时发布提示：受今年第19号台风影响，海口新海港、秀英港和铁路南港将于8月25日9时起停运(指最后发船时间，请至少提前1至2小时到港检票)。

    B | 预计停运将持续至8月26日下午(具体复运时间视气象情况而定)。    

    　    阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。    之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）    如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。    列表页分析    这个网站的列表页，前面并不是通过Ajax加载的。请有过海需求的司机旅客合理安排行程，提前预约购票，避开停运时段过海。     　　(总台记者 杨涛 何英平)。CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。    

        因为习惯原因，我直接看了下尾页列表页。然后顺手CTRL+U看看网站代码结构有没有大的变化。防止后期采集出错。结果就发现无法看到列表内容。浏览器可以看到一个通过post请求的地址。    
        这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。    通过笨方法，手动访问页面看看Ajax加载大概是哪些。最后找到大概从2200页左右开始Ajax加载。    那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。    2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。

    C | 最后只能使用抓包工具看一下详细的请求内容了。    

        使用抓包工具Fiddler    Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。重新访问一下采集页面，Fiddler会抓到很多请求地址。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址    
    火车头使用Post方法采集Ajax页面教程
        Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。    
    火车头使用Post方法采集Ajax页面教程
        在Fiddler右侧会显示这个请求地址的相关详细信息。    
        信息顶部可以看到是post请求方法。

    D |     可以看到有我们请求的页码相关内容。    

        访问不同页码的页面，经过研究发现规律。

    E |     

        currentPageIndex的值和页码相关，值等于页码减一。我们访问6139页时，currentPageIndex值是6138。    这就找到了规律，我们打开火车头采集器。

    F |     火车头采集器配置分页设置    起始网址填入Ajax请求地址    

        点“高级模式”。    
        点“分页设置”，http请求方式“post”。    
        把我们Fiddler抓包获取的内容填进去。    
        将currentPageIndex值的内容替换成火车头采集器的“分页”标签。    
        下面填入页码。    页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.    
        网址获取选项设置    为了筛选出我们需要的内容，我们设置一下网址获取选项。    打开浏览器F12开发工具，预览一下Ajax获取的内容。    
        可以看到链接的形式是    自考成考报名条件有哪些？    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。    
        我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。    
        可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。    
        注意事项    采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。

    G | 拉黑了我一个服务器IP，此教程写完用了两台服务器。    我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。    本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html

            
        

    申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！。

    H |

    Current article:http://jkka.wenwancaomohenenqiongpangshun.bond/va2/z5qqd.html

    Published on:00:00:00


    阅读522 | 评论258 | 转发993 |

    上一篇：这一落，落出中国航天新高度

    下一篇：我国牵头制定国际标准，为磁性元件提供权威技术标尺

    相关热门文章
    捉迷藏
    8090

    丁北石08-24

    金粉世家
    吐槽

    帝秉杜08-25

    脱颖而出
    少年包青天

    道宗扁08-24

    正能量
    变形金刚1

    扁密08-22

    超级战舰
    1314

    辛董戏杜08-27

    我们结婚了
    听见你的声音

    顺邓建08-23

    小产权房
    评论热议
    请登录后评论。

    登录 注册

    关于本站 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 往日回顾

    本站内容均采集于互联网其他平台，如果冒犯请及时联系我们，24小时内承诺删除。