Spring Boot爬取携程网站用户评论数据整合mybatis项目案例
包含内容: 源码,全套工具
作者QQ549710689
下载Demo
项目描述
一、需求
获取携程网站用户点评数据保存到数据库中
http://vacations.ctrip.com/grouptravel/p1740331s0-comment-1.html
二、项目结构
三、代码说明
创建xiechengcourse数据库，执行comment.sql文件
首先说一个工具类
执行main方法，会自动根据数据库表生成entity，mapper，mapper.
注意：只能执行一次，否则会报错，要想重新执行把这三个文件删了重新执行一遍
pom.xml(所依赖的jar包)
有mybatis生成工具的依赖，httpclient的依赖，还有mysql的依赖，json的依赖，。。。。。。
application.yml
配置文件
DataController.java
就一个api，一个参数page，传入几页就是拉取几页的数据
CommentServiceImpl.java
业务很简单，就是根据url爬取数据，然后批量保存到数据库中
CommentMapper.java
批量插入数据要自己添加，不能自动生成
<!--批量插入数据--><insert id="insertBatch" parameterType="java.util.List">
insert into comment
(id, user_id, user_type,score, comment_info,comment_tips)
values
<foreach collection="list" index="index" item="item" separator=",">
(#{item.id,jdbcType=INTEGER}, #{item.userId,jdbcType=VARCHAR}, #{item.userType,jdbcType=VARCHAR},
#{item.score,jdbcType=VARCHAR}, #{item.commentInfo,jdbcType=LONGVARCHAR}, #{item.commentTips,jdbcType=TIMESTAMP})
</foreach>
</insert>运行环境
jdk8+tomcat8+mysql+IntelliJ IDEA+maven
项目技术(必填)
spring boot+mybatis+ jsoup
数据库文件
jar包文件
maven搭建
链接：https://pan.baidu.com/s/16tJG8r_5l02uNXMzYX8LwQ
提取码：lhsw
是否原创(转载必填原文地址)
原创
项目截图(必填)
运行截图(必填)
项目启动
访问地址：http://localhost/api/getData?page=100 拉取前100页的评论数据
获取数据成功 看看结果 每页10条数据，数据库中一共是1000条数据
注意事项
1、mybatis生成代码时注意配置
2、启动报错
解决 ：
数据库连接后加参数serverTimezone=GMT%2B
3、CrawlerdataApplication.java注解配置不要遗漏