根据某大数据视频公开课的个人笔记记录
项目背景
(资料来自百度百科)
项目架构
项目说明
这是一个依据尚硅谷公开课(智慧出行)搭建的项目,仅实现了三个模块,包括“数据生产、消费、建模”。
开发工具及环境说明:Intellij IDEA,Scala,Redis,Kafka
项目搭建
Intellij IDEA 新建java(空)项目intelligentTransport
删除项目下src目录
空项目建立成功
在后续操作中将在项目下添加module(maven)(4个):数据生产、消费、建模、预测
这里只实现了前三个模块
Project——智慧出行——intelligentTransport项目说明及架构
Project——智慧出行——module1–tf_producer——步骤1:新建module及其目录结构完善
Project——智慧出行——module1–tf_producer——步骤2:pom.xml
Project——智慧出行——module1–tf_producer——步骤3:scala示例(hello world)(可跳过)
Project——智慧出行——module1–tf_producer——步骤4:kafka.properties
Project——智慧出行——module1–tf_producer——步骤5:PropertyUtil.scala
Project——智慧出行——module1–tf_producer——步骤6:Producer.scala
Project——智慧出行——module2–tf_consumer——步骤1:目录结构完善
Project——智慧出行——module2–tf_consumer——步骤2:RedisUtil.scala
Project——智慧出行——module2–tf_consumer——步骤3:SparkConsumer.scala
Project——智慧出行——module3–tf_modeling——步骤1:目录结构完善
Project——智慧出行——module3–tf_modeling——步骤2:Train.scala