Java 项目模板

    这些模版可以帮助你搭建项目结构并创建初始构建文件。

    唯一的要求是使用 Maven 3.0.4 (或更高版本)和安装 Java 8.x

    创建项目

    使用以下命令之一来 创建项目

    这种方式允许你为新项目命名。它将以交互式的方式询问你项目的 groupId、artifactId 和 package 名称。

    项目创建后,工作目录将多出一个新目录。如果你使用的是 curl 方式创建项目,目录名为 quickstart;如果你使用的是 Maven archetypes 方式创建项目,则目录名为你指定的 artifactId

    示例项目是一个 Maven project,它包含了两个类:StreamingJobBatchJob 分别是 DataStream and DataSet 程序的基础骨架程序。main 方法是程序的入口,既可用于IDE测试/执行,也可用于部署。

    我们建议你将 此项目导入IDE 来开发和测试它。IntelliJ IDEA 支持 Maven 项目开箱即用。如果你使用的是 Eclipse,使用 可以导入 Maven 项目。一些 Eclipse 捆绑包默认包含该插件,其他情况需要你手动安装。

    构建项目

    如果你想要 构建/打包你的项目,请在项目目录下运行 ‘mvn clean package’ 命令。命令执行后,你将 找到一个JAR文件,里面包含了你的应用程序,以及已作为依赖项添加到应用程序的连接器和库:target/<artifact-id>-<version>.jar

    注意: 如果你使用其他类而不是 StreamingJob 作为应用程序的主类/入口,我们建议你相应地修改 pom.xml 文件中的 mainClass 配置。这样,Flink 可以从 JAR 文件运行应用程序,而无需另外指定主类。

    唯一的要求是使用 Gradle 3.x (或更高版本) 和安装 Java 8.x

    创建项目

    使用以下命令之一来 创建项目

    1. buildscript {
    2. repositories {
    3. jcenter() // this applies only to the Gradle 'Shadow' plugin
    4. }
    5. dependencies {
    6. classpath 'com.github.jengelman.gradle.plugins:shadow:2.0.4'
    7. }
    8. }
    9. plugins {
    10. id 'java'
    11. id 'application'
    12. // shadow plugin to produce fat JARs
    13. id 'com.github.johnrengelman.shadow' version '2.0.4'
    14. }
    15. // artifact properties
    16. group = 'org.myorg.quickstart'
    17. version = '0.1-SNAPSHOT'
    18. mainClassName = 'org.myorg.quickstart.StreamingJob'
    19. ext {
    20. javaVersion = '1.8'
    21. flinkVersion = '1.9.0'
    22. scalaBinaryVersion = '2.11'
    23. slf4jVersion = '1.7.7'
    24. log4jVersion = '1.2.17'
    25. }
    26. targetCompatibility = javaVersion
    27. tasks.withType(JavaCompile) {
    28. options.encoding = 'UTF-8'
    29. }
    30. applicationDefaultJvmArgs = ["-Dlog4j.configuration=log4j.properties"]
    31. task wrapper(type: Wrapper) {
    32. gradleVersion = '3.1'
    33. }
    34. // declare where to find the dependencies of your project
    35. repositories {
    36. mavenCentral()
    37. maven { url "https://repository.apache.org/content/repositories/snapshots/" }
    38. }
    39. // 注意:我们不能使用 "compileOnly" 或者 "shadow" 配置,这会使我们无法在 IDE 中或通过使用 "gradle run" 命令运行代码。
    40. // 我们也不能从 shadowJar 中排除传递依赖(请查看 https://github.com/johnrengelman/shadow/issues/159)。
    41. // -> 显式定义我们想要包含在 "flinkShadowJar" 配置中的类库!
    42. configurations {
    43. flinkShadowJar // dependencies which go into the shadowJar
    44. // 总是排除这些依赖(也来自传递依赖),因为 Flink 会提供这些依赖。
    45. flinkShadowJar.exclude group: 'org.apache.flink', module: 'force-shading'
    46. flinkShadowJar.exclude group: 'com.google.code.findbugs', module: 'jsr305'
    47. flinkShadowJar.exclude group: 'org.slf4j'
    48. flinkShadowJar.exclude group: 'log4j'
    49. }
    50. // declare the dependencies for your production and test code
    51. dependencies {
    52. // --------------------------------------------------------------
    53. // 这些依赖会在 Flink 的 lib 目录中提供。
    54. // --------------------------------------------------------------
    55. compile "org.apache.flink:flink-java:${flinkVersion}"
    56. compile "org.apache.flink:flink-streaming-java_${scalaBinaryVersion}:${flinkVersion}"
    57. // --------------------------------------------------------------
    58. // 应该包含在 shadow jar 中的依赖,例如:连接器。
    59. // 它们必须在 flinkShadowJar 的配置中!
    60. // --------------------------------------------------------------
    61. //flinkShadowJar "org.apache.flink:flink-connector-kafka-0.11_${scalaBinaryVersion}:${flinkVersion}"
    62. compile "log4j:log4j:${log4jVersion}"
    63. compile "org.slf4j:slf4j-log4j12:${slf4jVersion}"
    64. // Add test dependencies here.
    65. // testCompile "junit:junit:4.12"
    66. }
    67. // make compileOnly dependencies available for tests:
    68. sourceSets {
    69. main.compileClasspath += configurations.flinkShadowJar
    70. main.runtimeClasspath += configurations.flinkShadowJar
    71. test.compileClasspath += configurations.flinkShadowJar
    72. test.runtimeClasspath += configurations.flinkShadowJar
    73. javadoc.classpath += configurations.flinkShadowJar
    74. }
    75. run.classpath = sourceSets.main.runtimeClasspath
    76. jar {
    77. manifest {
    78. attributes 'Built-By': System.getProperty('user.name'),
    79. 'Build-Jdk': System.getProperty('java.version')
    80. }
    81. }
    82. shadowJar {
    83. configurations = [project.configurations.flinkShadowJar]
    84. }
    1. bash -c "$(curl https://flink.apache.org/q/gradle-quickstart.sh)" -- 1.9.0 2.11

    这种方式允许你为新项目命名。它将以交互式的方式询问你的项目名称、组织机构(也用于包名)、项目版本、Scala 和 Flink 版本。

    根据你提供的项目名称,工作目录中将多出一个新目录,例如 quickstart

    示例项目是一个 Gradle 项目,它包含了两个类:StreamingJobBatchJobDataStreamDataSet 程序的基础骨架程序。main 方法是程序的入口,即可用于IDE测试/执行,也可用于部署。

    请注意:对 Flink 来说,默认的 JVM 堆内存可能太小,你应当手动增加堆内存。在 Eclipse中,选择 Run Configurations -> Arguments 并在 VM Arguments 对应的输入框中写入:-Xmx800m。在 IntelliJ IDEA 中,推荐从菜单 Help | Edit Custom VM Options 来修改 JVM 选项。有关详细信息,请参阅。

    构建项目

    如果你想要 构建/打包项目,请在项目目录下运行 ‘gradle clean shadowJar’ 命令。命令执行后,你将 找到一个 JAR 文件,里面包含了你的应用程序,以及已作为依赖项添加到应用程序的连接器和库:build/libs/<project-name>-<version>-all.jar

    注意: 如果你使用其他类而不是 StreamingJob 作为应用程序的主类/入口,我们建议你相应地修改 build.gradle 文件中的 mainClassName 配置。这样,Flink 可以从 JAR 文件运行应用程序,而无需另外指定主类。

    开始编写应用!

    如果你准备编写流处理应用,正在寻找灵感来写什么,可以看看

    如果你准备编写批处理应用,正在寻找灵感来写什么,可以看看批处理应用程序示例

    有关 API 的完整概述,请查看 和DataSet API 章节。

    如果你有任何问题,请发信至我们的,我们很乐意提供帮助。