DL4J实战之一:准备
阅读原文时间:2021年10月09日阅读:1

欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;

关于DL4J

  • DL4J是Deeplearning4j的简称,是基于Java虚拟机的深度学习框架,是用java和scala开发的,已开源,官网:https://deeplearning4j.org/

关于《DL4J实战》系列

  • 《DL4J实战》是欣宸在深度学习领域的原创,旨在通过一系列动手操作,由浅入深了解深度学习的基本知识,掌握通用操作,并且对DL4J逐渐熟练,进而在学习和工作中解决实际问题

本篇概览

  • 作为《DL4J实战》系列的开篇,本文为后面的文章和实战做好准备工作,包含以下内容:
  1. 确定环境和版本信息
  2. 创建名为dl4j-tutorials的maven工程作为父工程,后面整个系列的代码都是dl4j-tutorial的子工程
  3. 创建名为commons的子工程,这里面是一些常用的工具代码,例如下载数据集、绘图等

源码下载

名称

链接

备注

项目主页

https://github.com/zq2599/blog_demos

该项目在GitHub上的主页

git仓库地址(https)

https://github.com/zq2599/blog_demos.git

该项目源码的仓库地址,https协议

git仓库地址(ssh)

git@github.com:zq2599/blog_demos.git

该项目源码的仓库地址,ssh协议

  • 这个git项目中有多个文件夹,《DL4J实战》系列的源码在dl4j-tutorials文件夹下,如下图红框所示:

版本信息

本系列实战都是在以下环境进行,这里列出来供您参考:

  1. 操作系统:win10 64位专业版
  2. JDK:1.8.0_281
  3. maven:3.6.2
  4. IEDA:2021.1.1 (Ultimate Edition)
  5. DL4J:1.0.0-beta7

《DL4J实战》系列源码的公用父工程

  • 《DL4J实战》系列的源码都放置在同一个父工程下,除了管理代码方便,还可以将各个子工程的依赖库版本统一管理,接下来创建这个父工程;

  • 新建名为dl4j-tutorials的maven工程,该工程下只有pom.xml,内容如下:


    http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    4.0.0
    com.bolingcavalry
    dlfj-tutorials
    1.0-SNAPSHOT
    commons classifier-iris
    pom

    <properties>
        <java.version>1.8</java.version>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    &lt;dl4j-master.version&gt;1.0.0-beta7&lt;/dl4j-master.version&gt;
    &lt;!-- Change the nd4j.backend property to nd4j-cuda-X-platform to use CUDA GPUs --&gt;
    &lt;!-- &lt;nd4j.backend&gt;nd4j-cuda-10.2-platform&lt;/nd4j.backend&gt; --&gt;
    &lt;nd4j.backend&gt;nd4j-native&lt;/nd4j.backend&gt;
    &lt;java.version&gt;1.8&lt;/java.version&gt;
    &lt;maven-compiler-plugin.version&gt;3.6.1&lt;/maven-compiler-plugin.version&gt;
    &lt;maven.minimum.version&gt;3.3.1&lt;/maven.minimum.version&gt;
    &lt;exec-maven-plugin.version&gt;1.4.0&lt;/exec-maven-plugin.version&gt;
    &lt;maven-shade-plugin.version&gt;2.4.3&lt;/maven-shade-plugin.version&gt;
    &lt;jcommon.version&gt;1.0.23&lt;/jcommon.version&gt;
    &lt;jfreechart.version&gt;1.0.13&lt;/jfreechart.version&gt;
    &lt;logback.version&gt;1.1.7&lt;/logback.version&gt;
    &lt;project.build.sourceEncoding&gt;UTF-8&lt;/project.build.sourceEncoding&gt;
    </properties> <dependencyManagement> <dependencies> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.29</version> </dependency> <dependency> <groupId>io.netty</groupId> <artifactId>netty-common</artifactId> <version>4.1.48.Final</version> </dependency> <dependency> <groupId>org.nd4j</groupId> <artifactId>${nd4j.backend}</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-api</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-data-image</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-local</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-datasets</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-core</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-ui</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-zoo</artifactId> <version>${dl4j-master.version}</version> </dependency> <!-- ParallelWrapper & ParallelInference live here --> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-parallel-wrapper</artifactId> <version>${dl4j-master.version}</version> </dependency> <!-- Used in the feedforward/classification/MLP* and feedforward/regression/RegressionMathFunctions example --> <dependency> <groupId>jfree</groupId> <artifactId>jfreechart</artifactId> <version>${jfreechart.version}</version> </dependency> <dependency> <groupId>org.jfree</groupId> <artifactId>jcommon</artifactId> <version>${jcommon.version}</version> </dependency> <!-- Used for downloading data in some of the examples --> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.3.5</version> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>${logback.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-data-codec</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.bytedeco</groupId> <artifactId>javacv-platform</artifactId> <version>1.5.2</version> </dependency>
        &lt;dependency&gt;
            &lt;groupId&gt;org.projectlombok&lt;/groupId&gt;
            &lt;artifactId&gt;lombok&lt;/artifactId&gt;
            &lt;version&gt;1.16.16&lt;/version&gt;
        &lt;/dependency&gt;
    &lt;/dependencies&gt;
    </dependencyManagement>

子工程commons

  • 后面的实战中,我们常用到下载文件、绘图等功能,因此新增一个子工程,将下载绘图等功能对应的工具类都在这里面给其他工程使用

  • 在dl4j-tutorials下新增名为commons的子工程,其pom.xml内容如下:


    http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> dlfj-tutorials com.bolingcavalry 1.0-SNAPSHOT 4.0.0 commons org.datavec datavec-api org.apache.httpcomponents httpclient org.deeplearning4j deeplearning4j-core jfree jfreechart

  • 目前commons子工程中有四个类,并非欣宸原创,而是来自DL4J的官方demo,其功能简介如下:

  1. DataUtilities:下载和解压指定地址对应的文件
  2. DownloaderUtility:DL4J为我们准备了丰富的数据集(例如150个鸢尾花数据,带标签),这些内容保存在云端(AZURE),通过DownloaderUtility可以很方便的下载和解压这些数据集
  3. PlotUtil:绘制二维图形
  4. VAEPlotUtil:绘制变分自编码图形
  • 上述四个类在工程中的位置如下图所示,限于篇幅就不贴出代码了,有需要的话请在github上获取:

  • 至此,准备工作就完成了,接下来的旅程会异常精彩,欣宸感谢您的一路相伴!

你不孤单,欣宸原创一路相伴

  1. Java系列
  2. Spring系列
  3. Docker系列
  4. kubernetes系列
  5. 数据库+中间件系列
  6. DevOps系列

欢迎关注公众号:程序员欣宸

微信搜索「程序员欣宸」,我是欣宸,期待与您一同畅游Java世界…

https://github.com/zq2599/blog_demos