java写卷积神经网络(CupCnn简介)-eolink官网

java写卷积神经网络(CupCnn简介)

前言

在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。目前，很多的车牌识号识别，人脸识别等都采用卷积神经网络，可以说卷积神经网络在图像识别方面取得了巨大的成功。当前开源的深度学习框架有很多了，比如caffe,tensorflow,torch等，这些深度学习框架包含了完善的卷积神经网络的实现，那么，为什么我们还要自己写卷积神经网络？直接用这些开源的深度学习框架多好，又快又省事，性能好稳定，bug少。是的，如果你只是使用卷积神经网络做一些应用，并不在意它的工作原理，那你大可不必自己费神费力的写卷积神经网络，可如果你想完全掌握卷积神经网络的工作原理，古人云：纸上得来终觉浅，觉知此时要躬行。所以，你很有必要自己实现一遍卷积神经网络，从而加深对它的认识。

什么是CupCnn

CupCnn是个用java写的卷积神经网络，我在工作之余，为了加深对卷积神经网络的认识，实现了它。它足够简洁，表现也不错，非常适合初学者参考使用。它的源码可以从github下载：CupCnn

你不用担心它的协议什么的限制，您可以用它来做任何事，任意修改它，如果它能对你有所帮助，希望能给个星星！！！

^-^^-^^-^

设计的思路

我希望它是以足够简单的神经网络，这样有利于初学者学习。所以我没有实现那些并发加速的东西，这保证的代码的简介性。设计的时候，我将卷积神经网络分为四个模块：Network（layer blob loss active），这点可以从包名中看出来。layer,loss,active都有一个基类，整个神经网络的编程都是面向基类的。Network是综合这四个模块，统筹和调度资源的中心，每个layer都会有一个Network的实例，这样可以轻松的通过Network获得各种数据，比如获取每一层的输出，diff等。

设计框图如下：

参数的保存对于java而言就非常简单了，实现Serializable接口就可以快速实现参数的序列化和反序列化。CupCnn只对data目录下的Blob和BlobParams两个实现了Serializable接口，所有的参数都由这两个实现。

目前的表现

全连接神经网络

目前，在mnist数据集上，全连接神经网络（全连接（100）+全连接（30）+全连接（10）+softmax），训练30个epoes,准确率为96.76

卷积神经网络

卷积神经网络（6个特征）+最大值池化+卷积（6个特征）+全连接（512）+全连接（30）+全连接（10）+softmax）,在学习速率为0.2的情况下，训练30个epoes,准确率为97.79.我相信经过进一步参数调优，在充分训练的情况下，准确率能达到更高。

卷积神经网络训练快照如下：

begin train

epoe: 0 lossValue: 2.3019369891560455 lr: 0.2 accuracy is 0.13

epoe: 0 lossValue: 2.0722489482105195 lr: 0.2 accuracy is 0.44

epoe: 0 lossValue: 1.2423286194012682 lr: 0.2 accuracy is 0.72

epoe: 0 lossValue: 0.7860529560675255 lr: 0.2 accuracy is 0.79

epoe: 0 lossValue: 0.6272194196176664 lr: 0.2 accuracy is 0.87

epoe: 0 lossValue: 0.5240051326725808 lr: 0.2 accuracy is 0.84

epoe: 0 lossValue: 0.27637563581928026 lr: 0.2 accuracy is 0.95

epoe: 0 lossValue: 0.35585388987055083 lr: 0.2 accuracy is 0.92

epoe: 0 lossValue: 0.441971528417802 lr: 0.2 accuracy is 0.92

epoe: 0 lossValue: 0.25637710325999674 lr: 0.2 accuracy is 0.95

epoe: 0 lossValue: 0.39872273532502 lr: 0.2 accuracy is 0.9

epoe: 1 lossValue: 0.264085484522027 lr: 0.16000000000000003 accuracy is 0.91

epoe: 1 lossValue: 0.22754066024803088 lr: 0.16000000000000003 accuracy is 0.96

http://epoe: 1 lossValue: 0.30256420975577103 lr: 0.16000000000000003 accuracy is 0.96

epoe: 1 lossValue: 0.18149648622985948 lr: 0.16000000000000003 accuracy is 0.99

epoe: 1 lossValue: 0.177239938748327 lr: 0.16000000000000003 accuracy is 0.96

epoe: 1 lossValue: 0.15041993009777443 lr: 0.16000000000000003 accuracy is 0.98

epoe: 1 lossValue: 0.10759545752665524 lr: 0.16000000000000003 accuracy is 1.0

CupCnn的使用

目前，CupCnn实现了mnist数据集上的测试，在src/test下，MnistTest是main函数的入口，具体的神经网络的搭建在MnistNetwork类中。在MnistNetwork类中，buildConvNetwork和buildFcNetwork分别实现

了搭建卷积神经网络和搭建全连接神经网络。得益于java良好的跨平台属性，你下载完CupCnn的源码后，使用eclipse打开该项目，然后直接运行，应该就能开始在mnist数据集上训练和测试了。

构建神经网络

public void buildNetwork(){

//首先构建神经网络对象，并设置参数

network = new Network();

network.setBatch(100);

network.setLoss(new LogLikeHoodLoss());

//network.setLoss(new CrossEntropyLoss());

optimizer = new SGDOptimizer(0.2);

network.setOptimizer(optimizer);

//buildFcNetwork();

buildConvNetwork();

network.prepare();

}

setBatch（）函数设置一个批次里有多少张图片。

setLoss（）设置要是用的损失函数。CupCnn实现了交叉熵损失函数和对数似然损失函数。

setOptimizer（）设置要是用的优化器。CupCnn只实现了SGD优化器，如果您实现了更好的优化器，并且愿意提交到CupCnn,那本人深表欢迎。

构建全连接神经网络

private void buildFcNetwork(){

//给network添加网络层

InputLayer layer1 = new InputLayer(network,new BlobParams(network.getBatch(),1,28,28));

network.addLayer(layer1);

FullConnectionLayer layer2 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),784,1,1));

layer2.setActivationFunc(new ReluActivationFunc());

network.addLayer(layer2);

FullConnectionLayer layer3 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),100,1,1));

layer3.setActivationFunc(new ReluActivationFunc(http://));

network.addLayer(layer3);

FullConnectionLayer layer4 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),30,1,1));

layer4.setActivationFunc(new SigmodActivationFunc());

network.addLayer(layer4);

FullConnectionLayer layer5 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),10,1,1));

layer5.setActivationFunc(new ReluActivationFunc());

network.addLayer(layer5);

SoftMaxLayer sflayer = new SoftMaxLayer(network,new BlobParams(network.getBatch(),10,1,1));

network.addLayer(sflayer);

}

正如上面代码展示的一样，每一个Layer都需要一个network,它是Network的实例，Network是全局的管理者和资源的调度者，有了Network的引用，我们可以轻易的获得到每一层的输出的数据，输出的误差等。此外，每一层都需要一个指定当前层输出数据块大小的参数，该参数告诉某一层你需要输出多少数据。比如神经网络的pBrVTZ最后一层是SoftMaxLayer ，它需要输出到底是哪个数字，这个数字用长度为10的向量表示，比如数字7，那么SoftMaxLayer 应该输出第8个元素的值为1，其他元素的值为0。卷积层和池化层需要更多的参数，因为他们都有一个kernel,对卷积层而言，它叫卷积核，卷积层的实现每此每个方向的stride也就是步长都是1，这点还有改进的余地。对于池化层，你出来需要传入池化核的参数外，还需要传入水平方向和垂直方向的步长，这是必须的。

训练和测试

搭建好神经网络后，你需要调用network.prepare()方法，该方法会根据每一层的数据参数创建输出数据块和误差数据块。因此该方法的调用是必须的。

public void train(List imgList,int epoes){

System.out.println("begin train");

int batch = network.getBatch();

double loclaLr = optimizer.getLr();

for(int e=0;e

Collections.shuffle(imgList);

for(int i=0;i

List inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);

double lossValue = network.train(inputAndLabel.get(0), inputAndLabel.get(1));

if(i>batch && i/batch%50==0){

System.out.print("epoe: "+e+" lossValue: "+lossValue+" "+" lr: "+optimizer.getLr()+" ");

testInner(inputAndLabel.get(0), inputAndLabel.get(1));

}

if(loclaLr>0.001){

loclaLr*=0.8;

optimizer.setLr(loclaLr);

}

public void test(List imgList){

System.out.println("begin test");

int batch = network.getBatch();

int correctCount = 0;

int i = 0;

for(i=0;i

List inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);

Blob output = network.predict(inputAndLabel.get(0));

int[] calOutLabels = getBatchOutputLabel(output.getData());

int[] realLabels = getBatchOutputLabel(inputAndLabel.get(1).getData());

for(int kk=0;kk

if(calOutLabels[kk] == realLabels[kk]){

correctCount++;

}

double accuracy = correctCount/(1.0*i+batch);

System.out.println("test accuracy is "+accuracy+" correctCount "+correctCount);

}

如上，调用Network的 train即可训练，调用Network的predict方法即可测试。

参数的保存和加载

public void saveModel(String name){

network.saveModel(name);

}

public void loadModel(String name){

network = new Network();

network.loadModel(name);

network.prepare();

}

调用Network的saveModel和loadModel可分别实现参数的保存和加载，你只需要传入一个文件名即可。当我们通过保存的参数创建神经网络的时候，我们需要先new 一个Network，然后调用这个network的loadModel加载已保存的参数，然后不要忘记调用prepare方法创建每一层的输出数据块和误差数据块。

目前的完成情况及未来的计划

目前，实现的层有：全连接，卷积，最大值池化层，平均值池化层，softmax层。实现的激活函数有：sigmod,tanh,relu.

实现的损失函数有：交叉熵，对数似然。实现的优化为：SGD。参数已经能save和load.接下来会添加droupout层，还会尝试添加cifar-10上的例子。

Collections.shuffle(imgList);

for(int i=0;i

List inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);

double lossValue = network.train(inputAndLabel.get(0), inputAndLabel.get(1));

if(i>batch && i/batch%50==0){

System.out.print("epoe: "+e+" lossValue: "+lossValue+" "+" lr: "+optimizer.getLr()+" ");

testInner(inputAndLabel.get(0), inputAndLabel.get(1));

}

if(loclaLr>0.001){

loclaLr*=0.8;

optimizer.setLr(loclaLr);

}

public void test(List imgList){

System.out.println("begin test");

int batch = network.getBatch();

int correctCount = 0;

int i = 0;

for(i=0;i

List inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);

Blob output = network.predict(inputAndLabel.get(0));

int[] calOutLabels = getBatchOutputLabel(output.getData());

int[] realLabels = getBatchOutputLabel(inputAndLabel.get(1).getData());

for(int kk=0;kk

if(calOutLabels[kk] == realLabels[kk]){

correctCount++;

}

double accuracy = correctCount/(1.0*i+batch);

System.out.println("test accuracy is "+accuracy+" correctCount "+correctCount);

}

如上，调用Network的 train即可训练，调用Network的predict方法即可测试。

参数的保存和加载

public void saveModel(String name){

network.saveModel(name);

}

public void loadModel(String name){

network = new Network();

network.loadModel(name);

network.prepare();

}

目前的完成情况及未来的计划

目前，实现的层有：全连接，卷积，最大值池化层，平均值池化层，softmax层。实现的激活函数有：sigmod,tanh,relu.

实现的损失函数有：交叉熵，对数似然。实现的优化为：SGD。参数已经能save和load.接下来会添加droupout层，还会尝试添加cifar-10上的例子。

List inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);

double lossValue = network.train(inputAndLabel.get(0), inputAndLabel.get(1));

if(i>batch && i/batch%50==0){

System.out.print("epoe: "+e+" lossValue: "+lossValue+" "+" lr: "+optimizer.getLr()+" ");

testInner(inputAndLabel.get(0), inputAndLabel.get(1));

}

if(loclaLr>0.001){

loclaLr*=0.8;

optimizer.setLr(loclaLr);

}

public void test(List imgList){

System.out.println("begin test");

int batch = network.getBatch();

int correctCount = 0;

int i = 0;

for(i=0;i

List inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);

Blob output = network.predict(inputAndLabel.get(0));

int[] calOutLabels = getBatchOutputLabel(output.getData());

int[] realLabels = getBatchOutputLabel(inputAndLabel.get(1).getData());

for(int kk=0;kk

if(calOutLabels[kk] == realLabels[kk]){

correctCount++;

}

double accuracy = correctCount/(1.0*i+batch);

System.out.println("test accuracy is "+accuracy+" correctCount "+correctCount);

}

如上，调用Network的 train即可训练，调用Network的predict方法即可测试。

参数的保存和加载

public void saveModel(String name){

network.saveModel(name);

}

public void loadModel(String name){

network = new Network();

network.loadModel(name);

network.prepare();

}

目前的完成情况及未来的计划

目前，实现的层有：全连接，卷积，最大值池化层，平均值池化层，softmax层。实现的激活函数有：sigmod,tanh,relu.

实现的损失函数有：交叉熵，对数似然。实现的优化为：SGD。参数已经能save和load.接下来会添加droupout层，还会尝试添加cifar-10上的例子。

List inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);

Blob output = network.predict(inputAndLabel.get(0));

int[] calOutLabels = getBatchOutputLabel(output.getData());

int[] realLabels = getBatchOutputLabel(inputAndLabel.get(1).getData());

for(int kk=0;kk

if(calOutLabels[kk] == realLabels[kk]){

correctCount++;

}

double accuracy = correctCount/(1.0*i+batch);

System.out.println("test accuracy is "+accuracy+" correctCount "+correctCount);

}

如上，调用Network的 train即可训练，调用Network的predict方法即可测试。

参数的保存和加载

public void saveModel(String name){

network.saveModel(name);

}

public void loadModel(String name){

network = new Network();

network.loadModel(name);

network.prepare();

}

目前的完成情况及未来的计划

目前，实现的层有：全连接，卷积，最大值池化层，平均值池化层，softmax层。实现的激活函数有：sigmod,tanh,relu.

实现的损失函数有：交叉熵，对数似然。实现的优化为：SGD。参数已经能save和load.接下来会添加droupout层，还会尝试添加cifar-10上的例子。

if(calOutLabels[kk] == realLabels[kk]){

correctCount++;

}

double accuracy = correctCount/(1.0*i+batch);

System.out.println("test accuracy is "+accuracy+" correctCount "+correctCount);

}

如上，调用Network的 train即可训练，调用Network的predict方法即可测试。

参数的保存和加载

public void saveModel(String name){

network.saveModel(name);

}

public void loadModel(String name){

network = new Network();

network.loadModel(name);

network.prepare();

}

目前的完成情况及未来的计划

目前，实现的层有：全连接，卷积，最大值池化层，平均值池化层，softmax层。实现的激活函数有：sigmod,tanh,relu.

实现的损失函数有：交叉熵，对数似然。实现的优化为：SGD。参数已经能save和load.接下来会添加droupout层，还会尝试添加cifar-10上的例子。

Flask接口签名sign原理与实例代码浅析

225 2023-02-07

java写卷积神经网络(CupCnn简介)

多平台统一管理软件接口，如何实现多平台统一管理软件接口

Flask接口签名sign原理与实例代码浅析

java中的接口是类吗

推荐文章

接口调用是什么意思？几种常用接口调用方式

接口设计原则

8款在线 API 接口文档管理工具

api管理系统是什么？

什么是接口调试？接口调试的步骤有哪些？

api 接口管理系统有哪些？

接口测试有几种测试方法

API文档生成工具有哪些？

微服务和api网关区别

交换机配置步骤

最近发表

热评文章

在线接口文档管理工具推荐，支持在线测试，HTTP接口

开源的在线接口文档wiki工具Mindoc的介绍与使

如何优雅的进行接口设计？接口设计的六大原则是什么？

什么是API测试,api检测公司

软件接口设计怎么做？前后端分离软件接口设计思路

接口管理平台推荐，几大接口管理平台总有一款适合你！