将Caffe配置转换为DeepLearning4J配置

作者: Colin
发布时间: 2024-06-27 10:13:31 (20天前)
转自：

3 条回复

0#
回复此人
我头上有犄角 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 这个 <a href="https://github.com/deeplearning4j/dl4j-benchmark/tree/master/dl4j-core-benchmark/src/main/java/org/deeplearning4j/ModelCompare" rel="nofollow noreferrer"> Github回购 </A> 包含DL4J，Caffe，Tensorflow，Torch之间相同模型的比较。 </p> <UL> <LI> 第一层是DL4J ConvolutionLayer，你可以传递关于nOut，kernel，stride和weightInit的属性。从快速搜索看，msra等同于WeightInit.RELU，variance_norm不是该模型支持的功能。 </LI> <LI> 第二层是ConvolutionLayer的一方，它是激活属性;因此，将图层的属性设置为“relu”。负斜率不是模型支持的功能。 </LI> <LI> 第3层也是ConvolutionLayer的一个属性，它是dropOut 你会传0.2。有一些工作正在进行中特定的DropOutLayer但尚未合并。 </LI> <LI> 如果后面有另一层，第四层将是一个DenseLayer 但由于它是最后一层，它是一个OutputLayer </LI> <LI> blobs_lr分别将乘数应用于权重lr和偏差lr。您可以 </LI> <LI> 通过在其上设置属性来更改图层上的学习率 LearningRate和biasLearningRate的图层 </LI> <LI> weight_decay在您可以设置的图层上设置l1或l2 对于具有属性l1或l2的每个图层。 DL4J默认不是应用l1或l2进行偏置，从而将第二个weight_decay设置为0 in 咖啡。 </LI> <LI> 偏置填充已经默认为常量，默认为0。 </LI> </UL> <P> 以下是代码翻译方式的快速示例。更多信息可以在中找到 <a href="https://github.com/deeplearningarning4j/dl4j-examples" rel="nofollow noreferrer"> DL4J的例子 </A> ： </p> <pre> <code> int learningRate = 0.1; int l2 = 0.005; int intputHeight = 28; int inputWidth = 28; int channels = 1; MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder() .seed(seed) .iterations(iterations) .regularization(false).l2(l2) .learningRate(learningRate) .list() .layer(0, new ConvolutionLayer.Builder(new int[]{2,2}, new int[] {1,1}) .name("myLayer1") .activation("relu").dropOut(0.2).nOut(20) .biasLearningRate(2*learningRate).weightInit(WeightInit.RELU) .build()) .layer(1, new OutputLayer.Builder() .name("myLayer4").nOut(10) .activation("softmax").l2(1 * l2).biasLearningRate(2*learningRate) .weightInit(WeightInit.XAVIER).build()) .setInputType(InputType.convolutionalFlat(inputHeight,inputWidth,channels)) .build(); </code> </pre> </DIV>

编辑
1#
回复此人
筱梨 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 没有自动化的方法可以做到这一点，但只为少数几个laayers映射构建器DSL应该不难。这里有一个最基本的例子： <a href =“https://github.com/deeplearningarningjj/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/convolution/LenetMnistExample.java"rel =”nofollow noreferrer “> https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/convolution/LenetMnistExample.java </A> </p> <P> 你可以看到相同的原语，例如：stride，padding，xavier，biasInit all in the。 </p> <P> 我们即将推出的keras导入可能是您搭建caffe的一种方式 - ＆gt; keras - ＆gt; dl4j虽然。 </p> <P> 编辑：我不打算为你建造它。（我不确定这是不是你要找的） </p> <P> Dl4j已经有了正确的原语。它没有variance_norm的输入层：在传入之前对输入使用零均值和单位方差归一化。 </p> <P> 如果您只是阅读javadoc，我们将偏置Init作为配置的一部分： <a href="http://deeplearning4j.org/doc" rel="nofollow noreferrer"> http://deeplearning4j.org/doc </A> </p> </DIV>

编辑

登录后才能参与评论