setLearnRateFactor - 層の学習可能なパラメーターの学習率係数を設定します。 - MATLAB - MathWorks 日本 (2024)

ライブ スクリプトを開く

layers = [ ... imageInputLayer([28 28 1]) convolution2dLayer(5,20) batchNormalizationLayer sreluLayer fullyConnectedLayer(10) softmaxLayer];

layers(4) = setLearnRateFactor(layers(4),"LeftThreshold",2);

factor = getLearnRateFactor(layers(4),"LeftThreshold")

factor = 2

ライブ スクリプトを開く

numFilters = 64;layer = residualBlockLayer(numFilters)

layer = residualBlockLayer with properties: Name: '' Learnable Parameters Network: [1x1 dlnetwork] State Parameters Network: [1x1 dlnetwork]Use properties method to see a list of all properties.

layer.Network.Layers

ans = 7x1 Layer array with layers: 1 'conv_1' 2-D Convolution 64 3x3 convolutions with stride [1 1] and padding 'same' 2 'batchnorm_1' Batch Normalization Batch normalization 3 'relu_1' ReLU ReLU 4 'conv_2' 2-D Convolution 64 3x3 convolutions with stride [1 1] and padding 'same' 5 'batchnorm_2' Batch Normalization Batch normalization 6 'add' Addition Element-wise addition of 2 inputs 7 'relu_2' ReLU ReLU

factor = 2;layer = setLearnRateFactor(layer,'Network/conv_1/Weights',factor);

factor = getLearnRateFactor(layer,'Network/conv_1/Weights')

factor = 2

ライブ スクリプトを開く

net = dlnetwork;layers = [ imageInputLayer([28 28 1],Normalization="none",Name="in") convolution2dLayer(5,20,Name="conv") batchNormalizationLayer(Name="bn") reluLayer(Name="relu") fullyConnectedLayer(10,Name="fc") softmaxLayer(Name="sm")];net = addLayers(net,layers);

factor = 2;net = setLearnRateFactor(net,'conv',Weights=factor);

factor = getLearnRateFactor(net,'conv',"Weights")

factor = 2

ライブ スクリプトを開く

layers = [lstmLayer(100,OutputMode="sequence",Name="lstm") dropoutLayer(0.2,Name="dropout")];

lstmDropoutLayer = networkLayer(layers,Name="lstmDropout");

layers = [sequenceInputLayer(3) lstmDropoutLayer lstmDropoutLayer fullyConnectedLayer(10) softmaxLayer];

net = dlnetwork(layers);

factor = 2;net = setLearnRateFactor(net,"lstmDropout_1/lstm/InputWeights",factor);

factor = getLearnRateFactor(net,"lstmDropout_1/lstm/InputWeights")

factor = 2

ライブ スクリプトを開く

inputSize = [224 224 3];numFilters = 32;numClasses = 5;layers = [ imageInputLayer(inputSize,'Normalization','none','Name','in') convolution2dLayer(7,numFilters,'Stride',2,'Padding','same','Name','conv') groupNormalizationLayer('all-channels','Name','gn') reluLayer('Name','relu') maxPooling2dLayer(3,'Stride',2,'Name','max') residualBlockLayer(numFilters,'Name','res1') residualBlockLayer(numFilters,'Name','res2') residualBlockLayer(2*numFilters,'Stride',2,'IncludeSkipConvolution',true,'Name','res3') residualBlockLayer(2*numFilters,'Name','res4') residualBlockLayer(4*numFilters,'Stride',2,'IncludeSkipConvolution',true,'Name','res5') residualBlockLayer(4*numFilters,'Name','res6') globalAveragePooling2dLayer('Name','gap') fullyConnectedLayer(numClasses,'Name','fc') softmaxLayer('Name','sm')];dlnet = dlnetwork(layers);

dlnet.Layers(6).Network.Layers

ans = 7x1 Layer array with layers: 1 'conv_1' 2-D Convolution 32 3x3x32 convolutions with stride [1 1] and padding 'same' 2 'batchnorm_1' Batch Normalization Batch normalization with 32 channels 3 'relu_1' ReLU ReLU 4 'conv_2' 2-D Convolution 32 3x3x32 convolutions with stride [1 1] and padding 'same' 5 'batchnorm_2' Batch Normalization Batch normalization with 32 channels 6 'add' Addition Element-wise addition of 2 inputs 7 'relu_2' ReLU ReLU

factor = 2;dlnet = setLearnRateFactor(dlnet,'res1/Network/conv_1/Weights',factor);

factor = getLearnRateFactor(dlnet,'res1/Network/conv_1/Weights')

factor = 2

ライブ スクリプトを開く

net = imagePretrainedNetwork;

learnables = net.Learnables;head(learnables)

 Layer Parameter Value __________________ _________ ___________________ "conv1" "Weights" {3x3x3x64 dlarray} "conv1" "Bias" {1x1x64 dlarray} "fire2-squeeze1x1" "Weights" {1x1x64x16 dlarray} "fire2-squeeze1x1" "Bias" {1x1x16 dlarray} "fire2-expand1x1" "Weights" {1x1x16x64 dlarray} "fire2-expand1x1" "Bias" {1x1x64 dlarray} "fire2-expand3x3" "Weights" {3x3x16x64 dlarray} "fire2-expand3x3" "Bias" {1x1x64 dlarray}

factor = 0;numLearnables = size(learnables,1);for i = 1:numLearnables layerName = learnables.Layer(i); parameterName = learnables.Parameter(i); net = setLearnRateFactor(net,layerName,parameterName,factor);end

• 入れ子層がネットワーク層の中にある場合、パラメーターのパスの形式は "nestedLayerName/parameterName" となります。ここで、nestedlayerName はネットワーク層の中にある入れ子層の名前、parameterName はパラメーターの名前です。入れ子層のレベルが複数ある場合は、nestedLayerName1/.../nestedLayerNameN/parameterName の形式でパスを指定します。

• 入れ子層が、それ自体でニューラル ネットワークを学習可能なパラメーターとして定義するカスタム層である場合、パラメーターのパスの形式は "propertyName/layerName/parameterName" となります。ここで、propertyName は dlnetwork オブジェクトが格納されたプロパティの名前、layerName は dlnetwork オブジェクト内の層の名前、parameterName はパラメーターの名前です。入れ子層のレベルが複数ある場合は、"propertyName1/layerName1/.../propertyNameN/layerNameN/parameterName" の形式でパスを指定します。

• 入れ子層がネットワーク層の中にある場合、パラメーターのパスの形式は "networkLayerName/nestedLayerName/parameterName" となります。ここで、networkLayerName はネットワーク層の名前、nestedlayerName はネットワーク層の中にある入れ子層の名前、parameterName はパラメーターの名前です。入れ子層のレベルが複数ある場合は、"networkLayerName1/.../networkLayerNameN/nestedLayerName/parameterName" の形式でパスを指定します。

• 入れ子層が、それ自体でニューラル ネットワークを学習可能パラメーターとして定義するカスタム層である場合、パラメーターのパスの形式は "customLayerName1/propertyName/layerName/parameterName" となります。ここで、layerName1 は入力の dlnetwork オブジェクト内の層の名前、propertyName は dlnetwork オブジェクトが格納された層のプロパティの名前、layerName は dlnetwork オブジェクト内の層の名前、parameterName はパラメーターの名前です。入れ子層のレベルが複数ある場合は、"customLayerName1/propertyName1/.../customLayerNameN/propertyNameN/layerName/parameterName" の形式でパスを指定します。