㈠ 20000張圖片的數據集要訓練多久
第一步訓練就需要花費2個多小時，總共也才6個小時左右，所以提高訓練速度很重要。
㈡ wider數據集標簽有問題嗎
wider數據集標簽沒有問題。WIDERFACE數據集是一個人臉檢測基準benchmark數據集，圖片選取自數據集，圖片數32203張，人臉數393703個，在大小scale位置pose遮擋occlusion等不同形式中人臉是高度變換的。
wider數據集標簽的特點
WIDERFACE數據集是基於61個事件類別每個事件類別，隨機選取訓練百分之40驗證百分之10測試百分之50，訓練和測試含有邊框boundingbox真值groundtruth而驗證不含，檢測演算法在測試集上的評估方式與PASCALVOCDATADASET相同。
並且測試集的真值包圍框boundingbox未發布，參賽者可通過提交預測結果predictionfiles，由WIDERFACE給出評價結果，WiderPerson數據集是比較擁擠場景的行人檢測基準數據集，其圖像是從多種場景中選擇的不再局限於交通場景。
㈢ BP神經網路的訓練集需要大樣本嗎一般樣本個數為多少
BP神經網路的訓練集需要大樣本嗎？一般樣本個數為多少？
BP神經網路樣本數有什麼影響
學習神經網路這段時間，有一個疑問，BP神經網路中訓練的次數指的網路的迭代次數，如果有a個樣本,每個樣本訓練次數n，則網路一共迭代an次，在n>>a 情況下 ， 網路在不停的調整權值，減小誤差，跟樣本數似乎關系不大。而且，a大了的話訓練時間必然會變長。
換一種說法，將你的數據集看成一個固定值， 那麼樣本集與測試集 也可以按照某種規格確定下來如7：3 所以如何看待 樣本集的多少與訓練結果呢？ 或者說怎麼使你的網路更加穩定，更加符合你的所需 。
我嘗試從之前的一個例子中看下區別
如何用70行Java代碼實現深度神經網路演算法
作者其實是實現了一個BP神經網路 ，不多說，看最後的例子
一個運用神經網路的例子
最後我們找個簡單例子來看看神經網路神奇的效果。為了方便觀察數據分布，我們選用一個二維坐標的數據，下面共有4個數據，方塊代表數據的類型為1，三角代表數據的類型為0，可以看到屬於方塊類型的數據有（1，2）和（2，1），屬於三角類型的數據有（1，1），（2，2），現在問題是需要在平面上將4個數據分成1和0兩類，並以此來預測新的數據的類型。
圖片描述
我們可以運用邏輯回歸演算法來解決上面的分類問題，但是邏輯回歸得到一個線性的直線做為分界線，可以看到上面的紅線無論怎麼擺放，總是有一個樣本被錯誤地劃分到不同類型中，所以對於上面的數據，僅僅一條直線不能很正確地劃分他們的分類，如果我們運用神經網路演算法，可以得到下圖的分類效果，相當於多條直線求並集來劃分空間，這樣准確性更高。
圖片描述
簡單粗暴，用作者的代碼運行後 訓練5000次 。根據訓練結果來預測一條新數據的分類（3,1）
預測值 （3,1）的結果跟（1,2）（2,1）屬於一類 屬於正方形
這時如果我們去掉 2個樣本，則樣本輸入變成如下
//設置樣本數據，對應上面的4個二維坐標數據
double[][] data = new double[][]{{1,2},{2,2}};
//設置目標數據，對應4個坐標數據的分類
double[][] target = new double[][]{{1,0},{0,1}};
1
2
3
4
1
2
3
4
則（3,1）結果變成了三角形，
如果你選前兩個點 你會發現直接一條中間線就可以區分 這時候的你的結果跟之前4個點時有區別 so 你得增加樣本 直到這些樣本按照你所想要的方式分類 ，所以樣本的多少 重要性體現在，樣本得能反映所有的特徵值（也就是輸入值） ，樣本多少或者特徵（本例子指點的位置特徵）決定的你的網路的訓練結果，！！！這是 我們反推出來的結果 。這里距離深度學習好像近了一步。
另外，這個70行代碼的神經網路沒有保存你訓練的網路 ，所以你每次運行都是重新訓練的網路。其實，在你訓練過後 權值已經確定了下來，我們確定網路也就是根據權值，so只要把訓練後的權值保存下來，將需要分類的數據按照這種權值帶入網路，即可得到輸出值，也就是一旦網路確定， 權值也就確定，一個輸入對應一個固定的輸出，不會再次改變！個人見解。
最後附上作者的源碼，作者的文章見開頭鏈接
下面的實現程序BpDeep.java可以直接拿去使用，
import java.util.Random;
public class BpDeep{
public double[][] layer;//神經網路各層節點
public double[][] layerErr;//神經網路各節點誤差
public double[][][] layer_weight;//各層節點權重
public double[][][] layer_weight_delta;//各層節點權重動量
public double mobp;//動量系數
public double rate;//學習系數
public BpDeep(int[] layernum, double rate, double mobp){
this.mobp = mobp;
this.rate = rate;
layer = new double[layernum.length][];
layerErr = new double[layernum.length][];
layer_weight = new double[layernum.length][][];
layer_weight_delta = new double[layernum.length][][];
Random random = new Random();
for(int l=0;l<layernum.length;l++){
layer[l]=new double[layernum[l]];
layerErr[l]=new double[layernum[l]];
if(l+1<layernum.length){
layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];
layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
for(int j=0;j<layernum[l]+1;j++)
for(int i=0;i<layernum[l+1];i++)
layer_weight[l][j][i]=random.nextDouble();//隨機初始化權重
}
}
}
//逐層向前計算輸出
public double[] computeOut(double[] in){
for(int l=1;l<layer.length;l++){
for(int j=0;j<layer[l].length;j++){
double z=layer_weight[l-1][layer[l-1].length][j];
for(int i=0;i<layer[l-1].length;i++){
layer[l-1][i]=l==1?in[i]:layer[l-1][i];
z+=layer_weight[l-1][i][j]*layer[l-1][i];
}
layer[l][j]=1/(1+Math.exp(-z));
}
}
return layer[layer.length-1];
}
//逐層反向計算誤差並修改權重
public void updateWeight(double[] tar){
int l=layer.length-1;
for(int j=0;j<layerErr[l].length;j++)
layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);
while(l-->0){
for(int j=0;j<layerErr[l].length;j++){
double z = 0.0;
for(int i=0;i<layerErr[l+1].length;i++){
z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;
layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隱含層動量調整
layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隱含層權重調整
if(j==layerErr[l].length-1){
layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距動量調整
layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距權重調整
}
}
layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//記錄誤差
}
}
}
public void train(double[] in, double[] tar){
double[] out = computeOut(in);
updateWeight(tar);
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
下面是這個測試程序BpDeepTest.java的源碼：
import java.util.Arrays;
public class BpDeepTest{
public static void main(String[] args){
//初始化神經網路的基本配置
//第一個參數是一個整型數組，表示神經網路的層數和每層節點數，比如{3,10,10,10,10,2}表示輸入層是3個節點，輸出層是2個節點，中間有4層隱含層，每層10個節點
//第二個參數是學習步長，第三個參數是動量系數
BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);
//設置樣本數據，對應上面的4個二維坐標數據
double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};
//設置目標數據，對應4個坐標數據的分類
double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};
//迭代訓練5000次
for(int n=0;n<5000;n++)
for(int i=0;i<data.length;i++)
bp.train(data[i], target[i]);
//根據訓練結果來檢驗樣本數據
for(int j=0;j<data.length;j++){
double[] result = bp.computeOut(data[j]);
System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));
}
//根據訓練結果來預測一條新數據的分類
double[] x = new double[]{3,1};
double[] result = bp.computeOut(x);
System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));
}
}
㈣ 怎麼通俗地理解張量
對Gradle通俗的理解:
軟體開發講究代碼復用,通過復用可以使工程更易維護,代碼量更少..... 開發者可以通過繼承,組合,函數模塊等實現不同程度上的代碼復用.但不知你有沒有想過,軟體開發也是一種工程作業,絕不僅僅是寫代碼,還涉及到工程的各種管理(依賴,打包,部署,發布,各種渠道的差異管理.....),你每天都在build,clean,簽名,打包,發布,有沒有想過這種過程,也可以像代碼一樣被描述出來, 也可以被復用.
㈤ 深度學習10張圖片能出模型嗎
不能出模型。
深度學習模型往往在大型監督型數據集上訓練。所謂監督型數據集，即每條數據都有一個對應的標簽。比如流行的ImageNet數據集，有一百萬張人為標記的圖像。一共有1000個類，每個類有1000張圖像。創建這樣的數據集需要花費大量的精力，同時也需要很多的時間。現在想像創建一個有1M個類的數據集。試想一下，對有100M數據幀的視頻數據集的每一幀進行分類。該任務量簡直不可估量。
無監督學習的目標是兼容小數據集進行訓練的通用系統，即便是很少的數據。比較主流的無監督模型有：聚類學習、自動編碼器、生成模型、PredNet。
㈥ 訓練集是每人多少張照片
兩三百張。
學習一個類大概幾百張左右就夠，具體取決於你的目標學習的難易性，簡單的類有個二三百就差不多，較難學習的類要900及以上。
數據集圖片大小不需要一致，訓練效果是否有影響取決於你原始圖片到模型輸入圖片的縮放比例倍數，如果縮放比例過大，還是有影響的。
㈦ 貓狗數據集的由來
源於kaggle。貓狗數據集來源於kaggle中Dogsvs.Cats數據集，由2000張訓練圖像和1000張驗證集圖像組成，圖片均為彩色圖像，大小(像素)各不相同。
㈧ 如何製作像mnist，CIFAR-10格式的數據集
MNIST 數據集
混合的國家標准和技術 (簡稱 MNIST) 由紅外研究員，作為基準來比較不同的紅外演算法創建數據集。 其基本思想是如果你有你想要測試紅外的演算法或軟體的系統，可以運行您的演算法或系統針對 MNIST 的數據集和比較您的結果與其他系統以前發布成果。
數據集包含的共 70,000 圖像 ； 60,000 訓練圖像 （用於創建紅外模型） 和 10,000 測試圖像 （用於評估模型的精度）。 每個 MNIST 圖像是一個單一的手寫的數字字元的數字化的圖片。 每個圖像是 28 x 28 像素大小。 每個像素值是 0，表示白色，至 255，表示黑。 中間像素值表示的灰度級。 圖 2 顯示了訓練集的前八位的圖像。 對應於每個圖像的實際數字是顯然對人，但確定數字是非常困難的挑戰的計算機。
圖 2 首八 MNIST 訓練圖像
奇怪的是，訓練數據和測試數據均存儲在兩個文件中，而不是在單個文件中。 其中一個文件包含圖像的像素值和，另一個包含圖像的標簽信息 （0 到 9）。 每個的四個文件還包含標頭信息，和所有的四個文件都存儲在已經使用 gzip 格式壓縮的二進制格式。
注意在圖 1，該演示程序使用僅 60,000 項目訓練集。 測試集的格式是相同的訓練集。 MNIST 文件的主存儲庫是目前位於 yann.lecun.com/exdb/mnist。 培訓的像素數據存儲在文件火車-圖像-idx3-ubyte.gz 和培訓標簽數據存儲在文件火車-標簽-idx1-ubyte.gz。 若要運行該演示程序，您需要轉到 MNIST 的存儲庫站點，下載並解壓的兩個培訓數據文件。 將文件解壓縮，我用的免費的開源 7-Zip 實用程序。
創建 MNIST 查看器
若要創建 MNIST 演示程序，我發起了 Visual Studio，創建一個名為 MnistViewer 的新 C# Windows 窗體項目。 演示有沒有重大的.NET 版本依賴關系，因此，任何版本的 Visual Studio 應該工作。
模板代碼載入到 Visual Studio 編輯器後，我設置的 UI 控制項。 我添加了兩個 TextBox 控制項 (textBox1，textBox2) 要堅持兩個解壓後的培訓文件的路徑。 我添加一個按鈕控制項 (button1)，並給了它一個標簽載入圖像。 我添加了兩個多個 TextBox 控制項 （textBox3，textBox4） 以保存當前圖像索引和下一個圖像索引的值。 我使用 Visual Studio 設計器，分別設置"NA"和"0，"這些控制項的初始值。
我添加了一個 ComboBox 控制項 (comboBox1) 的圖像放大倍數值。 使用設計器，我去到該控制項的項集合，添加字元串"1"到"10"。我添加了第二個按鈕控制項 (button2)，並給了它一個標簽的顯示下一次。 我添加了 PictureBox 控制項 (pictureBox1)，將其背景色屬性設置為 ControlDark，以便看到控制項的輪廓。 我將圖片框大小設置為 280 x 280 允許最多 10 倍的放大倍率 （回顧 MNIST 圖像是 28 x 28 像素為單位）。 我添加了第五個 （textBox5） 文本框以顯示十六進制值的圖像，然後將其多行屬性設置為 True 和其字體屬性設置為 8.25 磅 Courier New 和擴大其大小到 606 x 412。 而且，最後，我添加了一個列表框控制項 （listBox1) 的日誌記錄消息。
後放置 UI 控制項拖到 Windows 窗體，添加三個類范圍欄位：
public partial class Form1 : Form
{
private string pixelFile =
@"C:\MnistViewer\train-images.idx3-ubyte";
private string labelFile =
@"C:\MnistViewer\train-labels.idx1-ubyte";
private DigitImage[] trainImages = null;
...
第一次兩個字元串指向解壓後的培訓數據文件的位置。 你會需要編輯這些要運行演示的兩個字元串。 第三個欄位是一個程序定義 DigitImage 對象的數組。
我編輯窗體的構造函數略成 textBox1 和 textBox2 地點的文件路徑，並給予放大倍數初始值 6：
public Form1()
{
InitializeComponent();
textBox1.Text = pixelFile;
textBox2.Text = labelFile;
comboBox1.SelectedItem = "6";
this.ActiveControl = button1;
}
我用的 ActiveControl 屬性來設置初始焦點到 button1 控制項，只是為了方便。