神經網路的輸入對迭代次數的影響
如果一個神經網路只有一個輸入值，當這個輸入值大小發生變化的時候對網路的收斂的迭代次數是否有影響。
比如如上的網路輸入的x值從1e-16到45
權重的初始化方式是
Random rand1 =new Random();
int ti1=rand1.nextInt(98)+1;
| tw[a][b]=(double)ti1/200; |
|
收斂標準是 |
| Math.abs(jud[0]-jud[1])>0.01 |
|
學習率 |
| ret=0.1
每個輸入計算200組取平均得到資料 |
| 網路結構 |
a |
b |
迭代次數平均 |
時間ms |
時間min |
| 1e-16*11*11*1e-16 |
0.502134253 |
0.500634216 |
2616529.195 |
3532001 |
58.86668333 |
| 1e-15*11*11*1e-15 |
0.501206222 |
0.501406221 |
2628912.6 |
3672685 |
61.21141667 |
| 1e-14*11*11*1e-14 |
0.501349775 |
0.500949763 |
2611449.325 |
3616408 |
60.27346667 |
| 1e-13*11*11*1e-13 |
0.500569553 |
0.501669617 |
2495224.725 |
3541044 |
59.0174 |
| 1e-12*11*11*1e-12 |
0.501876333 |
0.500876282 |
2619002.725 |
3616666 |
60.27776667 |
| 1e-11*11*11*1e-11 |
0.500572434 |
0.50127242 |
2512867.35 |
3496438 |
58.27396667 |
| 1e-10*11*11*1e-10 |
0.500776226 |
0.500876281 |
2575998.45 |
3532098 |
58.8683 |
| 1e-9*11*11*1e-9 |
0.501150418 |
0.500850433 |
2406950.03 |
3368188 |
56.13646667 |
| 1e-8*11*11*1e-8 |
0.501303772 |
0.500603847 |
2550094.55 |
3543304 |
59.05506667 |
| 1e-7*11*11*1e-7 |
0.50115596 |
0.50165588 |
2695226.225 |
3775638 |
62.9273 |
| 1e-6*11*11*1e-6 |
0.500907385 |
0.500507373 |
2430234.81 |
3451000 |
57.51666667 |
| 1e-5*11*11*1e-5 |
0.501535202 |
0.500635193 |
2442883.495 |
3230947 |
53.84911667 |
| 1e-4*11*11*1e-4 |
0.501288084 |
0.500488051 |
2456006.97 |
3482062 |
58.03436667 |
| 1e-3*11*11*1e-3 |
0.501743835 |
0.500443857 |
2631372.3 |
3693025 |
61.55041667 |
| 1e-2*11*11*1e-2 |
0.501110858 |
0.501110887 |
2448382.15 |
3439496 |
57.32493333 |
| 0.1*11*11*0.1 |
0.501380254 |
0.501780236 |
2530742.245 |
3522416 |
58.70693333 |
| 1*11*11*1 |
0.500932332 |
0.502232331 |
1193861.05 |
1728796 |
28.81326667 |
| 2*11*11*2 |
0.500955265 |
0.502055264 |
762422.04 |
1112513 |
18.54188333 |
| 3*11*11*3 |
0.501407515 |
0.501807515 |
680873.4 |
996563 |
16.60938333 |
| 4*11*11*4 |
0.501844907 |
0.501144907 |
600728.635 |
869231 |
14.48718333 |
| 5*11*11*5 |
0.501679039 |
0.501379039 |
588419.74 |
680583 |
11.34305 |
| 6*11*11*6 |
0.5012857 |
0.501785699 |
614340.585 |
874486 |
14.57476667 |
| 7*11*11*7 |
0.500729684 |
0.502429683 |
608052.375 |
867956 |
14.46593333 |
| 8*11*11*8 |
0.501150874 |
0.501750874 |
568591.285 |
816332 |
13.60553333 |
| 9*11*11*9 |
0.501474007 |
0.501474007 |
579499.295 |
827736 |
13.7956 |
| 10*11*11*10 |
0.501786343 |
0.501386344 |
605392.56 |
850052 |
14.16753333 |
| 11*11*11*11 |
0.501603968 |
0.501477301 |
590057.8038 |
813074.3 |
13.55123833 |
| 12*11*11*12 |
0.500697678 |
0.502197677 |
570367.58 |
807086 |
13.45143333 |
| 13*11*11*13 |
0.500649276 |
0.502149276 |
544069.535 |
796988 |
13.28313333 |
| 14*11*11*14 |
0.502499745 |
0.500399747 |
571463.94 |
796918 |
13.28196667 |
| 15*11*11*15 |
0.501106089 |
0.502106089 |
634356.435 |
877254 |
14.6209 |
| 16*11*11*16 |
0.50138356 |
0.501583559 |
575646.715 |
841833 |
14.03055 |
| 17*11*11*17 |
0.501397289 |
0.501697289 |
583220.58 |
835321 |
13.92201667 |
| 18*11*11*18 |
0.501031184 |
0.501931184 |
579112.07 |
809646 |
13.4941 |
| 19*11*11*19 |
0.501445538 |
0.501645538 |
583692.425 |
725653 |
12.09421667 |
| 20*11*11*20 |
0.501365058 |
0.501865058 |
609034.25 |
847469 |
14.12448333 |
| 21*11*11*21 |
0.501605169 |
0.501305169 |
567234.11 |
859898 |
14.33163333 |
| 22*11*11*22 |
0.501243854 |
0.501943854 |
605857.125 |
717456 |
11.9576 |
| 23*11*11*23 |
0.501934235 |
0.501034235 |
570762.085 |
805737 |
13.42895 |
| 24*11*11*24 |
0.501904657 |
0.501304657 |
601547.57 |
840605 |
14.01008333 |
| 25*11*11*25 |
0.501293961 |
0.50169396 |
567132.29 |
792062 |
13.20103333 |
| 26*11*11*26 |
0.50129135 |
0.50189135 |
599442.8 |
832200 |
13.87 |
| 27*11*11*27 |
0.501170357 |
0.501770356 |
559795.77 |
788987 |
13.14978333 |
| 28*11*11*28 |
0.501559346 |
0.501459346 |
582033.775 |
750503 |
12.50838333 |
| 29*11*11*29 |
0.501341878 |
0.501741877 |
597388.6 |
841721 |
14.02868333 |
| 30*11*11*30 |
0.501363093 |
0.501663094 |
571535.965 |
803066 |
13.38443333 |
| 31*11*11*31 |
0.501089655 |
0.501989655 |
591969.115 |
762887 |
12.71478333 |
| 32*11*11*32 |
0.501908503 |
0.501208505 |
591563.39 |
830300 |
13.83833333 |
| 33*11*11*33 |
0.501592635 |
0.501692635 |
605453.105 |
868348 |
14.47246667 |
| 34*11*11*34 |
0.501739825 |
0.501339825 |
583764.935 |
850544 |
14.17573333 |
| 35*11*11*35 |
0.502134113 |
0.501034113 |
602528.045 |
864890 |
14.41483333 |
| 36*11*11*36 |
0.501270886 |
0.501770886 |
578280.565 |
831299 |
13.85498333 |
| 37*11*11*37 |
0.501742014 |
0.501142014 |
571091.59 |
811740 |
13.529 |
| 38*11*11*38 |
0.501926435 |
0.501226435 |
592148.375 |
837677 |
13.96128333 |
| 39*11*11*39 |
0.500980422 |
0.501980422 |
574121.61 |
817776 |
13.6296 |
| 40*11*11*40 |
0.501661602 |
0.501461601 |
590000.445 |
737410 |
12.29016667 |
| 41*11*11*41 |
0.501090396 |
0.502090396 |
589882.065 |
851663 |
14.19438333 |
| 42*11*11*42 |
0.501327037 |
0.501627037 |
564257.055 |
822245 |
13.70408333 |
| 43*11*11*43 |
0.501896314 |
0.501296314 |
599140.075 |
853935 |
14.23225 |
| 44*11*11*44 |
0.5014282 |
0.5018282 |
603775.4 |
744570 |
12.4095 |
| 45*11*11*45 |
0.501857546 |
0.501157547 |
585987.24 |
811318 |
13.52196667 |
將迭代次數畫成圖
| [0.1,1e-16] |
2540742.322 |
| [1,3] |
過渡 |
| [4,45] |
586969.974 |
|
|
可以看到這個網路當x值從小到大的變化得到的迭代次數曲線有兩個基本狀態和一個過渡狀態
當輸入值x從4到45時的迭代次數很穩定的是586969.974
當x從0.1到1e-16迭代次數也很穩定是2540742.322
神經網路的迭代次數和輸入值有關但也只能產生3個狀態。
這個實驗結果也很好理解sigmoid的過渡態也就是從1到3.
實驗資料
1*11*11*1
0.506450801 0.496451 850481
0.496774642 0.506775 1276978
0.494813543 0.504814 394345
0.495249031 0.505249 615907
0.496532547 0.506533 1319631
0.496815087 0.506815 1240601
0.496523457 0.506523 1208848
0.496172251 0.506172 1080060
0.497818742 0.507819 1540381
0.495982401 0.505982 807097
0.496854612 0.506855 1739004
0.507679611 0.49768 1597941
0.506717572 0.496718 986187
0.496563366 0.506563 1224693
0.506482693 0.496483 997205
0.506398703 0.496399 1304818
0.49497067 0.504971 421771
0.497598648 0.507599 1826990
0.49598775 0.505988 1088183
0.506120612 0.496121 298917
0.496261165 0.506261 1265497
0.49615878 0.506159 845947
0.506388099 0.496388 2111688
0.496617182 0.506617 1128372
0.506205187 0.496205 969061
0.495111835 0.505112 419037
0.49699394 0.506994 2029078
0.496926244 0.506926 1613019
0.507182824 0.497183 1144183
0.497198964 0.507199 1827996
0.506663989 0.496664 1008300
0.495521269 0.505521 981748
0.506120095 0.49612 674560
0.496389756 0.50639 1241209
0.50557097 0.495571 779093
0.50616611 0.496166 1041994
0.507390051 0.49739 1328921
0.497784767 0.507785 1932434
0.496248909 0.506249 929917
0.506474262 0.496474 1367195
0.507498566 0.497499 1537578
0.496543391 0.506543 938459
0.507352001 0.497352 1350389
0.49703759 0.507038 1505594
0.506453915 0.496454 1138999
0.506032012 0.496032 1039097
0.496929961 0.50693 1652021
0.497016088 0.507016 1051106
0.497003117 0.507003 1450801
0.507590863 0.497591 1592046
0.506245425 0.496245 947253
0.496275529 0.506276 1033585
0.495364831 0.505365 369746
0.497566404 0.507566 1770316
0.506953872 0.496954 1320719
0.496991566 0.506992 966128
0.496581811 0.506582 1454237
0.496131804 0.506132 986352
0.496685453 0.506685 947191
0.497217673 0.507218 1207179
0.507216583 0.497217 1771134
0.507564249 0.497564 1077627
0.506558459 0.496558 1062541
0.497873838 0.507874 1814085
0.496678845 0.506679 1586139
0.50698958 0.49699 1162276
0.497206529 0.507207 1283193
0.49719238 0.507192 1368459
0.496566889 0.506567 1077609
0.495916298 0.505916 1143323
0.506317897 0.496318 1209501
0.497017077 0.507017 1366499
0.506635657 0.496636 1152315
0.497439918 0.50744 1538770
0.506866449 0.496866 2140239
0.496066404 0.506066 227946
0.506928398 0.496928 1480159
0.496694714 0.506695 1463047
0.496916031 0.506916 1096581
0.496642119 0.506642 1135510
0.508535402 0.498535 2790089
0.496030137 0.50603 903098
0.496490681 0.506491 1300295
0.506908821 0.496909 1508740
0.496435818 0.506436 1576520
0.506619533 0.49662 929267
0.506306436 0.496306 950806
0.496247654 0.506248 1250239
0.507324611 0.497325 1385361
0.506327007 0.496327 997502
0.49809147 0.508091 2479014
0.496318791 0.506319 1053526
0.496922604 0.506923 875498
0.506731676 0.496732 1092777
0.506288861 0.496289 863698
0.505374476 0.495374 877826
0.497632735 0.507633 1452915
0.497147672 0.507148 1352699
0.507385672 0.497386 2030465
0.497175932 0.507176 1302652
0.505290055 0.49529 606616
0.506824436 0.496824 1623083
0.496259327 0.506259 964299
0.506112238 0.496112 180404
0.495423604 0.505424 615420
0.505853649 0.495854 920864
0.508105176 0.498105 2092764
0.495192944 0.505193 261045
0.506754492 0.496754 1599192
0.50669719 0.496697 1457323
0.49764014 0.50764 1727341
0.4955477 0.505548 937587
0.507706322 0.497706 1498656
0.507012269 0.497012 1458190
0.507927861 0.497928 1554903
0.495852016 0.505852 1260113
0.506384666 0.496385 1086777
0.495520454 0.50552 986231
0.496251994 0.506252 917100
0.497624863 0.507625 1449101
0.507083808 0.497084 1212729
0.505807033 0.495807 1479565
0.507654841 0.497655 1774338
0.49468619 0.504686 545454
0.495086186 0.505086 769927
0.506457437 0.496457 1345795
0.496252488 0.506252 1160909
0.507104591 0.497105 1132460
0.49674104 0.506741 1337991
0.506643994 0.496644 1271632
0.497951508 0.507952 2023153
0.495775915 0.505776 249221
0.49725876 0.507259 1488794
0.497619242 0.507619 1962548
0.496956846 0.506957 1400660
0.496673551 0.506674 1144931
0.50492665 0.494927 853022
0.507723727 0.497724 1453620
0.506374757 0.496375 1392540
0.505493547 0.495494 1078381
0.495256885 0.505257 365847
0.497295983 0.507296 1288530
0.507691666 0.497692 1341229
0.507079512 0.49708 1449640
0.505233175 0.495233 564015
0.506816099 0.496816 1056406
0.496414256 0.506414 1440395
0.505521387 0.495521 281465
0.505386471 0.495386 618379
0.504998256 0.494998 812316
0.497802547 0.507803 2477633
0.496336256 0.506336 882822
0.4962769 0.506277 1200556
0.497357885 0.507358 1165246
0.497861172 0.507861 1977439
0.496851659 0.506852 1371022
0.496998784 0.506999 1330126
0.495564046 0.505564 907240
0.497031713 0.507032 1354309
0.496974612 0.506975 1505926
0.50666362 0.496664 1064168
0.497397696 0.507398 1217453
0.506039565 0.49604 297385
0.497563303 0.507563 1461023
0.496681553 0.506682 1083281
0.505096969 0.495097 583050
0.498119573 0.50812 1756905
0.505972191 0.495972 906964
0.495887349 0.505887 223392
0.507257924 0.497258 1251516
0.50556699 0.495567 293682
0.504869207 0.494869 576454
0.504832316 0.494832 1027214
0.496915238 0.506915 1287066
0.497237176 0.507237 1624294
0.495348647 0.505349 691172
0.506275512 0.496276 203888
0.496523927 0.506524 852052
0.506131584 0.496132 1467762
0.506478761 0.496479 1309378
0.495948071 0.505948 209180
0.496723765 0.506724 1140328
0.496880247 0.50688 1569131
0.497678296 0.507678 1372814
0.507501349 0.497501 1836561
0.507529693 0.49753 1352884
0.496220073 0.50622 740828
0.496146259 0.506146 1298880
0.506677096 0.496677 1395698
0.495469033 0.505469 666075
0.497466075 0.507466 1309953
0.504946958 0.494947 435432
0.496965797 0.506966 1192167
0.496167238 0.506167 1033997
0.506590375 0.49659 1006191
0.495194222 0.505194 516455
0.506069479 0.496069 1267075
0.498585997 0.508586 2986965
0.507579927 0.49758 1671646
0.505327211 0.495327 1078608
0.500932332 0.502232 1193861
2*11*11*2
0.497202432 0.507202428 774067
0.506070368 0.496070376 581292
0.5066163 0.496616301 942734
0.506156864 0.496156868 1106131
0.507123686 0.497123688 1031694
0.50638798 0.496387983 619455
0.496688157 0.506688154 856326
0.496494457 0.506494451 811306
0.507065797 0.497065803 720746
0.496430495 0.506430477 183362
0.505452145 0.495452148 720219
0.506094729 0.496094735 547568
0.505690867 0.49569087 499339
0.506757279 0.496757281 782146
0.496202697 0.506202692 858354
0.496530585 0.506530581 804693
0.496749912 0.506749907 906394
0.50645101 0.496451015 779081
0.496825506 0.506825504 1065390
0.506947286 0.496947289 709282
0.507040452 0.497040453 844880
0.506599766 0.496599767 865198
0.507404805 0.497404809 1169287
0.496063286 0.506063276 456792
0.506285485 0.496285485 595743
0.497377517 0.507377515 1059483
0.505103046 0.49510305 446418
0.496165796 0.506165796 654039
0.495955001 0.505954996 543351
0.506033827 0.496033836 484371
0.506847943 0.496847945 700277
0.504865229 0.494865238 543625
0.507280396 0.497280402 824506
0.506696135 0.49669614 777262
0.496452841 0.506452834 645426
0.506111356 0.496111359 629692
0.496776809 0.506776806 807599
0.495360441 0.505360432 463739
0.496692996 0.506692994 692825
0.507289447 0.497289449 952516
0.507267781 0.497267786 1046218
0.497300678 0.507300675 836606
0.49505841 0.505058405 422517
0.4971061 0.507106097 821946
0.495737553 0.505737541 434956
0.496678389 0.506678387 723060
0.496044962 0.506044955 669459
0.496902927 0.506902924 893603
0.507345072 0.497345074 1150870
0.495526379 0.505526378 260617
0.507914948 0.497914948 1132702
0.496641607 0.506641605 717513
0.506438621 0.496438621 861891
0.506040552 0.496040553 567597
0.496967758 0.506967754 913723
0.497036288 0.507036281 635478
0.496285559 0.506285555 822255
0.495253143 0.505253139 396692
0.505579597 0.495579601 386682
0.496073455 0.506073454 522540
0.504645779 0.494645786 546149
0.505641009 0.495641011 397423
0.505589653 0.495589656 592200
0.495982475 0.505982475 543305
0.496090322 0.506090299 188930
0.497563697 0.507563697 1051299
0.496072747 0.506072741 757344
0.495910131 0.505910113 189082
0.495934223 0.50593422 772990
0.496220129 0.506220127 808310
0.496910383 0.506910378 761889
0.50666574 0.49666574 1045549
0.506152584 0.496152586 1073712
0.497465264 0.507465259 928348
0.497247072 0.50724707 1018095
0.497162619 0.507162619 1047929
0.49565974 0.505659735 815255
0.506026434 0.496026458 237757
0.496615756 0.50661575 575799
0.507443022 0.497443022 968421
0.495996212 0.505996208 490716
0.506099211 0.496099214 678577
0.505260118 0.495260121 530716
0.505575911 0.49557592 390673
0.49621551 0.506215508 588249
0.496770653 0.506770651 757417
0.506099859 0.496099866 791609
0.496364446 0.50636444 843585
0.497631342 0.50763134 1369059
0.507106277 0.497106279 848863
0.507543029 0.497543031 1162629
0.496401629 0.506401625 885993
0.497730174 0.507730172 1046891
0.4972945 0.507294495 958701
0.496485886 0.50648588 640101
0.496668429 0.506668428 781235
0.506429542 0.496429549 757748
0.49533655 0.505336539 296539
0.506091795 0.496091803 561190
0.496262758 0.506262755 829802
0.506466845 0.496466845 733582
0.507076587 0.497076591 951088
0.496419332 0.50641933 644327
0.504823341 0.494823344 379595
0.496905701 0.506905699 778967
0.507309396 0.497309401 1077128
0.497669497 0.507669497 1310709
0.506922488 0.496922494 717409
0.506932294 0.496932299 920836
0.507005618 0.497005624 793963
0.50659029 0.496590292 640165
0.496991693 0.506991688 849635
0.495452997 0.505452984 297897
0.495169426 0.505169421 532693
0.506085509 0.496085512 825830
0.494984612 0.504984612 348277
0.495441048 0.505441047 284040
0.496003128 0.506003123 1008605
0.505198511 0.495198514 405239
0.494969611 0.504969611 409884
0.50667125 0.496671254 954234
0.497076853 0.50707685 684775
0.496218537 0.506218531 714740
0.506704418 0.496704423 782368
0.497711822 0.507711822 1022704
0.507305599 0.4973056 826442
0.496490484 0.506490478 689338
0.496755576 0.506755574 1149404
0.496816807 0.506816804 733030
0.496109721 0.506109721 1123273
0.506043191 0.496043198 597608
0.495625236 0.505625218 218458
0.50762476 0.497624761 1120174
0.496578186 0.506578183 760375
0.507531919 0.49753192 890167
0.496281613 0.506281607 767010
0.506339591 0.496339598 573281
0.497285687 0.507285683 945952
0.497023203 0.507023203 823607
0.497469189 0.507469188 1005951
0.49692558 0.506925577 790715
0.495763645 0.505763627 212540
0.496270707 0.506270705 617018
0.508221542 0.498221542 2388216
0.505700719 0.495700726 427322
0.50573337 0.495733382 426544
0.507582946 0.49758295 840895
0.505930228 0.495930232 608956
0.497116859 0.507116859 1010256
0.495306767 0.50530676 359943
0.496967268 0.506967265 831929
0.495131964 0.505131946 283115
0.505373527 0.495373529 248684
0.495664945 0.505664931 352215
0.497491013 0.507491012 1513640
0.506603074 0.496603077 905424
0.50686761 0.496867612 1329711
0.504984403 0.49498441 354634
0.497462544 0.507462542 936013
0.496550802 0.506550794 558099
0.496615895 0.506615891 986157
0.497454191 0.507454189 1091922
0.507322049 0.497322051 1085611
0.497526028 0.507526028 906632
0.505467015 0.495467019 484990
0.507661987 0.497661987 922283
0.506948499 0.4969485 856401
0.496386069 0.506386065