Tons of <UNK> tokens #4
Description
I am using the latest data-set and source code trying to reproducing experiment results shown in the paper. But I have come into a problem with the '' token. Here are the training output below. ( replaced the angle brackets with Chinese guillemet )
epoch: 29
1118 / 5589 batches have been processed, average cost until now: cost = 16.889560269541732 , cost_c = 1.0 , time: 106.37018322944641
save model...
finished
2236 / 5589 batches have been processed, average cost until now: cost = 16.845613719738875 , cost_c = 1.0 , time: 211.76999139785767
save model...
finished
3354 / 5589 batches have been processed, average cost until now: cost = 16.870727904722955 , cost_c = 0.9999999999644575 , time: 318.1061964035034
save model...
finished
4472 / 5589 batches have been processed, average cost until now: cost = 16.899186118770796 , cost_c = 0.9999999999733432 , time: 424.18153262138367
save model...
finished
in this epoch, total average cost = 16.894111249134554 , cost_c = 0.999999999978667 , time: 529.5610339641571
golden truth and prediction samples:
1 ----------------------------------------------------------------------------------------------------
《unk》 do i get 《unk》 a 《unk》 《unk》 class 《unk》 《unk》 《unk》 ajax 《unk》 . 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
2 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
3 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
4 ----------------------------------------------------------------------------------------------------
while 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 server 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
5 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 i 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
6 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 a 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
7 ----------------------------------------------------------------------------------------------------
《unk》 to 《unk》 the 《unk》 《unk》 《unk》 《unk》 《unk》 in the 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
8 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 a 《unk》 string 《unk》 , 《unk》 convert 《unk》 《unk》 datetime
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
9 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
10 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 《unk》 《unk》 a return 《unk》 《unk》 , 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
11 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 a 《unk》 guid from a 《unk》 guid 《unk》 c 《unk》 《unk》 t - 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
12 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 i 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 , 《unk》 a 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
13 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 a 《unk》 《unk》 function 《unk》 《unk》 string 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
14 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 i 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
15 ----------------------------------------------------------------------------------------------------
《unk》 《unk》 《unk》 filter list by 《unk》 《unk》 《unk》 《unk》 int list 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》
16 ----------------------------------------------------------------------------------------------------
《unk》 c 《unk》 《unk》 《unk》 i 《unk》 《unk》 port 《unk》 《unk》 《unk》 《unk》 . 《unk》 . 《unk》 《unk》
《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 remoting 《unk》
save model...
finished
save final model...
finished
Finished, time: 17754.64404273033