Wikidata Import 2023-05-03: Difference between revisions

From BITPlan Wiki
Jump to navigation Jump to search
Line 38: Line 38:
ETA: 10.7 d, total 24.8 d
ETA: 10.7 d, total 24.8 d
</pre>
</pre>
==== stats ====
<source lang='bash'>
<source lang='bash'>
./stats  
./stats  
2023-05-03T10:53:07Z
   #: load s  total s  avg s  ETA h
   #: load s  total s  avg s  ETA h
   2:    415      415    208    61.0
   2:    415      415    208    61.0
  3:    389      804    268    78.6
  4:    397    1202    301    88.0
  5:    328    1531    306    89.6
  6:    299    1831    305    89.2
  7:    303    2134    305    89.0
  8:    315    2449    306    89.3
  9:    314    2764    307    89.5
  10:    237    3001    300    87.4
  11:    192    3194    290    84.5
  12:    207    3401    283    82.4
  13:    241    3643    280    81.4
  14:    216    3860    276    80.0
  15:    203    4063    271    78.5
  16:    168    4232    265    76.6
  17:    296    4529    266    77.0
  18:    302    4831    268    77.5
  19:    303    5135    270    78.0
  20:    269    5404    270    77.9
  21:    206    5610    267    77.0
  22:    211    5822    265    76.2
  23:    213    6036    262    75.5
  24:    215    6251    260    74.8
  25:    263    6514    261    74.8
  26:    194    6709    258    74.0
  27:    201    6911    256    73.3
  28:    298    7209    257    73.7
  29:    187    7396    255    72.9
  30:    158    7555    252    71.9
  31:    341    7897    255    72.7
  32:    400    8297    259    73.9
  33:    362    8660    262    74.7
  34:    263    8924    262    74.7
  35:    394    9318    266    75.7
  36:    207    9525    265    75.1
  37:    139    9665    261    74.1
  38:    306    9971    262    74.3
  39:    599    10570    271    76.7
  40:    582    11153    279    78.8
  41:    578    11732    286    80.8
  42:    766    12498    298    84.0
  43:  1134    13633    317    89.4
  44:    657    14290    325    91.5
  45:    753    15044    334    94.1
  46:    663    15708    341    96.0
  47:    614    16323    347    97.5
  48:    587    16910    352    98.8
  49:    727    17637    360    100.9
  50:    573    18211    364    102.0
  51:    534    18745    368    102.8
  52:    541    19287    371    103.6
  53:    390    19677    371    103.6
  54:    618    20295    376    104.8
  55:    694    20990    382    106.3
  56:    706    21696    387    107.8
  57:    475    22172    389    108.2
  58:    338    22511    388    107.8
  59:    593    23105    392    108.7
  60:    560    23665    394    109.3
  61:    549    24215    397    109.9
  62:    564    24779    400    110.6
  63:    539    25318    402    111.1
  64:    489    25808    403    111.3
  65:    379    26188    403    111.1
  66:    505    26693    404    111.4
  67:    417    27111    405    111.4
  68:    422    27533    405    111.4
  69:    334    27868    404    111.0
  70:    349    28217    403    110.6
  71:    306    28524    402    110.1
  72:    269    28794    400    109.5
  73:    207    29002    397    108.7
  74:    373    29376    397    108.5
  75:    306    29682    396    108.1
  76:    181    29864    393    107.2
  77:    255    30119    391    106.6
  78:    327    30447    390    106.3
  79:    305    30752    389    105.9
  80:    283    31036    388    105.4
  81:    288    31324    387    105.0
  82:    295    31620    386    104.5
  83:    301    31921    385    104.2
  84:    296    32218    384    103.8
  85:    332    32550    383    103.5
  86:    326    32876    382    103.2
  87:    295    33172    381    102.8
  88:    227    33399    380    102.3
  89:    304    33704    379    101.9
  90:    406    34110    379    101.9
...
...
  132:    211   53161   403   103.6
  100:    548   38774   388   103.2
...
...
  191:  1033  101484   531   128.0
  200:   718   109303   547   130.3
...
...
  283:  1090   184652   652   140.5
  300:  1151   202650   676   142.2
...
...
  306:  2604   213418   697   145.7
  400:  2676   362219   906   165.5
...
...
  343:  1186   272667    795   157.9
  500:  3059   559655  1119   173.5
...
...
  399:  2919   359542    901   165.0
  600:  1879   790443  1317   167.6
...
...
  441:  3198   436133   989    169.5
  700:  5353  1012090   1446   143.8
...
...
  487:  2495  526447  1081    171.5
  768:  3678 1217321   1585   127.7
...
601:    822  791266  1317    167.1
...
682:  1072  970182  1423    148.6
...
708:  3689  1050778  1484    144.3
...
740:  1517 1134449   1533   135.4
</source>
</source>

Revision as of 04:26, 17 May 2023

Import

Import
edit
state  
url  https://wiki.bitplan.com/index.php/Wikidata_Import_2023-05-03
target  blazegraph
start  2023-05-03
end  
days  
os  Ubuntu 20.04.6 LTS
cpu  Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
ram  128
triples  14.7
comment  

Setup

Same as for Wikidata_Import_2023-04-26


progress on sun

1.161.686.984 Triples 2023-05-03T09:37:00Z
1.323.000.000 Triples 2023-05-03T10:53:07Z
1.837.000.000 Triples 2023-05-03T16:15:56Z
2.789.000.000 Triples 2023-05-04T05:48:24Z
3.934.000.000 Triples 2023-05-05T04:44:32Z
4.857.000.000 Triples 2023-05-06T05:16:44Z
2023-05-07T05:49:52Z: 5554000000
2023-05-08T03:18:15Z: 6164000000
2023-05-09T04:05:46Z: 6808000000
2023-05-11T03:54:34Z: 7890000000
2023-05-12T05:13:27Z: 8434000000
2023-05-13T05:42:54Z: 8876000000
2023-05-14T07:07:21Z: 9417148900 
2023-05-15T05:31:51Z: 9864790434
2023-05-16T04:52:30Z:10322580267
avg 87872 triples/s - 4377 triples/sec recently
ETA: 10.7 d, total 24.8 d

stats

./stats 
   #: load s  total s  avg s   ETA h
   2:    415      415    208     61.0
...
 100:    548    38774    388    103.2
...
 200:    718   109303    547    130.3
...
 300:   1151   202650    676    142.2
...
 400:   2676   362219    906    165.5
...
 500:   3059   559655   1119    173.5
...
 600:   1879   790443   1317    167.6
...
 700:   5353  1012090   1446    143.8
...
 768:   3678  1217321   1585    127.7
Retrieved from "https://wiki.bitplan.com/index.php?title=Wikidata_Import_2023-05-03&oldid=17661"