Wikidata Import 2023-05-03: Difference between revisions

From BITPlan Wiki
Jump to navigation Jump to search
No edit summary
No edit summary
 
(8 intermediate revisions by the same user not shown)
Line 4: Line 4:


{{Import
{{Import
|state=✅
|url=https://wiki.bitplan.com/index.php/Wikidata_Import_2023-05-03
|url=https://wiki.bitplan.com/index.php/Wikidata_Import_2023-05-03
|target=blazegraph
|target=blazegraph
|start=2023-05-03
|start=2023-05-03
|end=2023-06-26
|days=23
|os=Ubuntu 20.04.6 LTS
|cpu=Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
|cpu=Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
|os=Ubuntu 20.04.6 LTS
|ram=128
|ram=128
|triples=14.7
|triples=14.7
|storemode=property
|storemode=property
}}
}}
= Setup =
= Setup =
Same as for  
Same as for  
{{Link|target=Wikidata_Import_2023-04-26}}
{{Link|target=Wikidata_Import_2023-04-26}}
but this time on an SSD Raid as the target disk
 


=== progress on sun ===
=== progress on sun ===
Line 24: Line 30:
1.837.000.000 Triples 2023-05-03T16:15:56Z
1.837.000.000 Triples 2023-05-03T16:15:56Z
2.789.000.000 Triples 2023-05-04T05:48:24Z
2.789.000.000 Triples 2023-05-04T05:48:24Z
3.934.000.000 Triples 2023-05-05T04:44:32Z
2023-05-05T04:44:32Z: 3934000000
4.857.000.000 Triples 2023-05-06T05:16:44Z
2023-05-06T05:16:44Z: 4857000000
5.554.000.000 Triples 2023-05-07T05:49:52Z
2023-05-07T05:49:52Z: 5554000000
6.164.000.000 Triples 2023-05-08T03:18:15Z
2023-05-08T03:18:15Z: 6164000000
6.808.000.000 Triples 2023-05-09T04:05:46Z
2023-05-09T04:05:46Z: 6808000000
2023-05-11T03:54:34Z: 7890000000
2023-05-11T03:54:34Z: 7890000000
2023-05-12T05:13:27Z: 8434000000
2023-05-12T05:13:27Z: 8434000000
Line 35: Line 41:
2023-05-15T05:31:51Z: 9864790434
2023-05-15T05:31:51Z: 9864790434
2023-05-16T04:52:30Z:10322580267
2023-05-16T04:52:30Z:10322580267
avg 9099 triples/s - 5447 triples/sec recently
2023-05-20T09:28:44Z:12159025485
ETA: 9.4 d, total 22.5 d
1058:   314  2022249  1911      0.0
14.574 bill triples  7207 triples/s
23 days
</pre>
</pre>
==== stats ====
<source lang='bash'>
<source lang='bash'>
./stats  
./stats  
2023-05-03T10:53:07Z
   #: load s  total s  avg s  ETA h
   #: load s  total s  avg s  ETA h
   2:    415      415    208    61.0
   2:    415      415    208    61.0
  3:    389      804    268    78.6
  4:    397    1202    301    88.0
  5:    328    1531    306    89.6
  6:    299    1831    305    89.2
  7:    303    2134    305    89.0
  8:    315    2449    306    89.3
  9:    314    2764    307    89.5
  10:    237    3001    300    87.4
  11:    192    3194    290    84.5
  12:    207    3401    283    82.4
  13:    241    3643    280    81.4
  14:    216    3860    276    80.0
  15:    203    4063    271    78.5
  16:    168    4232    265    76.6
  17:    296    4529    266    77.0
  18:    302    4831    268    77.5
  19:    303    5135    270    78.0
  20:    269    5404    270    77.9
  21:    206    5610    267    77.0
  22:    211    5822    265    76.2
  23:    213    6036    262    75.5
  24:    215    6251    260    74.8
  25:    263    6514    261    74.8
  26:    194    6709    258    74.0
  27:    201    6911    256    73.3
  28:    298    7209    257    73.7
  29:    187    7396    255    72.9
  30:    158    7555    252    71.9
  31:    341    7897    255    72.7
  32:    400    8297    259    73.9
  33:    362    8660    262    74.7
  34:    263    8924    262    74.7
  35:    394    9318    266    75.7
  36:    207    9525    265    75.1
  37:    139    9665    261    74.1
  38:    306    9971    262    74.3
  39:    599    10570    271    76.7
  40:    582    11153    279    78.8
  41:    578    11732    286    80.8
  42:    766    12498    298    84.0
  43:  1134    13633    317    89.4
  44:    657    14290    325    91.5
  45:    753    15044    334    94.1
  46:    663    15708    341    96.0
  47:    614    16323    347    97.5
  48:    587    16910    352    98.8
  49:    727    17637    360    100.9
  50:    573    18211    364    102.0
  51:    534    18745    368    102.8
  52:    541    19287    371    103.6
  53:    390    19677    371    103.6
  54:    618    20295    376    104.8
  55:    694    20990    382    106.3
  56:    706    21696    387    107.8
  57:    475    22172    389    108.2
  58:    338    22511    388    107.8
  59:    593    23105    392    108.7
  60:    560    23665    394    109.3
  61:    549    24215    397    109.9
  62:    564    24779    400    110.6
  63:    539    25318    402    111.1
  64:    489    25808    403    111.3
  65:    379    26188    403    111.1
  66:    505    26693    404    111.4
  67:    417    27111    405    111.4
  68:    422    27533    405    111.4
  69:    334    27868    404    111.0
  70:    349    28217    403    110.6
  71:    306    28524    402    110.1
  72:    269    28794    400    109.5
  73:    207    29002    397    108.7
  74:    373    29376    397    108.5
  75:    306    29682    396    108.1
  76:    181    29864    393    107.2
  77:    255    30119    391    106.6
  78:    327    30447    390    106.3
  79:    305    30752    389    105.9
  80:    283    31036    388    105.4
  81:    288    31324    387    105.0
  82:    295    31620    386    104.5
  83:    301    31921    385    104.2
  84:    296    32218    384    103.8
  85:    332    32550    383    103.5
  86:    326    32876    382    103.2
  87:    295    33172    381    102.8
  88:    227    33399    380    102.3
  89:    304    33704    379    101.9
  90:    406    34110    379    101.9
...
132:    211    53161    403    103.6
...
191:  1033  101484    531    128.0
...
...
  283:   1090  184652   652   140.5
  100:    548   38774    388    103.2
...
...
  306:  2604  213418   697   145.7
  200:   718   109303   547   130.3
...
...
  343:  1186   272667   795   157.9
  300:  1151   202650   676   142.2
...
...
  399:  2919   359542   901   165.0
  400:  2676   362219   906   165.5
...
...
  441:  3198   436133    989   169.5
  500:  3059   559655  1119   173.5
...
...
  487:  2495   526447   1081   171.5
  600:  1879   790443   1317   167.6
...
...
  601:   822   791266   1317   167.1
  700:  5353  1012090   1446   143.8
...
...
  682:  1072   970182  1423   148.6
  800:  2866  1294602   1618   116.0
...
...
  708:  3689 1050778   1484    144.3
  873:  1534 1496315   1714    88.1
...
...
740:   1517 1134449   1533    135.4
1058:   314 2022249   1911      0.0
</source>
</source>

Latest revision as of 05:34, 19 February 2024

Import

Import
edit
state  ✅
url  https://wiki.bitplan.com/index.php/Wikidata_Import_2023-05-03
target  blazegraph
start  2023-05-03
end  2023-06-26
days  23
os  Ubuntu 20.04.6 LTS
cpu  Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
ram  128
triples  14.7
comment  



Setup

Same as for Wikidata_Import_2023-04-26


progress on sun

1.161.686.984 Triples 2023-05-03T09:37:00Z
1.323.000.000 Triples 2023-05-03T10:53:07Z
1.837.000.000 Triples 2023-05-03T16:15:56Z
2.789.000.000 Triples 2023-05-04T05:48:24Z
2023-05-05T04:44:32Z: 3934000000
2023-05-06T05:16:44Z: 4857000000 
2023-05-07T05:49:52Z: 5554000000
2023-05-08T03:18:15Z: 6164000000
2023-05-09T04:05:46Z: 6808000000
2023-05-11T03:54:34Z: 7890000000
2023-05-12T05:13:27Z: 8434000000
2023-05-13T05:42:54Z: 8876000000
2023-05-14T07:07:21Z: 9417148900 
2023-05-15T05:31:51Z: 9864790434
2023-05-16T04:52:30Z:10322580267
2023-05-20T09:28:44Z:12159025485
1058:    314  2022249   1911      0.0
14.574 bill triples   7207 triples/s
23 days

stats

./stats 
   #: load s  total s  avg s   ETA h
   2:    415      415    208     61.0
...
 100:    548    38774    388    103.2
...
 200:    718   109303    547    130.3
...
 300:   1151   202650    676    142.2
...
 400:   2676   362219    906    165.5
...
 500:   3059   559655   1119    173.5
...
 600:   1879   790443   1317    167.6
...
 700:   5353  1012090   1446    143.8
...
 800:   2866  1294602   1618    116.0
...
 873:   1534  1496315   1714     88.1
...
1058:    314  2022249   1911      0.0
Retrieved from "https://wiki.bitplan.com/index.php?title=Wikidata_Import_2023-05-03&oldid=18390"