Difference between revisions of "Wikidata Import 2023-05-03"

From BITPlan Wiki
Jump to navigation Jump to search
 
(8 intermediate revisions by the same user not shown)
Line 4: Line 4:
  
 
{{Import
 
{{Import
 +
|state=✅
 
|url=https://wiki.bitplan.com/index.php/Wikidata_Import_2023-05-03
 
|url=https://wiki.bitplan.com/index.php/Wikidata_Import_2023-05-03
 
|target=blazegraph
 
|target=blazegraph
 
|start=2023-05-03
 
|start=2023-05-03
 +
|end=2023-06-26
 +
|days=23
 +
|os=Ubuntu 20.04.6 LTS
 
|cpu=Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
 
|cpu=Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
|os=Ubuntu 20.04.6 LTS
 
 
|ram=128
 
|ram=128
 
|triples=14.7
 
|triples=14.7
 
|storemode=property
 
|storemode=property
 
}}
 
}}
 +
 +
 +
 
= Setup =
 
= Setup =
 
Same as for  
 
Same as for  
 
{{Link|target=Wikidata_Import_2023-04-26}}
 
{{Link|target=Wikidata_Import_2023-04-26}}
but this time on an SSD Raid as the target disk
+
 
  
 
=== progress on sun ===
 
=== progress on sun ===
Line 24: Line 30:
 
1.837.000.000 Triples 2023-05-03T16:15:56Z
 
1.837.000.000 Triples 2023-05-03T16:15:56Z
 
2.789.000.000 Triples 2023-05-04T05:48:24Z
 
2.789.000.000 Triples 2023-05-04T05:48:24Z
3.934.000.000 Triples 2023-05-05T04:44:32Z
+
2023-05-05T04:44:32Z: 3934000000
4.857.000.000 Triples 2023-05-06T05:16:44Z
+
2023-05-06T05:16:44Z: 4857000000
5.554.000.000 Triples 2023-05-07T05:49:52Z
+
2023-05-07T05:49:52Z: 5554000000
6.164.000.000 Triples 2023-05-08T03:18:15Z
+
2023-05-08T03:18:15Z: 6164000000
6.808.000.000 Triples 2023-05-09T04:05:46Z
+
2023-05-09T04:05:46Z: 6808000000
 
2023-05-11T03:54:34Z: 7890000000
 
2023-05-11T03:54:34Z: 7890000000
 
2023-05-12T05:13:27Z: 8434000000
 
2023-05-12T05:13:27Z: 8434000000
Line 35: Line 41:
 
2023-05-15T05:31:51Z: 9864790434
 
2023-05-15T05:31:51Z: 9864790434
 
2023-05-16T04:52:30Z:10322580267
 
2023-05-16T04:52:30Z:10322580267
avg 9099 triples/s - 5447 triples/sec recently
+
2023-05-20T09:28:44Z:12159025485
ETA: 9.4 d, total 22.5 d
+
1058:   314  2022249  1911      0.0
 +
14.574 bill triples  7207 triples/s
 +
23 days
 
</pre>
 
</pre>
 +
==== stats ====
 
<source lang='bash'>
 
<source lang='bash'>
 
./stats  
 
./stats  
2023-05-03T10:53:07Z
 
 
   #: load s  total s  avg s  ETA h
 
   #: load s  total s  avg s  ETA h
 
   2:    415      415    208    61.0
 
   2:    415      415    208    61.0
  3:    389      804    268    78.6
 
  4:    397    1202    301    88.0
 
  5:    328    1531    306    89.6
 
  6:    299    1831    305    89.2
 
  7:    303    2134    305    89.0
 
  8:    315    2449    306    89.3
 
  9:    314    2764    307    89.5
 
  10:    237    3001    300    87.4
 
  11:    192    3194    290    84.5
 
  12:    207    3401    283    82.4
 
  13:    241    3643    280    81.4
 
  14:    216    3860    276    80.0
 
  15:    203    4063    271    78.5
 
  16:    168    4232    265    76.6
 
  17:    296    4529    266    77.0
 
  18:    302    4831    268    77.5
 
  19:    303    5135    270    78.0
 
  20:    269    5404    270    77.9
 
  21:    206    5610    267    77.0
 
  22:    211    5822    265    76.2
 
  23:    213    6036    262    75.5
 
  24:    215    6251    260    74.8
 
  25:    263    6514    261    74.8
 
  26:    194    6709    258    74.0
 
  27:    201    6911    256    73.3
 
  28:    298    7209    257    73.7
 
  29:    187    7396    255    72.9
 
  30:    158    7555    252    71.9
 
  31:    341    7897    255    72.7
 
  32:    400    8297    259    73.9
 
  33:    362    8660    262    74.7
 
  34:    263    8924    262    74.7
 
  35:    394    9318    266    75.7
 
  36:    207    9525    265    75.1
 
  37:    139    9665    261    74.1
 
  38:    306    9971    262    74.3
 
  39:    599    10570    271    76.7
 
  40:    582    11153    279    78.8
 
  41:    578    11732    286    80.8
 
  42:    766    12498    298    84.0
 
  43:  1134    13633    317    89.4
 
  44:    657    14290    325    91.5
 
  45:    753    15044    334    94.1
 
  46:    663    15708    341    96.0
 
  47:    614    16323    347    97.5
 
  48:    587    16910    352    98.8
 
  49:    727    17637    360    100.9
 
  50:    573    18211    364    102.0
 
  51:    534    18745    368    102.8
 
  52:    541    19287    371    103.6
 
  53:    390    19677    371    103.6
 
  54:    618    20295    376    104.8
 
  55:    694    20990    382    106.3
 
  56:    706    21696    387    107.8
 
  57:    475    22172    389    108.2
 
  58:    338    22511    388    107.8
 
  59:    593    23105    392    108.7
 
  60:    560    23665    394    109.3
 
  61:    549    24215    397    109.9
 
  62:    564    24779    400    110.6
 
  63:    539    25318    402    111.1
 
  64:    489    25808    403    111.3
 
  65:    379    26188    403    111.1
 
  66:    505    26693    404    111.4
 
  67:    417    27111    405    111.4
 
  68:    422    27533    405    111.4
 
  69:    334    27868    404    111.0
 
  70:    349    28217    403    110.6
 
  71:    306    28524    402    110.1
 
  72:    269    28794    400    109.5
 
  73:    207    29002    397    108.7
 
  74:    373    29376    397    108.5
 
  75:    306    29682    396    108.1
 
  76:    181    29864    393    107.2
 
  77:    255    30119    391    106.6
 
  78:    327    30447    390    106.3
 
  79:    305    30752    389    105.9
 
  80:    283    31036    388    105.4
 
  81:    288    31324    387    105.0
 
  82:    295    31620    386    104.5
 
  83:    301    31921    385    104.2
 
  84:    296    32218    384    103.8
 
  85:    332    32550    383    103.5
 
  86:    326    32876    382    103.2
 
  87:    295    33172    381    102.8
 
  88:    227    33399    380    102.3
 
  89:    304    33704    379    101.9
 
  90:    406    34110    379    101.9
 
...
 
132:    211    53161    403    103.6
 
...
 
191:  1033  101484    531    128.0
 
 
...
 
...
  283:   1090  184652   652   140.5
+
  100:    548   38774    388    103.2
 
...
 
...
  3062604  213418   697   145.7
+
  200:   718   109303   547   130.3
 
...
 
...
  3431186   272667   795   157.9
+
  3001151   202650   676   142.2
 
...
 
...
  3992919   359542   901   165.0
+
  4002676   362219   906   165.5
 
...
 
...
  4413198   436133    989   169.5
+
  5003059   559655  1119   173.5
 
...
 
...
  4872495   526447   1081   171.5
+
  6001879   790443   1317   167.6
 
...
 
...
  601:   822   791266   1317   167.1
+
  7005353  1012090   1446   143.8
 
...
 
...
  6821072   970182  1423   148.6
+
  8002866  1294602   1618   116.0
 
...
 
...
  7083689 1050778   1484    144.3
+
  8731534 1496315   1714    88.1
 
...
 
...
740:   1517 1134449   1533    135.4
+
1058:   314 2022249   1911      0.0
 
</source>
 
</source>

Latest revision as of 07:34, 19 February 2024

Import

Import
edit
state  ✅
url  https://wiki.bitplan.com/index.php/Wikidata_Import_2023-05-03
target  blazegraph
start  2023-05-03
end  2023-06-26
days  23
os  Ubuntu 20.04.6 LTS
cpu  Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
ram  128
triples  14.7
comment  



Setup

Same as for Wikidata_Import_2023-04-26


progress on sun

1.161.686.984 Triples 2023-05-03T09:37:00Z
1.323.000.000 Triples 2023-05-03T10:53:07Z
1.837.000.000 Triples 2023-05-03T16:15:56Z
2.789.000.000 Triples 2023-05-04T05:48:24Z
2023-05-05T04:44:32Z: 3934000000
2023-05-06T05:16:44Z: 4857000000 
2023-05-07T05:49:52Z: 5554000000
2023-05-08T03:18:15Z: 6164000000
2023-05-09T04:05:46Z: 6808000000
2023-05-11T03:54:34Z: 7890000000
2023-05-12T05:13:27Z: 8434000000
2023-05-13T05:42:54Z: 8876000000
2023-05-14T07:07:21Z: 9417148900 
2023-05-15T05:31:51Z: 9864790434
2023-05-16T04:52:30Z:10322580267
2023-05-20T09:28:44Z:12159025485
1058:    314  2022249   1911      0.0
14.574 bill triples   7207 triples/s
23 days

stats

./stats 
   #: load s  total s  avg s   ETA h
   2:    415      415    208     61.0
...
 100:    548    38774    388    103.2
...
 200:    718   109303    547    130.3
...
 300:   1151   202650    676    142.2
...
 400:   2676   362219    906    165.5
...
 500:   3059   559655   1119    173.5
...
 600:   1879   790443   1317    167.6
...
 700:   5353  1012090   1446    143.8
...
 800:   2866  1294602   1618    116.0
...
 873:   1534  1496315   1714     88.1
...
1058:    314  2022249   1911      0.0