Decide how to include metabolomics data

[piotor87]

Measurement free text contains nightingale data that can be processed. there are these test name combos

11270 Tth-SCREEN Next Gen (Tth-SCNG)
11271 Tth-SCREEN PEth Next Gen (Tth-SCPNG)
11272 Tth-SCREEN LAAJA PEth Next Gen (Tth-SCLPNG)
11274 Myocardial infarction (MI)
11275 Cardiovascular disease (CVD)
11276 Type 2 diabetes (T2D)
11277 Liver fibrosis and cirrhosis
11278 Chronic kidney disease (CKD)
11279 Chronic obstructive pulmonary disease (COPD)
11280 Lung cancer
11281 Alcohol-related liver disease (ALD)
11282 S-NGMuut

The first three are links to reports that do not interest us.

The other ones are risks in the format

Kohonnut 10v riski riskiluokassa: X %Korkeampi riski kuin X %:lla verrokkiryhmästä (45-54 -vuotiaat naiset)

So one could extract risks and percentile (but where into?)

The, last, "S-NGMuut" is the most interesting one because it contains numerical results

Tehty Riski-indeksien laskennassa on käytetty yksittäisten tulosten lisäksiseuraavia aineenvaihdunnan merkkiaineita. Huomioithan, että näillä eiyksittäisinä tutkimuksina ole kliinistä indikaatiota tai merkitystä.VLDL-kolesteroli: X.XX mmol/lKokonaisrasvahapot: XX.X mmol/lOmega-X-rasvahapot: X.X mmol/lOmega-X-rasvahapot: X.X mmol/lMonityydyttymättömät rasvahapot: X.X mmol/lKertatyydyttymättömät rasvahapot: X.X mmol/lTyydyttyneet rasvahapot: X.X mmol/lLinolihappo: X.X mmol/lDokosaheksaeenihappo: X.XXX mmol/lOmega-X-rasvahappojen suhde kokonaisrasvahappoihin: X.X %Omega-X-rasvahappojen suhde kokonaisrasvahappoihin: XX.X %Monityydyttymättömien rasvahappojen suhde kokonaisrasvahappoihin: XX.X %Kertatyydyttymättömien rasvahappojen suhde kokonaisrasvahappoihin: XX.X %Tyydyttyneiden rasvahappojen suhde kokonaisrasvahappoihin: XX.X %Linolihapon suhde kokonaisrasvahappoihin: XX.X %Dokosaheksaeenihapon suhde kokonaisrasvahappoihin: X.X %Monityydyttymättömien rasvahappojen suhde kertatyydyttymättömiin rasvahappoihin: X.XX xOmega-X-rasvahappojen suhde omega-X-rasvahappoihin: X.X xAlaniini: X.XXX mmol/lGlysiini: X.XXX mmol/lHistidiini: X.XXX mmol/lHaaraketjuisten aminohappojen (leusiini + isoleusiini + valiini) kokonaispitoisuus: X.XXX mmol/lIsoleusiini: X.XXX mmol/lLeusiini: X.XXX mmol/lValiini: X.XXX mmol/lFenyylialaniini: X.XXX mmol/lTyrosiini: X.XXX mmol/lGlukoosi: X.X mmol/lLaktaatti: X.X mmol/lAlbumiini: XX g/lGlykoproteiinin asetylaatio: X.XX mmol/l

one could in principle unpack this information and create new rows like this

ROW_ID  FINNGENID   TEST_ID  source::TEST_NAME_ABBREVIATION  source::MEASUREMENT_UNIT  source::MEASUREMENT_VALUE
XXXXX   FGXXX  XXXXX    Fenyylialaniini                 mmol/l                    X.XXX
XXXXX   FGXXX  XXXXX    Tyrosiini                       mmol/l                    X.XXX
XXXXX   FGXXX  XXXXX    Glukoosi                        mmol/l                    X.X
..

and in principle they coudl also be harmonized down line. ideally one should extract these values at the very beginning, "unpack" them and then recombine them before the sort/dup pipeline. Any other ideas welcome