https://stackoverflow.com/questions/78601289/how-to-troubleshoot-xpath-not-finding-elements-on-a-web-page

so_78601289.txt

$ xidel -s \
  --user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0" \
  "https://www.idealista.it/vendita-case/fucecchio-firenze/lista-1.htm" \
  -e . --output-node-format=html --output-node-indent > so_78601289.htm

$ xidel -s so_78601289.htm -e '
  //div[contains-token(@class,"item-info-container")]/div[@class="price-row"]/span[contains-token(@class,"item-price")]/text()
'
268.000
350.000
168.750
329.000
260.000
54.000
375.000
330.000
113.512
590.000
6.300.000
26.325
29.070
6.300.000
165.000
320.000
287.000
159.000
169.000
250.000
280.000
139.000
29.925
190.000
309.000
113.512
32.310
63.706
118.650
63.706

$ xidel -s so_78601289.htm -e '
  //div[contains-token(@class,"item-info-container")]/tokenize(div[@class="item-detail-char"]/span[contains(text(),"m2")])[1]
'
155
155
186
575
95
65
170
130
167
360
1.600
69
93
1.600
68
100
149
108
116
170
230
130
60
200
265
167
110
109
125
102

$ xidel -s so_78601289.htm -e '
  //div[contains-token(@class,"item-info-container")]/a[@class="item-link "]/resolve-uri(@href,"https://www.idealista.it/")
'
https://www.idealista.it/immobile/29822083/
https://www.idealista.it/immobile/30034799/
https://www.idealista.it/immobile/30035991/
https://www.idealista.it/immobile/29838877/
https://www.idealista.it/immobile/28302689/
https://www.idealista.it/immobile/29783494/
https://www.idealista.it/immobile/26431423/
https://www.idealista.it/immobile/27125190/
https://www.idealista.it/immobile/21194573/
https://www.idealista.it/immobile/27438848/
https://www.idealista.it/immobile/30237454/
https://www.idealista.it/immobile/28142665/
https://www.idealista.it/immobile/27593187/
https://www.idealista.it/immobile/29362813/
https://www.idealista.it/immobile/27466902/
https://www.idealista.it/immobile/29551864/
https://www.idealista.it/immobile/21698344/
https://www.idealista.it/immobile/30068931/
https://www.idealista.it/immobile/30115390/
https://www.idealista.it/immobile/29014446/
https://www.idealista.it/immobile/24144685/
https://www.idealista.it/immobile/26464394/
https://www.idealista.it/immobile/29936090/
https://www.idealista.it/immobile/21349700/
https://www.idealista.it/immobile/26044223/
https://www.idealista.it/immobile/30054260/
https://www.idealista.it/immobile/30028199/
https://www.idealista.it/immobile/30147142/
https://www.idealista.it/immobile/30035999/
https://www.idealista.it/immobile/30035972/

$ xidel -s so_78601289.htm -e '
  //div[contains-token(@class,"item-info-container")]/div[contains-token(@class,"item-description")]/normalize-space(p[@class="ellipsis"])
'
Affascinante Porzione di Colonica con Giardino e Comfort Moderni a Fucecchio! Immergiti nel cuore della Toscana con questa affascinante porzione di colonica situata nella caratteristica contrada Ferruzza di Fucecchio. Con oltre 155 mq disposti su due piani, questa residenza offre uno spazio abitativo generoso e versati
Fucecchio, viale Colombo. A pochi passi dal ponte Mediceo, proponiamo villa unifamiliare di 155 mq s. u. l. con ingresso indipendente disposto su 3 livelli. L'unità immobiliare, caratterizzata dalla presenza di un comodo ascensore interno, è composta da un ingresso, cucina abitabile, ampia sala, 2 o più camere da letto
[...]
Appartamento al piano terra e primo sito a Fucecchio (FI) in via della Concia, composto da due vani con angolo cottura, tre camere da letto, due bagni e due ripostigli. Il garage è composto da un vano e un ripostiglio con accesso esterno dalla corte a comune. 22REB è a disposizione per valutare come la nostra esperien

$ xidel -s so_78601289.htm -e '
  for $x in //div[contains-token(@class,"item-info-container")]
  let $a:=$x/div[contains-token(@class,"item-description")]/normalize-space(p[@class="ellipsis"])
  return
  $x/`sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('\''{
    div[@class="price-row"]/span[contains-token(@class,"item-price")]/text()
  }'\'', '\''{
    a[@class="item-link "]/resolve-uri(@href,"https://www.idealista.it/")
  }'\'', '\''{$a}'\'', '\''{
    tokenize(div[@class="item-detail-char"]/span[contains(text(),"m2")])[1]
  }'\'', '\''{
    if (matches($a,"asta")) then 1 else 0
  }'\'')"`
'
sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('268.000', 'https://www.idealista.it/immobile/30034799/', 'Affascinante Porzione di Colonica con Giardino e Comfort Moderni a Fucecchio! Immergiti nel cuore della Toscana con questa affascinante porzione di colonica situata nella caratteristica contrada Ferruzza di Fucecchio. Con oltre 155 mq disposti su due piani, questa residenza offre uno spazio abitativo generoso e versati', '155', '0')"
sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('350.000', 'https://www.idealista.it/immobile/29822083/', 'Fucecchio, viale Colombo. A pochi passi dal ponte Mediceo, proponiamo villa unifamiliare di 155 mq s. u. l. con ingresso indipendente disposto su 3 livelli. L'unità immobiliare, caratterizzata dalla presenza di un comodo ascensore interno, è composta da un ingresso, cucina abitabile, ampia sala, 2 o più camere da letto', '155', '0')"
[...]
sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('63.706', 'https://www.idealista.it/immobile/30035972/', 'Appartamento al piano terra e primo sito a Fucecchio (FI) in via della Concia, composto da due vani con angolo cottura, tre camere da letto, due bagni e due ripostigli. Il garage è composto da un vano e un ripostiglio con accesso esterno dalla corte a comune. 22REB è a disposizione per valutare come la nostra esperien', '102', '0')"

$ xidel -s so_78601289.htm -e '
  for $x in //div[contains-token(@class,"item-info-container")]
  let $a:=$x/div[contains-token(@class,"item-description")]/normalize-space(p[@class="ellipsis"])
  return
  $x/concat(
    "sqlite3 ""immo.db"" ""INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('\''",
    div[@class="price-row"]/span[contains-token(@class,"item-price")]/text(),
    "'\'', '\''",
    a[@class="item-link "]/resolve-uri(@href,"https://www.idealista.it/"),
    "'\'', '\''",
    $a,
    "'\'', '\''",
    tokenize(div[@class="item-detail-char"]/span[contains(text(),"m2")])[1],
    "'\'', '\''",
    if (matches($a,"asta")) then 1 else 0,
    "'\'')"""
  )
'
sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('268.000', 'https://www.idealista.it/immobile/30034799/', 'Affascinante Porzione di Colonica con Giardino e Comfort Moderni a Fucecchio! Immergiti nel cuore della Toscana con questa affascinante porzione di colonica situata nella caratteristica contrada Ferruzza di Fucecchio. Con oltre 155 mq disposti su due piani, questa residenza offre uno spazio abitativo generoso e versati', '155', '0')"
sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('350.000', 'https://www.idealista.it/immobile/29822083/', 'Fucecchio, viale Colombo. A pochi passi dal ponte Mediceo, proponiamo villa unifamiliare di 155 mq s. u. l. con ingresso indipendente disposto su 3 livelli. L'unità immobiliare, caratterizzata dalla presenza di un comodo ascensore interno, è composta da un ingresso, cucina abitabile, ampia sala, 2 o più camere da letto', '155', '0')"
[...]
sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('63.706', 'https://www.idealista.it/immobile/30035972/', 'Appartamento al piano terra e primo sito a Fucecchio (FI) in via della Concia, composto da due vani con angolo cottura, tre camere da letto, due bagni e due ripostigli. Il garage è composto da un vano e un ripostiglio con accesso esterno dalla corte a comune. 22REB è a disposizione per valutare come la nostra esperien', '102', '0')"

$ xidel -s so_78601289.htm -e '//li[@class="next"]/a/@href'
/vendita-case/fucecchio-firenze/lista-2.htm

$ xidel -s \
  --user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0" \
  "https://www.idealista.it/vendita-case/fucecchio-firenze/lista-1.htm" \
  -e '
    for $x in //div[contains-token(@class,"item-info-container")]
    let $a:=$x/div[contains-token(@class,"item-description")]/normalize-space(p[@class="ellipsis"])
    return
    $x/`sqlite3 "immo.db" "INSERT INTO idealista (prezzo, link, descrizione, metratura, asta) VALUES ('\''{
      div[@class="price-row"]/span[contains-token(@class,"item-price")]/text()
    }'\'', '\''{
      a[@class="item-link "]/resolve-uri(@href)
    }'\'', '\''{$a}'\'', '\''{
      tokenize(div[@class="item-detail-char"]/span[contains(text(),"m2")])[1]
    }'\'', '\''{
      if (matches($a,"asta")) then 1 else 0
    }'\'')"`
  ' \
  -f '//li[@class="next"]/a/@href' \
  2>/dev/null