La cosa migliore da usare è HTMLAgilityPack . Puoi anche esaminare l'utilizzo di Fizzler o CSQuery a seconda delle tue esigenze per selezionare gli elementi dalla pagina recuperata. L'uso di LINQ o Regukar Expressions è soggetto a errori, soprattutto quando l'HTML può essere malformato, tag di chiusura mancanti, elementi figlio nidificati ecc.
È necessario eseguire lo streaming della pagina in un oggetto HtmlDocument e quindi selezionare l'elemento richiesto.
var doc = new HtmlAgilityPack.HtmlDocument();
HtmlAgilityPack.HtmlNode.ElementsFlags["br"] = HtmlAgilityPack.HtmlElementFlag.Empty;
doc.OptionWriteEmptyNodes = true;
try
{
var webRequest = HttpWebRequest.Create(pageUrl);
Stream stream = webRequest.GetResponse().GetResponseStream();
doc.Load(stream);
stream.Close();
}
catch (System.UriFormatException uex)
{
Log.Fatal("There was an error in the format of the url: " + itemUrl, uex);
throw;
}
catch (System.Net.WebException wex)
{
Log.Fatal("There was an error connecting to the url: " + itemUrl, wex);
throw;
}
string testDivSelector = "//div[@id='test']";
var divString = doc.DocumentNode.SelectSingleNode(testDivSelector).InnerHtml.ToString();
[EDIT] In realtà, scarta quello. Il metodo più semplice è usare FizzlerEx , un'implementazione aggiornata dei selettori jQuery / CSS3 del progetto Fizzler originale.
Esempio di codice direttamente dal loro sito:
using HtmlAgilityPack;
using Fizzler.Systems.HtmlAgilityPack;
var web = new HtmlWeb();
var document = web.Load("http://example.com/page.html");
var page = document.DocumentNode;
foreach(var item in page.QuerySelectorAll("div.item"))
{
var title = item.QuerySelector("h3:not(.share)").InnerText;
var date = DateTime.Parse(item.QuerySelector("span:eq(2)").InnerText);
var description = item.QuerySelector("span:has(b)").InnerHtml;
}
Non credo che possa essere più semplice di così.
Contains
chiamata potrebbe essere "abbastanza buona".