Lucene guru Mike McCandless har lansert et imponerende stykke arbeid på bloggen sin som visualiserer hvordan Lucene’s MergePolicy fungerer i praksis gjennom en rekke YouTube videoer. Han mater Solr først med en 10Gb Wikipedia dump og så med mer random add/delete data feed, og så logger hvert eneste segment som skrives eller merges gjennom hele prosessen.

Mike forklarer også hvordan en ny kul merge-policy, TieredMergePolicy (LUCENE-854) fungerer. Denne er mye smartere og noe mer effektiv enn det som er standard i Lucene/Solr nå. Håper dette kan bli den nye standarden i Solr på sikt!

Vi oversetter nok en gang Sematext’s Solr Digest, denne gangen for November 2010.

Dette var ikke en måned med masse interessant utvikling, så her fokuserer vi på de mest interessante tingene:

Ferdig funksjonalitet

• Alle som jobber med polsk språk vil være glad for at en Polsk stemmer nå er i 3_x branch og i trunk.

Interessant funksjonalitet under utvikling

• Hatt trøbbel med sharding når en shard feiler? En interessant patch som kan hjelpe finnes i JIRA issue “Solr should be able to keep on truckin’ if a shard fails during a distributed search“. Bra issue-navn hva? En annen sak som er relatert er “Return partial results when a connection to a shard is refused” som også har en patch. Vi har ikke testet disse, men en av dem bør kunne hjelpe hvis du har slike problemer.
• Det jobbes med versjonering for analysers i SOLR-2259. Dette vil gjøre det enklere for utviklere i fremtiden å bli klar over deprekerte APIer innen analyse.

Diverse

• Sortering etter funksjoner har vært tilgjengelig siden før i år, og nå er en fiks for “Enable sorting by Function Query” snart ferdig. Denne er stor! Det var noen problemer med vektig av funksjoner, parsing av funksjonene, bruk av deprekert kode etc. Du kan teste patchen allerede.

• Hvis du tenker å bruke NRT (Nær Sann-Tid) indeksering i fremtidig Solr 4.0, bør du lese denne tråden på mailinglisten: “Possibilities of (near) real time search with solr“.

• Mange bruker allerede GEO-søk mulighetene vi har fått i Solr. Hvis du også tenker på det så vær klar over at det kun er støtte for ett punkt per dokument. Så selv om det er mulig å lage multiValued geo-felter så vil de ikke fungere med sortering etc. Det er ikke umulik å løse teknisk, Elastic Search er en motor som klarer det, så kryss fingrene for å se det i Solr en dag også. Du kan sjekke progressen i SOLR-2154.

• Det er en alvorlig bug i DataImportHandler - den slipper ikke opp brukte JDBC forbindelser. Det er ikke relatert til noen bestemt database så dette er ganske sikkert en DIH bug. Sjekk ut SOLR-2045 for oppdateringer.

• Hvis du foretrekker GIT over SVN så er nå Apache’s GIT repository oppe. Sjekk denne Mailingsliste-tråden for å lære mer.