Lucene guru Mike McCandless har lansert et imponerende stykke arbeid på bloggen sin som visualiserer hvordan Lucene’s MergePolicy fungerer i praksis gjennom en rekke YouTube videoer. Han mater Solr først med en 10Gb Wikipedia dump og så med mer random add/delete data feed, og så logger hvert eneste segment som skrives eller merges gjennom hele prosessen.

Mike forklarer også hvordan en ny kul merge-policy, TieredMergePolicy (LUCENE-854) fungerer. Denne er mye smartere og noe mer effektiv enn det som er standard i Lucene/Solr nå. Håper dette kan bli den nye standarden i Solr på sikt!

Vi oversetter nok en gang Sematext’s Solr Digest, denne gangen for November 2010.

Dette var ikke en måned med masse interessant utvikling, så her fokuserer vi på de mest interessante tingene:

Ferdig funksjonalitet

• Alle som jobber med polsk språk vil være glad for at en Polsk stemmer nå er i 3_x branch og i trunk.

Interessant funksjonalitet under utvikling

• Hatt trøbbel med sharding når en shard feiler? En interessant patch som kan hjelpe finnes i JIRA issue “Solr should be able to keep on truckin’ if a shard fails during a distributed search“. Bra issue-navn hva? En annen sak som er relatert er “Return partial results when a connection to a shard is refused” som også har en patch. Vi har ikke testet disse, men en av dem bør kunne hjelpe hvis du har slike problemer.
• Det jobbes med versjonering for analysers i SOLR-2259. Dette vil gjøre det enklere for utviklere i fremtiden å bli klar over deprekerte APIer innen analyse.

Diverse

• Sortering etter funksjoner har vært tilgjengelig siden før i år, og nå er en fiks for “Enable sorting by Function Query” snart ferdig. Denne er stor! Det var noen problemer med vektig av funksjoner, parsing av funksjonene, bruk av deprekert kode etc. Du kan teste patchen allerede.

• Hvis du tenker å bruke NRT (Nær Sann-Tid) indeksering i fremtidig Solr 4.0, bør du lese denne tråden på mailinglisten: “Possibilities of (near) real time search with solr“.

• Mange bruker allerede GEO-søk mulighetene vi har fått i Solr. Hvis du også tenker på det så vær klar over at det kun er støtte for ett punkt per dokument. Så selv om det er mulig å lage multiValued geo-felter så vil de ikke fungere med sortering etc. Det er ikke umulik å løse teknisk, Elastic Search er en motor som klarer det, så kryss fingrene for å se det i Solr en dag også. Du kan sjekke progressen i SOLR-2154.

• Det er en alvorlig bug i DataImportHandler - den slipper ikke opp brukte JDBC forbindelser. Det er ikke relatert til noen bestemt database så dette er ganske sikkert en DIH bug. Sjekk ut SOLR-2045 for oppdateringer.

• Hvis du foretrekker GIT over SVN så er nå Apache’s GIT repository oppe. Sjekk denne Mailingsliste-tråden for å lære mer.

Det har vært turbulente tider i Java-leiren siden Oracle tok over Sun, og forsøkte å gjøre Java mindre åpen. Nå har Apache Software Foundation gjort alvor av sitt løfte å forlate JCP EC hvis Oracle fortsatte sitt ego-spill med Java.

Men hva er fremtiden for Java og like viktig, alle Åpen Kildekode prosjektene som er basert på Java? Mye avhenger av Oracle’s egne handlinger de neste månedene. Personlig håper jeg at deres bøllete oppførsel vil begynne å svi i deres merkevare-omdømme og kundetilfredshet at de desperat ser et behov for en ny Åpen KIldekode strategi og begynner å samarbeide med utviklerne istedenfor å slåss mot dem.

Men innen Ellison & co kommer til den konklusjonen har det nok rent mye vann i Glomma og det vil kanskje være for sent å forene Java-leiren. Majoriteten av utvikler-miljøet inklusiv Google og kanskje IBM vil være godt igang på egenhånd med å redde Java.

I sin meget interessante blog post “The case for a new Apache/Google “Java”“, leker Sola med et scenario der et nytt Java-liknende programmeringsspråk basert på Harmony tar over hele eko-systemet og at ASF deprekerer Java-versjonene av alle sine prosjekter til fordel for de nye. Wow, ganske drastisk, men kunne det fungere?