Det har vært mye aktivitet i Solr-verdenen i august, og vi har valgt ut de mest interessante for deg, gruppert i fire kategorier:

Ny funksjonalitet som kommer i neste versjon

• Du finner info om tidligere jobb på CollapsingComponent i June’s digest (Sematext blog) i issue SOLR-1682. Mye jobb ble lagt ned i denne komponenten og det virker som den snart kan committes. Patchene som er vedlagt fungerer (mot trunk) så du kan teste de allerede.

• SpellCheckComponent har fått en forbedring relatert til Lucene endringer -  Add support for specifying Spelling SuggestWord Comparator to Lucene spell checkers for SpellCheckComponent. Issue SOLR-2053 er allerede fikset og en patch er lagt ved hvis du trenger det, men den er også committet til 3_x branch, altså neste versjon av Solr.

• En annen mindre funksjon er forbedring av WordDelimiterFilter i SOLR-2059 – Allow customizing how WordDelimiterFilter tokenizes text. Patchen er allerede der og committet til trunk og 3_x.

• Ytelsesforbedring for fasetter finner vi i SOLR-2089 – Faceting: order term ords before converting to values. Bak denne tittelen finner vi en real hastighetsforbedring for tilfeller der facet.limit er høy. Patchen er tilgjengelig og den er committet til trunk og 3_x branch.

• For alle GEO-fans i Solr-verden vil vi peke på denne tråden i mailing-listen - [Spatial] Geonames and extension to Spatial Solution for Solr – Her kan du finne noen nyttige GEO utvidelser for Solr, spesielt dersom du er interessert i Geonames data.

Nye funksjoner under utvikling

• En veldig viktig (og antakelig ønsket) funksjon har nettopp fått sin Jira issue – SOLR-2080 – Create a Related Search Component. Denne er opprettet av Grant Ingersoll, så vi kan forvente kvalitetsarbeid her som vanlig. Det er ingen patch så langt, da denne nettopp har startet, men du kan følge med på utviklingen i ticketen. Dersom du trenger noe før denne patchen er ferdig, har Sematext en kommersiell komponent som heter  RelatedSearches som du kan sjekke ut.

• Jira issue SOLR-2026 – Need infrastructure support in Solr for requests that perform multiple sequential queries – vil gi noen interessante muligheter for søkekomponenter (search components); spesielt dersom du skriver dine egne. Hvis Solr får bedre støtte for kjøring av flere parallelle spørringer fra en enkelt forespørsel vil visse komponenter bli enklere å implementere.

• Defining QueryComponent’s default query parser (SOLR-2031) lar deg konfigurere default query parser i solrconfig.xml, hvis du noen gang har følt at du behøver det.

• Det ser også ut til at QueryElevationComponent kan få en forbedring: Distinguish Editorial Results from “normal” results in the QueryElevationComponent. Jira issue SOLR-2037 er der du kan følge med på denne.

Noen nye bugs

• DataImportHandler har en feil – Multivalued fields with dynamic names does not work properly with DIH – som enda ikke er rettet, men hvis du har dette problemet kan du sjekke status her.

• En annen bug i DataImportHandler har med connection lekkasje å gjøre – DIH doesn’t release JDBC connections in conjunction with DB2. Det er ingen fiks så langt, men du kan følge med selv i Jira.

Andre interessante nyheter

• Et potensielt nyttig verktøy du bør se på er SolrMeter. Det er et selvstendig verktøy for ytelsestesting av Solr. Utviklerne beskriver det selv slik: Hovedmålet med dette åpne kildekode-verktøyet er å gi Solr bruker-miljøet et “generisk verktøy for å teste Solr spesifikt”. Det sender spørringer og legger til dokumenter for å forsikre at Solr implementasjonen din kommer til å tåle realistisk bruk. Med SolrMeter kan du simulere lasten mot Solr og få ut grafisk statistikk..

• Hvilket utviklingsmiljø bruker du mot Solr/Lucene? Hvis du bruker IntelliJ og vil sette den opp mot Lucene eller Solr kan du sjekke denne nyttige diskusjonen og patch i LUCENE-2611 – IntelliJ IDEA setup.

• Interessante funksjonen kan legges til med Solr-1979 - Create LanguageIdentifierUpdateProcessor. Den vil gi mulighet til å håndtere tekst på ulike språk (tenk på stemming i analyse, for eksempel) ved å detektere språket automatisk. Denne issue er helt ny, så arbeidet med denne og noen brukbare patcher kommer en gang i fremtiden. Men hvis du trenger noe som fungerer nå, har Sematext noen produkter for flerspråklig funksjonalitet, for eksempel, flerspråklig indeksering eller Språkidentifikator .
• En annen interessant ting kommer med Solr-1980 – Boundary match support. Dette vil muliggjøre søtte for søk på ord i starten eller på slutten av feltet, og dermed unngå falske delvise treff. Dette vil kunne gi mer relevante søkeresultater i noen spesielle tilfeller. Denne ticket er også i sin spede begynnelse, og har ingen patcher ennå, så vi får vente og se hvordan det utvikler seg.
• Noen ganger ønsker vi å lagre (store) noe annet enn den rå input-verdien av et felt (husk, Solr lagrer en “stored” og en “indexed” versjon, og det som returneres er den rå input-verdien til, ikke dens analysert versjon). En fiks for dette finnes allerede i en ganske fersk JIRA ticket - Solr-1997 - Lagre intern verdi i stedet for input-verdi.
• Er du klar til å begynne å bruke Solr, men er usikker på hvilken versjon du bør bruke? Ikke bekymre deg, forvirring om Solr’s versjoner startet denne våren (se Solr May 2010 Digest ), men ting har stabilisert seg i det siste. Den siste release-utgaven er 1.4.1, med mange feilrettinger. Den neste versjonen vil bli 3.1, og du finner kildekoden på branch_3x grenen. Du finner de nattlige byggene her . TRUNK brukes fremdeles for “ustabil” utvikling og den framtidige 4.0-versjonen. For mer informasjon, sjekk disse siste trådene på Solr mailingliste: her og her .
• Mange vil nok være enig i at Solr SpellCheckComponent  ikke er veldig nyttig i real life applikasjoner. Et av de største problemene er at det dårlig håndterer spørringer med flere ord, der forslagene i “collate” gir beste forslag for hvert ord i spørringen, slik at du ofte får forslag som gir 0 treff. I tillegg får man ikke vite viktig meta-informasjon, som hvor mange treff søket vil generere og hvilke resultater det vil gi. Noen av disse problemene kan være løst en dag med Solr-2010 – Improvements to SpellCheckComponent Collate functionality. Den første versjonen av oppdateringen er allerede klar. Men hvis du vil bruke slik funksjonalitet i produksjon i dag, kan du vurdere en mye mer sofistikert og produksjons-klar komponent utviklet av Sematext – DYM ReSearcher – du kan se Dym ReSearcher i aksjon på Search-Lucene.com, for eksempel.
• En mindre funksjonalitet er lagt til QueryElevationComponent – Add option to return only the specified results. Den kom i JIRA issue Solr-1966 og er allerede portet til 3.x og TRUNK.

Denne artikkelen er norsk oversettelse av Sematext’s Solr Digest.

Du må gjerne gjenbruke produktarket i din kommersielle business, da det er lisensiert under Creative Commons by-sa lisens, noe som betyr at du til og med kan gjøre egne tilpasninger så lenge du beholder referansen og lenken til Cominvent og deler kide-endringene (ODT) under samme lisens.

Last ned Solr 3.1 product sheet (PDF).

Her er Solr 3.1 product sheet master (ODT).

MERK: Solr 3.1 er enda ikke lansert, ventet høsten 2010

Jan vil snakke om “Key topics when migrating from FAST to Solr”, rettet mot et Solr publikum. Det blir en kort oversikt over hva FAST ESP er, og en gjnnomgang av migreringsprosessen inkludert pain points og hvordan man kan håndtere de.

Velkommen til å bli med Cominvent og FindWise på forkostseminar i Oslo 5. mai, med embet “Kostnadseffektive og fleksible søkeløsninger med Fri Programvare”.

Seminaret er på Radisson Blu Plaza Hotell i Oslo (ved Oslo Spektrum), fra 08-10 onsdag 5. Mai. Husk påmelding!

Bli med på en samtale rundt disse emnene:

• Hva er åpen kildekode og hva betyr dette for søketeknologien?
• Hvordan virker Solr/Lucene?
• Hvilke alternativer finnes innenfor Solr/Lucene?

Vi presenterer også noen kunde-cases som har lykkes med implementasjon av open source søk.

Se invitasjon PDF for mer info og påmelding.

Kanskje det er tid for en raskere, større, mer kapabel søkemotor? En migrering krever god og strukturert planlegging og dyp kjennskap til eksisterende krav såvel som ny teknologi.

Med nesten 10 års fulltids hands-on konsulenterfaring med alle typer virksomhetskritiske søkeløsninger, har Jan Høydahl i Cominvent det som skal til. Se vår migrerings-side for mer info.

As a part of that planning process, we have decided that in order to deliver more innovation per release in the future, the 2010 products will be the last to include a search core that runs on Linux and UNIX.

Dette burde ikke være et sjokk for noen, og jeg hintet til faren for dette allerede i blogg-innlegget etter oppkjøpet:

Let us not hope that the Linux, AIX and Solaris versions will be discontinued. I don’t expect that to happen in the short term, as the press release clearly states that they will be supported…

Jeg gjettet på det tidspunktet at Linux støtte ville fortsette i fem år, men det viste seg altså å bli mindre enn to Mens dette er forventet og forståelig tror jeg vi alle hadde håpet at pressemeldingen som fulgte Microsofts oppkjøp av FAST hintet til en ny, mer åpen policy fra software-kjempen men det viste seg altså å være for optimistisk. Men eksisterende kunder blir ikke overlatt helt til seg selv; Olstad fortsetter:

We will support ESP 5.3—the cross-platform search core in the 2010 products—for 10 years as per our standard support policy (5 years mainstream support and 5 years extended support).  Non-Windows customers on ESP 5.3 can continue running their core on Linux and UNIX and add Windows-only innovations or cloud-based services by using a mixed-platform architecture.

Mange søkekonsulenter med erfaring fra FAST ESP har erfart at produktet yter mer under Linux enn under Windows når du begynner å presse på litt. ESP er også lettere å håndtere på en Linux plattform på grunn av SSH og andre mekanismer. Men dette er neppe de viktigste salgs-argumentene uansett.

Hva det betyr for eksisterende og potensielle fremtidige kunder er vanskelig å si. Selvsagt vil noen organisasjoner, spesielt mindre, kreve Linux i datasenteret – disse vil kanskje begynne å se seg om etter en annen leverandør. Noen av de større selskapene har allerede blandet miljø og vil lett være i stand til å migrere til Windows og være fornøyd med det.

Sist men ikke minst er det interessant med hintet om sky-støtte (cloud) i blogg-innlegget, som kanskje åpner en annen opsjon for eksisterende kunder på Linux: Outsource hele søket til Microsoft og ikke bekymre deg for maskinvare eller OS i det hele tatt. Kanskje dette er den smidigste løsningen for mange små? Forvent å se mer til hosted søk i tiden fremover.

Kursmateriellet, som er utviklet av Lucid Imagination, er nylig oppdatert til å dekke Solr 1.4, pluss noen tillegg som f.eks. Carrot2 clustring. Kursboka teller mer enn 400 slides, men frykt ikke – det er masse praktiske lab-oppgaver og også tid for spørsmål og svar og interessante diskusjoner, som gjør tempoet behagelig.

Snart kommer også et videregående kurs som tar for seg mer komplekse temaer som ytelses-tuning, skalering, utvikling av plugins og mer. Følg med!

Les mer på www.solrkurs.no og følg oss også på Twitter.

Feil! Kanskje du ikke visste det, men den offisielle Solr 1.4 versjonen kan enkelt utvides med massevis av såkalte “Patcher” (lapper). Med “patch” tenker vi normalt på noe som løser et problem, og er således ikke et godt navn for ekstra funksjonalitet, men slik er det engang i Apache-verdenen.

Patch SOLR-773 gir lokal GEO-søk til Solr, og muliggjøre ting som:

• Kun bry deg om resultater nærmere enn 50 km fra meg (filter)
• Sorter restaurant-treffene på avstand fra min plassering
• Ranger restaurant-treffene basert på bruker-anmeldelser, men gi ekstra poeng til de som er innenfor gå-avstand

For å lære mer om GEO søk i Sor kan du se på et opptak av Grant Ingersoll’s webcast på TheServerSide, hvor han forklarer mer og også prater med YP.com (Amerikansk gule sider) og et GIS selskap om deres erfaring med GEO søk i Solr.