Åpen Kildekode-basert søk får et stadig økt momentum. Først hadde du Lucene (2001), som ga kraftig søk for programmerere. Så fikk vi Solr (2006) som gjorde søk tilgjengelig for ikke-programmerere, men fortsatt behov for et visst nivå med ekspertise. Og så kom Constellio, en åpen kildekode / fri programvare (GPL) bedrifts-søkemotor distribusjon (distro) bygget på Solr, men med et pent GUI, innholds-connectorer, web-crawling støtte og mer.

Hva sa du sa du? En Solr distro?

Jeg kaller det “distro” fordi jeg liker å sammenligne evolusjonen med hva vi har sett innenfor GNU/Linux. Først hadde vi Linux-kjernen. Så fikk vi GNU-verktøyene som gjorde Linux brukbar til noe, men fortsatt kun for ingeniører som er komfortable med kommando-linjen. Og så begynte firmaer som RedHat, Suse o.l. å bygge komplette distoer inkludert moderne GUI, ut-av-boksen verktøy som OpenOffice, Thunderbird og mer. Uten disse disroene ville Linux bare vært en kjerne, og overlatt til brukeren å legge til alle verktøyene og sukkeret rundt.

Jeg tør påstå at det samme er i ferd med å skje med åpen kildekode-basert søk. Det er flere firmaer der ute allerede som har sin egen proprietære Apache Solr/Lucene baserte ”distro”, men Constellio er den første sluppet som åpen kildekode så langt jeg har sett.

Hvis du kjenner Solr, vil du føle deg hjemme i ./constellio/tomcat/webapps/constellio/WEB-INF/solrcores/<your_core> der du finner skjema, solrconfig etc. Men jeg mistenker at mannuelle endringer du gjør her blir overskrevet av endringer gjort i GUI.

Låner fra Google Search Appliance

Skaperne av Constellio har gjort en ganske bra jobb med denne første 1.0 versjonen. Enkel installasjon, pent admin GUI, enkelt å starte crawling etc. Og de har vært frekke/modige nok til å rappe Google’s åpen kildekode innholds-connectorer for GSA, som er tilgjengelig på Google Code, isteden for å gå for ManifoldCF fra Apache eller et annet connector-rammeverk. De integrerer også Google OneBox APIet, dvs at brukere kan plugge inn alle de smarte “widgets” som f.eks. kan vise en aksjekurs dersom spørringen er identifisert som en børs-ticker. Kjekt! Vedder på at Google ikke forventet at rammeverket deres skulle bli brukt utenfor GSA…

Så hva er haken?

En ting er at det er GPL (v3), noe som betyr at visse potensielle brukere ekskluderes fra starten (med mindre de har en dobbel lisensiering i ermet?). Du må registrere deg på siden for å laste ned, dvs. at du antakelig blir kontaktet av en salgsperson på et eller annet tidspunkt – ikke noe problem i og for seg. Det er fri programvare og kildekoden er tilgjengelig, men den er ikke utviklet av et fellesskap på en åpen måte. Du kan laste ned koden som en zip fil, men hvis du endrer i den, hvem skal da vedlikeholde dine endringer? Antakelig deg selv…

Heldigvis er det ingen begrensning på antall dokumenter du kan indeksere eller QPS raten. Dermed er Constellio en sann fri (gratis) løsning, noe som ikke kan sies om den svake MS Search Server Express eller den gamle og begrensede Omnifind Yahoo! edition. Å være fri™ kan være grunn god nok til å gi verdi til mange som ellers ville måttet betale konsulenter for å få opp en løsning fra scratch basert på individuelle komponenter.

Constellio sin forretningsmodell er å leve av support og konsulent-honorarer, og det kan meget vel fungere. Men jeg kan ikke helt se hvordan de vi være i stand til å skape et sant åpent utviklings-fellesskap rundt produktet sitt, og på grunn av det tror jeg dette vil forbli en disto uten den helt store utbredelsen.

Irritasjonsmomenter

Det er tydelig at dette er en tidlig versjon 1.0. Hvis det var et ASF prosjekt ville den sannsynligvis hatt versjons nummer 0.x. Noen småfeil: Opplasting av ny logo fungerer ikke. Den identifiserer mine norske websider som Dansk, og den kræsjert en gang (se bilder). Men lykke til til leverandøren med å lage dette til en model Solr distro!

Skjermbilder

Constellio search page

Constellio collection admin

Constellio - edit collection

Constellio - server management tab

Constellio - connectors management

Constellio - edit field types in GUI

Constellio - configuring a field type with analysis

Constellio - hey, it's only version 1.0

Det pågår en krig om den fremtidige åpenheten til Java-plattformen. Oracle prøver å kapitalisere på sitt eget eierskap eller forvalterskap av Java-plattformen (som de arvet fra Sun), ved å bl.a. ta betalt for en enterprise versjon av JVM, såvel som å stoppe konkurrenter som Google i å lykkes med Java. Oravle vil gjøre Java mer lukket, for å berike seg selv – en strategi som kun skader fellesskapet, brukerne, og til sist Oracle’s egne kunder.

Siste trekk er fra Apache Software Foundation, hvis Apache-lisensierte “Harmony” implemensjon av Java-VMen blir bannlyst av Oracle fordi de vil at deres OpenJDK skal være den eneste frie implementasjonen av Java (åpenbart for å kunne ha et salgsgrunnlag for JRockit fra Oracle, og for å beholde kontrollen). Som et gjensvar truer Apache denne uken med å forlate sin plass i JCP (Java Community Process) hvis Oracle ikke gir Harmony-prosjektet dens lovfestede rett til å bli en sertifisert Java-distribusjon ved hjelp av den såkalte TCK.

Personlig heier jeg på Apache og håper de andre JCP-medlemmene vil støtte kampanjen, og med hjelp fra Google (og forhåpentligvis IBM) til slutt se en sann åpen modell for forvalterskapet av Java, inkludert en Apache lisensiert JVM som alle kan bruke fritt. Det er det som virkelig ville hjulpet Java å tiltrekke seg mer momentum og flere utviklere i fremtiden.

Funksjonalitet som er committet (lagt inn i kildekoden)

• Et vanlig problem noen hadde med highlighteren var ar q.alt ikke fungerte. Dette er nå rettet med Highlighter doesn’t support q.alt og er allerede committet til branch_3x og trunk.
• En bug der uregistrerte “searchers” ikke ble lukket er rettet i SOLR-2179 og også committet.
• En mindre men dog nyttig funksjon som nå finnes i trunk og branch_3x er Propose adding field to the admin GUI to indicate the status of HTTP caching.
• En fiks ifbm SolrJ sin StreamingUpdateSolrServer er rettet og lagt inn i trunk, branch_3x og 1.4 (det som blir 1.4.2). Se SOLR-2192.

Spennende funksjonalitet under utvikling

• Fasettering er en mye brukt funksjonalitet, men av og til ønsker folk seg mer avanserte fasetter. Hierarchical faceting (hierarkiske fasetter) er en slik ting. Utviklingen har pågått en god stund, og til tross for at det også finnes noen patcher er den fortsatt ikke committet. En annen liknende issue er Pivot (aka Decision Tree) Faceting Component som blir å finne som en ny søke-komponent. Denne har sett endel mer aktivitet i det siste så vi kommer nok til å se utvidet fasetterings-støtte i Sorl etterhvert.

Interessant ny funksjonalitet

• Det å utvide SchemaField med egne atributter jobbes det med i Custom SchemaField object issuen.
• Det å forbedre relevans er alltid en stor og viktig aktivitet, og er ofte en stor del av våre konsulentoppdrag, uansett hvor god Solr sin ut-av-boksen relevas er. Et nyttig tillegg til vår verktøykasse kan komme fra Anti-phrasing funksjonen. Tanken er at visse ord-sekvenser i en spørring er irrelevante for spørringens innhold (som f.eks. “Hvor finner jeg” eller “Hvor er”), og kan/burde ignoreres i selve søket. Denne JIRA saken (som Jan Høydahl har laget) er fortsatt helt fersk, så ikke hold pusten for en implementering neste uke, men forvent den i en av de fremtidige Solr versjonene.
• Hvis du ofte jobber med finansielle data kan du finne noe nyttig i denne: Money FieldType. Dette er en ny felt-type som støtter desimaltall og range spørringer, sortering og valutakurs-omregning.
• Lucene sin ICUTokenizer er nyttig til flerspråklig tokenisering, men den har hittil ikke vært tilgjengelig for Solr. JIRA-saken Provide Solr FilterFactory for Lucene ICUTokenizer vil gi oss en FilterFactory som lar oss bruke denne fra Solr. Patchen finnes allerede og kan testes ut! Hvis du behøver ytterligere multispråk støtte i Solr kan du også kikke på Sematext’s Multilingual Indexer.

Diverse

• Et emne som vi har skrevet om før og som skaper litt forvirring, handler om de ulike Solr versjonene. Emnet diskuteres fortsatt, og her er en tråd fra mailingslistene: Which version of Solr to use?. For å oppsummere. Solr 1.5 blir antakelig aldri sluppet. Kildekode-grenen branch_3x er stabil og danner grunnlag for neste versjon som er 3.1. Trunk-versjonen inneholder relativt stabil kode, og er utviklingsversjonen av hva som en dag vil bli Solr 4.0.
• Hvis du bruker fasetter i din applikasjon kan du kanskje finne ideer til hvordan du kan optimalisere den her: Faceting and first letter of fields.
• Det er også oppdaget at Solr har problemer med å kjøre på Tomcat 7. Dette gjelder alle versjoner av Solr. For å lese mer om dette kan du se på disse: Problems running on tomcat og SOLR-2022 .
• Replikerings-funksjonen mellom master og slave fungerer ikke om disse kjører forskjellig versjon av Solr. Grunnen kan du se i denne saken: Cross-version replication broken by new javabin format. Det er altså fordi et nytt javabin format er lansert i versjon 3.x, så i tilfelle f.eks. master 1.4.1, og slave 3x vil du støte på problemet. Husk på det hvis du planlegger replikering på tvers av versjoner (noe som ikke er så lurt).

Dette var de mest interessante highlights for oktober. Les den engelske originalen her.

Jan vil snakke om “Key topics when migrating from FAST to Solr”, rettet mot et Solr publikum. Det blir en kort oversikt over hva FAST ESP er, og en gjnnomgang av migreringsprosessen inkludert pain points og hvordan man kan håndtere de.

Velkommen til å bli med Cominvent og FindWise på forkostseminar i Oslo 5. mai, med embet “Kostnadseffektive og fleksible søkeløsninger med Fri Programvare”.

Seminaret er på Radisson Blu Plaza Hotell i Oslo (ved Oslo Spektrum), fra 08-10 onsdag 5. Mai. Husk påmelding!

Bli med på en samtale rundt disse emnene:

• Hva er åpen kildekode og hva betyr dette for søketeknologien?
• Hvordan virker Solr/Lucene?
• Hvilke alternativer finnes innenfor Solr/Lucene?

Vi presenterer også noen kunde-cases som har lykkes med implementasjon av open source søk.

Se invitasjon PDF for mer info og påmelding.

Kanskje det er tid for en raskere, større, mer kapabel søkemotor? En migrering krever god og strukturert planlegging og dyp kjennskap til eksisterende krav såvel som ny teknologi.

Med nesten 10 års fulltids hands-on konsulenterfaring med alle typer virksomhetskritiske søkeløsninger, har Jan Høydahl i Cominvent det som skal til. Se vår migrerings-side for mer info.

Kursmateriellet, som er utviklet av Lucid Imagination, er nylig oppdatert til å dekke Solr 1.4, pluss noen tillegg som f.eks. Carrot2 clustring. Kursboka teller mer enn 400 slides, men frykt ikke – det er masse praktiske lab-oppgaver og også tid for spørsmål og svar og interessante diskusjoner, som gjør tempoet behagelig.

Snart kommer også et videregående kurs som tar for seg mer komplekse temaer som ytelses-tuning, skalering, utvikling av plugins og mer. Følg med!

Les mer på www.solrkurs.no og følg oss også på Twitter.

Feil! Kanskje du ikke visste det, men den offisielle Solr 1.4 versjonen kan enkelt utvides med massevis av såkalte “Patcher” (lapper). Med “patch” tenker vi normalt på noe som løser et problem, og er således ikke et godt navn for ekstra funksjonalitet, men slik er det engang i Apache-verdenen.

Patch SOLR-773 gir lokal GEO-søk til Solr, og muliggjøre ting som:

• Kun bry deg om resultater nærmere enn 50 km fra meg (filter)
• Sorter restaurant-treffene på avstand fra min plassering
• Ranger restaurant-treffene basert på bruker-anmeldelser, men gi ekstra poeng til de som er innenfor gå-avstand

For å lære mer om GEO søk i Sor kan du se på et opptak av Grant Ingersoll’s webcast på TheServerSide, hvor han forklarer mer og også prater med YP.com (Amerikansk gule sider) og et GIS selskap om deres erfaring med GEO søk i Solr.

Jeg kunne lastet ned og kompilert kildekoden, men et kjapt søk ga meg denne siden fra Gdgt med en VMWare image av en komplett Chrome OS installasjon. Så jeg laget en ny virtuell disk i VMWare Fusion på MacBooken min, valgte “Other Linux 2.6.x kernel” som OS type og pekte den til .vmdk disken. Se figur 1 for hvordan det ser ut.

Figure 1: VMWare Fusion with Chrome OS VM

Når jeg “skrudde på strømmen” på den virtuelle maskinen tok det knapt 8 sekunder før vi var klar til å logge inn. Innloggingn skjer med en gyldig Google konto, f.eks. en GMail-adresse:

Så var det å vente ca 9 sekunder før Chrome nettleseren var ferdig lastet med min egen Google Mail og Kalender ferdig innlogget. Wow. Alt i Chrome OS er web-applikasjoner, og Chrome nettleseren viser Applikasjoner forskjellig fra vanlige webside tabs/fliker. Dette er en god ide. Det å logge inn i et operativsystem med et web-basert brukernavn og passord føles rart, men hey, det funker jo! Og hvis du ikke har nett-forbindelse, kan du fortsatt logge inn på kontoer du har logget inn på tidligere.

Herfra fungerer surfingen som normalt. Du kan lage tabs, nye vinder og navigere med Alt-TAB. Øverst til høyre er det noen små ikoner som gir deg ulike menyer for batteristatus, Nettverks-tilkobling og en generell Chrome meny der du har tilgang til innstillingene.

Jeg fikk ikke testet WiFi siden VMWare kun gir Ethernet til klient-OS. Jeg prøvde fliken helt til venstre som skal være en hurtigstart for Web Apps, men den krever en <user>@google.com konto som jeg ikke har, så jeg vet ikke hvordan det skal virke.

Feil

Vi må huske at dette er en tidlig pre-release av et OS ett år før det skal ha sin første offentlige lansering. Ikke rart da at det er enda en vei å gå. Her er noen av de mindre problemene jeg fant.

1. Ikke mulig å endre tastatur-språk ved innlogging. Amerikansk tastatur er standard. Det vil si at nordmenn må lete etter f.eks. @ tasten
2. Innogging til en “Google Apps for Domains” konto fungerer, men da blir du ikke automatisk logget inn i mail og kalender.
3. Hurtig-start panelet fungerer ikke fordi det ikke lar meg logge inn med GMail-kontoen min
4. Hele greia fryser av og til Kanskje relatert til VMWare?

Les mer

Her er etpar artikler jeg likte:

• GDGT: Download Google Chrome OS
• Live Blog: The Google Chrome OS Press Event
• PCWorld: Google Chrome OS: Visual Tour