Blogit - hakukoneet

Yle.fi hakukoneen tekninen toteutus

Jaakko Ojalehto — Thu, 22 May 2014 05:25:53 +0000

Aiemmassa blogauksessa käsittelin kevään aikana uudistuneen yle.fi hakukoneen uusia ominaisuuksia. Tämä postaus keskittyy tekniikkaan, jolla nämä ominaisuudet ja koko haku on toteutettu.

Suurin arkkitehtuurillinen muutos uudessa hakukoneessa on hakutulosten tuottamiseen ja näyttämiseen käytetyn tekniikan eriyttäminen. Tavoitteena eriyttämisessä on se, että pystymme kehittämään käyttöliittymää itsenäisesti, mutta ulkoistamaan sivujen indeksoinnin, analysoimisen, hakualgoritmien kehittämisen ja muun toiminnan, joka ei ole Ylen verkkokehitystiimin ydinosaamista. Eriyttämisen ansiosta voimme luoda käyttöliittymästä sellaisen, joka palvelee käyttäjiämme mahdollisimman hyvin ja sopii parhaiten juuri Ylen tarjoamille sisällöille. Voimme lisäksi mitata hakukoneen ja sen toimintojen käyttöä monipuolisemmin.

Hakukäyttöliittymä ja hakutulokset tuottava järjestelmä ovat siis täysin itsenäisiä ja erillisiä kokonaisuuksia, joista toista voidaan muuttaa tai se voidaan peräti vaihtaa ilman suuria muutoksia toiseen järjestelmään. Järjestelmät välittävät tietoa toisilleen HTTP-protokollaa käyttäen JSONP-formaatissa.

Hakutulokset tuotetaan käyttäen Google Search Appliance (GSA) tuotetta. GSA on käytännössä Googlen myymä palvelin, joka etsii, indeksoi ja analysoi kaiken Ylen sisällön sekä tuottaa hakutulokset annetuilla hakuparametreilla. Oletuksena GSA tuottaa myös hakutulossivun, mutta olemme määritelleet GSA:n tuottaman hakutulossivun sijaan hakutulokset JSONP-formaatissa. Tämä onnistuu GitHubista löytyvällä avoimen lähdekoodin GSA Frontend konfiguraatiolla, jota olemme kehittäneet eteenpäin.

Google Search Appliancen tuottama JSONP vastaus.

Hakukäyttöliittymä itsessään on toteutettu JavaScript-ohjelmointikielellä käyttäen angular.js-sovelluskehystä. Web-palvelin on toteutettu kahdennetulla node.js-palvelimella, jotka käyttävät myös express.js-sovelluskehystä mm. yle.fi ylä- ja alatunnisteen lisäämiseen sivulle. Valitut tekniikat ovat osoittautuneet hyviksi ja taanneet nopean käyttöliittymäkehityksen, helpon testattavuuden, hyvän skaalautuvuuden ja jatkuvan käyttöönoton.

GSA:n ja hakukäyttöliittymän lisäksi hakukone koostuu kolmannesta osasta jota kutsumme Crawl proxyksi. Käytännössä Crawl proxy on palvelu, joka tulkitsee ylen sisältöjä GSA:lle. Teknisesti Crawl proxy on node.js-palvelin, jonka kautta GSA:n tekemät HTTP-pyynnöt tehdään muihin Ylen palveluihin. Crawl proxy lukee kaikki sen läpi menevän HTML-merkkauksen ja lisää merkkaukseen elementtejä ennalta määritettyjen sääntöjen perusteella.

Crawl proxy lisää merkkaukseen mm. kielen, julkaisuajan, esikatselukuvan ja sisällön aiheen. Teoriassa GSA osaa itsekin päätellä artikkelin julkaisuajan ja kielen, mutta erilaisten merkkaustapojen ja aikaformaattien takia tämä ei käytännössä toimi yhtä hyvin kuin määrittely crawl proxyssä. Esikatselukuvat ja sisällön aiheet olisi mahdollista määritellä myös palveluissa kuten Yle Uutisissa ja Yle Areenassa, mutta koska määritystavat ovat pitkälti GSA:n omia emme halunneet lisätä näitä itse palveluihin.

Määritysten pitäminen crawl proxyssä pitää ylläpidon ja päivittämisen helppona ja keskitettynä, eikä muihin palveluihin tarvitse tehdä muutoksia. Näin voimme helposti parantaa ja lisätä GSA:n ominaisuuksia. Crawl proxy myös testaa automaattisesti Ylen muiden palveluiden HTML-merkkauksen niiltä osin kuin crawl proxylle on tarpeellista. Crawl proxy siis hälyttää mikäli jonkun palvelun HTML-merkkaus muuttuu niin että proxyn toiminta häiriintyy.

Google Search Appliancen tallentamaa metatietoa artikkelista. Osa tiedoista on crawl proxyn tuottamia.

Hakupalvelusta on haluttu tehdä mahdollisimman itsenäinen järjestelmä, joka ei riipu muiden järjestelmien sisäisestä toimintalogiikasta. GSA ei siis ole suoraan yhteydessä esimerkiksi Yle Uutisten tai Yle Areenan taustajärjestelmiin vaan lukee ainoastaan näiden julkisia verkkosivuja.

Hakupalvelu käyttää kuitenkin muutamia Ylen rajapintoja lisätoimintojen tuottamiseen. Esimerkiksi crawl proxy käyttää Ylen Images API:a kuvien pienentämiseen sopivan kokoisiksi esikatselukuviksi. Tulevaisuudessa rajapintojen kautta on tarkoitus tuoda lisää mielenkiintoisia toiminnallisuuksia. Tulevia toiminnallisuuksia voisivat olla mm. ohjelmatietojen haku, sosiaalisen medioiden jakomäärien näyttö, latausmäärien näyttö, jakomäärien ja latausmäärien käyttö hakualgoritmin optimoinnissa, jne.

Hakukone koostuu siis useasta itsenäisestä moduulista, joiden tekniikka ja kehitys eivät ole riippuvaisia toisistaan. Hakukoneen modulaarisuus takaa sen että uusia moduuleja voidaan kehittää, lisätä ja poistaa ketterästi ja tehokkaasti. Nyt kun uudistuneen hakukoneen perusarkkitehtuuri on rakennettu ja todettu toimivaksi keskitymme hakukoneen eri osien ja toimintojen parantamiseen sekä uusien toimintojen lisäämiseen. Mikäli sinulla on ideoita miten hakua voisi kehittää voit kommentoida alle, lähettää sähköpostia osoitteeseen haku.ylefi@yle.fi tai tweetata @zeikko

Lainaus

Yle.fi -haku uudistuu

Sami Mattila — Fri, 25 Apr 2014 10:29:20 +0000

Verkkopalveluiden omat hakutoiminnot tyypillisesti vievät käyttäjänsä enemmän harhaan kuin auttavat tiedon lähteelle. Sivustojen hakutoiminnot ovat usein se viimeinen ja samalla heikoin lenkki mihin sivustolla kävijä turvautuu.

Miksi verkkopalveluiden hakutoiminnot eivät avaa suoraan Googlen tarjoamia hakutuloksia? Google sekä muut hakukoneet tarjoavat tunnetusti relevantteja hakutuloksia ja analysoivat isoja datamääriä oman palvelunsa kehittämiseksi mainostuloja kasvattaakseen. Miksi meidän kannattaisi kehittää omaa sivuston hakutoimintoa?

Vastaus piilee ehkä juuri näissä samoissa syissä.

Haku on tärkeä toiminnallisuus meidän palvelujemme käyttäjille. Keräsimme palautetta haun pilottiversiosta jatkokehityksen tueksi. Paikoitellen kärkevänkin palautteen perusteella hakuun latautuu usein suuria odotuksia.
Tämä ei ole yllätys, kun sisältöä on paljon: reilusti yli miljoona sivua ja lisää tulee satoja päivittäin. Ehkä palautetta antanut käyttäjä on kokenut haun viimeiseksi keinoksi löytää sivuiltamme sen tietyn radio-ohjelman, jonka nimeä ei juuri nyt muista, mutta aiheen ja ajankohdan kylläkin.

Haku tarjoaa meille mahdollisuuden päästä lähemmäksi palvelujemme käyttäjiä. Mitä etsitään, miten sisältöjä etsitään, mitä toiminnallisuuksia haussa käytetään jne. - Kaikki tämä on hyödyllistä informaatiota, jota voi hyödyntää jopa koko sivuston kehittämisessä.

Vielä tärkeämpi syy on se, että tunnemme jo nyt omat käyttäjämme paremmin kuin kukaan muu. Ja koko ajan opimme lisää. Voimme rakentaa hakupalvelun juuri meidän palvelujen käyttäjien muuttuvien tarpeiden mukaan. Dataan perustuen voimme tuoda ne toiminnallisuudet mille käyttäjät näkevät tarvetta sekä kokeilla täysin uusia tapoja edistää sisältöjemme löydettävyyttä. Tai voimme vaikka jättää kokonaan pois ominaisuudet joille ei näytä olevan käyttöä.

Ylen eri verkkopalveluilla on erilaiset sisältöjen löydettävyyteen liittyvät haasteensa, joihin myös sivuston oman hakutoiminnon pitää mukautua. Uutisissa julkaisuajankohta on tavallistakin tärkeämpi kriteeri, kun taas Areenalla erilaiset ohjelmatiedot ovat ratkaiseva tekijä. Jossain toisessa palvelussa ehkä artikkelin toimittaja on se keskeinen kriteeri löytää relevantteja sisältöjä. Omaan hakuun voimme räätälöidä tapaan tehdä rajauksia, painottaa ja järjestää hakutuloksia vaikka palvelukohtaisesti. Tunnemme sisältömme ja niiden käyttötavat paremmin kuin hakukoneet, joten meillä on paremmat mahdollisuudet ennakoida tärkein sisältö käyttäjälle.

Käytämme nyt hyväksi havaittua hakumoottoria, Google Search Appliancea, etsimään osuvimmat hakutulokset. Haku on siis yhtä kattava ja tarkka kuin Googlen oma hakupalvelukin. Tosin tavoitteenamme on tehdä hausta parempi kuin mihin Google pystyy Ylen sisältöjen suhteen.

Käyttöliittymän ja lisäominaisuuksien kehityksen olemme ottaneet omaan haltuumme. Tämä mahdollistaa edellä esitettyjen ominaisuuksien ja kehittyneemmän mittauksen käyttöönoton. Oma kehitystyö antaa myös vapauden lisätä tulevaisuudessa muita Ylen omia järjestelmiä ja lähteitä osaksi hakua. Esimerkkejä on helppo keksiä useita. Ohjelman tiedot voisi näyttää jo hakutuloksissa tai jopa käynnistää suoraan itse ohjelman yhdellä klikkauksella. Tai ehkä tietystä henkilöstä tai aiheesta kirjoitettujen artikkelien määrä olisi hyödyllistä nähdä aikajanalle järjestettynä. Tai kenties haun pitäisi tuntea juuri minun hakuhistoriani ja ehdottaa sen perusteella hakutulosta ennen kuin olen ehtinyt kirjoittaa hakulauseketta loppuun.

Myös itse hakutulosten kuvailun voi tehdä totutusta poikkeavalla tavalla. Hakutulosten rikastaminen tiedoilla sosiaalisen median jaoista tai artikkelin lukukerroista auttaa löytämään päivän puheenaiheet. Esikatselukuvakkeet hyödyttävät tulosten nopeassa silmäilyssä. Ehkä koko käyttöliittymä olisikin helppokäyttöisempi Pinterestin tapaan kuvien ja tekstien kollaasina.

Parhaimmillaan hakua ei edes huomaa käyttävänsä. Verkkokaupoissa ja erilaisissa varausjärjestelmissä haku tyypillisesti sulautuu osaksi kokonaisuutta. Haku ei näytä perinteiseltä haulta. Sivustolla navigointi käy sujuvasti eri vaihtoehtoja rajaamalla kunnes haluttu tieto on löytynyt.

Käy ja kokeile mitä ominaisuuksia on jo käytössä. Jatko riippuu siitä mitä ominaisuuksia käytetään ja minkälaista palautetta tulee. Käyttäjät valitsevat.

Lainaus

Lapselle erikoinen nimi

Tuija Aalto — Mon, 22 Dec 2008 08:38:10 +0000

Pari vuotta sitten ilmestyneessä Freakonomics (Outoustalous) -kirjassa tutkittiin lasten nimien trendejä ja havaittiin, että siinä missä ennen riitti kourallinen nimiä, kohti nykyaikaa tultaessa käytössä olevien eri nimien määrä lisääntyi. Historiallisesti oli nähtävissä, että tietyt nimet toistuivat sykleittäin ja nimiruljanssia pyöritti varakas eliitti, jonka nimiä rahvas viiveellä kopioi omalle jälkikasvulleen.

Hakukone-erottuvuuden vuoksi saattaa syntyä ihan uusi tapa antaa lapselle nimi, jota ei ole ollut vielä kenelläkään. Syntyykö uusia nettipalveluja, jossa pyritään generoimaan etunimeksi merkkijono, jota kukaan ei ole vielä käyttänyt? (Nappasin tämän ajatuksen jostakin podcastista, juontajan sivuhuomautuksesta, luultavimmin Buzz Out Loudista, mutten muista, mistä jaksosta.)

Lainaus