Blogit - yle.fi

Yle.fi hakukoneen tekninen toteutus

Jaakko Ojalehto — Thu, 22 May 2014 05:25:53 +0000

Aiemmassa blogauksessa käsittelin kevään aikana uudistuneen yle.fi hakukoneen uusia ominaisuuksia. Tämä postaus keskittyy tekniikkaan, jolla nämä ominaisuudet ja koko haku on toteutettu.

Suurin arkkitehtuurillinen muutos uudessa hakukoneessa on hakutulosten tuottamiseen ja näyttämiseen käytetyn tekniikan eriyttäminen. Tavoitteena eriyttämisessä on se, että pystymme kehittämään käyttöliittymää itsenäisesti, mutta ulkoistamaan sivujen indeksoinnin, analysoimisen, hakualgoritmien kehittämisen ja muun toiminnan, joka ei ole Ylen verkkokehitystiimin ydinosaamista. Eriyttämisen ansiosta voimme luoda käyttöliittymästä sellaisen, joka palvelee käyttäjiämme mahdollisimman hyvin ja sopii parhaiten juuri Ylen tarjoamille sisällöille. Voimme lisäksi mitata hakukoneen ja sen toimintojen käyttöä monipuolisemmin.

Hakukäyttöliittymä ja hakutulokset tuottava järjestelmä ovat siis täysin itsenäisiä ja erillisiä kokonaisuuksia, joista toista voidaan muuttaa tai se voidaan peräti vaihtaa ilman suuria muutoksia toiseen järjestelmään. Järjestelmät välittävät tietoa toisilleen HTTP-protokollaa käyttäen JSONP-formaatissa.

Hakutulokset tuotetaan käyttäen Google Search Appliance (GSA) tuotetta. GSA on käytännössä Googlen myymä palvelin, joka etsii, indeksoi ja analysoi kaiken Ylen sisällön sekä tuottaa hakutulokset annetuilla hakuparametreilla. Oletuksena GSA tuottaa myös hakutulossivun, mutta olemme määritelleet GSA:n tuottaman hakutulossivun sijaan hakutulokset JSONP-formaatissa. Tämä onnistuu GitHubista löytyvällä avoimen lähdekoodin GSA Frontend konfiguraatiolla, jota olemme kehittäneet eteenpäin.

Google Search Appliancen tuottama JSONP vastaus.

Hakukäyttöliittymä itsessään on toteutettu JavaScript-ohjelmointikielellä käyttäen angular.js-sovelluskehystä. Web-palvelin on toteutettu kahdennetulla node.js-palvelimella, jotka käyttävät myös express.js-sovelluskehystä mm. yle.fi ylä- ja alatunnisteen lisäämiseen sivulle. Valitut tekniikat ovat osoittautuneet hyviksi ja taanneet nopean käyttöliittymäkehityksen, helpon testattavuuden, hyvän skaalautuvuuden ja jatkuvan käyttöönoton.

GSA:n ja hakukäyttöliittymän lisäksi hakukone koostuu kolmannesta osasta jota kutsumme Crawl proxyksi. Käytännössä Crawl proxy on palvelu, joka tulkitsee ylen sisältöjä GSA:lle. Teknisesti Crawl proxy on node.js-palvelin, jonka kautta GSA:n tekemät HTTP-pyynnöt tehdään muihin Ylen palveluihin. Crawl proxy lukee kaikki sen läpi menevän HTML-merkkauksen ja lisää merkkaukseen elementtejä ennalta määritettyjen sääntöjen perusteella.

Crawl proxy lisää merkkaukseen mm. kielen, julkaisuajan, esikatselukuvan ja sisällön aiheen. Teoriassa GSA osaa itsekin päätellä artikkelin julkaisuajan ja kielen, mutta erilaisten merkkaustapojen ja aikaformaattien takia tämä ei käytännössä toimi yhtä hyvin kuin määrittely crawl proxyssä. Esikatselukuvat ja sisällön aiheet olisi mahdollista määritellä myös palveluissa kuten Yle Uutisissa ja Yle Areenassa, mutta koska määritystavat ovat pitkälti GSA:n omia emme halunneet lisätä näitä itse palveluihin.

Määritysten pitäminen crawl proxyssä pitää ylläpidon ja päivittämisen helppona ja keskitettynä, eikä muihin palveluihin tarvitse tehdä muutoksia. Näin voimme helposti parantaa ja lisätä GSA:n ominaisuuksia. Crawl proxy myös testaa automaattisesti Ylen muiden palveluiden HTML-merkkauksen niiltä osin kuin crawl proxylle on tarpeellista. Crawl proxy siis hälyttää mikäli jonkun palvelun HTML-merkkaus muuttuu niin että proxyn toiminta häiriintyy.

Google Search Appliancen tallentamaa metatietoa artikkelista. Osa tiedoista on crawl proxyn tuottamia.

Hakupalvelusta on haluttu tehdä mahdollisimman itsenäinen järjestelmä, joka ei riipu muiden järjestelmien sisäisestä toimintalogiikasta. GSA ei siis ole suoraan yhteydessä esimerkiksi Yle Uutisten tai Yle Areenan taustajärjestelmiin vaan lukee ainoastaan näiden julkisia verkkosivuja.

Hakupalvelu käyttää kuitenkin muutamia Ylen rajapintoja lisätoimintojen tuottamiseen. Esimerkiksi crawl proxy käyttää Ylen Images API:a kuvien pienentämiseen sopivan kokoisiksi esikatselukuviksi. Tulevaisuudessa rajapintojen kautta on tarkoitus tuoda lisää mielenkiintoisia toiminnallisuuksia. Tulevia toiminnallisuuksia voisivat olla mm. ohjelmatietojen haku, sosiaalisen medioiden jakomäärien näyttö, latausmäärien näyttö, jakomäärien ja latausmäärien käyttö hakualgoritmin optimoinnissa, jne.

Hakukone koostuu siis useasta itsenäisestä moduulista, joiden tekniikka ja kehitys eivät ole riippuvaisia toisistaan. Hakukoneen modulaarisuus takaa sen että uusia moduuleja voidaan kehittää, lisätä ja poistaa ketterästi ja tehokkaasti. Nyt kun uudistuneen hakukoneen perusarkkitehtuuri on rakennettu ja todettu toimivaksi keskitymme hakukoneen eri osien ja toimintojen parantamiseen sekä uusien toimintojen lisäämiseen. Mikäli sinulla on ideoita miten hakua voisi kehittää voit kommentoida alle, lähettää sähköpostia osoitteeseen haku.ylefi@yle.fi tai tweetata @zeikko

Lainaus

Yle.fi – millaisin askelin kohti avoimuutta?

Tuija Aalto — Thu, 02 Feb 2012 11:13:42 +0000

Kirjoittaja on Yle.fi:n suunnittelupäällikkö.

Avoimuus on megatrendi. Mitä se merkitsee julkisen palvelun mediayhtiölle?

Avoimuuden merkitys media-alan toimintaympäristössä kasvaa merkittävästi. Miten Ylen pitäisi vastata yleisön odotuksiin avoimuudesta? Tarjoamalla avointa dataa ja avaamalla internetpalvelujen rajapintoja? Sitä ainakin teknologisesti suuntautuneet nettikäyttäjämme haluavat.

Ylen muuttaminen sillä tavoin avoimeksi kuin se nettiaikana ymmärretään, vaatii työtä monella rintamalla. Mielestäni Ylen kannalta tärkeimmät ilmiöt ovat avoin data, avoimet lisenssit sisältöjen tarjoamisessa, yhteistyö kehittäjäyhteisöjen kanssa sekä aktiivinen avoimuus sidosryhmäviestinnnässä. Viimeksi mainitusta onkin jo ollut puhetta tässä blogissa, joten ei siitä tässä sen enempää.

Asiakkaidemme mukaan Ylen pitäisi:

• avata Ylen internetpalvelujen ohjelmontirajapintoja avoimena APIna
• tarjota avoimesti lisensoituja verkkosisältöjä
• vakiinnuttaa avoimen datan tarjoaminen tavaksi toimia verkossa

Sen lisäksi Ylen tulisi vakiinnuttaa yhteistyö kehittäjäyhteisön kanssa ja ottaa aktiivinen avoimuus työkulttuuriin erilaisissa rooleissa ja tehtävissä.

Avoin API

Rajapintojen avaamista on helppo perustella nettiajan julkisena palveluna. Universaalisuusperiaate on julkisen palvelun ytimessä verkossakin. Ylen sisällöt ovat saavutettavissa yhtäläisin ehdoin kaikkialla, kaikille suomalaisille eikä Yle.fi tee poissulkevia sisältöjakelusopimuksia kumppaneiden kanssa.

Tavoitteena tulee olla, että Yle tarjoaa internetsisällöistä avoimet rajapinnat siten, että kaikille halukkaille kehittäjille tarjotaan koneluettava standardi ohjelmointirajapinta, API Ylen sisältöihin. Ylen on osoitettava resurssit ohjelmointirajapintojen ylläpitoon ja API:n tarjoamiseen palveluna.

Avoin data

Avoimella datalla tarkoitetaan internetissä jaossa olevia tietokantoja, jotka ovat tietokoneiden ymmärtämässä muodossa, ja jotka on varustettu datan jatkokäytön sallimalla lisenssillä.

Sen, että tieto on yleisölle saatavilla avoimena datana, ei pitäisi meille vielä riittää, vaan Yle.fi:n on tarjottava eri kohderyhmille näiden kannalta mielekkäitä mahdollisuuksia osallistua sen jalostamiseen ja käyttöön.

Ks. Yle ja avoin data - tapahtunut tähän mennessä.

Yhteistyö kehittäjäyhteisön ja indie-kumppaneiden kanssa

Tuotekehityksen, edelläkävijyyden ja innovatiivisuuden kannalta on tärkeää, että Yle tekee yhteistyötä sekä aktiivisten kehittäjäasiakkaidensa että indie-kumppaneiden kanssa.

Suomessa on pohjaa ja potentiaalia verkon indie-tuotannoille niin, että olisi mahdollista ostaa tietty osa verkon asia-, kulttuuri-, musiikki- ja draamasisällöstä itsenäisiltä tuotantoyhtiöiltä samalla tavalla kuin niitä nyt ostetaan televisiolle. Markkinoilla ollaan valmiina – enemmän kehittämistä tämä varmaan vaatii Ylen omissa tilauskäytännöissä.

Entä, jos valjastaisimme joukkojen älyn sisältösuunnitteluun? Jospa osa Ylen sisällöistä tilattaisiin siten, että kaikilla suomalaisilla olisi mahdollisuus käyttää äänivaltaansa sen suhteen, mitä televisiossa, radiossa ja verkossa julkaistaan?

Avoimesti lisensoitujen sisältöjen tuottaminen ja julkaisu

Jotta Yle voisi vahvistaa rooliaan avoimen tietoyhteiskunnan rakentajana, sen pitäisi ryhtyä tilaamaan ja tuottamaan avoimeksi lisensoitavaa ohjelma-aineistoa asiakkaiden ladattavaksi ja muokattavaksi.

Ei näytä mahdolliselta neuvotella remix-oikeuksia jo tilatuille ja lähetetyille ohjelmille jälkikäteen, mutta tulevien sukupolvien Elävä arkisto voisi olla sellainen, jossa olisi ainakin 2000-luvun toiselta vuosikymmeneltä alkaen tuotettua ohjelmamateriaalia suomalaisten itselleen ladattavaksi ja muokattavaksi. Tätä teemaa olen käsitellyt blogissa aiemminkin.

Avoimuutta voidaan edistää myös sellaisten sisältöjen osalta, joihin ei saa neuvoteltua muokattavuutta. Mahdollisuus offline-käyttöön sallisi omalle päätelaiteelle lataamisen sekä verkkosivuille upottamisen.

Tämä on internetin suunnittelussa syntynyttä pohdintaa avoimuuden mahdollisuuksista. Mitä olemme unohtaneet ajatella? Mitä te painottaisitte tärkeimpänä Ylen tehtävää ja roolia ajatellen?

Lainaus

Yle.fi:n hurja veivi

Kari Haakana — Mon, 16 May 2011 08:28:59 +0000

Euroviisut ja jääkiekon MM-kisat näkyivät selvinä piikkeinä Ylen web-palveluissa viime viikolla. Kaikkiaan Yle.fi:n eri palveluissa käytiin viime viikolla 2,2 miljoonan eri selaimen voimin. Kyseessä on kaikkien aikojen ennätys.

Erityisen vilkkaasti kävijöitä virtasi Areenaan, jossa sekä lauantaina että sunnuntaina käynnistettiin yli miljoona videoklippiä tai -streamia.

Jännittävä ilmiö oli myös selostaja Antero Mertarannan ilmaveivi-hehkutus, joka pomppasi vuorokaudessa koko tämän vuoden katsotuimmaksi on-demand-klipiksi. Merkittävä tekijä tässä suosiossa ovat olleet Ilta-Sanomat ja Iltalehti, jotka molemmat linkkasivat alle upotettuun Areena-videoon. Iltapäivälehtien linkkaukset loivat 13% koko viime viikon viittaavasta liikenteestä Areenaan. Hehkutuksen kohde eli Granlundin maali jäi suosiossa selvästi Mertarannan reaktiolle.

Lainaus

Yle.fi:tä kehitetään sekä pitkäjänteisesti että reagoivasti

Jari Lahti — Fri, 25 Mar 2011 16:10:51 +0000

Ylen internet-strategiassa ydinkokonaisuudet ovat: Uutiset, Areena, Elävä arkisto ja Lapset. Näitä kokonaisuuksia kehitetään pitkäjänteisesti. Voi ennustaa, että kehitys jatkuu niin kauan kuin Yle on ylipäätään olemassa.

Kehitämme lisäksi erityisiä kohderyhmäpalveluita, joista päätämme vuosittain. Nykyisistä palveluistamme YleX, Olotila, Klassinen, Satumaa, Uusi päivä ja Abitreenit ovat nyt meneillään olevan suunnitteluprosessimme kärjessä ensi vuotta ajatellen.

Uusia sisältöjä ja avauksia parhaillaan ideoidaan ja suunnitelmat valmistuvat kevään aikana.

Olemme kaiken kaikkiaan palveluiden kappalemäärän kanssa erittäin tarkkana. Yle.fi:n kokonaisuudessa vähennämme palveluita sekä arkistoimalla että poistamalla.

Kun nyt aktiivisia palveluja on satoja, vuoden 2014 lopussa palveluiden määrä on todennäköisemmin 10. Tämä siksi, että panostamme sisältöön, löydettävyyteen ja vaikuttavuuteen.

Sisältöjen kehittämisestämme beta.yle.fi:n journalistinen kehitystyö on yksi esimerkki suunnasta. Oli hienoa nähdä, että tätä työtä palkittiin (Grand One: paras kuluttajapalvelu) jo tässä vaiheessa!

Lainaus