Tókaskatturinn
Það kostar meira að tala við gervigreindarlíkan á íslensku en að segja það sama á ensku. Verðskráin er sú sama. Munurinn liggur í því hvernig líkönin lesa.
Líkön lesa ekki orð. Fyrst bútar svokallaður tókari (e. tokenizer) textann niður í einingar sem kallast tókar, og þú borgar fyrir hvern tóka. Tókarinn lærir bútana af þeim texta sem hann sér mest af, og það er aðallega enska. Algeng ensk orð verða að einum tóka hvert. Orð á tungumálum sem minna er til af á netinu eru söxuð í brot.
Enska 13 tókar
Íslenska 28 tókar
Rest of World fjallaði um þetta nýlega og byggði á rannsókn frá CLEAR, sem kallar þetta tókaskattinn. Þegar 200 tungumál voru borin saman þurfti það tungumál sem verst kom út allt að 17 sinnum fleiri tóka en það sem best kom út fyrir sama efni, misjafnt eftir líkönum. Á milli 20 stærstu tungumála vefsins var munurinn oftast 1,5- til 3,1-faldur.
Íslenska er ekki í rannsókninni, svo ég mældi hana sjálfur. Ég renndi ensku og íslensku útgáfunum af síðustu tveimur punktunum mínum í gegnum sama tókara. Textarnir segja það sama og eru nánast jafnlangir í stöfum talið, en íslenskan þarf um 1,5 sinnum fleiri tóka: 434 á móti 297 í öðrum punktinum og 253 á móti 163 í hinum.
Íslenska sleppur því vel miðað við amharísku, þökk sé latneska stafrófinu. Þetta telur samt á þrjá vegu:
- Kostnaður. Um 50% meira fyrir hverja fyrirspurn og hvert svar.
- Minni. Sama skjal eða samtalssaga fyllir samhengisglugga líkansins hraðar.
- Hraði. Fleiri tókar í svarinu þýða lengri bið.
Þetta er einn tókari. Aðrir búta textann öðruvísi og verð á tókum lækkar hratt. Það sem ég tek með mér í eigin vinnu: það er í góðu lagi að spjalla á íslensku, en fyrirmælin sem aðstoðarmaður les í hvert einasta skipti eru ódýrari á ensku.