Számítógépes látástechnológia az Arcanumban
Manapság egy jól elkészített cikkhez, blogbejegyzéshez vagy kutatáshoz szinte kötelező néhány releváns illusztráció. Sokféle képkereső szolgáltatás igyekszik megkönnyíteni a szerzők munkáját, ám ha valaki kifejezetten magyar vonatkozású sajtófotók vagy illusztrációk között szeretne keresni, már sokkal nehezebb a dolga.
Ezt az igényt felismerve fejlesztettük ki a mesterséges intelligencián alapuló képkereső szolgáltatásainkat.
Az alábbiakban bemutatjuk az ADT rendszerében használt számítógépes látástechnológia működését és felhasználási területeit.
A szövegen túl
Az Arcanum fejlett szöveges keresőmotorja egyszerűen és hatékonyan tette kereshetővé az adatbázisunkban fellelhető több tízmillió oldalnyi írott tudásanyagot. Azonban a kiadványokban szereplő milliónyi, jó minőségű illusztrációban és sajtófotóban rejlő lehetőség eddig jóformán kiaknázatlanul állt. A mesterséges intelligenciát (röviden “AI”), azon belül is az úgynevezett számítógépes látástechnológiát ( “computer vision” ) felhasználva azonban igazán hasznos eszközökkel segíthetjük a szerzők és kutatók munkáját. A számítógépes látástechnológia használatakor ugyanis a rendszer megtanulja értelmezni a digitális képeken látható vizuális információkat, majd ezeket az információkat az ember számára is érthető és kereshető formában tárja elénk.
Képes oldalak keresése
Az adatbázisunkban található több tízmillió digitalizált oldal között megjelöltük azokat, amelyek képeket tartalmaznak. Ehhez úgynevezett konvolúciós neurális hálózatot, azon belül pedig besorolási algoritmust* használunk. Betanítást követően a mesterséges intelligencia felismeri és bekategorizálja az oldalakat aszerint, hogy tartalmaznak-e képeket, illusztrációkat. Ennek eredményeképpen született meg az Illusztrációk nevű szűkítő az összetett keresési módban. Ezzel megadható, hogy kizárólag illusztrációval ellátott vagy anélküli oldalakat szeretnénk látni a keresésünk találati listájában.
Példánkban a Szabadság hídról szeretnénk illusztrációkat gyűjteni. Ehhez végezzünk egy keresést a híd nevét beírva, és kapcsoljuk be az Illusztrációk szűkítőt. Így csak olyan oldalakat listáz a rendszer, amelyekben szerepel a Szabadság híd a szövegben, és az oldal képpel rendelkezik. Ezzel a funkcióval nagy eséllyel bukkanhatunk olyan képekre, amelyek nyomtatásban megjelentek korábban, de más nyilvános képkeresők nem találják meg.
Arcfelismerés
Az ADT-t igénybe vevők visszajelzéseit vizsgálva észleltük, hogy nagyon sokan személyekre keresnek az adatbázisban. Bizonyos fejlett konvolúciós neurális hálózatok képesek az emberi arcokat felismerni és megjelölni a digitális képeken. Egy ilyen, kifejezetten arcképek felismerésére kifejlesztett algoritmust** használ az Arckép keresési szűkítő. Ennek használatával tehát olyan oldalakat listázhatunk, ahol a mesterséges intelligencia arcot talált valamelyik illusztráción.
A funkció bemutatásához Kodály Zoltánról keresünk arcképes illusztrációkat. Indítson egy keresést a zeneszerző nevével, és kapcsolja be az Illusztrációk szűkítőn belül az Arc lehetőséget.
Arckeresés képfájlból
Az előzőleg bemutatott arcfelismerő technológiával tehát sikerült kigyűjtenünk többmillió arcképet tartalmazó illusztrációt a digitalizált kiadványokból. Ezt az egyedülálló adatbázist hozzáférhetővé tettük előfizetőink számára: egy tetszőleges arcképfájl feltöltése után az algoritmus elemzi az arckép sajátosságait, majd összeveti az adatbázisban szereplő arcképekkel. Végül a leginkább hasonló arcképeket listázza a felhasználónak, kezdve a gép szerint a legmagasabb hasonlóságot mutató képekkel.
A fejlett algoritmusnak köszönhetően a mesterséges intelligencia képes az adott személy fiatalabb vagy idősebb korban készült fotóit is megtalálni, akár gyengébb minőségű nyomatokon is. A megtalált képekre kattintva olvashatóvá válik a képet tartalmazó oldal mellett a teljes kiadvány is. Ezzel, reményeink szerint, felhasználóink közelebb kerülhetnek a családi fényképeken látható távoli rokon vagy barát élettörténetének megismeréséhez, illetve segíthet kutatóknak újabb forrásokat találni híres emberekről.
Ebben a példában feltöltöttünk egy fényképet az ‘50-es éveiben járó Puskás Ferencről. A mesterséges intelligencia felismerte az arc tulajdonságait, majd az ahhoz hasonló képeket listázta. A rendszer fejlettségét jelzi, hogy az idősebb, megváltozott testalkatú Puskás képeit is megtalálja a rendszer az adatbázisban.
Az arckeresőről további részleteket talál az Amazon által készített esettanulmányban:
Arcanum makes Hungarian heritage accessible with Amazon Rekognition
*: Az általunk is használt ResNet nevű besorolási hálózatról ezen az oldalon olvashat bővebben angol nyelven.
**: A Single Shot MultiBox Detector nevű objektumfelismerő algoritmusról ezen oldalon olvashat angol nyelven.
Itt tudja kipróbálni
Több száz magyar nyelvű nyomtatott tudományos folyóirat, hivatalos lap, napilapok, hetilapok, könyvek, évente mintegy 4-5 millió új oldallal.
Több száz magyar nyelvű nyomtatott tudományos folyóirat, hivatalos lap, napilapok, hetilapok, könyvek, évente mintegy 4-5 millió új oldallal.
