Na het succesvol schalen van de deep learning trainingsfase naar meer dan 100.000 CPU-cores, zal SURFsara zijn samenwerking met Intel in 2018 voortzetten. Het doel is om het bereik van de ontwikkelde technieken te verbreden en aan te laten sluiten bij wetenschappelijke vraagstukken uit het HPC-domein.
2017 was een bijzonder productief jaar voor deep learning in het algemeen, en de schaling ervan in het bijzonder. Over dit onderwerp zijn inmiddels veel resultaten gepubliceerd, waarbij telkens verbeterde prestaties werden gemeld nadat eerdere schalingsproblemen waren verholpen.
Zo publiceerde SURFsara onlangs [1], naar aanleiding van ons werk als Intel® PCC, de schalingsresultaten tot 1.536 Intel® Xeon Phi™ Knights Landing-nodes en 1.024 Intel® Xeon® Skylake-CPU’s. Via diverse optimalisaties zijn wij erin geslaagd om met een grootschalig cluster in slechts 28 minuten een probleem op te lossen dat voorheen met geavanceerde GPU’s twee weken vergde.
Bovendien is het SURFsara gelukt om modellen te trainen die 10 keer zo groot zijn als de modellen die nu regelmatig worden gebruikt. En dat op datasets die eveneens ongeveer 10 keer zo groot zijn, waarbij steeds een optimale nauwkeurigheid kan worden behaald. Deze resultaten zijn beschreven in een recent blogbericht [2].
De constatering dat de deep learning training throughput op Intel® Xeon® Skylake-CPU’s bijna net zo hoog is als op de meest geavanceerde GPU’s, kan op veel enthousiasme rekenen. Een voordeel ten opzichte van GPU’s is, dat tegelijkertijd ook alle OS- en systeemspecifieke taken worden uitgevoerd.
De Intel® Xeon® Skylake-architectuur is hiermee een duidelijke kandidaat om de CPU-backbone van de komende tijd te worden, waarbij tevens kan worden aangegeven dat training van deep learning op CPU’s in het topsegment inmiddels concurrerend is.
Als onderdeel van de coöperatie SURF en als toonaangevend centrum voor high performance computing, ligt de focus van SURFsara’s expertise bij het optimaliseren van wetenschappelijke toepassingen – en bij het ondersteunen van wetenschappelijke onderzoeken – die worden uitgevoerd op grootschalige HPC-infrastuctuur.
SURFsara kan daarbij bogen op gedetailleerde kennis van alle hard- en software die nodig is voor deze grootschalige systemen; of het nu gaat om numerieke weersvoorspelling, astronomie of de ontdekking van geneesmiddelen.
Het doel van de samenwerking tussen SURFsara en Intel in 2018 is dan ook om innovatieve technieken toe te passen en de resultaten te verbeteren voor belangrijke wetenschappelijke problemen die betrekking hebben op het dagelijks leven. Dit zal bij SURFsara overigens worden uitgevoerd binnen de context van het SURF Open Innovation Lab.
Prof. dr. Anwar Osseyran, lid van de directieraad van SURF en algemeen directeur van SURFsara: “Nu wij in ons eerste jaar als Intel® PCC uitstekende resultaten hebben behaald, willen wij de efficiënte schalingstechnieken uitbreiden naar – en aanpassen aan – andere disciplines die doorgaans gebruikmaken van HPC. Disciplines die ook baat kunnen hebben bij deep learning. Deze technieken lopen uiteen van numerieke weersvoorspellingen tot moleculaire dynamica. Dit zal bijdragen aan het oplossen van problemen in het dagelijks leven die te groot zijn voor bestaande analytische oplossingen. Door gebruik te maken van onze moderne supercomputingfaciliteiten, lukt dit in een fractie van de tijd die nodig is op kleinere systemen.”
[1] arXiv-artikel: https://arxiv.org/pdf/1711.04291.pdf [2] https://blog.surf.nl/en/imagenet-1k-training-on-intel-xeon-phi-in-less-than-40-minutes/
