Optimalisatieprestaties op Synthetische Gaussian en Tree Embeddings

Inhoudsopgave van Links

Samenvatting en 1. Inleiding

1. Gerelateerde Werken

2. Convexe Relaxatietechnieken voor Hyperbolische SVM's

   3.1 Inleidende begrippen

   3.2 Oorspronkelijke Formulering van de HSVM

   3.3 Semidefinite Formulering

   3.4 Moment-Som-van-Kwadraten Relaxatie

3. Experimenten

   4.1 Synthetische Dataset

   4.2 Echte Dataset

4. Discussies, Dankbetuigingen en Referenties

   \

A. Bewijzen

B. Oplossingsextractie in Gerelaxeerde Formulering

C. Over Moment Som-van-Kwadraten Relaxatie Hiërarchie

D. Platt Schaling [31]

E. Gedetailleerde Experimentele Resultaten

F. Robuuste Hyperbolische Support Vector Machine

4.1 Synthetische Dataset

\ Over het algemeen observeren we een kleine verbetering in gemiddelde testnauwkeurigheid en gewogen F1-score van SDP en Moment ten opzichte van PGD. Opmerkelijk is dat Moment vaak consistentere verbeteringen laat zien vergeleken met SDP, in de meeste configuraties. Daarnaast geeft Moment kleinere optimaliteitsgaten 𝜂 dan SDP. Dit komt overeen met onze verwachting dat Moment strakker is dan de SDP.

\ Hoewel Moment in sommige gevallen, bijvoorbeeld wanneer 𝐾 = 5, aanzienlijk kleinere verliezen behaalt vergeleken met zowel PGD als SDP, is dit over het algemeen niet het geval. We benadrukken dat deze verliezen geen directe metingen zijn van de generaliseerbaarheid van de max-margin hyperbolische separators; ze zijn eerder combinaties van margemaximalisatie en bestraffing voor misclassificatie die schaalt met 𝐶. Daarom kan de observatie dat de prestaties in testnauwkeurigheid en gewogen F1-score beter zijn, ook al is het verlies berekend met geëxtraheerde oplossingen uit SDP en Moment soms hoger dan dat van PGD, te wijten zijn aan het gecompliceerde verlieslandschap. Meer specifiek kunnen de waargenomen toenames in verlies worden toegeschreven aan de complexiteit van het landschap in plaats van aan de effectiviteit van de optimalisatiemethoden. Op basis van de nauwkeurigheids- en F1-scoreresultaten identificeren empirisch SDP- en Moment-methoden oplossingen die beter generaliseren dan die verkregen door alleen gradient descent uit te voeren. We bieden een meer gedetailleerde analyse van het effect van hyperparameters in Bijlage E.2 en looptijd in Tabel 4. De beslissingsgrens voor Gaussian 1 is gevisualiseerd in Figuur 5.

\

\ Synthetische Boomembedding. Omdat hyperbolische ruimten geschikt zijn voor het embedden van bomen, genereren we willekeurige boomgrafieken en embedden deze in H2 volgens Mishne et al. [6]. Specifiek labelen we knooppunten als positief als ze kinderen zijn van een gespecificeerd knooppunt en negatief anders. Onze modellen worden vervolgens geëvalueerd voor subboomclassificatie, met als doel een grens te identificeren die alle kindknooppunten binnen dezelfde subboom omvat. Een dergelijke taak heeft verschillende praktische toepassingen. Als de boom bijvoorbeeld een set tokens vertegenwoordigt, kan de beslissingsgrens semantische gebieden in de hyperbolische ruimte benadrukken die overeenkomen met de subbomen van de datagraaf. We benadrukken dat een gemeenschappelijk kenmerk in een dergelijke subboomclassificatietaak data-onbalans is, wat gewoonlijk leidt tot slechte generaliseerbaarheid. Daarom willen we deze taak gebruiken om de prestaties van onze methoden onder deze uitdagende omstandigheden te beoordelen. Drie embeddings zijn geselecteerd en gevisualiseerd in Figuur 3 en de prestaties zijn samengevat in Tabel 1. De looptijd van de geselecteerde bomen is te vinden in Tabel 4. De beslissingsgrens van boom 2 is gevisualiseerd in Figuur 6.

\ Vergelijkbaar met de resultaten van synthetische Gaussiaanse datasets observeren we betere prestaties van SDP en Moment vergeleken met PGD, en vanwege data-onbalans waar GD-methoden doorgaans moeite mee hebben, hebben we in dit geval een grotere verbetering in gewogen F1-score. Daarnaast observeren we grote optimaliteitsgaten voor SDP maar een zeer strak gat voor Moment, wat de optimaliteit van Moment certificeert, zelfs wanneer klasse-onbalans ernstig is.

\

\

:::info Auteurs:

(1) Sheng Yang, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA (shengyang@g.harvard.edu);

(2) Peihan Liu, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA (peihanliu@fas.harvard.edu);

(3) Cengiz Pehlevan, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, Center for Brain Science, Harvard University, Cambridge, MA, en Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University, Cambridge, MA (cpehlevan@seas.harvard.edu).

:::

:::info Dit paper is beschikbaar op arxiv onder CC by-SA 4.0 Deed (Attribution-Sharealike 4.0 International) licentie.

:::

\