Categories for Zoeken/Analytics



Artikel over elasticsearch geo ondersteuning op found.no

Deze week heeft Jettro een artikel geschreven op de website van Found. Found is een partij die een gehoste omgeving voor elasticsearch aan biedt, recentelijk heeft het bedrijf elastic found opgenomen in de elastic familie. De naam van het artikel (engels) is: Combining Geo Points With the Elasticsearch Percolator. Het artikel bespreekt hoe je documenten kunt indexeren met geo punten in het document. Ook bespreekt het artikel hoe je deze geo punten kunt ondersteunen in queries en filters. Daarnaast behandelt het artikel de percolator functionaliteit die je kunt gebruiken om voor een geo punt te bepalen in welke provincie dat punt ligt.

Het artikel wordt ondersteund door een voorbeeld applicatie die gebruik maakt van de besproken functionaliteiten. Hier onder kun je een link vinden naar het artikel en naar de github repository van het voorbeeld project.

Found article ~ Combining Geo Points With the Elasticsearch Percolator
Github repository


Vinden van misbruikers van je blog met Kibana 4 en logstash 1.5

Veel van ons hebben een blog, net zo een als je nu aan het lezen bent. Volgens mij maakt ongeveer 60% van het web gebruik van wordpress. Dit is fijne informatie voor een hacker, zo kan hij met dezelfde methode op veel websites in breken. Niet zo’n goed nieuws als je zelf de beheerder bent van een wordpress site. Gelukkig zijn er een aantal goede plugins die helpen bij het beveiligen van je blog. Toch maakt het mij nieuwsgierig om er achter te komen wie nu met wat voor reden gebruik maken van mijn blog. Misschien kan ik er achter komen of er mensen slechte bedoelingen hebben met de site.

In deze blog ga ik gebruik maken van logs, die importeer ik met behulp van Logstash en daarna ga ik ze analyseren met Kibana. Ik ga antwoord geven op de volgende twee vragen:

  • Welke urls worden mogelijk voor misbruik gebruikt?
  • Wie zou mijn blog misbruiken

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Elasticsearch shield: Eerste stapjes met java

Elasticsearch komt niet standaard met beveiliging. Tot nu toe moest je alles zelf doen, wat overigens in veel situaties nog steeds prima mogelijk is. Maar als je een standaard oplossing wil die ondersteund wordt door de makers van elasticsearch dan heb je nu nog maar 1 optie. Gebruik de zojuist beschikbaar gesteld plugin Shield. In deze blog laat ik zien hoe ik de basis beveiliging heb opgezet gebruik makend van Shield.

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Beheer elasticsearch: de indexen

Wanneer je gebruik maakt van elasticsearch om data op te slaan en uiteraard te zoeken zijn er een aantal taken die je telkens weer moet uitvoeren. Ik ga een aantal blogposts schrijven die elk een taak behandelen. In deze eerste blog post uit de serie ga ik beschrijven wat je moet doen om je indexen te beheren. Ik bespreek het aanmaken van een nieuwe index, maar ook het kopiëren, verwijderen, sluiten, openen en optimaliseren van je index. Ik laat zien hoe je dit met de hand kunt doen door gebruik te maken van de REST api, maar ik laat ook een tool zien die ik aan het maken ben om het makkelijker te maken

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Maken van elasticsearch backups met snapshot/restore

In het begin voorzag elasticsearch niet in tools op backups te maken. Het maken van een backup was voornamelijk het kopiëren van files met bijvoorbeeld rsync. Een tijd terug werd echter snapshot/restore geïntroduceerd. Door een snapshot van een index te maken kun je een backup maken van je index. Later kun je deze snapshot gebruiken om een index terug te zetten. In deze blog post leg ik meer uit over wat je allemaal met snapshots kunt doen en hoe het werkt. Ik laat je zien hoe je met java code snapshots kunt maken maar ik laat ook zien hoe het makkelijker kan door gebruik te maken van mijn elasticsearch gui plugin.

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Experimenteren met de Kibana 4 beta

Een aantal weken geleden hebben ze bij elasticsearch een publieke beta van Kibana 4 beschikbaar gesteld. In deze blog post zal ik laten zien hoe je wat data kunt genereren om deze vervolgens in Kibana te gebruiken om een dashboard te maken. Als je nog nooit van deze tools gehoord hebt is het verstandig om de introductie te lezen, anders kun je deze overslaan.

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post