Tag Archieven : elasticsearch



Artikel over elasticsearch geo ondersteuning op found.no

Deze week heeft Jettro een artikel geschreven op de website van Found. Found is een partij die een gehoste omgeving voor elasticsearch aan biedt, recentelijk heeft het bedrijf elastic found opgenomen in de elastic familie. De naam van het artikel (engels) is: Combining Geo Points With the Elasticsearch Percolator. Het artikel bespreekt hoe je documenten kunt indexeren met geo punten in het document. Ook bespreekt het artikel hoe je deze geo punten kunt ondersteunen in queries en filters. Daarnaast behandelt het artikel de percolator functionaliteit die je kunt gebruiken om voor een geo punt te bepalen in welke provincie dat punt ligt.

Het artikel wordt ondersteund door een voorbeeld applicatie die gebruik maakt van de besproken functionaliteiten. Hier onder kun je een link vinden naar het artikel en naar de github repository van het voorbeeld project.

Found article ~ Combining Geo Points With the Elasticsearch Percolator
Github repository


Video’s Luminis Devcon zijn beschikbaar

Het is al weer 3 weken geleden, Devcon Luminis. Aanvankelijk was het spannend hoeveel mensen er zouden komen. Het bleek echter vooral spannend te zijn of iedereen wel in de zaal paste. Uiteindelijk waren we met bijna 400 man. Een grote groep mensen die van Luminis medewerkers wilden horen waar ze mee bezig zijn, om te leren over technologien die ze zelf ook weer kunnen toepassen. Uit de evaluatie is gebleken dat het overgrote deel van de bezoekers het goed naar zijn zin heeft gehad en dat over het algemeen de presentaties goed beoordeeld werden.

Inmiddels zijn alle presentaties verwerkt en staan de video’s online. Of je nu iets wilt weten over micro services, of je wilt leren over modulaire java applicaties, misschien meer geinteresseerd bent in Docker. Het kan allemaal. Je kunt de presentaties vinden door naar de website van Devcon te gaan, of direct naar ons Youtube kanaal.

Onze Fellow, Jettro, heeft ook een presentatie gegeven. Hij heeft gesproken over real-time data analyseren met behulp van ELK: Logstash voor het importeren, Elasticsearch voor het opslaan en Kibana voor het presenteren van data. Als je geinteresseerd bent in de ELK stack en visualiseren van Data in het algemeen dan moet je de film van zijn presentatie echt bekijken.


Vinden van misbruikers van je blog met Kibana 4 en logstash 1.5

Veel van ons hebben een blog, net zo een als je nu aan het lezen bent. Volgens mij maakt ongeveer 60% van het web gebruik van wordpress. Dit is fijne informatie voor een hacker, zo kan hij met dezelfde methode op veel websites in breken. Niet zo’n goed nieuws als je zelf de beheerder bent van een wordpress site. Gelukkig zijn er een aantal goede plugins die helpen bij het beveiligen van je blog. Toch maakt het mij nieuwsgierig om er achter te komen wie nu met wat voor reden gebruik maken van mijn blog. Misschien kan ik er achter komen of er mensen slechte bedoelingen hebben met de site.

In deze blog ga ik gebruik maken van logs, die importeer ik met behulp van Logstash en daarna ga ik ze analyseren met Kibana. Ik ga antwoord geven op de volgende twee vragen:

  • Welke urls worden mogelijk voor misbruik gebruikt?
  • Wie zou mijn blog misbruiken

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Elasticsearch shield: Eerste stapjes met java

Elasticsearch komt niet standaard met beveiliging. Tot nu toe moest je alles zelf doen, wat overigens in veel situaties nog steeds prima mogelijk is. Maar als je een standaard oplossing wil die ondersteund wordt door de makers van elasticsearch dan heb je nu nog maar 1 optie. Gebruik de zojuist beschikbaar gesteld plugin Shield. In deze blog laat ik zien hoe ik de basis beveiliging heb opgezet gebruik makend van Shield.

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Beheer elasticsearch: de indexen

Wanneer je gebruik maakt van elasticsearch om data op te slaan en uiteraard te zoeken zijn er een aantal taken die je telkens weer moet uitvoeren. Ik ga een aantal blogposts schrijven die elk een taak behandelen. In deze eerste blog post uit de serie ga ik beschrijven wat je moet doen om je indexen te beheren. Ik bespreek het aanmaken van een nieuwe index, maar ook het kopiëren, verwijderen, sluiten, openen en optimaliseren van je index. Ik laat zien hoe je dit met de hand kunt doen door gebruik te maken van de REST api, maar ik laat ook een tool zien die ik aan het maken ben om het makkelijker te maken

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Maken van elasticsearch backups met snapshot/restore

In het begin voorzag elasticsearch niet in tools op backups te maken. Het maken van een backup was voornamelijk het kopiëren van files met bijvoorbeeld rsync. Een tijd terug werd echter snapshot/restore geïntroduceerd. Door een snapshot van een index te maken kun je een backup maken van je index. Later kun je deze snapshot gebruiken om een index terug te zetten. In deze blog post leg ik meer uit over wat je allemaal met snapshots kunt doen en hoe het werkt. Ik laat je zien hoe je met java code snapshots kunt maken maar ik laat ook zien hoe het makkelijker kan door gebruik te maken van mijn elasticsearch gui plugin.

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Verbeteren van mijn AngularJS project met Grunt

Een tijd geleden heb ik Issue 63 aangemaakt voor mijn elasticsearch gui project. Dit issue gaat over het verbeteren van de plugin door gebruik te maken van tools als grunt en bower. De plugin is een AngularJS gebaseerde applicatie die gebruik maakt van een aantal andere frameworks als: d3, c3js, elasticsearch.js. In de blog beschrijf ik de stappen die ik heb genomen om deze plugin te verbeteren met grunt en bower.

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post


Experimenteren met de Kibana 4 beta

Een aantal weken geleden hebben ze bij elasticsearch een publieke beta van Kibana 4 beschikbaar gesteld. In deze blog post zal ik laten zien hoe je wat data kunt genereren om deze vervolgens in Kibana te gebruiken om een dashboard te maken. Als je nog nooit van deze tools gehoord hebt is het verstandig om de introductie te lezen, anders kun je deze overslaan.

De blog post is in het engels, daarom zul je naar de engelse site worden doorverwezen.

De blog post