Elasticsearch за начинаещи 2

1. Какво е Elasticsearch?

Elasticsearch е разпределена търсеща и аналитична машина с отворен код, базирана на Apache Lucene. Тя се използва широко за изграждане на системи за пълнотекстово търсене, мониторинг, лог анализ, бизнес анализи и други.

Elasticsearch съхранява данните в JSON формат и позволява изключително бързо търсене благодарение на индексите, които създава автоматично. Това го прави предпочитан инструмент в DevOps и Big Data екосистемите.

2. Основни концепции

• Документ (Document): Основна единица от информация, представена като JSON обект.
• Индекс (Index): Колекция от документи със сходна структура, например: users, products.
• Клъстер (Cluster): Един или повече Elasticsearch сървъри (наречени нодове), които работят заедно.
• Нод (Node): Единичен сървър от клъстера, съхраняващ данни и отговарящ за заявки.
• Shard и Replica: Индексите се разделят на парчета (shards) за по-добра производителност и реплики за отказоустойчивост.

3. Как работи търсенето?

Elasticsearch използва обърнат индекс (inverted index), за да осигури бързо търсене. Той не търси директно в текста, а изгражда структура, която картографира термини (думи) към документите, в които се съдържат.

При всяка заявка Elasticsearch:

• Анализира заявката чрез tokenizer-и и филтри
• Извлича съвпадения от индексите
• Изчислява релевантност и сортира резултатите

4. Пример: Индексиране и търсене

POST /books/_doc
{
  "title": "Война и мир",
  "author": "Толстой",
  "genre": "роман",
  "year": 1869
}
        

След това можем да потърсим:

GET /books/_search
{
  "query": {
    "match": {
      "title": "война"
    }
  }
}
        

5. Инсталиране и старт

Най-бързият начин да стартирате Elasticsearch е с Docker:

docker run -d -p 9200:9200 -e "discovery.type=single-node" elasticsearch:8.12.0
        

След това можеш да отвориш http://localhost:9200 и ще видиш JSON с информация за сървъра.

6. Инструменти и интеграции

• Kibana: Интерфейс за визуализация на данните от Elasticsearch (графики, dashboards)
• Beats: Малки агенти за събиране на логове, метрики и други данни
• Logstash: Система за ETL – трансформация и изпращане на данни към Elasticsearch
• Elasticsearch clients: Поддържат Java, C#, Python, JavaScript и други езици

7. Какво е Prometheus за логове?

Докато Prometheus се използва предимно за мониторинг и метрики, Elasticsearch е основен избор за лог анализ. Той може да се използва заедно с Fluentd/Logstash, за да се обработват и индексират логове в реално време.

8. Проблеми и добри практики

• Избягвай индексиране на твърде големи документи (>100KB)
• Използвай подходящи mappings (типове данни), за да избегнеш грешки при заявки
• Почиствай стари данни чрез lifecycle management
• Използвай sharding и replication с мярка – твърде много shards могат да навредят

9. Примерна архитектура

Примерна ELK архитектура (Elasticsearch, Logstash, Kibana):

• Logstash приема логовете от приложенията
• Elasticsearch ги индексира
• Kibana визуализира

Добави Filebeat за изпращане на логове от сървъри и Fluentd за по-напреднала обработка.

10. Заключение

Elasticsearch е изключително мощна система за търсене и анализ на данни. Той е подходящ както за разработчици, така и за DevOps екипи, които се нуждаят от наблюдение, лог анализ и бизнес разузнаване. Въпреки че може да изглежда сложно в началото, основните концепции са лесни за научаване и предоставят огромни възможности.