Работа с логами Apach|Nginx

Где лежат логи Apache:

Обычно в linux системах логи Apache находятся по пути: /var/log/httpd/
Чтобы перейти в эту директорию, нужно выполнить команду 

cd /var/log/httpd/

Чтобы просмотреть сожержимое директории, выполните команду

ls -laSh

В результате, вы получите список файлов:

Последние, свежие, логи храняться в файлах: access_log ( логи доступа ) и error_log ( логи ошибок )

Анализ ответов сервера

Выполним команду

awk '{print $9}' access_log | sort | uniq -c | sort

чтобы проанализировать ответы сервера. Результат вывода:

Наиболее распространённые ответы:

• 200 – OK
• 206 – Partial Content
• 301 – Moved Permanently
• 302 – Found
• 304 – Not Modified
• 401 – Unauthorised (password required)
• 403 – Forbidden
• 404 – Not Found

Видим большое количество 404 ошибок, которые говорят, о том, что запрашиваемый ресурс не найден - к примеру биты ссылки. Чтобы проанализировать и исправить ситуацию - выведем список URL адресов с 404 ошибкой

grep " 404 " access_log | cut -d ' ' -f 7 | sort | uniq -c | sort -nr

Не URL адреса из списка будут говорить о том, что у вас есть проблемы на сайте - в списке могут присутстовать URL по которым "боты" ищут уязвимости на сайте.
Для того чтобы понять - какие URL с 404 ошибками действительно относятся к вашему сайту - выведем 20 самых часто встречающихся URL с 404 ошибкой

cat access_log | awk '($9 ~ /404/)' | awk '{ print $7 }' | sort | uniq -c | sort -rn | head -n 20

География запросов

Давайте составим список запрос, который бы показал сколько обращений их каких стран было на сайт. Для этого перейдем в логи nginx

cd /var/log/nginx/

Чтобы вывести список регионов запросов с количеством за день - выполним команду

cat access.log | grep 14/May/2024 | awk ' { "geoiplookup " $1 " | cut -d \\: -f2 " | getline geo; printf("%-20s\n", geo)}' | sort | uniq -c | sort -nr

Важно: вам нужно будет указать корректную дату в команде вместо 14/May/2024

Получим следующий результат