Комплексные инструменты osint. сбор информации в сети. часть 2

Анализ данных в Elasticsearch и Kibana

Данные Elasticsearch доступны по адресу http://127.0.0.1:9200 и запрос можно сделать примерно так: http://127.0.0.1:9200/virustotal/_search. Результат будет выведен в формате JSON — что удобно для обработки в программах, но плохо для восприятия человеком.

По этой причине мы и установили Kibana, которая доступна по адресу http://localhost:5601

При открытии выберите «Explore on my own»:

На домашней странице выберите «Connect to your Elasticsearch index».

Там для создания шаблона индекса будут доступны варианты:

coordinates
threatcrowd
threatcrowd_ip
virustotal
whois

Выберите один из них (можно сделать со всеми поочереди).

И нажмите кнопку «Create index pattern».

Я не умею пользоваться Kibana — я там маленькой потыкал, но что-то у меня получилось только на вкладке «Discover». Там можно выбирать различные поля и добавлять их на таблицу.

Вот скриншоты от автора:

Также собранные данные сохранены в структуре папок в каталоге программы:

Пример информации из файла:

Поиск по метаданным

На образовательных сайтах в открытом доступе лежит огромное количество документов. Их содержимое редко представляет интерес для пентестера, а вот метаданные — практически всегда. Из них можно узнать версии используемого ПО и подобрать эксплоиты, составить список потенциальных логинов, взяв их из графы «Автор», определиться с актуальными темами для фишинговой рассылки и так далее.

Поэтому мы соберем как можно больше метаданных. Для сбора метаданных мы воспользуемся утилитой FOCA — Fingerprinting Organizations with Collected Archives. Foca нам нужна только ради одной функции — сканирование определенного домена в поисках документов в популярных форматах с помощью трех поисковиков (Google, Bing и DuckDuckGo) и последующим извлечением метаданных. Утилита также умеет анализировать метаданные EXIF из графических файлов, но к сожалению в этих полях редко находится что-то интересное.

Запускаем FOCA, жмем на «Project» и создаем новый проект. В правом верхнем углу отмечаем все форматы и жмем на «Search All». Поиск занимает до 10 минут.

В итоге в главном окне FOCA мы видим огромное количество файлов, которые утилита нашла на сайте. В нашем случае большую часть составили документы PDF.

Результат поиска файлов с сайта программой FOCA

Следующий — это загрузка выбранных или всех файлы (контекстное меню → Download All) и после чего извлечение из них метаданных.

Давайте проанализируем, что нам удалось найти.

Вкладка «Users» — 113 записей. В основном это имена пользователей, которые указываются при установке офисных пакетов. Они необходимы для последующей социальной инженерии и подбора пар логин-пароль к обнаруженным в домене сетевым сервисам.
Вкладка «Folders» — 540 записей. Здесь есть каталоги, которые указывают на использование ОС Windows (что подтверждается в дальнейшем), и часто попадается строка вида N:\…. Я думаю, что это сетевой диск, который как правило подключается скриптом при входе пользователя в систему.
Вкладка «Printers» — 11 записей. Теперь мы знаем модели сетевых принтеров (они начинаются с \\). Другие или локальные, или подключены через сервер печати.
Вкладка «Software» — 91 запись. Здесь мы видим программное обеспечение, установленное на компьютерах. Самое интересное заключается в том, что указаны версии программ, из которых можно выбрать уязвимые и попробовать эксплуатировать их при атаке.
Вкладка «Emails». Это мы и так имеем в достатке благодаря инструменту theHarvester.
Вкладка «Operating Systems» — 5 записей. ОС, на которых создавались собранные нами файлы. Радует цифра 81 напротив Windows XP. Как правило, такие организации редко обновляют операционные системы. Есть большой шанс того, что старая версия Windows, для которой уже давно прекратили выпускать обновления безопасности, у них стоит по сей день.

Метаданные, извлеченные FOCA

Elasticsearch и Kibana

Прежде чем преступить к установке, пара слов о таких зависимостях программы как Elasticsearch и Kibana. Обе эти зависимости являются опциональными и вы можете пропустить их установку, тем более, что в Kali Linux для установки добавляется сторонний источник приложений (что не рекомендуется).

Чтобы решить, нужны они вам или не нужны, ниже небольшое описание (взято с официального сайта — я тоже узнал об этих программах только при подготовке данной статьи):

Elasticsearch — распределённый движок поиска и анализа, подходит для разных случаев использования. Ссылка: https://www.elastic.co/products/elasticsearch
Kibana — это «ваше окно в Elastic Stack». Kibana позволяет вам визуализировать ваши данные Elasticsearch и перемещаться по Elastic Stack. Ссылка: https://www.elastic.co/products/kibana

Обе эти программы можно установить без добавления нового репозитория — достаточно просто скачать .DEB файлы с этих страниц:

https://www.elastic.co/guide/en/elasticsearch/reference/current/deb.html
https://www.elastic.co/guide/en/kibana/current/deb.html

Цель применения OSINT?

Собирая информацию и анализируя данные из открытых источников, злоумышленник или пентестер имеет возможность сформировать полноценный профиль жертвы, определить существующие и потенциальные уязвимости. Целенаправленные кибератаки, как и военные атаки, начинаются с предварительной разведки, и первый этап цифровой разведки – это OSINT, пассивное получение разведданных без предупреждения цели. Без активного вовлечения своей жертвы, злоумышленник или же пентестер, может использовать полученную информацию для построения модели угрозы, разработки плана атаки или защиты.

Вы можете выполнить обратный доксинг и OSINT по отношению к себе или своему бизнесу – это отличный способ понять, какая информация может стать известна потенциальным злоумышленникам. Какие уязвимости выявляет ваша публичная информация? Что может узнать злоумышленник? Что он может использовать для применения фишинговых атак или социальной инженерии? Имея все «козыри на руках» у Вас и Вашей команды будет возможность разработать эффективные методы противодействия и защиты.

Список лучших бесплатных инструментов OSINT

Вот список лучших инструментов OSINT:

Recon-ng — это бесплатный полнофункциональный модульный фреймвок веб-разведки, написанный на Python.
Shodan — поисковая система хакеров и пентестеров, которая индексирует все подключенные к сети устройства: роутеры, вебкамеры, автомобили и умные холодильники.
Maltego — мощный инструмент для построения и изучения связей между различными субъектами и объектами.
theHarvester — инструмент для поиска и сбора адресов электронной почты, поиска поддоменов, поиска данных о сотрудниках компании.
Metagoofil — утилита, которая позволяет скачать все документы с целевого сайта и извлечь из них метаданные.
GHDB — список распространенных ошибок, которые делают администраторы веб-серверов, которые можно легко найти с помощью Google. Эту технику еще называют Google Dorks.
SpiderFoot — бесплатный инструмент с открытым исходным кодом на Python для автоматизированной разведки и сбора информации о заданной цели.
OSINT Framework — мощный и бесплатный онлайн-сервис, для поиск различной информации.

Ответственность перед законом за использование OSINT

Вообще, в России существует около 40 законов, применимых в отношении OSINT. Но самое прикольное то, что они друг другу противоречат. То есть, если вы будите о каком-либо объекте и он об этом узнает, то этот самый объект может ПОДАТЬ в суд, зацепившись за один из этих законов.

Однако в статье 29, части 4 Конституции РФ сказано следующее:

Каждый имеет право свободно искать, получать, передавать, производить и распространять информацию любым законным способом. Перечень сведений, составляющих ГОСУДАРСТВЕННУЮ ТАЙНУ определяется ФЗ.

Следовательно, если конфиденциальные данные того или иного человека, или определенной компании находятся , то это уже вина службы безопасности. Да просто если подумать, то это все равно что положить кочан капусты возле стада Глупых Баранов и затем судить их за то, что они его съели.

Но лучше изначально не оставлять никаких улик, т. к. объект может намеренно скормить вам ложную информацию. Придумайте правдоподобную легенду, размойте свое лицо, а также , которые могут на вас вывести.

Подборка обучающих книг и курсов по OSINT-разведке

К сожалению, в Рунете очень мало обучающих книги и курсов по OSINT, несмотря на то что Маркетологи Порочат Невероятные Перспективы в будущем для тех, кто занимается и Data Science. Их буквально можно сосчитать по пальцам, т. к. профессионально этим мало кто занимается.

Но парочку кинг и курсов в сети, я все же нашел. Некоторые из них платные, а некоторые бесплатные. По этой причине, я обычно такое добро качаю после платной подписки на сливах и складчинах в силу того, что НЕ верю в их пользу.

Курс Андрея Масаловича — «Методы киберразведки»

Курс «Методы киберразведки. Новый арсенал OSINT в цифровом мире» от Андрея Масаловича будет полезен, как опытным конкурентным разведчикам, так и просто . В нем есть и терминология, и история, и методология, и общие принципы, и само собой примеры и практика.

Ну, а вот краткое содержание данного курса:

Работа с базами данных в цифровом мире;
Обзор современных инструментов OSINT и разведки в Интернете;
Новый взгляд на традиционные поисковые системы;
Поиск информации в невидимом Интернете;
Сбор информации из подключенных цифровых устройств;
Разведка по Большим данным и т. д.

Минусы этого курса заключаются в том, что он слишком легкий и к тому же его стоимость составляет 25 000 рублей. Просто выгоды и пользы от него вообще никакой, т. к. в России подобного рода специалисты почти никому не нужны.

Книга «Интернет-разведка. Руководство к действию»

Книга Евгения Ющука «Интернет-разведка. Руководство к действию» — это настоящая находка для любого OSINT-разведчика или нетсталкера. Из нее вы узнаете не только о том, как правильно искать информацию в сети Интернет, но и о том, как уберечься от хакеров, а также спрятать информацию на своем ПК.

Честно сказать, я не знаю сколько стоит эта книга, т. к. скачал ее бесплатно. Там , которую не найти ни в одном видеокурсе по OSINT. Настоятельно рекомендую «IT-спецухам» Данную Книгу к прочтению.

Курс: «Русский OSINT. Поиск и Пробив Информации»

Курс «Русский OSINT. Поиск и Пробив Информации» от Mefodiy Kelevra мне вообще не понравился, но подавляющее большинство отзывов о нем в основном положительные. Ну, а по тому, что автор тупо сделал обзор всевозможных OSINT-инструментов для «школьников».

Из этого круса вы узнаете следующее:

Какие OSINT-инструменты существуют для разведки в России?
Как уберечь конфиденциальные данные в Интернете?
Как систематизировать и анализировать полученную информацию?
Как собирать информацию из открытых источников?

Стоит этот видеокурс 1 000 руб., но для себя я вообще никакой пользы из него не извлек. можно посмотреть конференции Андрея Масаловича и гораздо больше извлечь выгоды, чем из этих скучных 64 уроков.

Creepy

Creepy – это инструмент разведки геолокации с открытым исходным кодом.

Он собирает информацию о геолокации с помощью различных социальных сетей и сервисов размещения изображений, которые уже опубликованы где-то еще.

Creepy представляет отчеты на карте, используя поисковый фильтр, основанный на точном местоположении и дате.

Эти отчеты доступны в формате CSV или KML для экспорта для дополнительного анализа.

Основной функционал в Creepy разделен на две основные вкладки, а именно. Вкладки «targets» и «map view».

Creepy написан на python и также поставляется с упакованным двоичным кодом для дистрибутивов Linux, таких как Debian, Backtrack, Ubuntu и Microsoft Windows.

Основные цели боевого OSINT и сферы его применения

Цели OSINT, как и сферы его применения могут быть самыми разными, поэтому невозможно выделить какую-либо область, в которой можно использовать интернет-разведку. Например, ПРЕДПРИЯТИЯ могут задействовать OSINT для конкурентной разведки или для (незаконного) промышленного шпионажа.

Хакеры или пентестеры для разработки метода и стоимости атаки. При этом, разведку на основе открытых источников можно применить и в маркетинге, и в веб-аналитике, и даже в SEO, SMM, SMO, SEM, SEA, и т. д.

Однако основная цель OSINT — это Сбор Данных об объекте, независимо от сферы деятельности. Ну, а далее подобного рода информацию, как правило, используют для ИЗВЛЕЧЕНИЯ собственной выгоды. Например, можно в веб-приложении конкурента и уже на их основе проводить атаку.

При этом, существует 2 типа разведки: пассивная разведка на основе открытых источников и активная разведка с применением атаки. Сейчас мы с вами разберем оба типа разведки, которые обычно используют хакеры и пентестеры.

Пассивная разведка на основе открытых источников

Пассивная разведка — это первоначальный сбор ОБЩЕЙ ИНФОРМАЦИИ об объекте, которая, как правило, необходима для того, чтобы подобрать соответствующий способ нападения. То есть на данном этапе нужно узнать все необходимое для непосредственного получения доступа к системе жертвы.

Например, изначально можно проанализировать протоколы, сетевые пакеты и если повезет — узнать их . Проще говоря — выявить как можно БОЛЬШЕ всякой информации о самой жертве и о ее системе.

Активная разведка с применением атаки

Активная разведка — целенаправленный сбор определенной информации об объекте. То есть, после получения общих данных о жертве становиться понятным то, . Например, зная более или менее систему объекта можно провести активное СКАНИРОВАНИЕ УЗЛА.

Вот ОСНОВНЫЕ ДАННЫЕ, сбор которых проводят хакеры и пентестеры, с целью проведения успешного нападения на систему объекта:

Доступные узлы;
Расположение маршрутизаторов и брандмауэров;
Установленные ОС на ключевых системах;
Открытые порты;
Работающие службы;
Версии программных продуктов.

Чем больше удалось собрать данных во время пассивной и активной разведки, тем легче будет . Подобного рода данными могут быть бреши в ОС или ПО. Ну, а если ничего не получилось, то тогда хакеры и пентестеры начинают новый цикл ИНТЕРНЕТ-РАЗВЕДКИ для сбора необходимых данных.

Однако нужно учитывать, что если с первого раза не удалось произвести взлом системы объекта, то со второго раза анонимно собрать дополнительной информации для новой попытки взлома будет степени сложнее.

Поиск поддоменов

Сейчас в большинстве организаций есть поддомены. Хакеры ищут там серверы удаленного доступа, неправильно настроенные сервисы или новые сетевые имена. Это уже не чисто пассивный сбор данных. Мы взаимодействуем с системой жертвы, но не так грубо, как, к примеру, при сканировании открытых портов. Поэтому с натяжкой метод можно отнести к пассивным техникам.

Брутфорс субдоменов

Суть этого метода состоит в том, чтобы подобрать имя поддомена. Воспользоваться можно программой host. Введем команду

1	$host ns3.alg*******ge.com

В ответ получим строку ns3.alg*******ge.com has address 205***.***.11, то есть — такой поддомен существует.

Согласитесь, вручную перебирать имена — нудное занятие. Поэтому мы будем автоматизировать. Создадим файл со списком имен поддоменов. Можно найти готовый на просторах интернета, но для демонстрации я создал простейший файл с содержимым mail dns ftp file vpn test dev prod voip firewall и называл его dns. Теперь для запуска перебора имен необходимо написать мини-скрипт:

1	forname in$(cat dns);dohost$name.alg*******ge.com\|grep»has address»;done

Перебор поддоменов программой host

DNSMap

Есть неплохой инструмент DNSMap. Он делает почти те же действия, что описаны выше. В нем уже встроен словарь, но можно использовать и свой. Для запуска перебора необходимо набрать

1	$dnsmap alg*******ge.com

Процесс это небыстрый. У меня он занял (для выбранного домена) 1555 секунд, но и результат выдал неплохой — нашел 18 поддоменов.

Лог DNSMap

Заведите аккаунт в Твиттере

Важность этого шага трудно переоценить. Твиттер — основная платформа для поиска, обсуждения и распространения исследований открытых источников

В этой социальной сети есть множество исследователей, которые с удовольствием вступают в дискуссии о лучших методиках и практиках, делятся своей работой и исследованиями коллег. Завеля аккаунт в Твиттере, вы сможете читать исследователей и узнавать об их работе, а также задавать вопросы и участвовать в обсуждениях

Твиттер — основная платформа для поиска, обсуждения и распространения исследований открытых источников. В этой социальной сети есть множество исследователей, которые с удовольствием вступают в дискуссии о лучших методиках и практиках, делятся своей работой и исследованиями коллег. Завеля аккаунт в Твиттере, вы сможете читать исследователей и узнавать об их работе, а также задавать вопросы и участвовать в обсуждениях.

Если вы опасаетесь за безопасность или имеете причины сохранять анонимность, не волнуйтесь: Твиттер позволяет заводить аккаунты, где не указано имя или другая личная информация. Сообщество исследователей открытых источников охотно принимает анонимных пользователей, а анонимность не несет никакого негативного багажа (хотя, возможно, в будущем вам придется раскрыть вашу личность, если вам предложат написать статью или устроиться на работу).

Если вы все равно не хотите пользоваться Твиттером, помните, что постить что-либо самим совсем не обязательно. Твиттером можно пользоваться и для того, чтобы читать, что пишут или публикуют другие исследователи. Вам не придется ни с кем взаимодействовать, если вы сами того не захотите.

Социальная инженерия

Как собирать такую информацию? Лучше использовать связку программного обеспечения (SpiderFoot, theHarvester) и сервисов (например, hunter.io) для ее обнаружения.

Добавить сопутствующих сведений нам помогут различные метаданные из офисных документов, размещенных на периметре. Для их сбора подойдут FOCA и Metagoofil. С той же целью после обнаружения файлов можно их выкачать и исследовать, уже имея локальные копии, при помощи ExifTool. Здесь мы можем обнаружить, например, имя автора, и даже этого будет достаточно для составления таргетированного фишингового письма, т.к. документ нам известен, а почтовые адреса мы собрали этапом ранее. Пример подобного письма показан ниже (рисунок 9).

Рисунок 9. Пример фишингового письма

Добавьте в закладки ресурсы OSINT-сообщества

Одна из замечательных черт сообщества исследователей открытых источников — желание делиться знаниями. Иногда этот обмен знаниями принимает формы новостных рассылок и страничек с ресурсами, где вы можете изучить различные инструменты и исследовательские проекты.

В еженедельной рассылке Sector035 “Week in OSINT” рассказывается о предыдущих семи днях в мире исследования открытых источников. В рассылке рассказывается обо всём — от новых инструментов, найденных или разработанных сообществом, до новых статей и других ресурсов, которые недавно были опубликованы. Week in OSINT позволяет узнавать все новости из мира OSINT, что поможет вам освоиться в этой сфере.

В разделе «Руководства и ресурсы» и «Материалы» на сайте Bellingcat публикуются статьи, посвященные методологии исследований. Цель этого раздела — показать читателю новый инструмент или методику, а также представить примеры того, как они могут использоваться при исследовании открытых источников. У нас также есть набор инструментов для цифровых расследований, куда мы регулярно добавляем новые инструменты.

Мы уже упоминали сервер OSINT Curious в Discord, но это сообщество расследователей также публикует подкасты и устраивает стримы, посвященные исследованию открытых источников. Они постоянно публикуют новый контент, так что у вас никогда не будет недостатка тем для изучения.

Отдельные исследователи также по собственной инициативе собирают ресурсы и выкладывают их в открытом доступе, например Ultimate OSINT Collection автораства hatless1der, а также OSINT Hub. Знакомясь с расследовательским сообществом в Твиттере, вы встретите и других исследователей, которые по собственой инициативе делятся полезными ресурсами с коллегами.

Если вы хотите узнать все детали о том, как создать OSINT-проект, рекомендуем добавить в закладки Протокол Беркли для цифровых исследований открытых источников. Этот документ — единый ресурс по всем вопросам, связанным с организацией работы, от этических и юридических аспектов до вопросов безопасности и сбора и анализа данных.

Протокол был составлен замечательной командой из ярчайших представителей сферы OSINT. Инициатором выступил Центр прав человека Калифорнийского университета в Беркли.

SpiderFoot

SpiderFoot – это инструмент разведки с открытым исходным кодом, доступный для Linux и Windows.

Он разработан с использованием языка Python с высокой конфигурацией и работает практически на любой платформе.

Он интегрируется с простым и интерактивным графическим интерфейсом с мощным интерфейсом командной строки.

Он автоматически позволяет использовать запросы более чем из 100 источников OSINT для сбора информации об электронных письмах, именах, IP-адресах, доменных именах и т. д.

Он собирает обширную информацию о цели, такую как сетевые блоки, электронные письма, веб-серверы и многое другое.

Используя Spiderfoot, вы можете настроить таргетинг в соответствии с вашими требованиями, поскольку он будет собирать данные, понимая, как они связаны друг с другом.

Данные, собранные с SpiderFoot, предоставят широкий спектр информации о вашей конкретной цели.

Он дает четкое представление о возможных хакерских угрозах, которые приводят к уязвимостям, утечкам данных и другой важной информации.

Таким образом, эта информация поможет использовать тест на проникновение и повысить уровень предупреждения угроз, прежде чем система будет атакована или данные украдены.

Creepy

Creepy – это инструмент разведки геолокации с открытым исходным кодом.

Creepy представляет отчеты на карте, используя поисковый фильтр, основанный на точном местоположении и дате.

Эти отчеты доступны в формате CSV или KML для экспорта для дополнительного анализа.

Основной функционал в Creepy разделен на две основные вкладки, а именно. Вкладки «targets» и «map view».

Заключение

Тестирование на проникновение является сложной задачей и требует информации из различных источников.

Я надеюсь, что вышеупомянутые инструменты ONIST помогут вам в этом!

Добавить в Словарь
- Новый список слов для Английский -> Русский…
- Создать новый список слов…
Копировать

Девятка лучших инструментов для разведчиков

И не только.

Представляем вам краткий обзор специализированных поисковых систем, которые позволят найти сакральную инфу легко и быстро:

Shodan

Специализированный поисковик, который индексирует не контент сайтов, а данные, получаемые от устройств, подключенных к интернету. Поэтому сервис пользуется популярностью среди IT-профессионалов, специалистов в области кибербезопасности и даже хакеров.

Censys

Еще один поисковик, протоколирующий отзывы от устройств, имеющих доступ к интернету. А также от сайтов и веб-приложений. В результате чего складывается общая карта всех подключений. Кроме этого вспомогательные утили платформы умеют отслеживать уязвимости в проиндексированных устройствах.

WiGLE

WiGLE – база беспроводных точек доступа, которые отображаются на карте. Поисковик выдает следующую информацию: GPS, SSID, MAC-адрес. Чтобы найти нужную точку, достаточно указать перечисленные выше параметры и ее местоположение отобразится на интерактивной карте.

Fagan Finder

Агрегатор, который позволяет искать информацию более чем в 25 поисковиках и на сотням справочных интернет-ресурсах (Википедия, словарях и т.д.).

Использование OSINT SAN

Логика использования утилиты очень простая. Вводим номер нужного нам модуля и дальше OSINT SAN подскажет какие данные ему нужны для работы. А учитывая, что всё это ещё и на русском языке, то проблем, я думаю, не должно возникнуть вообще ни каких. Опять же, автор молодец в том, что указал в разных модулях на возможные проблемы и способы их решения. Такие как смена IP и так далее.

Рассказывать прям про все модули я не буду, дабы не плодить много букв. Я думаю разобраться проблем не составит. Тем более, например про тот же Shodan есть отдельная статья. А я покажу как всё это работает, выборочно, на примере нескольких интересных модулей.

Итак под номером 6 у нас поиск по фотографии. Здесь нужно указать путь к нужному файлу и OSINT SAN запустит браузер где откроет поиск по фото гугла и яндекса. Казалось бы всё просто, но очень удобно и экономит некоторое время.

Под номером 18 создание рандомной сетевой личности . Дополнительно ничего вводить не нужно. После выбора этой функции утилита сгенерирует анкету со всеми данными. Причем не просто базовый набор, такие как ФИО, дата рождения, номер и юзер агент, а целую кучу анкетной информации на все случаи жизни, даже марку машины, заболевания, адрес биткойн кошелька, поездки за границу и целую кучу дополнительной информации. Там ещё ссылка будет на сайт где можно сгенерировать фото. В общем для некоторых представителей некоторых профессий штука мастхэвная.

При выборе пункта 20 откроется браузер с набором сайтов для идентификации. Тоже некоторая экономия времени получается.

Под номером 21 находится OSINT Википедия. Здесь автор собрал немаленькое количество полезных ссылок и ресурсов, структурировав их по направлениям поиска. Ознакомиться однозначно стоит.

При выборе пункта 27 будет загружен набор всяких обучающих материалов по теме OSINT. Тоже стоит ознакомится.

Поиск, как в детективном агентстве

Shodan — первая поисковая система для устройств, связанных между собой в сети. Разработчики предлагают пользователям опыт Интернет-интеллекта (по аналогии с искусственным интеллектом). В отличие от Google, где пользователи ищут информацию, здесь можно найти гаджеты — от роутеров и серверов, до компонентов Интернета вещей, в том числе и промышленного. Если ваши девайсы не защищены шифрованием, и вы подключаетесь не через VPN, Shodan сообщит хакерам, как взломать вашу сеть.

С другой стороны, именно посредством Shodan вы можете обеспечить безопасность дома и на предприятии. Узнаете, какие девайсы потенциально уязвимы и как найти точку доступа к устройству в офисе. А также можете провести маркетинговое исследование — узнать, какие продукты импонируют целевой аудитории, а какие товары не пользуются спросом.

Google Dorking — хакерский подход к поиску информации в поисковой системе Google. Но прежде чем приступить к детективному расследованию, определимся с несколькими понятиями (поисковыми операторами), которыми оперирует доркинг.

Intitle — поиск термина, который содержится в названии html.
Inurl — нахождение специфического понятия, которое находится в URL, например, inurl:register.php.
Filetype применяется, когда вы ищете конкретный тип файла, допустим, для формата pdf нужно записать запрос filetype:pdf.
Ext — формула, аналогичная предыдущей, но созданная для поиска расширения. К примеру, ext:pdf.
Intext — это операция по поиску контента на странице. Команда, которая работает так же, как и традиционный Google Search.
Site — параметр устанавливает лимит, чтобы поиск осуществлялся лишь в пределах конкретного сайта.
Cache — таким образом вы можете просмотреть кэшированную версию определенного вебсайта. К примеру, cache:aa.com
* — символ равноценен запросу на инструкцию, гайд или лайфхак.

Формула доркинга выглядит так: inurl:.domain/dorks.

Например, если вам нужно найти персональные данные, логины и пароли от аккаунтов, которые были взломаны в ходе утечки информации из большого холдинга, можно воспользоваться командой allintext:password filetype:log after:2020. И вы увидите все логины, которые попали в открытый доступ после 2020 года. А введя команду inurl:top.htm inurl:currenttime, вы получите список вебкамер, которые однажды подвергались хакерскому нападению, следовательно, являются потенциально уязвимыми. С другой стороны, именно через этот инструмент вы можете понять, какие слабые места есть в вашей системе и укрепить их.

Tin-Eye — система, осуществляющая поиск изображений. Разработчики компании называют себя экспертами в области компьютерного зрения. При помощи этого ПО можно определить, не нарушено ли авторское право вашей фото-работы.

Здесь же вы можете узнать источник иллюстрации, обнаружить как картинка появилась в режиме онлайн, в какой цветовой гамме ее создал художник (в случае, если при дальнейшем использовании фотография модифицировалась).

Онлайн инструменты OSINT

А дальше у нас по списку сайт https://www.vedbex.com. Это тоже некий сборник инструментов, довольно примитивный конечно, но знать о нём стоит.

Слева находится панель выбора инструмента. Первый в списке идет раздел «Web tools» и он, скажем так, довольно типичный. Трассировка, пинг, DNS записи, whois, геопозиция IP, брут поддоменов.

Следующий пункт — это инструменты Skype. Здесь можно попробовать найти IP по имени аккаунта, аккаунт по адресу электронной почты или телефону. В разделе Other tools у нас есть временная почта, на которую можно отправить письмо и прочитать его здесь же (главное страницу не закрывать, а то не удобно получится). Здесь же генератор фейковых фото-подтверждений. Вводишь нужный текст и тебе сгенерируют фото где на листе бумаги будет написан твой текст. Правда доступны варианты только с тётеньками на фото и русского языка он не знает, но ситуативно применимо.

В самом низу ещё есть генератор и идентификатор хэшей. На этом, в принципе, список полезностей этого сайта — всё.

Следующий инструмент с которым мы познакомимся это https://synapsint.com/. Это типа osint-поисковик, подкупающий совей простотой и удобством использования.

Снизу отмечаем что нас интересует, вводим сам запрос, немного ждём и получаем весьма развернутые результаты поиска. Когда нужно что-то быстро глянуть — штука очень удобная. Рекомендую к использованию.

Ну, вот и вторая статья посвящённая комплексным инструментам OSINT подошла к концу. Но не забывай возвращаться, ведь это вторая часть, а не последняя.

Твой Pulse!

Виды разведки что базируются на разведке из открытых источников

Конкурентная разведка

Competitive intelligence (конкурентная разведка) состоит в мониторинге конкурентных рисков и преимуществ компании.
На практике сотрудники конкурентной разведки (далее КР) занимаются сбором и анализом информации, необходимой для принятия компанией стратегических решений, например, выходить на рынок с новым продуктом или нет (собирают сведения о конкурентах, используя открытые источники, в том числе, неосторожность болтливых сотрудников на форумах в Интернете, халатность системных администраторов оставляющих на серверах доступ к казалось бы безобидным документам, откровенное пренебрежение корпоративной этикой в виде использования корпоративных ресурсов — электронной почты, веб-сервера для личных целей.

Кибер разведка

Cyber intelligence\security — кибер разведка\безопасность, которая занимается сбором информации об угрозах в информационных системах и информационных инфраструктурах государств.
Кибер разведкой занимается три типа структур:

Государственные службы — известны как CERT’ы (т.е. Cyber Emergency Response Team), например US-CERT (служба США), CERT-Polska (польская служба), AusCERT (австралийская служба). Полный список подобных служб (в силу специфики работы такие учреждения активно обмениваются информацией и быть членами ассоциации им жизненно необходимо) можно найти на сайте.
Корпорации пекущиеся о собственной инфраструктуре.
Приватные разведывательные агентства (в виде маленьких частных фирм или подразделений глобальных военных или консалтинговых корпораций), которые специализируются на выявлении террористов, наркоторговцев и кибертеррористов (например, такие как Abraxas Corporation, Boeing, Lockheed Martin, Booz Allen Hamilton и многие-многие другие), которые обеспечивают информацией как корпорации, что пекутся о своей инфраструктуре так и государственные организации.

Instaloader в CSI Linux

Instaloader — это программа для скачивания данных и содержимого профиля из Instagram. Может скачивать все фото, видео, сториз и коментарии из аккаунта. Также собирает данные геопозиции и хештеги

Для обычного запуска, который подходит в большинстве случаев, достаточно просто ввести имя нужного нам аккаунта.

Сразу начнется выгрузка содержимого аккаунта. Если нет необходимости качать прям все содержимое, можно, используя параметры из справки, определить что именно мы хотим выгрузить. Все скачанное будет помещено в папку программы.

Тут ещё есть небольшой нюанс с закрытыми аккаунтами. Чтобы скачать содержимое закрытого аккаунта, нужно через Instaloader войти в свой аккаунт. Для этого в конце дописываем параметры —login и —password, ну и свой логин и пароль соответственно тоже вписываем.

Как это выглядит?

Все всегда зависит от задач, которые ставит заказчик, но самый популярный тип справки, это так называемый, общий формат. Туда обычно входят общие сведения о человеке: ФИО и год рождения, прописка, место жительства, родственники, контакты, место работы, социальные сети, судимости (если есть), проблемы с налогами или банками (если имеются), имущество и прочие вещи. Бывают задачи и посложнее, но о них говорить не будем, потому что это редкая история. После того, как у заказчика появляется на руках такая справка, он сразу может получить некое представление о искомом человеке и составить свое мнение о нем. Часто вместе с таким “цифровым профилем” мы так же делаем и профиль поведенческий, который дает полное понимание о том, как взаимодействовать с человеком в контексте любой задачи.

Заключение

В целом задумка очень интересная, но по какой-то причине автор сделал так, что «скрипт проходит только 2-3 уровня в глубину и показывает 3 самых новых результата». Из-за этого получаемые результаты являются куцыми. Хотя, вроде бы, в Elasticsearch сохраняется больше результатов — по крайней мере, субдоменов я точно видел там больше, чем на графике.

Возможно, более глубокое знакомство с Danger-zone и с Kibana позволит достичь лучших результатов. Также у меня всегда был нулевой баланс Whoxy — возможно, это тоже сыграло роль в недополучении результатов.

Но пока самые полные результаты у меня получается собрать именно в «ручном» режиме, при использовании сервисов:

Сайты на одном IP
История IP адресов сайта
История DNS записей из securitytrails

Примеры удачных случаев поиска связанных сайтов (в том числе когда предпринимались меры для сокрытия информации):

Препарирование скамерского сайта (КЕЙС)
Поиск сетки вредоносных сайтов (кейс)
Поиск человека по IP (кейс)
Сбор информации о владельце сайта. Поиск сайтов одного лица
Исследование на основе открытых источников с OSRFramework (поиск по почте, нику, домену)

ИМХО, если бы автор программы в основу её работы заложил securitytrails (этот сервис, кстати, вообще не используется) и снял бы ограничение по количество получаемых результатов (например, чтобы опцией можно было бы устанавливать глубину анализа и количество доменов), то программа получилась бы намного эффективней и интересней.