osint что это такое
Боевой OSINT. Разбираем современные методы сетевой разведки
Содержание статьи
По словам представителей американской разведки, около восьмидесяти процентов полезной информации приходит из общедоступных источников. И лишь небольшая часть — это разведданные, добытые непосредственно агентурой. Разница огромна, но нельзя забывать, что именно полученные разведкой детали позволяют подтвердить и верифицировать общую картину.
Это хорошо иллюстрирует история о том, как в ЦРУ в советское время восстановили на основе фотографии из журнала схему электрификации Урала и предприятий ядерной промышленности. Аналитики разведки зацепились за одно заретушированное изображение панели мониторинга, а потом проделали огромную работу, собирая данные из советских газет, журналов и отчетов дипмиссий. Но решающими оказались снимки местности с разведывательных аэростатов, потому что иначе невозможно было подтвердить правомерность выводов о расположении линий энергопередач и заводов.
Не менее важно уметь достать «разведданные», когда речь заходит про сбор информации о людях. Это может быть расследование заражения и поиск виновника или идентификация личности для уточнения поверхности атаки. Далее рассмотрим неординарные случаи получения информации тогда, когда сбор из открытых источников не дает нужного результата.
Пробиваем бота Telegram
Как ты знаешь, у Telegram широкая функциональность для работы с ботами. Ничего не стоит создать нового, получить токен для управления и использовать в готовом скрипте с GitHub. Так же легко токены от ботов и утекают: найти их можно по элементарным доркам. А иногда в руки просто попадается малварь, которая использует функции Telegram как пульт управления, — знал бы ты, сколько архивов стиллеров хранится в облаке мессенджера!
Что останавливает от вытаскивания всей информации бота через утекший токен? Конечно, это API Telegram, в котором ограничиваются множественные подключения для ботов из разных мест. А даже если бот не работает или его владелец проигнорирует ошибки подключения, то мы все равно сможем получать только новые, не обработанные ранее сообщения. Наконец, бот не обладает знанием о том, с кем он общался в прошлом. Таким образом, прочитать историю не получится — нужно тихо ждать, пока кто-то напишет, чтобы перехватить сообщение.
К счастью, HTTP API для работы с ботами — это только надстройка над оригинальным MTProto API, который позволяет взаимодействовать с ними, как с человеческими аккаунтами. А для работы с этим протоколом уже есть готовые библиотеки! Лично я советую Telethon, в котором не так давно была реализована прослойка для управления ботами.
Как ты понимаешь, возможности при таком способе увеличиваются на порядок. Теперь мы можем подключиться незаметно для владельца бота и вытащить историю сообщений. А первый диалог, очевидно, будет с его хозяином. Я написал простой скрипт, который тащит переписки, сохраняет медиаконтент, имена и фотографии собеседников.
И кстати, ты наверняка помнишь, что недавно в Telegram добавили функцию удаления своих сообщений у собеседника. Так вот, если удалить сообщение из диалога с ботом, то у него оно останется.
Узнаем номер телефона в ноль касаний
Представь, что тебе нужно узнать номер телефона, лежащего в кармане другого человека. И при этом не привлекать внимания! Конечно, для этого есть масса способов, начиная от брутального перехвата через IMSI catcher и заканчивая социальной инженерией. А до 2018 года Wi-Fi в московском метро легко отдавал по MAC номер телефона и рекламный профиль его владельца.
Исследователи из Hexway недавно опубликовали информацию о том, как устройства Apple общаются между собой через Bluetooth LE. Для взаимной идентификации они используют хеши от данных аккаунта человека: три байта от SHA-256 номера телефона, Apple ID и почтового ящика. Да-да, айфоны, макбуки и даже наушники буквально кричат в радиоэфир вокруг, кто они и в каком режиме работы находятся.
К счастью, хеши отсылаются не всегда, а только в конкретных случаях: например, при открытии экранов ввода пароля от беспроводной сети. Но этого достаточно: предложи человеку подключиться к Wi-Fi — и хеши от его данных у тебя.
Кроме того, вспомним, что российский номер состоит из одиннадцати цифр и по трем байтам фактически будет лишь несколько десятков коллизий. И даже еще меньше, если мы точно знаем регион и оператора. Авторы исследования сделали удобный скрипт, который позволяет сгенерировать хеши по нужным диапазонам. Отдельные энтузиасты уже создали готовую базу, вычистив несуществующие коды операторов. Так что после получения списка номеров остается только сузить количество «подозреваемых» с помощью запросов HLR для пробива активности абонента и проверки наличия у него аккаунтов мессенджеров. Пара итераций — и у тебя в руках номер нужного мобильника.
Также не стоит забывать об Apple ID и почтовом ящике! Теперь у тебя есть все данные для проверки информации об аккаунтах человека, которую ты найдешь в открытых источниках.
Поиск email через сетевой ханипот
А теперь предположим, что мы находимся в противоположной ситуации: можем контактировать с человеком только через сеть, например мессенджер Jabber. Мы знаем, что он занимается разработкой малвари, но ведет двойную жизнь и имеет официальную работу. Нам бы очень хотелось выяснить его личность, но использует он исключительно Tor и VPN. За что мы можем зацепиться в этом случае?
Продолжение доступно только участникам
Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
Вариант 2. Открой один материал
Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.
soxoj
Киберразведчик-любитель. OSINT, нетсталкинг, антифрод.
OSINT по-русски. Выбираем мощные и бесплатные сервисы для пробива и конкурентной разведки
Содержание статьи
OSINT (Open Source INTelligence) — это разведка по открытым источникам, то есть поиск информации о человеке или организации по базам данных, которые доступны всем. Этим занимаются как специальные организации и службы, так и компании (чтобы проверить сотрудников или узнать больше о конкурентах) и просто люди, когда хотят получше узнать, с кем они общаются в интернете и не окажется ли «серцеед888» маньяком‑убийцей.
Мы собрали список сервисов, которые помогут в этом. Упор сделан на сайты, ориентированные на РФ, поскольку в разных странах форматы данных отличаются и это затрудняет поиск.
warning
Несанкционированный сбор персональной информации — это нарушение закона «О персональных данных» и других законов РФ. Также подобные действия могут образовать состав преступления по статье 137 УК РФ «Нарушение неприкосновенности частной жизни». Ни автор, ни редакция не несут ответственности за любые последствия использования приведенных в этой публикации сведений. Вся информация представлена исключительно ради информирования читателя.
Надеемся, эта подборка позволит читателю накопать много полезной информации, а возможно, даже избежать проблем. Однако, если у тебя возникнут сомнения в законности твоих действий, помни, что никогда не поздно прекратить. В любом случае ты действуешь на свой страх и риск.
Поиск по email
Emailsherlock.com — автоматический поиск по email-адресу. Найдет, к каким сайтам привязан адрес почты.
Проверка по нескольким почтам дала не так много результатов, как хотелось бы. Поиск ограничен только самыми популярными сайтами (соцсети). Еще из минусов – сайт по‑черному пиарит сторонние сервисы, не все из которых даже живы, но почти все просят денег.
Emailrep.io находит, на каких сайтах зарегистрированы аккаунты, использующие определенную почту.
Проверка репутации ящика
Дополнительно на основе проверки по спам‑базам, а также базам вредоносной активности сервис проверяет репутацию аккаунта: в частности, не попадался ли он в утечках.
Поиск по никнейму
Часто поиск по email не дает много результатов. В таких случаях стоит поискать по никнейму (часть до @ ) — обычно информации становится в разы больше.
WhatsMyName — это не просто сервис, а целый комбайн, который ищет по 280 сервисам!
WhatsMyName
Здесь можно сортировать сервисы по категориям, а еще есть возможность экспортировать результат поиска (URL найденных профилей) в нескольких форматах.
Сервис Usersearch.org предоставляет поиск не только по популярным соцсетям, но и по тематическим форумам и сайтам знакомств.
USERSEARCH.ORG
Выдача удобна тем, что ты не только получаешь список сервисов со ссылкой на аккаунт, но и для каждого сервиса есть ссылка на страницу удаления аккаунта, на случай, если это вдруг твой аккаунт. Также сервис может дополнительно искать по телефону, email и пробивать по базе HIBP.
SuIP.biz — постоянно обновляемая и обширная база сервисов с удобной выдачей. Время проверки — где‑то одна‑две минуты. Минус — деления на категории нет.
suIP.biz
По завершении поиска можно скачать отчет в формате PDF.
Instant Username Search — сервис с быстрой проверкой по популярным и не очень сервисам. У него в базе встречаются интересные тематические сайты, вроде MyAnimeList и Last.fm.
InstantUsernameSearch
Checkuser ищет по небольшому списку сайтов, а кроме того, позволяет проверять занятость доменного имени.
На сам поиск уходит примерно минута. Единый список ссылок из результатов получить нельзя.
Namechekup использует обширный список сервисов для проверки, которая, кстати, не занимает много времени.
Получить все ссылки разом здесь тоже нельзя.
Список веб‑сервисов у Namecheckr небольшой, но и проверка очень быстрая. Сами сервисы по большей части популярные и не очень соцсети. Проверяет и некоторые домены.
Отдельно существует сервис‑двойник под незамысловатым названием Namech_k. Он проверят упоминание конкретного юзернейма по десяткам сайтов. К тому же у сервиса есть свой API, чтобы можно было вызывать из скриптов.
Namech_k
В репозитории нашего соотечественника (и автора статьи в «Хакере») Soxoj есть большой список проверок, которые могут быть полезны для интернет‑розыска, и сервисов поиска по никнейму — спасибо ему! Здесь собраны такие утилиты, как Sherlock, Maigret, Snoop, sherlock-go и Investigo, каждая из которых зарекомендовала себя как неплохой инструмент для поиска и сбора открытых данных.
Чек‑лист Soxoj
Отдельно хотелось бы выделить и упомянуть утилиту Maigret.
Maigret
Она позволяет собирать досье на человека по имени пользователя, проверяя наличие учетных записей на огромном количестве сайтов (более 2300) и собирая всю информацию с доступных страниц. Не использует никаких ключей API. Это, кстати, форк другой OSINT-утилиты — Sherlock. Обрати внимание, что по умолчанию поиск запускается не по всем сайтам, а только по 500 самых популярных.
Поиск по номеру телефона
SpravkaRU.Net — весьма объемный телефонный справочник, который может искать также по ФИО.
К сожалению, домашними телефонами уже мало кто пользуется, а телефонные справочники по большей части ориентированы именно на них. Поэтому объемы информации не такие уж впечатляющие.
Microsoft позволяет проверять привязку номера к аккаунту на сайте account.live.com. Этим можно пользоваться!
Email2phonenumber собирает данные со страниц восстановления аккаунта во множестве сервисов и находит номер телефона.
Помимо этого, утилита может генерировать список номеров и перебирать сервисы на наличие номера телефона (где он указан в профиле).
Бот last4mailbot найдет последние четыре цифры номера телефона клиента Сбербанка.
last4mailbot
Поиск производится исключительно по email. Проверка нескольких почт, заведомо привязанных к Сбербанку, показала, что бот действительно выдает верные данные.
Продолжение доступно только участникам
Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
Вариант 2. Открой один материал
Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.
Михаил Артюхин
Этому городу нужен новый герой, прошлого арестовали 😉
OSINT или как посмотреть на свою сеть глазами хакера
Добрый день! Сегодня я вам расскажу какую информацию об организации можно обнаружить в открытых источниках и как ей может воспользоваться потенциальный злоумышленник. Многие из вас наверняка слышали об OSINT (Open Source INTelligence, перечень мероприятий, направленный на сбор информации из открытых источников), который чаще всего используется для сбора информации о конкретном человеке. Но также OSINT можно использовать для поиска информации о конкретных организациях для оценки защищенности. Ведь согласитесь, полезно посмотреть, что о вас есть в открытом доступе и как вы выглядите со стороны потенциального злоумышленника.
Популярные ресурсы, где проходит сбор информации
Для проведения активного сканирования необходимо подписание NDA и согласование проведения работ, что естественно требует времени. В связи с этим необходимо использовать только данные, находящиеся в открытых источниках, не сканировать ИТ-инфраструктуру и соответственно не тратить человеко-часы на бюрократию.
Так что же можно найти в свободном доступе?
Наиболее подробно на этот вопрос отвечает osintframework.com, рекомендую ознакомиться для получения обобщенного ответа на поставленный вопрос.
Я же постараюсь выделить из обширного объема информации наиболее интересную для ИБ специалистов. Искать будем:
В интернете существует огромное количество инструментов для поиска почтовых адресов компании по доменам, например:
Расширение браузера Email Finder от Snov.io — на данный момент имеет огромный функционал в бесплатной версии и находит огромное количество доменных учетных записей, но надолго ли.
theHarvester — собирает как почтовые адреса, так и субдомены, открытые порты а также данные о виртуальных хоcтах. Предустановлен в Kali Linux.
Инструменты бывают как платные, так и бесплатные, выбор использования зависит от наличия желания/возможности платить за улучшенный функционал. Имеет смысл пользоваться несколькими инструментами одновременно так, как результаты они выдают разные. В конечном итоге имеем большой список почтовых адресов компании, который необходимо проверить на наличие скомпрометированных учеток.
Провести проверку можно на многим известном сервисе haveibeenpwned.com.
На выходе инструмент дает нам информацию в каких базах содержатся упоминания учетной записи, есть ли в этих базах данные по паролям, физическим адресам, номерам телефона и т.д.
Самих паролей тут мы не получим, но сможем разделить почтовые адреса на “чистые” и потенциально скомпрометированные.
Тут стоит отметить, что инструмент имеет платный API. Без него, конечно, можно проверить все почтовые адреса, но придется подавать их на вход по одному, что займет уйму времени. При покупке API (3,5$ в месяц, чисто символическая плата) получим возможность использовать его в различных скриптах и соответственно существенно ускорить и автоматизировать процесс анализа.
В дальнейшем можно воспользоваться ботом в telegram @mailsearchbot.
На вход даем ему потенциально скомпрометированные почтовые адреса, на выходе получаем пароли, использовавшиеся в связке с данным почтовым адресом. Стоит отметить, что далеко не для всех учеток удается найти пароли, но процент обнаружения большой. И опять же при наличии желании/возможности финансово поддержать разработчика можно получать полные данные, без скрытых звездочками символов, но к сожалению тут цена уже кусается.
Следующим этапом необходимо собрать информацию о субдоменах. Инструментов, позволяющих это сделать очень много, например:
dnsdumpster.com — умеет рисовать красивые графы взаимосвязей и выгружать результаты в Excel, но имеет ограничение на выдачу только 100 субдоменов.
pentest-tools.com — советую познакомиться с сайтом поподробнее, так как тут можно не только субдомены искать. В lite версии имеет ограничение на 2 сканирования в день, но легко обходится TORом)
Тут также имеет смысл комбинировать инструменты для определения наибольшего количества субдоменов. Зачастую в паре с субдоменом идет IP-адрес, который в дальнейшем можно скормить шодану (shodan.io) для получения списка открытых портов и сервисах, торчащих в интернете.
В дальнейшем можно подобрать уязвимости и эксплойты по определенным версиям сервисов, используя такие ресурсы, как:
exploit-db.com — большая пополняемая база эксплойтов. Тут стоит обратить внимание, что есть подтвержденные администрацией сайта эксплойты и не проверенные.
В данных шодана нам также интересна принадлежность ip-адреса какой-либо автономной системе. Проверка производится в различных Whois-сервисах, которых также большое количество. По большому счету нет никакой разницы с каким инструментом работать, поэтому продемонстрирую те, на которых остановился я:
ididb.ru — в большей степени заточен на сбор информации об автономных системах Рунета.
В случае обнаружения автономной системы, принадлежащей компании имеет смысл прогнать все ip через shodan и собрать как можно больше информации по версиям сервисов.
Для анализа определений на каких технологиях построен сайт можно использовать расширение браузера Wappalyzer. Зачастую инструмент определяет версии и соответственно вы также можете подобрать для них уязвимости.
Переходим к заключительному этапу – поиск скрытых директорий и файлов сайта. Тут нам пригодятся:
В свою очередь DirBuster это инструмент поиска скрытых директорий и файлов, которые забыли удалить из общего доступа или добавили туда по ошибке. В нем имеется несколько встроенных словарей для осуществления поиска. Рекомендуется использовать словарь directory-list-2.3-medium для оптимизации соотношения затраченного времени к выхлопу.
При использовании этих инструментов придется проанализировать большое количество информации, но зачастую старания вознаграждаются.
Популярные курсы/книги для обучения
Топ — 5 проблем, которые нам удается обнаружить в рамках OSINT-а
На моей практике удавалось:
Заключение
Итак, мы видим, что информация, находящаяся в открытых источниках может стать плацдармом для проведения атаки на корпоративную инфраструктуру. Необходимо периодически проверять как организация выглядит со стороны потенциального злоумышленника и по возможности скрывать данную информацию.
🌎 🕵 Навыки OSINT(интернет-разведки) в кибербезопасности
OSINT (Open Source Intelligence) – сбор и анализ информации из публично доступных источников. В нынешних реалиях речь идет в основном про интернет-источники. От русскоязычных экспертов можно услышать термин «интернет-разведка», что по смыслу приравнивается к OSINT.
В рамках кибербезопасности OSINT используется для пентеста, форензики, реверсивной и социальной инженерии. Обучение информационной безопасности часто включает в себя раздел с изучением техник и инструментов OSINT.
Пентестеры используют OSINT для оптимизации первого этапа работы: разведки и сбора информации об определенном онлайн-объекте или субъекте. В этом случае OSINT необходим, чтобы наметить цели, которые нужно атаковывать, или понять, что ломать ничего не нужно – оно и так для всех доступно.
OSINT удобен тем, что :
Есть два основных метода сбора информации :
Выбор метода зависит от того, на каких условиях вы собираете информацию, а также от того, какие данные вам нужны. Вы анализируете безопасность компании, подписали NDA и вам можно лезть куда хочешь? Или вас попросили добыть информацию о конкурентах?
Например, через Shodan (поисковик по интернету вещей) нетрудно получить доступ к управлению какой-то из систем как личных, так и корпоративных. Сделать это можно в несколько кликов. Однако если вы начнете как-то с ней взаимодействовать, пробовать вводить разные пароли – это уже может быть засчитано как попытка взлома и переходит в активный сбор информации, где нужно разрешение владельца системы.
Основные источники OSINT, которые используются в информационной безопасности
Любая информация в публичном доступе может оказаться опасной. Социальные сети, фотографии, данные из профилей и сайтов третьих сторон, публичная документация и т.д. Ведь в совокупности с другими данными она может рассказать хакерам то, что они ищут.
Остановимся на основных направлениях, которые специалисты по информационной безопасности исследуют на регулярной основе.
1. Метаданные файлов.
В них можно найти дату создания документа, имена пользователей, модели принтеров, ПО установленное на компьютерах, иногда геолокацию. Информация про установленные программы и их версии, например, даст возможность выбрать наиболее уязвимые и подобрать эксплойты. Имена пользователей, в свою очередь, станут потенциальными логинами в личные или корпоративные системы.
2. Конфиденциальная документация.
Существует очень много инструментов, которые помогают собрать все данные с сайта (в том числе, которые не видны обычным пользователям). Например:
После исследования основного домена стоит поизучать, как компания организует свои Интернет-ресурсы. Среди субдоменов обычно есть плохо защищенные сайты для тестирования новых технологий. Такие субдомены могут содержать какие-то важные документы, оставленные на сервере.
4. Серверные веб-приложения, интернет вещей. Индексироваться могут сервера, роутеры, камеры видеонаблюдения, вебкамеры, онлайн накопители и т.д. Кроме того, что к некоторым можно получить доступ просто пройдя по ссылке, эти девайсы содержат в себе техническую информацию. Геолокацию, открытые порты, запущенные сервисы, доменное имя, связанное с устройством, интернет провайдера, веб-технологии.
Обучение OSINT для использования в информационной безопасности
Чтобы на базовом уровне изучить OSINT и начать проводить небольшие исследования, вам хватит пары дней.
Для погружения в тему и изучения отдельных аспектов стоит почитать следующие книги:
Развитие в OSINT делится примерно не следующие этапы:
1. Освоение базовых техник, вроде Google dorks (продвинутый поиск в Гугл). Для этого – читайте блоги специалистов или специализирующихся компаний. Например:
Необходимые для разведки инструменты есть в подборках:
В какой мере обеспечивать себя анонимностью зависит от того, что за цель перед вами стоит. Не нужно заводить множество аккаунтов в соцсетях, если вам не понадобиться проводить там исследования. Или устанавливать защитное ПО просто для того, чтобы поискать географические данные на карте.
Много материалов по этому поводу можно найти в выше описанных блогах и книгах. Вот один из них.
5. Пробуйте самостоятельно писать на Python автоматизирующие инструменты по сбору и анализу информации.
Инструменты OSINT в информационной безопасности
1. Shodan – поисковик по устройствам, подключенным к сети (в т.ч. интернет вещей и веб-приложения). Раздел «Explore» поможет начать поиски, так как туда собираются запросы пользователей. Чтобы получить доступ к расширенному поиску, надо зарегистрироваться. В платных версиях у вас будет доступ к большему количеству устройств, а также неограниченное количество поисковых запросов в сутки. Руководство по Shodan на русском (ссылка для скачивания).
2. Maltego Maltego – ПО, которое собирает все данные вместе, помогает увидеть взаимосвязи и сделать выводы. Результат визуализируется в виде дерева, собирающего в единую систему IP-адреса, е-мейлы, телефоны, домены и т.д. Есть три версии клиента, но большинству специалистов будет достаточно бесплатной. Туториалы по Мальтего: на русском и английском (они разные).
3. Google Dorks – это запросы в Гугл с использованием специальных операторов. Вы наверняка слышали, что для поиска точного словосочетания нужно поставить слова в кавычки, а чтобы исключить какое-то слово из выдачи, необходимо поставить перед ним «-». Это как раз про Гугл доркинг. Здесь вы найдете базовые операторы, а здесь – огромное количество дорков для поиска уязвимостей.
4. Foca – программа, которая помогает с выгрузкой, классификацией и анализом файлов на удаленном веб-сервере. Для этого она сканирует определенный домен с помощью поисковиков Google, Bing, DuckDuckGo. ПО бесплатное и быстро устанавливается. В этом материале можно найти небольшую инструкцию, как пользоваться программой.
5. Spyse – поисковик по технической информации веб-сайтов. С его помощью вы найдете разнообразные данные, вроде уязвимостей, IP-адресов, субдоменов и SSL/TLS.
Заключение
OSINT поможет вам сократить время и деньги при поиске информации, а изученные инструменты и техники будут полезны и за пределами профессиональной деятельности.
Чтобы начать использовать базовый OSINT, достаточно на пару дней погрузиться в книги и туториалы по теме. Если же вы планируете выйти на более продвинутый уровень, скорее всего понадобятся курсы по информационной безопасности и помощь наставников. Например, на Факультете информационной безопасности образовательного портала GeekBrains вы сможете подробно изучить работу с Linux и Python. Также портал дает возможность полностью освоить профессию на практический кейсах.