Talisman is a unified set of tools that automate typical data processing tasks, such as data retrieval, integration, analysis, storage and visualization. It makes possible the fast development of specialized multi-user analytical systems that merge and work uniformly with the data from private databases and Internet sources (including social networks).
Features and advantages
Talisman unifies the tools necessary for big data. It builds on two ISP RAS technologies: Dedoc, a system for document structure retrieval, and Texterra, a platform for extracting semantics from text. Talisman is comparable to world’s best competitors (Palantir Gotham and IBM Watson Content Analytics). Its advantage is automating routine analysis processes with state of the art research results (reducing resources required for manual analysis).
Talisman provides:
- A rich set of reusable components that have APIs for easy management and integration:
- Data retrieval components. They include a framework for Internet data collection, namely, from social media (Facebook, VKontakte, Twitter, Instragram, Odnoklassniki, Youtube, LinkedIn etc.), blogs, news, MediaWiki sites, developer portals etc. Also there’s a system for importing data from file storages and databases.
- Automatic data analysis components. Analysis tools are designed as Docker containers that are managed through APIs by the Talisman.Flow system (included in the Unified Register of Russian Programs as No.6045). The output is stored on hard disks or in databases (PostgreSQL, ElasticSearch, Cassandra etc). The basic services used are the Tesseract OCR system and own ISP RAS tools.
- Storage and indexing components. These include a number of databases and information search engines that store source data, automatic analysis results, and results of manual user work.
Talisman application areas
- Automated knowledge base construction for a given knowledge domain and non-stop monitoring for new information regarding objects of interest.
- Competitor intelligence based on open sources (OSINT).
- Detecting information campaigns that aim to manipulate target audience as well as detecting the target audience for a campaign.
- Detecting and analyzing means for disseminating information (used resources, people, bots) as well as analyzing community member communication roles (news source, opinion leader, disseminator, moderator, bot, commentator).
- Reputation management for persons and companies, including monitoring relevant news, detecting possible complaints, monitoring leaks and information disclosure.
- Staff management optimization including efficient recruitment, data verification, detecting hidden activity, assisting in developing motivational systems.
- Evaluating activity effectiveness objectively and testing strategies on a target audience to gather feedback.
- Finding and managing social tension to detect and prevent conflict escalation.
Supported languages
Talisman supports languages recognized by the Texterra analyzer, namely, Russian and English.
КОРОЧЕ ГОВОРЯ, ЧУДО-ПЛАНШЕТ
Обзор «славянских» игр (Талисман)
Источник: www.ispras.ru
История Tux’а – талисмана Linux
Талисманы
Обновлено 15.09.2021
Что такое демоны?
Демоны (англ. «daemons») — это работающие в фоновом режиме служебные программы (или процессы), целью которых является мониторинг определенных подсистем ОС и обеспечение её нормальной работы. Например, демон принтера контролирует возможности печати, демон сети контролирует и поддерживает сетевые коммуникации и т.д.
Демоны являются аналогом служб (services) в Windows: они выполняют определенные действия в заранее определенное время или в ответ на определенные события. Существует множество различных демонов, работающих в Linux, каждый из которых создан специально для наблюдения за своей собственной маленькой частью системы.
Так как демон — это процесс, который выполняется в фоновом режиме и обычно находится вне контроля пользователя, то у него нет управляющего терминала.
Процесс — это запущенная программа. В определенный момент времени процесс может либо выполняться, либо ожидать, либо быть «зомби».
В Linux существует три типа процессов:
Процессы переднего плана (или «интерактивные процессы») — это те процессы, которые запускаются пользователем в терминале.
Фоновые процессы (или «автоматические процессы») — это объединенные в список процессы, не подключенные к терминалу; они не ожидают пользовательского ввода данных.
Демоны (англ. «daemons») — это особый тип фоновых процессов, которые запускаются при старте системы и продолжают работать в виде системных служб; они не умирают.
Процессы переднего плана и фоновые процессы не являются демонами, хотя их можно запускать в фоновом режиме и выполнять некоторую работу по мониторингу системы. Для данных типов процессов необходимо участие пользователя, который бы их запускал. В то время как демонам для их запуска пользователь не требуется.
Когда завершается загрузка системы, процесс инициализации системы начинает создавать демоны с помощью метода fork(), устраняя необходимость в терминале (именно это подразумевается под «отсутствием управляющего терминала»).
Я не буду вдаваться в подробности работы метода fork(), отмечу лишь, что, хотя существуют и другие методы, традиционный способ создания дочернего процесса в Linux заключается в создании копии существующего процесса (посредством своеобразного «ответвления»), после чего выполняется системный вызов exec() для запуска другой программы.
Примечание: Термин «fork» не был взят с потолка. Он получил свое название от метода fork() из Стандартной библиотеки языка программирования Си. В языке Си данный метод предназначен для создания новых процессов.
Версии происхождения термина «daemon»
Есть несколько версий происхождения термина «daemon»:
Научная версия: Использование термина «daemon» в вычислительной технике произошло в 1963 году. Project MAC (сокр. от англ. «Project on Mathematics and Computation») — это проект по математике и вычислениям, созданный в Массачусетском технологическом институте.
Именно здесь термин «daemon» вошел в обиход для обозначения любого системного процесса, отслеживающего другие задачи и выполняющего предопределенные действия в зависимости от их поведения. Процессы были названы термином «daemons» в честь демона Максвелла.
Примечание: Демон Максвелла — это результат мысленного эксперимента. В 1867 году Джеймс Клерк Максвелл представил себе разумное и изобретательное существо, способное наблюдать и направлять движение отдельных молекул в заданном направлении. Цель мысленного эксперимента состояла в том, чтобы показать возможность противоречия второму закону термодинамики.
Талисман BSD: В операционных системах BSD есть свой талисман — красный чертёнок (этакая игра слов «daemon/demon»). BSD-демона зовут Beastie (Бисти), и его часто можно увидеть с трезубцем, который символизирует системный вызов fork(), активно используемый программами-демонами.
Примечание: «Бисти» по звучанию напоминает BSD (произносится как «Би-Эс-Ди»). При этом beastie является уменьшительной формой от слова beast (зверь).
Теологическая версия: Сторонники данной версии считают, что первоначальной формой произношения слова «daemon» было «daimon», что обозначает (по одной из версий) ангела-хранителя. В то время как «daemon» — помощник, «demon» — злой персонаж из Библии.
Примечание: Также «daemon» иногда произносится как «day-mon» или как рифма к слову «diamond».
Аббревиатура: Некоторые пользователи утверждают, что термин «daemon» является аббревиатурой от «Disk and Execution Monitor».
История tux’а – талисмана linux
1C-Bitrix 3D-принтер 5g Agile AMD Android API App Store Arduino ARM Asp.NET Bitcoin DeepMind DIY Ethereum F8 2021 Firefox Fuchsia Git Google Chrome Google I/O 2021 GTC 2021 HoloLens IDE iOS IT во время чумы JSON Linux macOS Microsoft Build 2021 NoSQL Open Source OpenAI Opera PlayStation Product Development QA Raspberry Pi ReactJS Redux SEO Slack Soft Skills Tesla Tproger Changelog Twitter Unity unix VPN Wi-Fi Windows 10 WordPress XBox YouTube Автопилот Алгоритмы Алгоритмы и структуры данных Алиса Анализ данных Аналитика Архитектура ПО Асинхронное программирование Баги и ошибки Базы данных Безопасность Безопасный код Беспилотники Бета Бизнес-аналитика Биотехнологии Браузеры Быстрый старт Бэкенд Взлом Визуализация Высокие нагрузки Головоломки Гостевая публикация Для мотивации Для начинающих Для продвинутых Для продолжающих Задачи повышенной сложности Задачи умеренной сложности Игра Игры для программистов Илон Маск Инструменты Инструменты командной строки Интересные проекты Интернет История IT История успеха Карьера Кибербезопасность Кодстайл Компиляторы Конкурс Tproger Конференции Красивый хак Лучшая практика Лучший язык 2020 Майнинг Маркетинг Массивы и строки Масштабируемость и ограничения памяти Материалы от друзей Tproger Мессенджер Методологии разработки Микросервисы Многопоточность Музыка На английском языке Навыки Низкоуровневое программирование Новый Год Образование Обучающие курсы Обучение программированию Объектно-ориентированное программирование Олимпиадное программирование Операционные системы Опрос Оптимизация Организация разработки Основные принципы программирования Отладка Павел Дуров Парсинг Партнёрский материал Паттерны проектирования Персональные данные Пост пользователя Приложение Производительность Процессор Работа Распознавание Реактивное программирование Ретро Россия Сервер Сервисы Сетевые протоколы Собеседование Советы Социальные сети Стартапы Статистика Стоит прочитать Суперкомпьютеры Угадайки Утечка данных Уязвимость Форматы хранения данных Фреймворки Функциональное программирование Хакеры Хобби Чипокалипсис Шпаргалки Языки программирования
Примеры демонов в linux
Наиболее распространенный способ идентификации демона в Linux — это поиск процесса, имя которого заканчивается буквой d. Есть много способов увидеть работающих демонов. Их можно отследить в списках процессов через такие команды, как: ps, top, htop, а также pstree.
Команда pstree показывает процессы, запущенные в настоящее время в нашей системе, и отображает их в виде древовидной диаграммы. Откройте терминал и введите следующую команду:
Вывод команды pstree — это довольно хорошая иллюстрация того, что происходит с нашей системой. Перед нами появился список всех запущенных процессов, среди которых можно заметить и несколько демонов: cupsd, dbus-daemon, kdekonnectd, packagekitd и некоторые другие.
Вот несколько «популярных» примеров демонов, которые могут работать в вашей системе:
systemd — это системный демон, который (подобно процессу init) является родителем (прямым или косвенным) всех других процессов, и имеет PID=1.
rsyslogd — используется для регистрации системных сообщений. Это более новая версия syslogd, имеющая несколько дополнительных функций.
udisksd — обрабатывает такие операции, как: запрос, монтирование, размонтирование, форматирование или отсоединение устройств хранения данных (жесткие диски, USB-флеш-накопители и пр.).
logind — крошечный демон, который различными способами управляет входами пользователей в систему.
sshd — демон, отвечающий за управление службой SSH. Используется практически на любом сервере, который принимает SSH-соединения.
ftpd — управляет службой FTP. Протокол FTP (сокр. от англ. «File Transfer Protocol») является широко используемым протоколом для передачи файлов между компьютерами, где один компьютер действует как клиент, другой — как сервер.
crond — демон планировщика заданий, зависящих от времени. С его помощью можно выполнять обновление программного обеспечения, проверку системы и пр.
Источник: magicoracle.ru
Опасный талисман. Изучаем вредонос Talisman на практике
В 2022 году несколько антивирусных компаний опубликовали обзоры написанного на C бэкдора из семейства PlugX под названием Talisman. На примере этого трояна мы разберем, как выполняется динамический и статический анализ вредоносного ПО, а также создадим собственные сигнатуры для детектирования исследуемого образца.
Бэкдоры этого семейства известны с марта 2022 года и довольно хорошо изучены. Впервые описала его возможности компания Trellix, схожий модуль также описывает компания Dr.Web под названием BackDoor.PlugX.38. Конкретно этот образец представляет собой многокомпонентную вредоносную программу, которая попадает на компьютер жертвы благодаря другому трояну‑загрузчику и работает в оперативной памяти машины.
Вредонос состоит из трех компонентов: исполняемого файла SNAC.EXE, имеющего действительную цифровую подпись, который загружает модифицированную злоумышленниками динамическую библиотеку WGXMAN.DLL с помощью техники DLL side-loading. В свою очередь, библиотека содержит зашифрованный файл SNAC.LOG, в котором спрятана полезная нагрузка. Библиотека запускает шелл‑код в функции DllMain и расшифровывает файл SNAC. LOG . Далее исполняемый код, полученный после расшифровки этого файла, извлекает конфигурацию PlugX Talisman, а также основную полезную нагрузку PlugX, тоже представленную в виде динамической библиотеки. Она содержит основной модуль вредоноса PlugX Talisman, который загружается в память процесса SNAC. EXE .
В этой статье мы изучим образец вредоносной программы, научимся проводить ее анализ, найдем интересные участки в коде модуля, расшифруем файл SNAG. LOG , а также получим конфигурацию PlugX Talisman и извлечем основную полезную нагрузку PlugX.
info
О том, как из подручных материалов с помощью смекалки и умелых рук построить скворечник лабораторию для анализа вредоносов, подробно рассказано в статье «Код под надзором. Создаем виртуальную лабораторию для анализа малвари».
Инструментарий
Для дальнейшего исследования вредоносного файла воспользуемся следующим софтом:
- DIE — программа для определения типов файлов.
- PeStudio — программа для поиска артефактов в исполняемых файлах.
- IDA Pro — интерактивный дизассемблер, используемый для реверс‑инжиниринга.
- Wireshark — инструмент для анализа сетевых протоколов.
- Burp Suite — используется в качестве прозрачного прокси‑сервера с целью анализа взаимодействия вредоносного файла по протоколу HTTPS.
- Loki Scanner — сканер IOCs.
- YaraEditor — программа для тестирования и создания правил YARA.
- ApiLogger — утилита для анализа вызываемых WinAPI-функций исследуемого вредоноса.
- x64dbg — отладчик с открытым исходным кодом для Windows, предназначенный для анализа вредоносных программ.
- Process Hacker — утилита для мониторинга процессов и служб.
- Плагин mkYARA для IDA — плагин для генерации правил YARA на основе кода.
Первичный анализ
Прежде чем приступать к реверсу файлов, получим первичную информацию об исследуемых образцах. Загрузим файл SNAC. EXE в PeStudio. При анализе необходимо обратить внимание на строки, подключаемые библиотеки, версии файлов, сертификаты, а также на сведения о файле отладки, которые в некоторых случаях помогают атрибутировать разработчика.
Перейдем на вкладку Version.
Оригинальное имя файла — SNAC. exe , цифровая подпись указывает на то, что файл разработан компанией Symantec Corporation.
Файл отладки расположен по следующему пути:
C: bld_ area sesagent70 snac_ build bin. ira snac. pdb
Перейдем на вкладку Libraries.
PeStudio определяет список библиотек, которые злоумышленники используют при написании вредоноса. Перейдем на вкладку Сertificate.
Файл SNAC. exe является подписанным, безопасным файлом. Теперь откроем файл WGXMAN. DLL в PeStudio.
В файле присутствует строка о файле отладки:
C: bld_ area sesagent70 snac_ build bin. ira wgxman. pdb
Перейдем на вкладку Strings, в которой можно обнаружить строку SNAC. LOG .
Теперь выполним поведенческий анализ, получим информацию о процессе и запишем сетевой трафик. Запустим исполняемый файл SNAC. EXE , затем откроем Process Hacker и соберем информацию о процессе.
warning
Не рекомендуется исследовать вредоносные программы на рабочей операционной системе, поскольку это может привести к заражению машины и утере ценных данных.
После запуска исполняемого файла вредонос создал дочерний процесс conhost. exe .
Нажмем два раза на имя этого процесса, откроем вкладку Modules.
Как видно из рисунка, вредонос загрузил динамическую библиотеку WGXMAN. dll . Посмотрим генерируемый приложением трафик.
Модуль PlugX Talisman начинает устанавливать сетевое взаимодействие с управляющим сервером dhsg123[.] jkub[.] com . После получения адреса домена устанавливается TCP-соединение по порту 80.
Также исследуемый образец обращается к управляющему серверу по протоколу HTTP.
В результате первичного анализа мы получили информацию о вредоносном процессе, узнали адрес управляющего сервера, установили протокол взаимодействия, а также обнаружили интересные строки и описание файлов.
Разбор малвари
Приступим к подробному исследованию кода. Динамический анализ будем проводить с использованием утилиты x64dbg. Анализ псевдокода выполним в IDA Pro с установленным плагином HexRays. Чтобы получить наиболее полный результат, при анализе вредоносных программ необходимо комбинировать инструменты.
Программа SNAC. EXE представляет собой безопасный исполняемый файл, который имеет валидную цифровую подпись. Его основная задача — загрузка динамической библиотеки WGXMAN. DLL методом DLL side-loading. После загрузки библиотеки выполнение передается на функцию экспорта DllMain . Далее динамическая библиотека расшифровывает исполняемый код в файле SNAC.
LOG и передает выполнение на него.
Приступим к анализу. Для этого загрузим исполняемый файл SNAC. EXE в утилиту x64dbg, в которой будем проводить отладку. Также загрузим динамическую библиотеку WGXMAN. DLL в IDA.
Для проведения динамического анализа необходимо найти точку останова, с которой начинается выполнение основных функций программы. Для этого проанализируем код загружаемой библиотеки и найдем функцию, подходящую для этой цели.
В IDA открываем вкладку File → Open и выбираем файл WGXMAN. DLL . После загрузки файла мы попадаем на функцию DllMain . Далее декомпилируем код, используя плагин HexRays, для этого нажимаем клавишу F5. И синхронизируем анализ кода на вкладке IDA View-A и Pseudocode-A, для чего перенесем вкладку Pseudocode-A в правую часть вкладки IDA View-A. Нажатием правой кнопки мыши выберем Syncronize with → IDA View-A, теперь при выборе участка кода он будет подсвечиваться в каждой вкладке.
Переходим в функцию sub_6FE443C , эта функция и будет точкой входа во время динамической отладки. Проанализируем ее.
Функция sub_6FE42A0 служит для получения списка функций экспорта динамической библиотеки kernel32. dll .
Начнем отладку в x64dbg. Для этого перейдем к функции sub_6FE443C нажатием сочетания клавиш Ctrl-G, затем наберем адрес функции и разберем алгоритм расшифровки констант.
Присоединяйся к сообществу «Xakep.ru»!
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
Источник: xakep.ru