feat: add automagic command #139

fukusuket · 2024-03-15T22:28:21Z

What Changed

Closed: automagic command #132
Closed: Takajo does not support other time formats #141
Closed: Refactoring duplicate code #99

Test

Environment

OS: macOS Sonoma version 14.2.1
Hayabusa v2.14.0-dev
Nim: 2.0.2
nimble: 0.14.2

In the integration test below, I confirmed that the all commands succeeded.
https://github.com/Yamato-Security/takajo/actions/runs/8303017518

YamatoSecurity · 2024-03-16T06:41:06Z

@fukusuket Thanks! I just tried it on a big case and it is taking forever to print out the powershell extraction table results. I think we should print out summary information about what files were saved, file size, if there were no results, etc... but we probably shouldn't print out detailed table information as it can get too big. Maybe the table info is not as big if the minimal level is set to high... If you already have the code to print tables to standard output, then maybe lets make it an option that is disabled by default?

fukusuket · 2024-03-16T07:42:00Z

@YamatoSecurity
Thank you so much for checking!
I see... It seems better not to output the table by default! I disabled displayTable option by default :)

hitenkoku

LGTM

YamatoSecurity · 2024-03-17T01:15:41Z

@fukusuket Could I ask you for two things.

Can you add the file size in the output:

Before:

Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

Counting total lines. Please wait.
Total lines: 21,430,481

After:

Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: hogehoge.jsonl (23.3 GB)
Counting total lines. Please wait.
Total lines: 21,430,481

What about displaying the results in a table? I think it would look a lot cleaner.

For example:

Command	Results	Saved Files
extract-scriptblocks	PowerShell logs: 100	case-1/scriptblock-logs/*.txt case-1/scriptblock-logs/summary.csv (4.43 MB)
list-domains	Domains: 517	case-1/ListDomains.txt (7.10 KB)
list-domains (detailed)	Domains including subdomains: 2,695	case-1/ListDomains-Detailed.txt (138.30 KB)
list-hashes	Hashes: MD5: 1,174,776 SHA1: 32 SHA256: 1,174,776 Import: 6,927	case-1/hashes-MD5-hashes.txt (4.68 KB) case-1/hashes-SHA1-hashes.txt (84 Bytes) case-1/hashes-SHA256-hashes.txt (9.09 KB) case-1/hashes-ImportHashes.txt (544 Bytes)
list-ip-addresses	IP adddresses: 0	n/a
stack-cmdlines	Unique command lines: xxxx	case-1/Commandlines.csv (18.67 MB)
stack-computers	Unique target computers: xxxx	case-1/TargetComputers.csv (117.11 KB)
stack-computers	Unique source computers: xxxx	case-1/SourceComputers.csv (3.92 KB)
stack-dns	Unique DNS requests and replies: 0	n/a
stack-ip-addresses	Unique target IP addresses: xxxx	case-1/TargetIP-Addresses.csv (5.62 KB)
stack-ip-addresses	Unique source IP addresses: xxxx	case-1/SourceIP-Addresses.csv (6.22 KB)
stack-logons	Unique logons: xxxx	case-1/Logons.csv (53.02 KB)
stack-processes	Unique processes: xxxx	case-1/Processes.csv (49.23 KB)
stack-services	Unique services: xxxx	case-1/Services.csv (53.99 KB)
stack-tasks	Unique tasks: 0	n/a
stack-users	Unique target users: xxxx	case-1/TargetUsers.csv (25.77 KB)
stack-users	Unique target users (no filtering): xxxx	case-1/TargetUsers-NoFiltering.csv (25.77 KB)
stack-users	Unique source users: xxxx	case-1/SourceUsers.csv (25.77 KB)
stack-users	Unique source users (no filtering): xxxx	case-1/SourceUsers-NoFiltering.csv (25.77 KB)
timeline-logon	EID 4624 (Successful Logon): 1,381,311 EID 4625 (Failed Logon): 284,317 EID 4634 (Logoff): 4,508,645 EID 4647 (User Initiated Logoff): 452 EID 4648 (Explicit Logon): 649,977 EID 4672 (Admin Logon): 168,827	case-1/LogonTimeline.csv (0 Bytes)
timeline-partition-diagnostics	Events: xxxx	case-1/PartitionDiagnosticTimeline.csv (34.80 KB)
timeline-suspicious-processes	Security 4688 : 935,184 Sysmon 1 : 1,174,808	case-1/SuspiciousProcesses.csv (917.84 MB)
timeline-tasks	Events: 0	n/a
ttp-summary	TTPs: xxxx	case-1/TTP-Summary.csv (295.30 KB)
ttp-visualize	You can import this into ATT&CK Navigator	case-1/MitreTTP-Heatmap.json (15.43 KB)

Elapsed time: 0 hours, 17 minutes, 58 seconds

(Note: some of the output file names need to be changed. Example: users.csv to SourceUsers.csv)

We should separate results in the table by return characters but it is not possible to do in the markdown table example above.

Also, the file size calculation for LogonTimeline.csv does not seem to be working. It says it is 0 Bytes but I confirmed that the file does get outputted.

fukusuket · 2024-03-17T03:16:50Z

@YamatoSecurity
Sounds good! I'll try implementing it💪

fukusuket · 2024-03-17T10:49:31Z

@YamatoSecurity
I implemented #139 (comment) :) What do you think? Please let me know if you have any requests!

hayabusa-sample-evtx

% ./takajo automagic -t timeline.jsonl -q
Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: timeline.jsonl (41.99 MB)
Counting total lines. Please wait.
Total lines: 32,363

Scanning the Hayabusa timeline. Please wait.

100%|█████████████████████████| 32363/32363 [ 0.7s< 0.0s,  60.82k/sec]

┌───────────────────────────────┬──────────────────────────────────────────────────────┬──────────────────────────────────────────────────────┐
│ Command                       │ Results                                              │ Saved Files                                          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ extract-scriptblocks          │ PowerShell logs: 108                                 │ case-1/scriptblock-logs/*.txt,case-1/scriptblock-log │
│                               │                                                      │ s//summary.csv (19.76 KB)                            │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains                  │ Domains: 0                                           │ case-1/ListDomains.txt (0 Bytes)                     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains(detailed)        │ Domains: 2                                           │ case-1/ListDomains-Detailed.txt (14 Bytes)           │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-hashes                   │ MD5: 880, SHA1: 821, SHA256: 824, Import: 880        │ case-1/hashes-MD5-hashes.txt (4.32 KB),              │
│                               │                                                      │ case-1/hashes-SHA1-hashes.txt (5.08 KB),             │
│                               │                                                      │ case-1/hashes-SHA256-hashes.txt (8.19 KB),           │
│                               │                                                      │ case-1/hashes-ImportHashes.txt (3.96 KB)             │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-ip-addresses             │ IP adddresses: 0                                     │ case-1/IP-Addresses.txt (0 Bytes)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-cmdlines                │ Unique cmdlines: 1,222                               │ case-1/cmdlines.csv (411.33 KB)                      │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 53                                 │ case-1/TargetComputers.csv (45.18 KB)                │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 3,571                              │ case-1/SourceComputers.csv (379.83 KB)               │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-dns                     │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(source)    │ Unique ip-addresses(source): 18                      │ case-1/SourceIP-Addresses.csv (2.03 KB)              │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(target)    │ Unique ip-addresses(target): 13                      │ case-1/TargetIP-Addresses.csv (1.31 KB)              │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-logons                  │ Unique logons: 44                                    │ case-1/Logons.csv (2.69 KB)                          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-processes               │ Unique processes: 138                                │ case-1/Processes.csv (27.76 KB)                      │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-services                │ Unique services: 276                                 │ case-1/Services.csv (134.07 KB)                      │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-tasks                   │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users                   │ Unique users: 37                                     │ case-1/TargetUsers.csv (21.12 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/TargetUsers-NoFiltering.csv (28.32 KB)        │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users                   │ Unique users: 37                                     │ case-1/SourceUsers.csv (21.12 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/SourceUsers-NoFiltering.csv (28.32 KB)        │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-logon                │ EID 4624 (Successful Logon): 310, EID 4625 (Failed   │ case-1/LogonTimeline.csv (732.00 KB)                 │
│                               │ Logon): 3,574, EID 4634 (Logoff): 13, EID 4647 (User │                                                      │
│                               │ Initiated Logoff): 27, EID 4648 (Explicit Logon):    │                                                      │
│                               │ 307, EID 4672 (Admin Logon): 103                     │                                                      │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-partition-diagnostic │ Events: 0                                            │ case-1/PartitionDiagnosticTimeline.csv (80 Bytes)    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-suspicious-processes │ Events: 3,535                                        │ case-1/SuspiciousProcesses.csv (2.43 MB)             │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-tasks                │ Events: 8                                            │ case-1/TaskTimeline.csv (3.76 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-summary                   │ TTPs: 178                                            │ case-1/TTP-Summary.csv (106.35 KB)                   │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-visualize                 │ You can import this into ATT&CK Navigator            │ case-1/MitreTTP-Heatmap.json (25.64 KB)              │
└───────────────────────────────┴──────────────────────────────────────────────────────┴──────────────────────────────────────────────────────┘

Elapsed time: 0 hours, 0 minutes, 0 seconds

I confirmed that the integration test also passed.
https://github.com/Yamato-Security/takajo/actions/runs/8314856220/job/22752524316

fukusuket · 2024-03-17T10:56:18Z

I also fixed #141 and confirmed following all command works!

% ./takajo timeline-logon -t timeline--European-time.jsonl -o out.csv
% ./takajo timeline-logon -t timeline--RFC-2822.jsonl -o out.csv
% ./takajo timeline-logon -t timeline--RFC-3339.jsonl -o out.csv
% ./takajo timeline-logon -t timeline--US-military-time.jsonl -o out.csv
% ./takajo timeline-logon -t timeline--US-time.jsonl -o out.csv
% ./takajo timeline-logon -t timeline--UTC.jsonl -o out.csv
% ./takajo timeline-logon -t timeline--ISO-8601.jsonl -o out.csv
% ./takajo automagic -t timeline--ISO-8601.jsonl -o case-xx

fukusuket · 2024-03-17T11:01:39Z

Also, the file size calculation for LogonTimeline.csv does not seem to be working. It says it is 0 Bytes

It seems that depending on the timing, the file system may return 0 bytes even though the file actually exists, so I would like to address this as a separate issue. (It seems that it may or may not be reproduced 0 Bytes. This is the same even when executing the timeline-logon command alone)

YamatoSecurity · 2024-03-17T23:04:03Z

@fukusuket Thanks so much! It's looking much better now. There seem to be some conflicts that need to be resolved.
Also, is it possible to print multiple lines in one cell of the table? It would be easier to read if they were separated by return character ¥p instead of commas.

YamatoSecurity · 2024-03-17T23:05:18Z

case-1/scriptblock-logs//summary.csv has two forward slashes for some reason. can you make it case-1/scriptblock-logs/summary.csv?

YamatoSecurity · 2024-03-17T23:34:11Z

Could you capitalize all letters in the file names and add the word for the command List, Stack, etc.. just to make everything consistant?

scriptblock-logs/summary.csv -> scriptblock-logs/Summary.csv
hashes-MD5-hashes.txt -> ListHashes-MD5.txt (We don't need "hashes" twice)
hashes-SHA1-hashes.txt -> ListHashes-SHA1.txt (Also same convention for SHA256 and Import)
cmdlines.csv -> StackCmdlines.txt
IP-Adresses.txt -> List-IP-Addresses.txt
TargetComputers.csv -> StackTargetComputers.csv
SourceComputers.csv -> StackSourceComputers.csv
SourceIP-Addresses.csv -> StackSourceIP-Addresses.csv (Add Stack to the beginning of TargetIP-Addresses.csv, Logons.csv, Processes.csv, Services.csv Tasks.csv TargetUsers.csv, etc... as well)
LogonTimeline.csv -> TimelineLogon.csv
PartitionDiagnosticTimeline.csv -> TimelinePartitionDiagnostic.csv
SuspiciousProcesses.csv -> TimelineSuspiciousProcesses.csv
? => TimelineTasks.csv

fukusuket · 2024-03-17T23:56:15Z

@YamatoSecurity
Thank you so much for checking :) I updated #139 (comment) file name and resolve conflict!

% ./takajo automagic -t timeline.jsonl -q
Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: timeline.jsonl (41.99 MB)
Counting total lines. Please wait.
Total lines: 32,363

Scanning the Hayabusa timeline. Please wait.

100%|█████████████████████████| 32363/32363 [ 0.7s< 0.0s,  61.88k/sec]

┌───────────────────────────────┬──────────────────────────────────────────────────────┬──────────────────────────────────────────────────────┐
│ Command                       │ Results                                              │ Saved Files                                          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ extract-scriptblocks          │ PowerShell logs: 108                                 │ case-1/scriptblock-logs/*.txt,case-1/scriptblock-log │
│                               │                                                      │ s/Summary.csv (19.76 KB)                             │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains                  │ Domains: 0                                           │ case-1/ListDomains.txt (0 Bytes)                     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains(detailed)        │ Domains: 2                                           │ case-1/ListDomainsDetailed.txt (14 Bytes)            │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-hashes                   │ MD5: 880, SHA1: 821, SHA256: 824, Import: 880        │ case-1/ListHashes-MD5.txt (4.32 KB),                 │
│                               │                                                      │ case-1/ListHashes-SHA1.txt (5.08 KB),                │
│                               │                                                      │ case-1/ListHashes-SHA256.txt (8.19 KB),              │
│                               │                                                      │ case-1/ListHashes-ImportHashes.txt (3.96 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-ip-addresses             │ IP adddresses: 0                                     │ case-1/ListIP-Addresses.txt (0 Bytes)                │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-cmdlines                │ Unique cmdlines: 1,222                               │ case-1/StackCmdlines.csv (411.33 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 53                                 │ case-1/StackTargetComputers.csv (45.18 KB)           │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 3,571                              │ case-1/StackSourceComputers.csv (379.83 KB)          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-dns                     │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(source)    │ Unique ip-addresses(source): 18                      │ case-1/StackSourceIP-Addresses.csv (2.03 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(target)    │ Unique ip-addresses(target): 13                      │ case-1/StackTargetIP-Addresses.csv (1.31 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-logons                  │ Unique logons: 44                                    │ case-1/StackLogons.csv (2.69 KB)                     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-processes               │ Unique processes: 138                                │ case-1/StackProcesses.csv (27.76 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-services                │ Unique services: 276                                 │ case-1/StackServices.csv (134.07 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-tasks                   │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(target)           │ Unique users(target): 37                             │ case-1/StackTargetUsers.csv (21.13 KB)               │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/StackTargetUsers-NoFiltering.csv (28.32 KB)   │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(source)           │ Unique users(source): 37                             │ case-1/StackSourceUsers.csv (21.13 KB)               │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/StackSourceUsers-NoFiltering.csv (28.32 KB)   │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-logon                │ EID 4624 (Successful Logon): 310, EID 4625 (Failed   │ case-1/TimelineLogon.csv (732.00 KB)                 │
│                               │ Logon): 3,574, EID 4634 (Logoff): 13, EID 4647 (User │                                                      │
│                               │ Initiated Logoff): 27, EID 4648 (Explicit Logon):    │                                                      │
│                               │ 307, EID 4672 (Admin Logon): 103                     │                                                      │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-partition-diagnostic │ Events: 0                                            │ case-1/TimelinePartitionDiagnostic.csv (80 Bytes)    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-suspicious-processes │ Events: 3,535                                        │ case-1/TimelineSuspiciousProcesses.csv (2.43 MB)     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-tasks                │ Events: 8                                            │ case-1/TimelineTask.csv (3.76 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-summary                   │ TTPs: 179                                            │ case-1/TTPSummary.csv (106.43 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-visualize                 │ You can import this into ATT&CK Navigator            │ case-1/MitreTTP-Heatmap.json (25.74 KB)              │
└───────────────────────────────┴──────────────────────────────────────────────────────┴──────────────────────────────────────────────────────┘

Elapsed time: 0 hours, 0 minutes, 0 seconds

fukusuket · 2024-03-18T00:01:07Z

Also, is it possible to print multiple lines in one cell of the table?

Unfortunately, Nancy does not seem to support cells with line breaks, so it is difficult to insert line breaks... :(
(When I tried it, the table layout was broken.)

YamatoSecurity · 2024-03-18T00:09:54Z

@fukusuket I see, that is unfortunate. Maybe we can create an issue on the Nancy repository to see if it can be supported some day?

YamatoSecurity · 2024-03-18T01:07:35Z

@fukusuket It looks like the results for the list-hashes command in the Saved Files column is separated by lines. It looks like this is possible by separating by &. Can you check this?

fukusuket · 2024-03-18T03:34:33Z

@YamatoSecurity
This line break is automatically added by Nancy and cannot be controlled by us ...
It seems that the column width is determined according to the cell with the longest character and the screen size, and line breaks are automatically inserted.

fukusuket · 2024-03-18T09:24:02Z

I'll try reading nancy's source code and see if there are any other workarounds...🤔

fukusuket · 2024-03-18T10:38:32Z

Windows11

PowerShell

PS C:\tmp\takajo-2.4.0-win> .\takajo.exe automagic -t .\timeline.jsonl -q
Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: .\timeline.jsonl (42.10 MB)
Counting total lines. Please wait.
Total lines: 32,363

Scanning the Hayabusa timeline. Please wait.

100%|█████████████████████████| 32363/32363 [ 0.9s< 0.0s,  61.86k/sec]

┌───────────────────────────────┬─────────────────────────────────────────────────────────────┬────────────────────────────────────────────────────────────┐
│ Command                       │ Results                                                     │ Saved Files                                                │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ extract-scriptblocks          │ PowerShell logs: 108                                        │ case-1/scriptblock-logs/Summary.csv (19.86 KB)             │
│                               │                                                             │ case-1/scriptblock-logs/*.txt                              │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-domains                  │ Domains: 0                                                  │ case-1/ListDomains.txt (0 Bytes)                           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-domains(detailed)        │ Domains: 2                                                  │ case-1/ListDomainsDetailed.txt (16 Bytes)                  │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-hashes                   │ MD5: 880                                                    │ case-1/ListHashes-MD5.txt (4.45 KB)                        │
│                               │ SHA1: 821                                                   │ case-1/ListHashes-SHA1.txt (5.21 KB)                       │
│                               │ SHA256: 824                                                 │ case-1/ListHashes-SHA256.txt (8.31 KB)                     │
│                               │ Import: 880                                                 │ case-1/ListHashes-ImportHashes.txt (4.08 KB)               │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-ip-addresses             │ IP adddresses: 0                                            │ case-1/ListIP-Addresses.txt (0 Bytes)                      │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-cmdlines                │ Unique cmdlines: 1,222                                      │ case-1/StackCmdlines.csv (412.52 KB)                       │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 53                                        │ case-1/StackTargetComputers.csv (45.23 KB)                 │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 3,571                                     │ case-1/StackSourceComputers.csv (383.32 KB)                │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-dns                     │ n/a                                                         │ n/a                                                        │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-ip-addresses(source)    │ Unique ip-addresses(source): 18                             │ case-1/StackSourceIP-Addresses.csv (2.05 KB)               │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-ip-addresses(target)    │ Unique ip-addresses(target): 13                             │ case-1/StackTargetIP-Addresses.csv (1.33 KB)               │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-logons                  │ Unique logons: 44                                           │ case-1/StackLogons.csv (2.69 KB)                           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-processes               │ Unique processes: 138                                       │ case-1/StackProcesses.csv (27.90 KB)                       │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-services                │ Unique services: 276                                        │ case-1/StackServices.csv (134.34 KB)                       │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-tasks                   │ n/a                                                         │ n/a                                                        │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(target)           │ Unique users(target): 37                                    │ case-1/StackTargetUsers.csv (21.16 KB)                     │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                              │ case-1/StackTargetUsers-NoFiltering.csv (28.37 KB)         │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(source)           │ Unique users(source): 37                                    │ case-1/StackSourceUsers.csv (21.16 KB)                     │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                              │ case-1/StackSourceUsers-NoFiltering.csv (28.37 KB)         │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-logon                │ EID 4624 (Successful Logon): 310                            │ case-1/TimelineLogon.csv (0 Bytes)                         │
│                               │ EID 4625 (Failed Logon): 3,574                              │                                                            │
│                               │ EID 4634 (Logoff): 13                                       │                                                            │
│                               │ EID 4647 (User Initiated Logoff): 27                        │                                                            │
│                               │ EID 4648 (Explicit Logon): 307                              │                                                            │
│                               │ EID 4672 (Admin Logon): 103                                 │                                                            │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-partition-diagnostic │ Events: 0                                                   │ case-1/TimelinePartitionDiagnostic.csv (81 Bytes)          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-suspicious-processes │ Events: 3,535                                               │ case-1/TimelineSuspiciousProcesses.csv (2.43 MB)           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-tasks                │ Events: 8                                                   │ case-1/TimelineTask.csv (3.77 KB)                          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ ttp-summary                   │ TTPs: 179                                                   │ case-1/TTPSummary.csv (107.10 KB)                          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ ttp-visualize                 │ You can import this into ATT&CK Navigator                   │ case-1/MitreTTP-Heatmap.json (25.74 KB)                    │
└───────────────────────────────┴─────────────────────────────────────────────────────────────┴────────────────────────────────────────────────────────────┘

Elapsed time: 0 hours, 0 minutes, 1 seconds

Windows Terminal

C:\tmp\takajo-2.4.0-win>takajo.exe automagic -t timeline.jsonl -q
Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: timeline.jsonl (42.10 MB)
Counting total lines. Please wait.
Total lines: 32,363

Scanning the Hayabusa timeline. Please wait.

100%|█████████████████████████| 32363/32363 [ 0.9s< 0.0s,  60.29k/sec]

┌───────────────────────────────┬─────────────────────────────────────────────────────────────┬────────────────────────────────────────────────────────────┐
│ Command                       │ Results                                                     │ Saved Files                                                │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ extract-scriptblocks          │ PowerShell logs: 108                                        │ case-1/scriptblock-logs/Summary.csv (19.86 KB)             │
│                               │                                                             │ case-1/scriptblock-logs/*.txt                              │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-domains                  │ Domains: 0                                                  │ case-1/ListDomains.txt (0 Bytes)                           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-domains(detailed)        │ Domains: 2                                                  │ case-1/ListDomainsDetailed.txt (16 Bytes)                  │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-hashes                   │ MD5: 880                                                    │ case-1/ListHashes-MD5.txt (4.45 KB)                        │
│                               │ SHA1: 821                                                   │ case-1/ListHashes-SHA1.txt (5.21 KB)                       │
│                               │ SHA256: 824                                                 │ case-1/ListHashes-SHA256.txt (8.31 KB)                     │
│                               │ Import: 880                                                 │ case-1/ListHashes-ImportHashes.txt (4.08 KB)               │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ list-ip-addresses             │ IP adddresses: 0                                            │ case-1/ListIP-Addresses.txt (0 Bytes)                      │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-cmdlines                │ Unique cmdlines: 1,222                                      │ case-1/StackCmdlines.csv (412.52 KB)                       │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 53                                        │ case-1/StackTargetComputers.csv (45.23 KB)                 │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 3,571                                     │ case-1/StackSourceComputers.csv (383.32 KB)                │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-dns                     │ n/a                                                         │ n/a                                                        │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-ip-addresses(source)    │ Unique ip-addresses(source): 18                             │ case-1/StackSourceIP-Addresses.csv (2.05 KB)               │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-ip-addresses(target)    │ Unique ip-addresses(target): 13                             │ case-1/StackTargetIP-Addresses.csv (1.33 KB)               │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-logons                  │ Unique logons: 44                                           │ case-1/StackLogons.csv (2.69 KB)                           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-processes               │ Unique processes: 138                                       │ case-1/StackProcesses.csv (27.90 KB)                       │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-services                │ Unique services: 276                                        │ case-1/StackServices.csv (134.34 KB)                       │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-tasks                   │ n/a                                                         │ n/a                                                        │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(target)           │ Unique users(target): 37                                    │ case-1/StackTargetUsers.csv (21.16 KB)                     │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                              │ case-1/StackTargetUsers-NoFiltering.csv (28.37 KB)         │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(source)           │ Unique users(source): 37                                    │ case-1/StackSourceUsers.csv (21.16 KB)                     │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                              │ case-1/StackSourceUsers-NoFiltering.csv (28.37 KB)         │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-logon                │ EID 4624 (Successful Logon): 310                            │ case-1/TimelineLogon.csv (0 Bytes)                         │
│                               │ EID 4625 (Failed Logon): 3,574                              │                                                            │
│                               │ EID 4634 (Logoff): 13                                       │                                                            │
│                               │ EID 4647 (User Initiated Logoff): 27                        │                                                            │
│                               │ EID 4648 (Explicit Logon): 307                              │                                                            │
│                               │ EID 4672 (Admin Logon): 103                                 │                                                            │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-partition-diagnostic │ Events: 0                                                   │ case-1/TimelinePartitionDiagnostic.csv (81 Bytes)          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-suspicious-processes │ Events: 3,535                                               │ case-1/TimelineSuspiciousProcesses.csv (2.43 MB)           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ timeline-tasks                │ Events: 8                                                   │ case-1/TimelineTask.csv (3.77 KB)                          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ ttp-summary                   │ TTPs: 179                                                   │ case-1/TTPSummary.csv (107.10 KB)                          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────┤
│ ttp-visualize                 │ You can import this into ATT&CK Navigator                   │ case-1/MitreTTP-Heatmap.json (25.74 KB)                    │
└───────────────────────────────┴─────────────────────────────────────────────────────────────┴────────────────────────────────────────────────────────────┘

Elapsed time: 0 hours, 0 minutes, 1 seconds

Command Prompt

C:\tmp\takajo-2.4.0-win>takajo.exe automagic -t timeline.jsonl -q
Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: timeline.jsonl (42.10 MB)
Counting total lines. Please wait.
Total lines: 32,363

Scanning the Hayabusa timeline. Please wait.

100%|█████████████████████████| 32363/32363 [ 1.6s< 0.0s,  60.96k/sec]

┌───────────────────────────────┬─────────────────────────────────────────────────────────────────────────────┬─────────────────────────────────────────────────────────────────────────────┐
│ Command                       │ Results                                                                     │ Saved Files                                                                 │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ extract-scriptblocks          │ PowerShell logs: 108                                                        │ case-1/scriptblock-logs/Summary.csv (19.86 KB)                              │
│                               │                                                                             │ case-1/scriptblock-logs/*.txt                                               │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ list-domains                  │ Domains: 0                                                                  │ case-1/ListDomains.txt (0 Bytes)                                            │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ list-domains(detailed)        │ Domains: 2                                                                  │ case-1/ListDomainsDetailed.txt (16 Bytes)                                   │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ list-hashes                   │ MD5: 880                                                                    │ case-1/ListHashes-MD5.txt (4.45 KB)                                         │
│                               │ SHA1: 821                                                                   │ case-1/ListHashes-SHA1.txt (5.21 KB)                                        │
│                               │ SHA256: 824                                                                 │ case-1/ListHashes-SHA256.txt (8.31 KB)                                      │
│                               │ Import: 880                                                                 │ case-1/ListHashes-ImportHashes.txt (4.08 KB)                                │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ list-ip-addresses             │ IP adddresses: 0                                                            │ case-1/ListIP-Addresses.txt (0 Bytes)                                       │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-cmdlines                │ Unique cmdlines: 1,222                                                      │ case-1/StackCmdlines.csv (412.52 KB)                                        │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 53                                                        │ case-1/StackTargetComputers.csv (45.23 KB)                                  │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 3,571                                                     │ case-1/StackSourceComputers.csv (383.32 KB)                                 │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-dns                     │ n/a                                                                         │ n/a                                                                         │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-ip-addresses(source)    │ Unique ip-addresses(source): 18                                             │ case-1/StackSourceIP-Addresses.csv (2.05 KB)                                │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-ip-addresses(target)    │ Unique ip-addresses(target): 13                                             │ case-1/StackTargetIP-Addresses.csv (1.33 KB)                                │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-logons                  │ Unique logons: 44                                                           │ case-1/StackLogons.csv (2.69 KB)                                            │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-processes               │ Unique processes: 138                                                       │ case-1/StackProcesses.csv (27.90 KB)                                        │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-services                │ Unique services: 276                                                        │ case-1/StackServices.csv (134.34 KB)                                        │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-tasks                   │ n/a                                                                         │ n/a                                                                         │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-users(target)           │ Unique users(target): 37                                                    │ case-1/StackTargetUsers.csv (21.16 KB)                                      │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                                              │ case-1/StackTargetUsers-NoFiltering.csv (28.37 KB)                          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-users(source)           │ Unique users(source): 37                                                    │ case-1/StackSourceUsers.csv (21.16 KB)                                      │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                                              │ case-1/StackSourceUsers-NoFiltering.csv (28.37 KB)                          │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ timeline-logon                │ EID 4624 (Successful Logon): 310                                            │ case-1/TimelineLogon.csv (0 Bytes)                                          │
│                               │ EID 4625 (Failed Logon): 3,574                                              │                                                                             │
│                               │ EID 4634 (Logoff): 13                                                       │                                                                             │
│                               │ EID 4647 (User Initiated Logoff): 27                                        │                                                                             │
│                               │ EID 4648 (Explicit Logon): 307                                              │                                                                             │
│                               │ EID 4672 (Admin Logon): 103                                                 │                                                                             │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ timeline-partition-diagnostic │ Events: 0                                                                   │ case-1/TimelinePartitionDiagnostic.csv (81 Bytes)                           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ timeline-suspicious-processes │ Events: 3,535                                                               │ case-1/TimelineSuspiciousProcesses.csv (2.43 MB)                            │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ timeline-tasks                │ Events: 8                                                                   │ case-1/TimelineTask.csv (3.77 KB)                                           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ ttp-summary                   │ TTPs: 179                                                                   │ case-1/TTPSummary.csv (107.10 KB)                                           │
├───────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────┤
│ ttp-visualize                 │ You can import this into ATT&CK Navigator                                   │ case-1/MitreTTP-Heatmap.json (25.74 KB)                                     │
└───────────────────────────────┴─────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────────────────────┘

Elapsed time: 0 hours, 0 minutes, 2 seconds

fukusuket · 2024-03-18T11:13:30Z

macOS

iTerm

 % ./takajo automagic -t timeline.jsonl -q
Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: timeline.jsonl (41.99 MB)
Counting total lines. Please wait.
Total lines: 32,363

Scanning the Hayabusa timeline. Please wait.

100%|█████████████████████████| 32363/32363 [ 0.7s< 0.0s,  60.78k/sec]

┌───────────────────────────────┬──────────────────────────────────────────────────────┬──────────────────────────────────────────────────────┐
│ Command                       │ Results                                              │ Saved Files                                          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ extract-scriptblocks          │ PowerShell logs: 108                                 │ case-1/scriptblock-logs/Summary.csv (19.76 KB)       │
│                               │                                                      │ case-1/scriptblock-logs/*.txt                        │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains                  │ Domains: 0                                           │ case-1/ListDomains.txt (0 Bytes)                     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains(detailed)        │ Domains: 2                                           │ case-1/ListDomainsDetailed.txt (14 Bytes)            │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-hashes                   │ MD5: 880                                             │ case-1/ListHashes-MD5.txt (4.32 KB)                  │
│                               │ SHA1: 821                                            │ case-1/ListHashes-SHA1.txt (5.08 KB)                 │
│                               │ SHA256: 824                                          │ case-1/ListHashes-SHA256.txt (8.19 KB)               │
│                               │ Import: 880                                          │ case-1/ListHashes-ImportHashes.txt (3.96 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-ip-addresses             │ IP adddresses: 0                                     │ case-1/ListIP-Addresses.txt (0 Bytes)                │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-cmdlines                │ Unique cmdlines: 1,222                               │ case-1/StackCmdlines.csv (411.33 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 53                                 │ case-1/StackTargetComputers.csv (45.18 KB)           │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 3,571                              │ case-1/StackSourceComputers.csv (379.83 KB)          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-dns                     │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(source)    │ Unique ip-addresses(source): 18                      │ case-1/StackSourceIP-Addresses.csv (2.03 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(target)    │ Unique ip-addresses(target): 13                      │ case-1/StackTargetIP-Addresses.csv (1.31 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-logons                  │ Unique logons: 44                                    │ case-1/StackLogons.csv (2.69 KB)                     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-processes               │ Unique processes: 138                                │ case-1/StackProcesses.csv (27.76 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-services                │ Unique services: 276                                 │ case-1/StackServices.csv (134.07 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-tasks                   │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(target)           │ Unique users(target): 37                             │ case-1/StackTargetUsers.csv (21.13 KB)               │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/StackTargetUsers-NoFiltering.csv (28.32 KB)   │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(source)           │ Unique users(source): 37                             │ case-1/StackSourceUsers.csv (21.13 KB)               │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/StackSourceUsers-NoFiltering.csv (28.32 KB)   │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-logon                │ EID 4624 (Successful Logon): 310                     │ case-1/TimelineLogon.csv (732.00 KB)                 │
│                               │ EID 4625 (Failed Logon): 3,574                       │                                                      │
│                               │ EID 4634 (Logoff): 13                                │                                                      │
│                               │ EID 4647 (User Initiated Logoff): 27                 │                                                      │
│                               │ EID 4648 (Explicit Logon): 307                       │                                                      │
│                               │ EID 4672 (Admin Logon): 103                          │                                                      │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-partition-diagnostic │ Events: 0                                            │ case-1/TimelinePartitionDiagnostic.csv (80 Bytes)    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-suspicious-processes │ Events: 3,535                                        │ case-1/TimelineSuspiciousProcesses.csv (2.43 MB)     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-tasks                │ Events: 8                                            │ case-1/TimelineTask.csv (3.76 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-summary                   │ TTPs: 179                                            │ case-1/TTPSummary.csv (106.43 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-visualize                 │ You can import this into ATT&CK Navigator            │ case-1/MitreTTP-Heatmap.json (25.74 KB)              │
└───────────────────────────────┴──────────────────────────────────────────────────────┴──────────────────────────────────────────────────────┘

Elapsed time: 0 hours, 0 minutes, 0 seconds

fukusuket · 2024-03-18T11:18:07Z

Ubuntu20.04

Terminal

fukusuke@ub:~/takajo$ ./takajo automagic -t timeline.jsonl -q
Started the automagic command

Automatically executes as many commands as possible and output results to a new folder.

File: timeline.jsonl (41.99 MB)
Counting total lines. Please wait.
Total lines: 32,363

Scanning the Hayabusa timeline. Please wait.

100%|█████████████████████████| 32363/32363 [ 0.6s< 0.0s,  87.78k/sec]

┌───────────────────────────────┬──────────────────────────────────────────────────────┬──────────────────────────────────────────────────────┐
│ Command                       │ Results                                              │ Saved Files                                          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ extract-scriptblocks          │ PowerShell logs: 108                                 │ case-1/scriptblock-logs/Summary.csv (19.76 KB)       │
│                               │                                                      │ case-1/scriptblock-logs/*.txt                        │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains                  │ Domains: 0                                           │ case-1/ListDomains.txt (0 Bytes)                     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-domains(detailed)        │ Domains: 2                                           │ case-1/ListDomainsDetailed.txt (14 Bytes)            │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-hashes                   │ MD5: 880                                             │ case-1/ListHashes-MD5.txt (4.32 KB)                  │
│                               │ SHA1: 821                                            │ case-1/ListHashes-SHA1.txt (5.08 KB)                 │
│                               │ SHA256: 824                                          │ case-1/ListHashes-SHA256.txt (8.19 KB)               │
│                               │ Import: 880                                          │ case-1/ListHashes-ImportHashes.txt (3.96 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ list-ip-addresses             │ IP adddresses: 0                                     │ case-1/ListIP-Addresses.txt (0 Bytes)                │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-cmdlines                │ Unique cmdlines: 1,222                               │ case-1/StackCmdlines.csv (411.33 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 53                                 │ case-1/StackTargetComputers.csv (45.18 KB)           │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-computers               │ Unique computers: 3,571                              │ case-1/StackSourceComputers.csv (379.83 KB)          │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-dns                     │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(source)    │ Unique ip-addresses(source): 18                      │ case-1/StackSourceIP-Addresses.csv (2.03 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-ip-addresses(target)    │ Unique ip-addresses(target): 13                      │ case-1/StackTargetIP-Addresses.csv (1.31 KB)         │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-logons                  │ Unique logons: 44                                    │ case-1/StackLogons.csv (2.69 KB)                     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-processes               │ Unique processes: 138                                │ case-1/StackProcesses.csv (27.76 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-services                │ Unique services: 276                                 │ case-1/StackServices.csv (134.07 KB)                 │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-tasks                   │ n/a                                                  │ n/a                                                  │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(target)           │ Unique users(target): 37                             │ case-1/StackTargetUsers.csv (21.13 KB)               │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/StackTargetUsers-NoFiltering.csv (28.32 KB)   │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(source)           │ Unique users(source): 37                             │ case-1/StackSourceUsers.csv (21.13 KB)               │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ stack-users(no filtering)     │ Unique users(no filtering): 56                       │ case-1/StackSourceUsers-NoFiltering.csv (28.32 KB)   │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-logon                │ EID 4624 (Successful Logon): 310                     │ case-1/TimelineLogon.csv (732.00 KB)                 │
│                               │ EID 4625 (Failed Logon): 3,574                       │                                                      │
│                               │ EID 4634 (Logoff): 13                                │                                                      │
│                               │ EID 4647 (User Initiated Logoff): 27                 │                                                      │
│                               │ EID 4648 (Explicit Logon): 307                       │                                                      │
│                               │ EID 4672 (Admin Logon): 103                          │                                                      │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-partition-diagnostic │ Events: 0                                            │ case-1/TimelinePartitionDiagnostic.csv (80 Bytes)    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-suspicious-processes │ Events: 3,535                                        │ case-1/TimelineSuspiciousProcesses.csv (2.43 MB)     │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ timeline-tasks                │ Events: 8                                            │ case-1/TimelineTask.csv (3.76 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-summary                   │ TTPs: 179                                            │ case-1/TTPSummary.csv (106.43 KB)                    │
├───────────────────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────────────────────────────┤
│ ttp-visualize                 │ You can import this into ATT&CK Navigator            │ case-1/MitreTTP-Heatmap.json (25.74 KB)              │
└───────────────────────────────┴──────────────────────────────────────────────────────┴──────────────────────────────────────────────────────┘

Elapsed time: 0 hours, 0 minutes, 0 seconds

fukusuket · 2024-03-18T11:26:51Z

@YamatoSecurity
On Nancy's side, the maximum number of characters for cell seems to be 80 characters as follows,

so I tried padding it to 80 characters as a workaround. Could you please confirm?
(I confirmed that it works on Windows/macOS/Ubuntu in this environment, but depending on the display size, this workaround may not work🤔)

YamatoSecurity

@fukusuket Thanks so much for the workaround. LGTM! It would nice to eventually have to display cleanly on powershell but is not such a big issue so I'll create a low priority issue for that.

fukusuket added 4 commits March 16, 2024 07:19

feat: add automagic command

ee7a913

feat: add automagic command

3b8a6c7

test: add case for automagic

0b434e7

fix: add newline

ebf1fd4

fukusuket self-assigned this Mar 15, 2024

fukusuket added the enhancement New feature or request label Mar 15, 2024

fukusuket added this to the v2.5.0 milestone Mar 15, 2024

This comment was marked as resolved.

Sign in to view

feat: add displayTable option

269c267

This comment was marked as resolved.

Sign in to view

chg: displayTable default value false

5a4fd84

fukusuket marked this pull request as ready for review March 16, 2024 07:46

fukusuket requested review from hitenkoku and YamatoSecurity March 16, 2024 07:46

hitenkoku approved these changes Mar 16, 2024

View reviewed changes

fukusuket added 5 commits March 17, 2024 13:54

fix: timestamp parse error

f732e16

chg: output input file size

e65b81c

chg: stack-users file name to userSourceUsers.csv

ff27111

feat: add console summary automagic

9a6da64

feat: add console summary automagic

0df7e87

fukusuket added 2 commits March 17, 2024 20:27

chg: add space

914fe30

chg: add cmd description

10eb694

fukusuket added 2 commits March 17, 2024 21:48

refactor: remove unneeded code

3e4d22c

chg: add source/target description

d92157c

fix: remove slash

a0ec2b9

fukusuket added 6 commits March 18, 2024 08:39

fix: resolve main branch merge conflict

75b22db

chg: output filename

d47e0e3

chg: output filename

dc3222a

chg: output filename

a14cb67

chg: output filename

1679880

chg: output filename

5e67550

chg: add extra spaces console table

8502a7c

This comment was marked as resolved.

Sign in to view

chg: add extra spaces console table

5fff9c8

This comment was marked as resolved.

Sign in to view

chg: add extra spaces for console table layout

f7b34db

YamatoSecurity approved these changes Mar 18, 2024

View reviewed changes

YamatoSecurity merged commit 88a745a into main Mar 18, 2024

fukusuket deleted the 132-automagic branch March 19, 2024 00:10

feat: add automagic command #139

feat: add automagic command #139

Uh oh!

Conversation

fukusuket commented Mar 15, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

What Changed

Test

Environment

Uh oh!

This comment was marked as resolved.

This comment was marked as resolved.

This comment was marked as resolved.

YamatoSecurity commented Mar 16, 2024

Uh oh!

fukusuket commented Mar 16, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

hitenkoku left a comment

Choose a reason for hiding this comment

Uh oh!

YamatoSecurity commented Mar 17, 2024

Uh oh!

fukusuket commented Mar 17, 2024

Uh oh!

fukusuket commented Mar 17, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

hayabusa-sample-evtx

Uh oh!

fukusuket commented Mar 17, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

fukusuket commented Mar 17, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

YamatoSecurity commented Mar 17, 2024

Uh oh!

YamatoSecurity commented Mar 17, 2024

Uh oh!

YamatoSecurity commented Mar 17, 2024

Uh oh!

fukusuket commented Mar 17, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

fukusuket commented Mar 18, 2024

Uh oh!

YamatoSecurity commented Mar 18, 2024

Uh oh!

YamatoSecurity commented Mar 18, 2024

Uh oh!

fukusuket commented Mar 18, 2024

Uh oh!

This comment was marked as resolved.

This comment was marked as resolved.

fukusuket commented Mar 18, 2024

Uh oh!

fukusuket commented Mar 18, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Windows11

PowerShell

Windows Terminal

Command Prompt

Uh oh!

fukusuket commented Mar 18, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

macOS

iTerm

Uh oh!

fukusuket commented Mar 18, 2024

Ubuntu20.04

Terminal

Uh oh!

fukusuket commented Mar 18, 2024

Uh oh!

YamatoSecurity left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

fukusuket commented Mar 15, 2024 •

edited

Loading

fukusuket commented Mar 16, 2024 •

edited

Loading

fukusuket commented Mar 17, 2024 •

edited

Loading

fukusuket commented Mar 17, 2024 •

edited

Loading

fukusuket commented Mar 17, 2024 •

edited

Loading

fukusuket commented Mar 17, 2024 •

edited

Loading

fukusuket commented Mar 18, 2024 •

edited

Loading

fukusuket commented Mar 18, 2024 •

edited

Loading