#zstd

[daveio]

Compression

Zstandard is pretty amazing. It's not going to win any awards for compression ratios (lzip takes that prize ime) but it's FAST.

Really fast.

"Compressing a tar file of Web content from 5Gb to 3.6Gb in 6.9 sec" fast.

Even with a -9 parameter, it only takes 19.06 sec (and compresses to 3.5Gb).

[btrfs-unofficial]

so, btrfs lets you compress your data, right? but what level of compression should you use?

i did some testing to find this out, comparing speed and space savings of different levels of zstd compression

but in short: you should use compress=zstd

more details under the cut

compression

the way i did this was by creating 4 virtual disk images, one with each of the following mount options: compress=zstd, compress-force=zstd, compress=zstd:10, and compress-force=zstd:10. i then copied the same files to each one and checked data saving with compsize

results: the difference in compression between zstd and zstd:10 was negligible. the difference between using compress and compress-force was present, but it only helped with binaries and some videogames

most of the data in your drives is already compressed! and for anything that isnt, btrfs is pretty good at figuring out if it should compress it or not

speed

this was measured with KDiskMark, by testing the speeds of one of my SSD's while mounted with different compression options. these were: compress=no, compress=zstd, compress-force=zstd and compress-force=zstd:10

with my computer at idle:

compression gave better write speeds, but forcing it diminished this due to wasted cpu cycles

compress=zstd gave faster random read speeds

everything else was the same

with my computer under load:

in order to check how compression performs while the cpu is under load, i disabled 6 of my 8 threads and used stress-ng to stress the remaining 2

in this case compression gave worse sequential writes, but not by much

also slightly better sequential reads

random reads were way worse with compression

conclusion

you should use compress=zstd. it performs better with everything, unless writing under heavy loads. if you have a bad cpu then you may consider not using compression

i did not test zlib since zstd is better, and also i relied on KDiskMark results which may not be the most reliable, so take this with a grain of salt

[concerned-aromantic]

i think you are dragging me into just shapes and beats

YESYES YES YES YES YE SYS 7SYBSEYB ZSTD SYTE SYBDYTEVETZS STD TE DTS EYTS EYS YES

[cutecipher]

gonna start calling girls ZSTD when they

[globalresourcesvn]

​💥 Lỗi khi biên dịch Redis extension cho PHP 7.4: thiếu igbinary.h 💥

💥 Lỗi khi biên dịch Redis extension cho PHP 7.4: thiếu igbinary.h 💥 Bạn đang cài redis qua pecl install redis, nhưng bật thêm --enable-redis-igbinary=y, --enable-redis-msgpack=y, --enable-redis-zstd=y, v.v… mà hệ thống thiếu thư viện igbinary nên lỗi như sau: configure: error: Cannot find igbinary.h ✅ Cách Xử Lý Bước Này Chuẩn Cho PHP 7.4 (ea-php74 / cPanel) 🛠 1. Cài Extension igbinary và msgpack…

[renatoferreiradasilva]

Script Dataset Treino Nn

generate_dataset.py

import numpy as np from scipy.sparse import diags from scipy.sparse.linalg import eigsh from scipy.special import hermite from joblib import Parallel, delayed import pandas as pd import os

Configurações

K = 10 M = 50 N = 300 L = 30.0 S = 2000 sigma = 0.05 output_file = "riemann_operator_dataset.parquet"

x = np.linspace(-L, L, N) dx = x[1] - x[0]

def hermite_basis(n, x): Hn = hermite(n) norm = np.sqrt(2n * np.sqrt(np.pi) * np.math.factorial(n)) return Hn(x) * np.exp(-x2/2) / norm

e = np.ones(N) D2 = diags([e, -2e, e], [-1, 0, 1], format='csr') / dx*2

rng = np.random.default_rng(42) c = rng.normal(0, sigma / (1 + np.arange(K)), size=(S, K))

def compute_spectrum(c_row): V = np.sum([c_row[n] * hermite_basis(n, x) for n in range(K)], axis=0) H = -D2 + diags(V, format='csr') vals = eigsh(H, k=M, which='SM', return_eigenvectors=False) return np.sort(vals)

spectra = Parallel(n_jobs=os.cpu_count())( delayed(compute_spectrum)(c_row) for c_row in c )

df = pd.DataFrame(c, columns=[f'c{n}' for n in range(K)]) for j in range(M): df[f'λ{j+1}'] = [spec[j] for spec in spectra]

df.to_parquet(output_file, index=False, compression='zstd') print(f"Dataset salvo em {output_file} | Formato: {df.shape}")

train_model.py

import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset import pandas as pd from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split import numpy as np

df = pd.read_parquet("riemann_operator_dataset.parquet") c_cols = [f'c{n}' for n in range(10)] λ_cols = [f'λ{j+1}' for j in range(50)]

X = df[c_cols].values y = df[λ_cols].values

scaler_X = StandardScaler() scaler_y = StandardScaler() X = scaler_X.fit_transform(X) y = scaler_y.fit_transform(np.log(y))

X_train, X_temp, y_train, y_temp = train_test_split(X, y, test_size=0.2, random_state=42) X_val, X_test, y_val, y_test = train_test_split(X_temp, y_temp, test_size=0.5)

train_dataset = TensorDataset(torch.FloatTensor(X_train), torch.FloatTensor(y_train)) val_dataset = TensorDataset(torch.FloatTensor(X_val), torch.FloatTensor(y_val)) test_dataset = TensorDataset(torch.FloatTensor(X_test), torch.FloatTensor(y_test))

batch_size = 32 train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) val_loader = DataLoader(val_dataset, batch_size=batch_size)

class SpectrumPredictor(nn.Module): def init(self): super().init() self.net = nn.Sequential( nn.Linear(10, 64), nn.Tanh(), nn.Linear(64, 64), nn.Tanh(), nn.Linear(64, 50) )def forward(self, x): return self.net(x)

model = SpectrumPredictor() loss_fn = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=3e-4, weight_decay=1e-5)

num_epochs = 100 for epoch in range(num_epochs): model.train() for X_batch, y_batch in train_loader: optimizer.zero_grad() y_pred = model(X_batch) loss = loss_fn(y_pred, y_batch) loss.backward() optimizer.step()model.eval() with torch.no_grad(): val_loss = 0.0 for X_val, y_val in val_loader: y_pred = model(X_val) val_loss += loss_fn(y_pred, y_val).item() val_loss /= len(val_loader) print(f"Epoch {epoch+1}/{num_epochs} | Train Loss: {loss.item():.4f} | Val Loss: {val_loss:.4f}")

model.eval() with torch.no_grad(): y_test_pred = model(torch.FloatTensor(X_test)) test_loss = loss_fn(y_test_pred, torch.FloatTensor(y_test)).item() print(f"\nTest Loss (MSE): {test_loss:.4f}")

[myetv]

Data compression is a critical component in modern computing — from reducing storage usage to accelerating data transfers. While algorithm...

[sodomyordeath]

Chimera-Linux with btrfs

Chimera Linux is a rather new from the ground up Linux Distribution built with LLVM, MUSL, BSDUtils and dinitit comes with GNOME and KDE Plasma. It, however doesn't come with a installer so here's how to install the KDE flavour with btrfs root and home directories plus a swap partition for use in Linux KVM with UEFI.

Step 1. Get a Chimera live image from https://repo.chimera-linux.org/live/latest/

I use the chimera-linux-x86_64-LIVE-XXXXXXXX-plasma.iso image with KDE Plasma 6 and the following steps assume you do the same.

Step 2. Boot the live image

Step 3. Prepare the target disk with KDE Partition Manager

/dev/vda /dev/vda1, vfat, EFI System, 500 MB /dev/vda2, btrfs, Root FS, subvols @ & @home , rest of the disk /dev/vda3, swap, SWAP FS, 2x RAM Size

Step 4. Open Konsole and do the following

doas -s mkdir -p /media/root mount -t btrfs /dev/vda2 /media/root chmod 755 /media/root btrfs subvolume create /media/root/@ btrfs subvolume create /media/root/@home btrfs subvolume set-default /media/root/@ umount /media/root mount -t btrfs -o compress=zstd:5,ssd,noatime,subvol=/@ /dev/vda2 /media/root mkdir -p /media/root/home mount -t btrfs -o compress=zstd:5,ssd,noatime,subvol=/@home /dev/vda2 /media/root/home mkdir -p /media/root/boot/efi mount -t vfat /dev/sda1 /media/root/boot/efi

let's bootstrap our new chimera system

chimera-bootstrap -l /media/root exit

time to chroot into our vergin system

doas chimera-chroot /media/root

time to bring everything up to date

apk update apk upgrade --available

if something is iffy

apk fix

we want our swap to show up in the fstab

swapon /dev/vda3

Let's build a fstab

genfstab / >> /etc/fstab

install the latest LTS Kernel

apk add linux-lts

install the latest released kernel

apk add linux-stable update-initramfs -c -k all

time for EFI GRUB

apk add grub-x86_64-efi grub-install -v --efi-directory=/boot/efi update-grub

install KDE, Firefox, Thunderbird

apk add plasma-desktop flatpak smartmontools ufw firefox thunderbird qemu-guest-agent-dinit spice-vdagent-dinit

Set root password

passwd root

create main user

useradd myuser passwd myuser

add user to relevant groups

usermod -a -G wheel,kvm,plugdev myuser

Set hostname

echo chimera > /etc/hostname

set timezone

ln -sf /usr/share/zoneinfo/Europe/Berlin /etc/localtime

Configure some services

syslog-ng

dinitctl enable -o syslog-ng

sshd

dinitctl enable -o sshd

KDE Login Manager

dinitctl enable -o sddm

only needed when in KVM VM

dinitctl enable -o spice-vdagentd dinitctl enable -o qemu-ag

network time client

dinitctl enable -o chrony

network manager defaults to dhcp client on first ethernet interface

dinitctl enable -o networkmanager

optional: enable firewall if installed

dinitctl enable -o ufw

see the firewall status

ufw status

configure flatpak

flatpak remote-add --if-not-exists flathub https://dl.flathub.org/repo/flathub.flatpakrepo

just to be sure

update-initramfs -c -k all update-grub

exit from chroot

exit

umount drive

doas umount /media/root/boot/efi doas umount /media/root/home doas umount /media/root

Step 5. Reboot the System

[ranidspace]

list of nintendo's own file formats used in splatoon:

.bwav (audio)

.bars (packs of bwavs)

.bfres (models)

.bntx (textures)

.bflyt (UI)

.ptcl (particles)

.byaml (config files, idk its a yaml file but it can also contain files inside of it too? idk)

.bfsha (shaders)

theres definitely more but extremely rarely do they use already made file types.

some of the fonts in splatoon are otf, and the compression algorithm they use is zstd (both of which they ALSO have their own file formats for but dont use them all the time)

these jpegs from the splatcast

(they're actually bntx/brti textures which is a proprietary nintendo format, however they're very similar to .dds textures)

[hackernewsrobot]

Linux EFI Zboot Abandoning "Compression Library Museum", Focusing on Gzip, ZSTD

https://www.phoronix.com/news/Linux-EFI-Zboot-Gzip-Zstd

[gezginajans]

TZST Dosyası Nedir ve Mac’te Nasıl Açılır?

TZST dosyası, genellikle büyük dosyaları sıkıştırırken kullanılan bir arşiv formatıdır. Bu format, Zstandard (zstd) sıkıştırma algoritması kullanarak dosyaları yüksek sıkıştırma oranlarıyla ve hızla sıkıştırmak için tasarlanmıştır. Özellikle büyük veri setlerini, yedekleri veya ağ üzerinden hızlı veri transferi gerektiren uygulamalarda tercih edilir.

TZST formatı, özellikle yazılım geliştiriciler, veri analistleri ve sistem yöneticileri tarafından tercih edilir. Bu dosya formatı, veri kaybı olmaksızın dosya boyutlarını önemli ölçüde azaltabilir, böylece depolama alanından tasarruf sağlar ve veri transfer süreçlerini hızlandırır.

Plesk, Linux sunucularında web siteleri, veritabanları ve diğer önemli veriler için yedekleme işlemlerini kolaylaştırır. Yedekleme işlemlerinde dosya boyutunu azaltmak ve depolama verimliliğini artırmak için sıkıştırma formatları kullanılır. TZST formatı, yüksek sıkıştırma oranları sağlaması ve hızlı sıkıştırma/dekompresyon süreçleri nedeniyle ideal bir seçenektir.

Mac İşletim Sisteminde TZST Dosyası Açma

Mac işletim sistemi kullanıcıları, TZST dosyalarını açmak için bazı özel uygulamalara ihtiyaç duyarlar. Mac'in yerleşik araçları bu dosya türünü doğrudan desteklemez, bu yüzden üçüncü taraf uygulamalara yönelmek gerekir.

Gerekli Programlar ve Uygulamalar

Mac için popüler TZST dosya açıcı programlar arasında "The Unarchiver" ve "Keka" gibi uygulamalar bulunmaktadır. Bu uygulamalar, TZST formatındaki dosyaları açmanın yanı sıra, birçok farklı sıkıştırılmış dosya formatını da destekler.

The Unarchiver ile TZST Dosyası Açma

"The Unarchiver" uygulamasını kullanmak için:

Mac App Store’dan "The Unarchiver" uygulamasını indirip kurun.

Uygulamayı açın ve "Preferences" menüsünden TZST dosyalarını açacak şekilde ayarlayın.

TZST dosyasına sağ tıklayıp "Open With" seçeneğinden "The Unarchiver"ı seçerek dosyayı açabilirsiniz. Veya TZST dosyasını bulun ve üzerine çift tıklayın.

Eğer dosya ilişkilendirme ayarları doğru yapılmışsa, dosya otomatik olarak ilgili uygulamada açılacaktır.

Dosyanın içeriğini görüntülemek veya çıkarmak için uygulamanın arayüzündeki talimatları takip edin.

Keka ile TZST Dosyası Açma

Keka, Mac için güçlü ve çok yönlü bir arşiv yöneticisidir. TZST dosyalarını açmak için Keka’yı kullanmak istiyorsanız, ilk adım uygulamayı kurmaktır:

Keka'nın resmi web sitesine gidin (keka.io) veya Mac App Store'dan Keka uygulamasını arayın ve indirin.

İndirilen dosyayı açın ve Keka uygulamasını Uygulamalar klasörünüze sürükleyerek kurulumu tamamlayın.

Keka uygulamasını Uygulamalar klasöründen bulup açın.

Finder'da, açmak istediğiniz TZST dosyasını bulun.

Dosyayı doğrudan Keka ikonunun üzerine sürükleyin. Alternatif olarak, sağ tıklayıp ‘Open With’ seçeneğinden ‘Keka’ uygulamasını seçebilirsiniz.

Keka otomatik olarak dosyayı açacak ve sıkıştırılmış içeriği çıkaracaktır. Çıkarma işlemi sırasında, dosyaların nereye kaydedileceğini ve diğer tercihlerinizi ayarlayabilirsiniz.

Çıkarma işlemi tamamlandığında, Keka sizi bilgilendirecek ve çıkarılan dosyalara erişebileceğiniz bir pencere açılacaktır.

[techvandaag]

7-Zip 24.06

Versie 24.06 van 7-Zip is uitgebracht, een stabiele uitgave. Dit opensource-archiveringsprogramma kan overweg met een groot aantal compressieformaten, waaronder zip, cab, rar, arj, lzh, chm, gzip, bzip2, z, tar, cpio, rpm, deb en uiteraard het zelfontwikkelde 7z. Verder is de software in staat om iso-bestanden en nsis-installatiepakketten te openen. In deze uitgave is het probleem verholpen dat sommige zstd-archieven niet konden worden uitgepakt: What's new in 7-Zip 24.06: http://dlvr.it/T7Sb0S

[kenwu0310]

Firefox Release 126.0 , For Linux, Windows, & macOS

版本號：126.0 官方下載： https://www.mozilla.org/zh-TW/firefox/all 更新項目： 新增 The Copy Without Site Tracking option can now remove parameters from nested URLs. It also includes expanded support for blocking over 300 tracking parameters from copied links, including those from major shopping websites. Keep those trackers away when sharing links! Firefox now supports Content-encoding: zstd (zstandard…