← Back to the catalog
Publicraw reproduciblemetadata-only

Scarab first batch reflectance spectra

dryad · NIR

Scarab first batch reflectance spectra. v2.0 standardized NIRS package: 1 spectral source(s), 0 declared target(s). Auto-generated from dataset_card.json (verify before publication).

nirv2dryad
236
samples
901
wavelengths
1
sources
0
targets
5
metadata
NIR
family

Dataset property explorer

Mean profile risk0.55
Highest axisArtefacts locaux · 1.00
Diagnostics8
Sources profiled1
Scarab first batch reflectance spectra property profile0.250.50.751integritynoiseartefactsbaselinePCA outliersreferencerepeatabilitystructureScarab first batch reflectance spectra profileintegrity: 0.00noise: 0.00artefacts: 1.00baseline: 0.84PCA outliers: 0.67reference: 1.00repeatability: 0.00structure: 0.92Scarab first ba…0 center · 1 outer ring · outward = stronger anomaly / heterogeneity signal

Profile axes

Intégrité0.00
Artefacts locaux1.00
Bruit0.00
Outliers PCA0.67
Distance à la référence1.00
Répétabilité0.00
Baseline / forme0.84
Structure multi-régimes0.92
Diagnostic hypotheses00.250.50.751hypothesis scoreSplice / raccord détecteursSplice / raccord détecteurs: 0.830.83Erreur calibration / référenc…Erreur calibration / référence blanche: 0.690.69Fond différentFond différent: 0.630.63Signature VERA25-likeSignature VERA25-like: 0.630.63Erreur interpolation / réécha…Erreur interpolation / rééchantillonnage: 0.620.62Spectre hors domaine valideSpectre hors domaine valide: 0.600.60Différence de sonde / géométr…Différence de sonde / géométrie: 0.570.57Dataset multi-régimesDataset multi-régimes: 0.560.56
DiagnosticScoreForceSignauxInterprétation probable
Splice / raccord détecteursX0.83forteSpike rate 1.00, Jump rate 1.00, RMS/SAM référence 1.00Rupture aux jonctions de détecteurs, calibration locale ou sonde différente.
Erreur calibration / référence blancheX0.69moyenneRMS/SAM référence 1.00, artefacts locaux 1.00, Baseline/mean/area 0.84Décalage systématique entre campagnes, instruments ou référence blanche.
Fond différentX0.63moyenneRMS/SAM référence 1.00, Baseline/mean/area 0.84, Mahalanobis / T2 0.67Effet systématique du support, blanc/noir, transflectance ou environnement de mesure.
Signature VERA25-likeX0.63moyenneSpike rate 1.00, Jump rate 1.00, RMS/SAM référence 1.00Combinaison possible changement de sonde + splice, amplifiée par géométrie, fond ou calibration.
Erreur interpolation / rééchantillonnageX0.62moyenneSpike rate 1.00, Jump rate 1.00, SNR normal/élevé 1.00Artefacts numériques ou traitement spectral incorrect.
Spectre hors domaine valideX0.60moyenneRMS/SAM référence 1.00, Structure PCA 0.92, Mahalanobis / T2 0.67Variété, espèce, lot ou condition différente mais physiquement plausible.
Différence de sonde / géométrieX0.57moyenneRMS/SAM référence 1.00, Baseline/mean/area 0.84, Mahalanobis / T2 0.67Modification de l'illumination, collecte, angle ou distance sonde-échantillon.
Dataset multi-régimesX0.56moyenneRMS/SAM référence 1.00, Structure PCA 0.92, Mahalanobis / T2 0.67Mélange de campagnes, opérateurs, lots, setups ou sous-populations spectrales.

Spectral sources

X

X · NIR
X spectra-2002040608005001,0001,5002,0002,500q05-q95 envelopeq25-q75 envelopemedian spectrummedianq25–q75q05–q95wavelength / nm300nm — median 33.36 (q25–q75 22.23–39.94)312nm — median 30.61 (q25–q75 19.7–35.99)326nm — median 24.14 (q25–q75 14.38–27.82)338nm — median 15.74 (q25–q75 10.99–18.67)352nm — median 8.19 (q25–q75 6.207–10.13)364nm — median 4.771 (q25–q75 3.279–6.359)378nm — median 2.603 (q25–q75 1.902–3.788)390nm — median 1.691 (q25–q75 1.18–2.913)404nm — median 1.223 (q25–q75 0.8268–2.558)416nm — median 1.196 (q25–q75 0.6657–2.653)430nm — median 1.376 (q25–q75 0.6073–3.145)442nm — median 1.851 (q25–q75 0.6573–4.426)456nm — median 2.676 (q25–q75 0.9192–6.143)468nm — median 3.283 (q25–q75 1.198–7.048)482nm — median 4.193 (q25–q75 1.832–8.385)494nm — median 5.498 (q25–q75 2.474–9.497)508nm — median 7.321 (q25–q75 3.821–11.76)520nm — median 9.905 (q25–q75 5.416–14.23)534nm — median 12.6 (q25–q75 6.737–17.22)546nm — median 14.02 (q25–q75 7.919–19.6)558nm — median 14.58 (q25–q75 8.792–21.9)572nm — median 15.67 (q25–q75 9.124–22.31)584nm — median 16.32 (q25–q75 9.998–22.66)598nm — median 16.7 (q25–q75 10.89–24.44)610nm — median 18.17 (q25–q75 11.78–26.22)624nm — median 20.63 (q25–q75 12.92–28.5)636nm — median 21.59 (q25–q75 13.25–29)650nm — median 23.05 (q25–q75 14.35–29.7)662nm — median 24.02 (q25–q75 15.39–30.81)676nm — median 25.54 (q25–q75 17.56–32.84)688nm — median 27.93 (q25–q75 19.56–34.76)702nm — median 29.37 (q25–q75 21.2–37.75)714nm — median 30.52 (q25–q75 22.9–39.84)728nm — median 31.95 (q25–q75 24.54–41.45)740nm — median 33.42 (q25–q75 25.83–42.84)754nm — median 34.72 (q25–q75 27.32–44.01)766nm — median 35.95 (q25–q75 28.37–45.37)780nm — median 37.15 (q25–q75 29.64–46.98)792nm — median 38.24 (q25–q75 30.46–47.6)806nm — median 39.25 (q25–q75 31.52–48.17)818nm — median 39.93 (q25–q75 32.59–48.92)830nm — median 40.72 (q25–q75 33.55–49.52)844nm — median 41.48 (q25–q75 34.4–50.11)856nm — median 42.16 (q25–q75 35.12–50.5)870nm — median 42.77 (q25–q75 35.74–50.81)882nm — median 43.03 (q25–q75 36.07–51.06)896nm — median 43.55 (q25–q75 36.62–51.35)908nm — median 43.81 (q25–q75 37–51.58)922nm — median 44.24 (q25–q75 37.38–51.88)934nm — median 44.59 (q25–q75 37.93–51.87)948nm — median 45.15 (q25–q75 38.35–52.09)960nm — median 45.48 (q25–q75 38.7–52.18)974nm — median 45.77 (q25–q75 39.1–52.47)986nm — median 46.03 (q25–q75 39.81–52.82)1,000nm — median 46.4 (q25–q75 40.07–53.11)1,012nm — median 46.46 (q25–q75 40.55–53.22)1,026nm — median 46.5 (q25–q75 40.6–53.26)1,038nm — median 46.56 (q25–q75 40.65–53.46)1,052nm — median 46.74 (q25–q75 40.72–53.51)1,064nm — median 46.88 (q25–q75 40.86–53.52)1,076nm — median 46.96 (q25–q75 40.95–53.55)1,090nm — median 47.02 (q25–q75 41.2–53.63)1,102nm — median 47.25 (q25–q75 41.21–53.69)1,116nm — median 47.25 (q25–q75 41.24–53.71)1,128nm — median 46.98 (q25–q75 41.28–53.65)1,142nm — median 46.86 (q25–q75 41.28–53.49)1,154nm — median 46.69 (q25–q75 41.26–53.19)1,168nm — median 46.44 (q25–q75 41.11–52.66)1,180nm — median 46.21 (q25–q75 41.07–52.33)1,194nm — median 46.15 (q25–q75 41.07–52.32)1,206nm — median 46.2 (q25–q75 41.22–52.45)1,220nm — median 46.39 (q25–q75 41.51–52.68)1,232nm — median 46.58 (q25–q75 41.62–52.88)1,246nm — median 46.74 (q25–q75 41.73–53.03)1,258nm — median 46.75 (q25–q75 41.72–52.99)1,272nm — median 46.69 (q25–q75 41.56–52.84)1,284nm — median 46.71 (q25–q75 41.5–52.78)1,298nm — median 46.65 (q25–q75 41.37–52.65)1,310nm — median 46.49 (q25–q75 41.2–52.44)1,324nm — median 46.22 (q25–q75 41.05–52.19)1,336nm — median 45.78 (q25–q75 40.75–51.81)1,348nm — median 45.22 (q25–q75 40.28–51.26)1,362nm — median 44.56 (q25–q75 39.95–50.64)1,374nm — median 44.05 (q25–q75 39.56–50.18)1,388nm — median 43.11 (q25–q75 38.72–49.07)1,400nm — median 42.22 (q25–q75 37.63–47.69)1,414nm — median 40.76 (q25–q75 36.18–45.9)1,426nm — median 39.7 (q25–q75 35.29–44.84)1,440nm — median 38.87 (q25–q75 34.72–44.13)1,452nm — median 38.37 (q25–q75 34.25–43.75)1,466nm — median 37.94 (q25–q75 33.94–43.17)1,478nm — median 37.47 (q25–q75 33.39–42.62)1,492nm — median 37.13 (q25–q75 32.98–42.27)1,504nm — median 37.15 (q25–q75 33.06–42.27)1,518nm — median 37.54 (q25–q75 33.33–42.49)1,530nm — median 37.74 (q25–q75 33.67–42.67)1,544nm — median 38.05 (q25–q75 34.11–43.06)1,556nm — median 38.34 (q25–q75 34.51–43.32)1,570nm — median 38.49 (q25–q75 34.58–43.19)1,582nm — median 38.56 (q25–q75 34.6–43.21)1,594nm — median 38.76 (q25–q75 34.79–43.43)1,608nm — median 39.06 (q25–q75 35.03–43.79)1,620nm — median 39.24 (q25–q75 35.14–44.06)1,634nm — median 39.32 (q25–q75 35.23–44.16)1,646nm — median 39.25 (q25–q75 35.2–43.98)1,660nm — median 38.71 (q25–q75 34.64–43.04)1,672nm — median 37.67 (q25–q75 33.54–42.01)1,686nm — median 36.47 (q25–q75 32.6–41.12)1,698nm — median 36.24 (q25–q75 32.22–40.9)1,712nm — median 35.66 (q25–q75 31.66–40.35)1,724nm — median 35.14 (q25–q75 31.09–39.78)1,738nm — median 35.35 (q25–q75 31.33–39.98)1,750nm — median 35.87 (q25–q75 31.81–40.36)1,764nm — median 36.2 (q25–q75 32.18–40.73)1,776nm — median 36.46 (q25–q75 32.52–41.09)1,790nm — median 36.71 (q25–q75 32.7–41.29)1,802nm — median 36.82 (q25–q75 32.79–41.4)1,816nm — median 36.93 (q25–q75 32.89–41.58)1,828nm — median 37.07 (q25–q75 33–41.63)1,842nm — median 37.31 (q25–q75 33.2–41.81)1,854nm — median 37.38 (q25–q75 33.21–41.84)1,866nm — median 37.09 (q25–q75 32.91–41.42)1,880nm — median 35.93 (q25–q75 31.7–40.42)1,892nm — median 33.5 (q25–q75 28.96–37.63)1,906nm — median 29.4 (q25–q75 25.59–33.87)1,918nm — median 27.14 (q25–q75 23.54–31.83)1,932nm — median 26.13 (q25–q75 22.72–30.99)1,944nm — median 26.21 (q25–q75 22.93–31.16)1,958nm — median 26.74 (q25–q75 23.49–31.79)1,970nm — median 27.3 (q25–q75 23.98–32.35)1,984nm — median 27.85 (q25–q75 24.61–33)1,996nm — median 28.24 (q25–q75 25.03–33.37)2,010nm — median 28.29 (q25–q75 25.04–33.39)2,022nm — median 27.72 (q25–q75 24.36–32.61)2,036nm — median 26.43 (q25–q75 23.08–31.19)2,048nm — median 25.15 (q25–q75 21.92–29.99)2,062nm — median 24.81 (q25–q75 21.56–29.65)2,074nm — median 25.37 (q25–q75 22.16–30.28)2,088nm — median 25.96 (q25–q75 22.67–30.96)2,100nm — median 26 (q25–q75 22.76–31.08)

Sampling

Wavelengths901
Axis range300–2,100 nm
Mean spacing2 nm
Griduniform
Observations236

Signal & quality

Value range-1.74 – 95.4
Mean range2.72 – 48.8
Mean level34.47
Area6.206e+04
PTP46.04
Noise RMS0.0067848
SNR5.1e+03
SNR dB7e+01 dB
Dynamic range46
Smoothness0.1136
Saturated0.0%
X-outliers113

Integrity & artefacts

NaN ratio0.00%
Inf count0
Zero ratio0.00%
Spike count11,729
Spike rate5.53%
Jump count5,650
Jump rate2.66%
Clip fraction0.00%

Shape & reference

Baseline slope19.279
Curvature RMS0.11224
D1 RMS0.27551
RMS to mean6.8495
RMS p9518.668
SAM to mean0.10318
SAM p950.28547
Affine offset p9512.135
Affine gain p95 Δ0.50413
Affine residual p958.7275
Xcorr lag p9515

Outliers & repeatability

PCA Q p95/median3.7
Hotelling T2 p95/median5.4
Mahalanobis H p95/median2.3
Repeat groups0

Dimensionality (PCA)

Effective rank2.5
PCs → 95% var4
PCs → 99% var8
Top-10 cum. var99.4%
Computed metric scores 29worst 1.00
FamilleMétrique calculéeValeurScoreNiveauInterprétation datasetCauses typiquesCalcul / scoring
Intégrité des donnéesNaN ratiointegrity.nan_ratio0%0.00faibleSpectre completErreur acquisition/exportcount(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05)
Intégrité des donnéesInf countintegrity.inf_count00.00faibleNormalCalculs invalidescount(isinf(X))alert = min(1, inf_count / 1)
Intégrité des donnéesZero ratiointegrity.zero_ratio0%0.00faibleNormalExport, saturationcount(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05)
Amplitude globaleMean reflectanceamplitude.mean_reflectance34.4720.84fortValeur atypique: Trop clair / fond visible ou Trop sombreFond, géométriemean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent
Amplitude globaleArea under curveamplitude.area_under_curve620590.84fortValeur atypique: Différence d'éclairement ou NormalDistance sondetrapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units
Amplitude globalePeak-to-peak (PTP)amplitude.peak_to_peak46.0440.00faibleVariabilité forteSaturationmax(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat
Amplitude globaleVarianceamplitude.variance271.970.00faibleNormal ou hétérogèneMauvais contactvar(X finite)alert increases when variance/dynamic range is abnormally flat
BruitNoise RMSnoise.noise_rms0.00678480.00faibleStableLampe, détecteurmedian MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5%
BruitSNRnoise.snr5081.10.00faibleBon signalAcquisitionmean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert
BruitBandwise SNRnoise.bandwise_snr_min48.1520.04faibleZone fiableDétecteurmin(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert
Artefacts locauxSpike countartefacts.spike_count11,7291.00fortArtefactsCosmic rays, splicecount robust outliers in second derivativealert follows spike_rate, saturated at 1%
Artefacts locauxSpike rateartefacts.spike_rate5.53%1.00fortSpectre suspectInterpolationspike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01)
Artefacts locauxJump countartefacts.jump_count5,6501.00fortRaccord détecteurSplicecount robust outliers in first derivativealert follows jump_rate, saturated at 1%
Artefacts locauxJump rateartefacts.jump_rate2.66%1.00fortProblème spectralCalibrationjump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01)
Artefacts locauxClip fractionartefacts.clip_fraction0.00141%0.00faibleNormalDétecteur saturéfraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01)
Forme spectraleBaseline slopeshape.baseline_slope19.2790.84fortDériveÉclairementlinear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5
Forme spectraleCurvature RMSshape.curvature_rms0.112240.24faibleLisseFond, splicemedian RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1%
Forme spectraleD1 RMSshape.d1_rms0.275510.12faiblePlatBiologie ou artefactmedian RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5%
Outliers multivariésPCA Q (SPE)outliers.pca_q_ratio3.67830.46moyenSpectre atypiqueArtefact, mélangep95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8)
Outliers multivariésHotelling T²outliers.hotelling_t2_ratio5.36950.67moyenExtrême mais cohérentVariabilité naturellep95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8)
Outliers multivariésMahalanobis Houtliers.mahalanobis_h_ratio2.31730.58moyenOutlier globalDomaine différentp95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4)
Comparaison à référenceRMS to mean spectrumreference.rms_to_mean_spectrum_p9518.6681.00fortSpectre différentDomain shiftp95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25%
Comparaison à référenceSpectral Angle Mapper (SAM)reference.sam_to_mean_spectrum_p950.285470.82fortForme différenteFond, géométriep95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad)
RépétabilitéRMS intra-IDrepeatability.rms_intra_id—0.00faibleStablePositionnementmedian RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10%
RépétabilitéSAM intra-IDrepeatability.sam_intra_id—0.00faibleStableAcquisitionmedian SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad)
RépétabilitéCV intra-IDrepeatability.cv_intra_id—0.00faibleStableOpérateurmedian within-ID band CValert = min(1, CV_intra_ID / 0.25)
Structure du datasetPCA score densitystructure.pca_score_density0.0141460.92fortSous-populationsLots différents1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone
Structure du datasetLocal Outlier Factor (LOF)structure.local_outlier_factor_p952.75610.88fortSpectre isoléCas raresp95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2)
Structure du datasetIsolation Forest scorestructure.isolation_forest_score_p950.568840.92fortSpectre atypiqueDiverses causesp95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent
X PCA score plot-1,500-1,000-50005001,000-600-400-2000200400PC1 -807.1 · PC2 163.6PC1 -573.4 · PC2 -61.99PC1 -763.8 · PC2 95.95PC1 378.8 · PC2 -60.98PC1 134.9 · PC2 66.42PC1 -1003 · PC2 133.8PC1 -670.8 · PC2 9.921PC1 -534.1 · PC2 124PC1 -627.2 · PC2 -2.655PC1 -15.07 · PC2 27.94PC1 57.41 · PC2 -85.2PC1 -142.5 · PC2 -183.8PC1 -91.77 · PC2 -78.06PC1 162.4 · PC2 -192.1PC1 -54.31 · PC2 -264.2PC1 12.03 · PC2 -257.3PC1 -48.66 · PC2 -237PC1 -287.6 · PC2 -120.4PC1 168.5 · PC2 -2.596PC1 62.68 · PC2 46.16PC1 19.52 · PC2 -15.07PC1 286.1 · PC2 -0.4053PC1 10.52 · PC2 30.47PC1 -84.02 · PC2 40.96PC1 -240.6 · PC2 50.91PC1 -108.2 · PC2 70.92PC1 -17.67 · PC2 49.67PC1 -68.88 · PC2 173.1PC1 -165.3 · PC2 172.2PC1 151.8 · PC2 14.24PC1 248.2 · PC2 89.5PC1 55.2 · PC2 104.4PC1 -136.2 · PC2 78.97PC1 -214.2 · PC2 146PC1 327.7 · PC2 14.49PC1 336.6 · PC2 38.27PC1 21.6 · PC2 121.1PC1 11.93 · PC2 114.7PC1 26.74 · PC2 198.1PC1 -454.7 · PC2 73.41PC1 -124.9 · PC2 58.14PC1 18.38 · PC2 132.2PC1 328.1 · PC2 -47.15PC1 242.4 · PC2 66.17PC1 -68.74 · PC2 307.6PC1 208.7 · PC2 81PC1 -82.61 · PC2 207.8PC1 -2.127 · PC2 152.6PC1 181.4 · PC2 198.7PC1 -303.5 · PC2 186.2PC1 259.4 · PC2 93.43PC1 346.3 · PC2 -14.32PC1 209.3 · PC2 174.6PC1 345.3 · PC2 132.8PC1 291.5 · PC2 126.1PC1 185.6 · PC2 208.5PC1 356.7 · PC2 62.03PC1 299.9 · PC2 34.49PC1 291.9 · PC2 161.5PC1 289.8 · PC2 141.7PC1 337 · PC2 101.8PC1 197.7 · PC2 7.376PC1 -104.3 · PC2 43.71PC1 150.1 · PC2 -8.457PC1 368.7 · PC2 195.3PC1 525.4 · PC2 96.32PC1 421 · PC2 145.2PC1 374.8 · PC2 171.7PC1 457.3 · PC2 161.4PC1 293.6 · PC2 233.8PC1 334.7 · PC2 140.9PC1 233.4 · PC2 -105.5PC1 27.89 · PC2 -90.41PC1 307.9 · PC2 62.97PC1 106.4 · PC2 12.95PC1 -216.1 · PC2 -13.63PC1 167.2 · PC2 -58PC1 239.4 · PC2 6.254PC1 -164.7 · PC2 -119.7PC1 -48.52 · PC2 -146.5PC1 -84.15 · PC2 -97.62PC1 -124.3 · PC2 -56.09PC1 31.05 · PC2 -46.78PC1 235.3 · PC2 -17.92PC1 154 · PC2 84.2PC1 195.1 · PC2 60.53PC1 -316.2 · PC2 -108.5PC1 -321.7 · PC2 -87.91PC1 253.4 · PC2 -97.2PC1 -548.9 · PC2 -4.502PC1 -475.7 · PC2 -96.86PC1 -382 · PC2 -99.93PC1 -156.3 · PC2 -89.53PC1 -60.53 · PC2 -86.74PC1 25.03 · PC2 -90.9PC1 26.35 · PC2 -82.35PC1 275.7 · PC2 -20.04PC1 -122 · PC2 -0.5201PC1 143.1 · PC2 16.35PC1 69.44 · PC2 8.224PC1 308.5 · PC2 -27.19PC1 167.6 · PC2 77.8PC1 -217.5 · PC2 98.95PC1 133.2 · PC2 55.11PC1 -87.11 · PC2 80.95PC1 214 · PC2 19.97PC1 95.04 · PC2 78.01PC1 23.24 · PC2 67.5PC1 139.1 · PC2 13.96PC1 -89.03 · PC2 -1.901PC1 138.3 · PC2 -22.86PC1 263.5 · PC2 -49.16PC1 144.4 · PC2 95.44PC1 259.7 · PC2 57.67PC1 198.2 · PC2 85.22PC1 195.6 · PC2 62.78PC1 259.7 · PC2 -17.74PC1 -70.25 · PC2 10.39PC1 183.7 · PC2 1.748PC1 347 · PC2 61.56PC1 99.53 · PC2 92.13PC1 -167.8 · PC2 -16.57PC1 -143.2 · PC2 -65.22PC1 -231.2 · PC2 -67.8PC1 4.717 · PC2 -36.29PC1 91.05 · PC2 -1.055PC1 56.66 · PC2 -91.28PC1 -124.7 · PC2 -85.34PC1 -38.19 · PC2 -201.1PC1 -137.9 · PC2 -214.9PC1 -236.3 · PC2 -102PC1 -82.14 · PC2 -90.6PC1 85.76 · PC2 81.57PC1 66.94 · PC2 45.97PC1 80.47 · PC2 2.07PC1 19.04 · PC2 9.604PC1 262.2 · PC2 -60.09PC1 -155.8 · PC2 -31.41PC1 -75.73 · PC2 14.69PC1 27.9 · PC2 -7.174PC1 58.27 · PC2 -98.08PC1 -190.5 · PC2 -47.25PC1 8.058 · PC2 44.52PC1 -183.9 · PC2 60.5PC1 52.6 · PC2 -136.2PC1 -62.79 · PC2 -46.04PC1 99.43 · PC2 -91.5PC1 141.4 · PC2 -33.03PC1 37.54 · PC2 -74.97PC1 81.86 · PC2 -1.085PC1 160.5 · PC2 -11.49PC1 62.49 · PC2 -61.64PC1 -94.94 · PC2 -56.25PC1 -254 · PC2 21.28PC1 -81.64 · PC2 79.44PC1 -60.43 · PC2 49.65PC1 169 · PC2 -36.08PC1 -886.2 · PC2 197.9PC1 -786.8 · PC2 215.3PC1 -954.8 · PC2 202.6PC1 237 · PC2 -10.9PC1 79.11 · PC2 -82.56PC1 77.27 · PC2 -60.77PC1 114.7 · PC2 -75.83PC1 22.87 · PC2 -25.71PC1 93.2 · PC2 -40.59PC1 88.16 · PC2 -70.96PC1 -263.3 · PC2 -63.27PC1 146.9 · PC2 -18.19PC1 180.5 · PC2 -34.44PC1 192.1 · PC2 -29.35PC1 153.6 · PC2 -54.83PC1 -195.7 · PC2 -42.58PC1 -82.23 · PC2 -6.574PC1 -16.37 · PC2 -67.83PC1 -37.41 · PC2 46.11PC1 -91.09 · PC2 -135.5PC1 10.72 · PC2 -95.06PC1 -89.27 · PC2 -57.45PC1 218.3 · PC2 -54.2PC1 -145.3 · PC2 -9.614PC1 300 · PC2 -106.7PC1 168.2 · PC2 -75.56PC1 -46.88 · PC2 -410.2PC1 -251.2 · PC2 -299.3PC1 -163.5 · PC2 -103PC1 -36.46 · PC2 2.1PC1 -311.8 · PC2 -102.4PC1 10.97 · PC2 -32.86PC1 199.3 · PC2 -2.621PC1 37.09 · PC2 -71.09PC1 81.83 · PC2 -87.79PC1 32.76 · PC2 -16.71PC1 -409.3 · PC2 -100.1PC1 -222 · PC2 -117.2PC1 -467.8 · PC2 -68.3PC1 -577.2 · PC2 18.29PC1 -147.9 · PC2 -52.54PC1 -215.5 · PC2 -42.27PC1 -236.2 · PC2 45.4PC1 -320.7 · PC2 64.17PC1 -32.49 · PC2 12.45PC1 -281.4 · PC2 148.8PC1 -25.58 · PC2 39.73PC1 19.3 · PC2 91.77PC1 55.83 · PC2 -68.22PC1 -219.6 · PC2 3.626PC1 -231.7 · PC2 -10.84PC1 48.74 · PC2 37.6PC1 -180.3 · PC2 94.79PC1 18.19 · PC2 -84.26PC1 -460.8 · PC2 -9.158PC1 -146.1 · PC2 -67.84PC1 -177.3 · PC2 -95.32PC1 106.5 · PC2 -74.09PC1 88.18 · PC2 -138.9PC1 175.5 · PC2 -104.9PC1 55.5 · PC2 -64.71PC1 158 · PC2 -127.9PC1 189.7 · PC2 -30.96PC1 411.2 · PC2 -28.78PC1 -34.79 · PC2 28.62PC1 70.87 · PC2 -10.58PC1 162.1 · PC2 -18.08PC1 -230.5 · PC2 2.739PC1 19.63 · PC2 46.68PC1 168.4 · PC2 1.33PC1 97.86 · PC2 42.82PC1 50.76 · PC2 33.53PC1 -94.47 · PC2 -53.9PC1 -70.16 · PC2 -26.28PC1 165.3 · PC2 -65.47PC1 -19.64 · PC2 -51.25PC1 203.3 · PC2 43.06PC1 326.2 · PC2 36.65PC1 710.9 · PC2 -160.1PC1 (77.1%)PC2 (11.6%)236 scores
PCA explained variance0%25%50%75%100%PC1: 77.1% (cumulative 77.1%)1PC2: 11.6% (cumulative 88.8%)2PC3: 4.8% (cumulative 93.5%)3PC4: 2.0% (cumulative 95.5%)4PC5: 1.7% (cumulative 97.2%)5PC6: 0.9% (cumulative 98.1%)6PC7: 0.6% (cumulative 98.7%)7PC8: 0.3% (cumulative 99.0%)8PC9: 0.2% (cumulative 99.3%)9PC10: 0.2% (cumulative 99.4%)10cumulative explained variancePC variancecumulativeprincipal component · cumulative (dashed)

Metric interpretation reference

Metric catalog 29
FamilleMétriqueCe qu’elle détecteForte valeur =Faible valeur =Causes typiquesCalcul / score
Intégrité des donnéesNaN ratioDonnées manquantesSpectre corrompuSpectre completErreur acquisition/exportcount(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05)
Intégrité des donnéesInf countValeurs infiniesCorruptionNormalCalculs invalidescount(isinf(X))alert = min(1, inf_count / 1)
Intégrité des donnéesZero ratioColonnes ou cellules nullesSpectre tronquéNormalExport, saturationcount(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05)
Amplitude globaleMean reflectanceNiveau moyenTrop clair / fond visibleTrop sombreFond, géométriemean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent
Amplitude globaleArea under curveIntensité globaleDifférence d'éclairementNormalDistance sondetrapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units
Amplitude globalePeak-to-peak (PTP)DynamiqueVariabilité forteSpectre platSaturationmax(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat
Amplitude globaleVarianceVariabilité spectraleNormal ou hétérogèneSpectre platMauvais contactvar(X finite)alert increases when variance/dynamic range is abnormally flat
BruitNoise RMSBruit haute fréquenceBruitéStableLampe, détecteurmedian MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5%
BruitSNRQualité signalBon signalMauvais signalAcquisitionmean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert
BruitBandwise SNRBruit localiséZone fiableZone problématiqueDétecteurmin(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert
Artefacts locauxSpike countPics étroitsArtefactsSpectre propreCosmic rays, splicecount robust outliers in second derivativealert follows spike_rate, saturated at 1%
Artefacts locauxSpike rateDensité de picsSpectre suspectNormalInterpolationspike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01)
Artefacts locauxJump countDiscontinuitésRaccord détecteurContinuSplicecount robust outliers in first derivativealert follows jump_rate, saturated at 1%
Artefacts locauxJump rateFréquence de sautsProblème spectralNormalCalibrationjump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01)
Artefacts locauxClip fractionSaturationClippingNormalDétecteur saturéfraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01)
Forme spectraleBaseline slopePente globaleDériveStableÉclairementlinear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5
Forme spectraleCurvature RMSCourbureForme inhabituelleLisseFond, splicemedian RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1%
Forme spectraleD1 RMSVariabilité localeSpectre structuréPlatBiologie ou artefactmedian RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5%
Outliers multivariésPCA Q (SPE)Non expliqué par PCASpectre atypiqueConformeArtefact, mélangep95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8)
Outliers multivariésHotelling T²Extrême dans PCAExtrême mais cohérentCentralVariabilité naturellep95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8)
Outliers multivariésMahalanobis HDistance au nuageOutlier globalPopulation normaleDomaine différentp95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4)
Comparaison à référenceRMS to mean spectrumDistance moyenneSpectre différentTypiqueDomain shiftp95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25%
Comparaison à référenceSpectral Angle Mapper (SAM)Différence de formeForme différenteSimilaireFond, géométriep95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad)
RépétabilitéRMS intra-IDReproductibilitéMauvaise répétabilitéStablePositionnementmedian RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10%
RépétabilitéSAM intra-IDVariation de formeInstableStableAcquisitionmedian SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad)
RépétabilitéCV intra-IDVariabilité interneMauvais contrôleStableOpérateurmedian within-ID band CValert = min(1, CV_intra_ID / 0.25)
Structure du datasetPCA score densityClustersSous-populationsHomogèneLots différents1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone
Structure du datasetLocal Outlier Factor (LOF)Anomalie localeSpectre isoléPopulation normaleCas raresp95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2)
Structure du datasetIsolation Forest scoreAnomalie globaleSpectre atypiqueNormalDiverses causesp95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent
Technology-specific extensions
TechnologieAdaptations / métriquesAnomalies cibléesCommentaire pratique
UV-Vis 300-1000 nmBaseline, pente globale, dérive aux bords 300-350 et 900-1000; métriques par zonesLumière parasite, mauvais blanc, saturation, faible signal aux extrémitésLes bords sont souvent instables; calculer aussi des scores edge/middle.
UV-Vis 300-1000 nmSaturation / clipping proche absorbance max ou réflectance maxSignal écrêtéTrès important si absorption forte.
UV-Vis 300-1000 nmRed-edge, position de maximum, ratios de bandes si végétalDécalage biologique ou artefact optiqueAide à distinguer changement réel et problème d'acquisition.
UV-Vis 300-1000 nmSmoothness / roughness indexBruit haute fréquenceSouvent plus informatif que le SNR seul.
MIR / ATR-FTIRATR contact quality index: intensité globale, aire totale, profondeur des bandes clésMauvais contact cristal-échantillonCrucial: beaucoup d'anomalies viennent du contact ATR.
MIR / ATR-FTIRCO2 / H2O atmospheric bandsMauvaise correction atmosphériquePics parasites fréquents.
MIR / ATR-FTIRBaseline curvature / rubber-band residualDiffusion, contact, dérive baselineTrès utile avant PCA.
MIR / ATR-FTIRPeak position shiftMauvais alignement spectral / calibrationImportant en FTIR car de petits shifts comptent.
MIR / ATR-FTIRBand area ratios sur bandes connuesSpectre chimiquement incohérentÀ adapter par matrice: polysaccharides, protéines, lipides, etc.
HS-MSTotal Ion Current (TIC), Base Peak Intensity (BPI)Injection faible, ionisation instableÉquivalent MS du niveau global spectral.
HS-MSNombre de pics détectésSpectre pauvre ou trop bruitéTrop peu = mauvais signal; trop = bruit/contamination.
HS-MSMass accuracy / m/z driftProblème calibration masseFondamental en HRMS.
HS-MSRetention time drift si LC/GC-MSDérive chromatographiqueÀ suivre sur standards/QC pools.
HS-MSBlank contamination scoreContaminants / carry-overComparer échantillons vs blancs.
HS-MSInternal standard CVVariabilité instrumentaleTrès robuste si standards disponibles.
HS-MSMissingness par featureInstabilité de détectionCrucial pour filtrer les variables.
Avec répétitionsRMS intra-échantillonRépétabilité globaleApplicable à toutes les technologies.
Avec répétitionsSAM / corrélation intra-échantillonRépétabilité de formeTrès utile pour spectres.
Avec répétitionsCV intra-échantillon par bande / featureRépétabilité localeDétecte les zones instables.
Avec répétitionsICC ou variance componentsPart variance échantillon vs techniqueTrès utile si plusieurs répétitions par sample.
Avec répétitionsDistance au centroïde intra-IDRépétition aberrantePermet de flagger la mauvaise répétition plutôt que le sample entier.
Bug-hunting / supervised audits
Famille de bug potentielMéthodes à ajouterCe que ça détecteÉtat dans l’explorateur
Shift spectral globalCorrélation spectre moyen inter-dataset, DTW, cross-correlation, comparaison positions de picsDécalage en longueur d'onde, mauvais alignement, interpolation différentePartiellement calculé: cross-correlation lag et dispersion des positions de pics vs spectre moyen.
Baseline / offset / gainRégression chaque spectre vs spectre moyen: x = a + b ref + residual; suivi de a, b, RMS résiduelOffset additif, effet multiplicatif, dérive de baselineCalculé dans reference.affine_*.
Mélange de lignes / mauvais appariement X-M-YVérification index, hash des lignes, duplication ID, distance spectrale intra-ID, labels incohérentsLignes mélangées, metadata mal alignées, Y attribué au mauvais spectrePartiellement couvert par répétabilité intra-ID; checks index/hash à ajouter au pipeline canonical.
Fuite d'information / répétitions mal splitéesGroupKFold par sample_id vs StratifiedKFold random; audit des partitions par sample_idPerformance artificiellement bonne due aux répétitionsNécessite splits et benchmark modèle; non calculé par la carte descriptive.
Label bugsÉchantillons proches en X mais Y différents, confident learning, erreurs systématiques FP/FNY inversés, erreurs de saisie, classes ambiguësNécessite Y et/ou modèle; recommandé pour l'explorateur supervisé.
Sous-domaines cachésPCA/UMAP/t-SNE + clustering non supervisé + association avec dataset/Y/date/operatorLots, campagnes, sondes, backgrounds non renseignésPartiellement calculé par structure PCA/LOF; UMAP/t-SNE hors carte statique.
Artefacts localisés inconnusCarte wavelength x dataset: différence moyenne, différence variance, KS par longueur d'ondeRégions spectrales anormales non anticipéesÀ calculer au niveau banque quand plusieurs datasets partagent un axe spectral.
Ruptures instrumentalesDiscontinuités dans dérivées, changepoint detectionSplice, raccord détecteur, saut local non prévuCalculé par jump/spike rates; changepoint plus avancé à ajouter.
Mélange / contamination spectraleNMF / unmixing / reconstruction par convex hullComposante externe: fond, plastique, solNon calculé automatiquement; nécessite hypothèses de composants ou grande bibliothèque.
Features instables mais prédictivesImportance modèle vs instabilité QC par variableModèle qui apprend un artefact plutôt qu'un signal biologiqueNécessite modèle supervisé; recommandé pour rapports de benchmark.

Variables

Constant metadata 5
  • manual_downloadTrue
  • manual_download_source_dirD:\VS projects\nirs_db_vf\manual_download\scarab
  • manual_download_filedoi_10_5061_dryad_rv15dv4f7__v20240603.zip::2_Reflectance_FirstBatch.csv
  • official_source_urlhttps://datadryad.org/dataset/doi:10.5061/dryad.rv15dv4f7
  • standardization_batchv0.8.57

Alignment

Alignment levelsample
Sample id availableno
Samples236
Observations (total)236
Reps per samplemin 1 · mean 1 · max 1

Provenance & citation

ContributorDRYAD scarab
Origin · url [open]10.5061/dryad.rv15dv4f7 — Dryad
Origin · script [manual]source_to_standard.py — standardization script (maintainer-only)

Governance & integrity

Tierpublic
LicenseCC0-1.0
Permitted useResearch and benchmarking.
Access policyOpen per source license.
RedistributionDryad source recorded as CC0-1.0 in blocked inventory; manual download retained as provenance.
Content version1.0.0
Schema / protocol2.0
Content hashca9d1a0d4fb59e4e…
Processing hash9de21e0d19765c64…
Metadata hash34f7b7ce469a5099…

Load this dataset

# pip install nirs4all-datasets
from nirs4all_datasets import get

ds = get("dryad_scarab_reflectance_firstbatch_manual")            # DOI-pinned, checksum-verified, cached
X, y = ds.x(), ds.y()
print(X.shape, y.shape)
card.jsoncroissant.jsonIdentity metadata only — the dataset bytes live at the origin / DOI.