Nirpy Research black foam entropy smoothing NIR. v2.0 standardized NIRS package: 3 spectral source(s), 0 declared target(s). Auto-generated from dataset_card.json (verify before publication).
| Intégrité | 0.02 |
|---|---|
| Artefacts locaux | 0.63 |
| Bruit | 0.46 |
| Outliers PCA | 0.28 |
| Distance à la référence | 0.50 |
| Répétabilité | 0.00 |
| Baseline / forme | 0.59 |
| Structure multi-régimes | 0.36 |
| Diagnostic | Score | Force | Signaux | Interprétation probable |
|---|---|---|---|---|
| Erreur calibration / référence blancheX_absorbance | 0.67 | moyenne | Baseline/mean/area 1.00, RMS/SAM référence 1.00, artefacts locaux 0.88 | Décalage systématique entre campagnes, instruments ou référence blanche. |
| Splice / raccord détecteursX_absorbance | 0.64 | moyenne | RMS/SAM référence 1.00, Jump rate 0.88, Spike rate 0.81 | Rupture aux jonctions de détecteurs, calibration locale ou sonde différente. |
| Fond différentX_absorbance | 0.62 | moyenne | Baseline/mean/area 1.00, RMS/SAM référence 1.00, Mahalanobis / T2 0.48 | Effet systématique du support, blanc/noir, transflectance ou environnement de mesure. |
| Spectre hors domaine valideX_absorbance | 0.50 | moyenne | RMS/SAM référence 1.00, Structure PCA 0.62, Mahalanobis / T2 0.48 | Variété, espèce, lot ou condition différente mais physiquement plausible. |
| Différence de sonde / géométrieX_absorbance | 0.49 | moyenne | Baseline/mean/area 1.00, RMS/SAM référence 1.00, Mahalanobis / T2 0.48 | Modification de l'illumination, collecte, angle ou distance sonde-échantillon. |
| Spectre très bruitéX_sample_signal | 0.48 | moyenne | Noise RMS 1.00, RMS/SAM référence 0.50, SNR bas 0.43 | Faible signal, problème détecteur, lampe ou acquisition instable. |
| Signature VERA25-likeX_absorbance | 0.45 | moyenne | RMS/SAM référence 1.00, Jump rate 0.88, Spike rate 0.81 | Combinaison possible changement de sonde + splice, amplifiée par géométrie, fond ou calibration. |
| Mélange feuille + fondX_absorbance | 0.45 | moyenne | Baseline/mean/area 1.00, RMS/SAM référence 1.00, Mahalanobis / T2 0.48 | Couverture partielle du spot; contribution du fond ou du support. |
| Wavelengths | 228 |
|---|---|
| Axis range | 901.8–1701 nm |
| Mean spacing | 3.52 nm |
| Grid | irregular |
| Observations | 500 |
| Value range | 0.457 – 4.77 |
|---|---|
| Mean range | 1.72 – 1.86 |
| Mean level | 1.785 |
| Area | 1424 |
| PTP | 0.1372 |
| Noise RMS | 0.032204 |
| SNR | 55 |
| SNR dB | 3e+01 dB |
| Dynamic range | 0.137 |
| Saturated | 0.0% |
| X-outliers | 147 |
| NaN ratio | 0.28% |
|---|---|
| Inf count | 0 |
| Zero ratio | 0.00% |
| Spike count | 914 |
| Spike rate | 0.81% |
| Jump count | 999 |
| Jump rate | 0.88% |
| Clip fraction | 0.00% |
| Baseline slope | 0.12629 |
|---|---|
| Curvature RMS | 0.13125 |
| D1 RMS | 0.08016 |
| RMS to mean | 0.064977 |
| RMS p95 | 0.11876 |
| SAM to mean | 0.034997 |
| SAM p95 | 0.064273 |
| Affine offset p95 | 0.76233 |
| Affine gain p95 Δ | 0.4375 |
| Affine residual p95 | 0.11484 |
| Xcorr lag p95 | 10 |
| PCA Q p95/median | 1.4 |
|---|---|
| Hotelling T2 p95/median | 3.6 |
| Mahalanobis H p95/median | 1.9 |
| Repeat groups | 0 |
| Effective rank | 15 |
|---|---|
| Top-10 cum. var | 71.1% |
| Famille | Métrique calculée | Valeur | Score | Niveau | Interprétation dataset | Causes typiques | Calcul / scoring |
|---|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratiointegrity.nan_ratio | 0.275% | 0.06 | faible | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf countintegrity.inf_count | 0 | 0.00 | faible | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratiointegrity.zero_ratio | 0% | 0.00 | faible | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectanceamplitude.mean_reflectance | 1.785 | 1.00 | fort | Valeur atypique: Trop clair / fond visible ou Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curveamplitude.area_under_curve | 1424 | 1.00 | fort | Valeur atypique: Différence d'éclairement ou Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP)amplitude.peak_to_peak | 0.13717 | 0.04 | faible | Variabilité forte | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Varianceamplitude.variance | 0.0070203 | 0.04 | faible | Normal ou hétérogène | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMSnoise.noise_rms | 0.032204 | 0.36 | faible | Stable | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNRnoise.snr | 55.429 | 0.13 | faible | Bon signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNRnoise.bandwise_snr_min | 6.4987 | 0.54 | moyen | Zone problématique | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike countartefacts.spike_count | 914 | 0.81 | fort | Artefacts | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rateartefacts.spike_rate | 0.809% | 0.81 | fort | Spectre suspect | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump countartefacts.jump_count | 999 | 0.88 | fort | Raccord détecteur | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rateartefacts.jump_rate | 0.88% | 0.88 | fort | Problème spectral | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fractionartefacts.clip_fraction | 0.00176% | 0.00 | faible | Normal | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slopeshape.baseline_slope | 0.12629 | 0.14 | faible | Stable | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMSshape.curvature_rms | 0.13125 | 1.00 | fort | Forme inhabituelle | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMSshape.d1_rms | 0.08016 | 0.90 | fort | Spectre structuré | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE)outliers.pca_q_ratio | 1.4306 | 0.18 | faible | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T²outliers.hotelling_t2_ratio | 3.6196 | 0.45 | moyen | Extrême mais cohérent | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis Houtliers.mahalanobis_h_ratio | 1.9025 | 0.48 | moyen | Outlier global | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrumreference.rms_to_mean_spectrum_p95 | 0.11876 | 0.27 | faible | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM)reference.sam_to_mean_spectrum_p95 | 0.064273 | 0.18 | faible | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-IDrepeatability.rms_intra_id | — | 0.00 | faible | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-IDrepeatability.sam_intra_id | — | 0.00 | faible | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-IDrepeatability.cv_intra_id | — | 0.00 | faible | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score densitystructure.pca_score_density | 1.75 | 0.62 | moyen | Sous-populations | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF)structure.local_outlier_factor_p95 | 1.8489 | 0.42 | moyen | Spectre isolé | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest scorestructure.isolation_forest_score_p95 | 0.50263 | 0.62 | moyen | Spectre atypique | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Wavelengths | 228 |
|---|---|
| Axis range | 901.8–1701 nm |
| Mean spacing | 3.52 nm |
| Grid | irregular |
| Observations | 500 |
| Value range | 32,073 – 645,669 |
|---|---|
| Mean range | 32,073 – 645,669 |
| Mean level | 4.484e+05 |
| Area | 3.603e+08 |
| PTP | 613,596 |
| Noise RMS | 232.12 |
| SNR | 1.9e+03 |
| SNR dB | 7e+01 dB |
| Dynamic range | 613,596 |
| Smoothness | 1226 |
| Saturated | 0.4% |
| X-outliers | 0 |
| NaN ratio | 0.00% |
|---|---|
| Inf count | 0 |
| Zero ratio | 0.00% |
| Spike count | 1,500 |
| Spike rate | 1.33% |
| Jump count | 0 |
| Jump rate | 0.00% |
| Clip fraction | 0.88% |
| Baseline slope | -1667.4 |
|---|---|
| Curvature RMS | 1225.6 |
| D1 RMS | 6958.4 |
| RMS to mean | 0 |
| RMS p95 | 0 |
| SAM to mean | 0 |
| SAM p95 | 0 |
| Affine offset p95 | 0 |
| Affine gain p95 Δ | 0 |
| Affine residual p95 | 0 |
| Xcorr lag p95 | 0 |
| Repeat groups | 0 |
|---|
| Famille | Métrique calculée | Valeur | Score | Niveau | Interprétation dataset | Causes typiques | Calcul / scoring |
|---|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratiointegrity.nan_ratio | 0% | 0.00 | faible | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf countintegrity.inf_count | 0 | 0.00 | faible | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratiointegrity.zero_ratio | 0% | 0.00 | faible | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectanceamplitude.mean_reflectance | 4.484e+05 | 0.35 | faible | Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curveamplitude.area_under_curve | 3.6027e+08 | 0.35 | faible | Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP)amplitude.peak_to_peak | 613,596 | 0.00 | faible | Variabilité forte | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Varianceamplitude.variance | 2.4603e+10 | 0.00 | faible | Normal ou hétérogène | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMSnoise.noise_rms | 232.12 | 0.01 | faible | Stable | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNRnoise.snr | 1931.8 | 0.00 | faible | Bon signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNRnoise.bandwise_snr_min | — | — | non calculable | Pas assez d'information pour scorer cette métrique sur ce dataset. | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike countartefacts.spike_count | 1,500 | 1.00 | fort | Artefacts | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rateartefacts.spike_rate | 1.33% | 1.00 | fort | Spectre suspect | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump countartefacts.jump_count | 0 | 0.00 | faible | Continu | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rateartefacts.jump_rate | 0% | 0.00 | faible | Normal | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fractionartefacts.clip_fraction | 0.877% | 0.88 | fort | Clipping | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slopeshape.baseline_slope | -1667.4 | 0.01 | faible | Stable | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMSshape.curvature_rms | 1225.6 | 0.20 | faible | Lisse | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMSshape.d1_rms | 6958.4 | 0.23 | faible | Plat | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE)outliers.pca_q_ratio | — | 0.00 | faible | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T²outliers.hotelling_t2_ratio | — | 0.00 | faible | Central | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis Houtliers.mahalanobis_h_ratio | — | 0.00 | faible | Population normale | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrumreference.rms_to_mean_spectrum_p95 | 0 | 0.00 | faible | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM)reference.sam_to_mean_spectrum_p95 | 0 | 0.00 | faible | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-IDrepeatability.rms_intra_id | — | 0.00 | faible | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-IDrepeatability.sam_intra_id | — | 0.00 | faible | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-IDrepeatability.cv_intra_id | — | 0.00 | faible | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score densitystructure.pca_score_density | — | 0.00 | faible | Homogène | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF)structure.local_outlier_factor_p95 | — | — | non calculable | Pas assez d'information pour scorer cette métrique sur ce dataset. | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest scorestructure.isolation_forest_score_p95 | — | 0.00 | faible | Normal | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Wavelengths | 228 |
|---|---|
| Axis range | 901.8–1701 nm |
| Mean spacing | 3.52 nm |
| Grid | irregular |
| Observations | 500 |
| Value range | -16,500 – 17,589 |
|---|---|
| Mean range | 519 – 1.06e+04 |
| Mean level | 7408 |
| Area | 5.983e+06 |
| PTP | 1.006e+04 |
| Noise RMS | 543.38 |
| SNR | 14 |
| SNR dB | 2e+01 dB |
| Dynamic range | 1.01e+04 |
| Smoothness | 1357 |
| Saturated | 0.0% |
| X-outliers | 39 |
| NaN ratio | 0.00% |
|---|---|
| Inf count | 0 |
| Zero ratio | 0.00% |
| Spike count | 23 |
| Spike rate | 0.02% |
| Jump count | 16 |
| Jump rate | 0.01% |
| Clip fraction | 0.00% |
| Baseline slope | -1601.1 |
|---|---|
| Curvature RMS | 1313.7 |
| D1 RMS | 771.59 |
| RMS to mean | 574.41 |
| RMS p95 | 704.37 |
| SAM to mean | 0.069751 |
| SAM p95 | 0.079647 |
| Affine offset p95 | 454.15 |
| Affine gain p95 Δ | 0.033969 |
| Affine residual p95 | 603.52 |
| Xcorr lag p95 | 0 |
| PCA Q p95/median | 1.2 |
|---|---|
| Hotelling T2 p95/median | 2 |
| Mahalanobis H p95/median | 1.4 |
| Repeat groups | 0 |
| Effective rank | 17 |
|---|---|
| Top-10 cum. var | 25.4% |
| Famille | Métrique calculée | Valeur | Score | Niveau | Interprétation dataset | Causes typiques | Calcul / scoring |
|---|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratiointegrity.nan_ratio | 0% | 0.00 | faible | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf countintegrity.inf_count | 0 | 0.00 | faible | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratiointegrity.zero_ratio | 0% | 0.00 | faible | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectanceamplitude.mean_reflectance | 7408.5 | 0.41 | faible | Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curveamplitude.area_under_curve | 5.9832e+06 | 0.41 | faible | Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP)amplitude.peak_to_peak | 10061 | 0.00 | faible | Variabilité forte | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Varianceamplitude.variance | 6.8245e+06 | 0.00 | faible | Normal ou hétérogène | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMSnoise.noise_rms | 543.38 | 1.00 | fort | Bruité | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNRnoise.snr | 13.639 | 0.43 | moyen | Mauvais signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNRnoise.bandwise_snr_min | 1.138 | 0.97 | fort | Zone problématique | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike countartefacts.spike_count | 23 | 0.02 | faible | Spectre propre | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rateartefacts.spike_rate | 0.0204% | 0.02 | faible | Normal | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump countartefacts.jump_count | 16 | 0.01 | faible | Continu | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rateartefacts.jump_rate | 0.0141% | 0.01 | faible | Normal | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fractionartefacts.clip_fraction | 0.00175% | 0.00 | faible | Normal | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slopeshape.baseline_slope | -1601.1 | 0.32 | faible | Stable | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMSshape.curvature_rms | 1313.7 | 1.00 | fort | Forme inhabituelle | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMSshape.d1_rms | 771.59 | 1.00 | fort | Spectre structuré | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE)outliers.pca_q_ratio | 1.2061 | 0.15 | faible | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T²outliers.hotelling_t2_ratio | 1.9671 | 0.25 | faible | Central | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis Houtliers.mahalanobis_h_ratio | 1.4025 | 0.35 | faible | Population normale | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrumreference.rms_to_mean_spectrum_p95 | 704.37 | 0.28 | faible | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM)reference.sam_to_mean_spectrum_p95 | 0.079647 | 0.23 | faible | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-IDrepeatability.rms_intra_id | — | 0.00 | faible | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-IDrepeatability.sam_intra_id | — | 0.00 | faible | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-IDrepeatability.cv_intra_id | — | 0.00 | faible | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score densitystructure.pca_score_density | 0.00038064 | 0.45 | moyen | Sous-populations | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF)structure.local_outlier_factor_p95 | 1.3632 | 0.18 | faible | Population normale | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest scorestructure.isolation_forest_score_p95 | 0.48632 | 0.45 | moyen | Spectre atypique | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Famille | Métrique | Ce qu’elle détecte | Forte valeur = | Faible valeur = | Causes typiques | Calcul / score |
|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratio | Données manquantes | Spectre corrompu | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf count | Valeurs infinies | Corruption | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratio | Colonnes ou cellules nulles | Spectre tronqué | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectance | Niveau moyen | Trop clair / fond visible | Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curve | Intensité globale | Différence d'éclairement | Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP) | Dynamique | Variabilité forte | Spectre plat | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Variance | Variabilité spectrale | Normal ou hétérogène | Spectre plat | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMS | Bruit haute fréquence | Bruité | Stable | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNR | Qualité signal | Bon signal | Mauvais signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNR | Bruit localisé | Zone fiable | Zone problématique | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike count | Pics étroits | Artefacts | Spectre propre | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rate | Densité de pics | Spectre suspect | Normal | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump count | Discontinuités | Raccord détecteur | Continu | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rate | Fréquence de sauts | Problème spectral | Normal | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fraction | Saturation | Clipping | Normal | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slope | Pente globale | Dérive | Stable | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMS | Courbure | Forme inhabituelle | Lisse | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMS | Variabilité locale | Spectre structuré | Plat | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE) | Non expliqué par PCA | Spectre atypique | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T² | Extrême dans PCA | Extrême mais cohérent | Central | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis H | Distance au nuage | Outlier global | Population normale | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrum | Distance moyenne | Spectre différent | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM) | Différence de forme | Forme différente | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-ID | Reproductibilité | Mauvaise répétabilité | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-ID | Variation de forme | Instable | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-ID | Variabilité interne | Mauvais contrôle | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score density | Clusters | Sous-populations | Homogène | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF) | Anomalie locale | Spectre isolé | Population normale | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest score | Anomalie globale | Spectre atypique | Normal | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Technologie | Adaptations / métriques | Anomalies ciblées | Commentaire pratique |
|---|---|---|---|
| UV-Vis 300-1000 nm | Baseline, pente globale, dérive aux bords 300-350 et 900-1000; métriques par zones | Lumière parasite, mauvais blanc, saturation, faible signal aux extrémités | Les bords sont souvent instables; calculer aussi des scores edge/middle. |
| UV-Vis 300-1000 nm | Saturation / clipping proche absorbance max ou réflectance max | Signal écrêté | Très important si absorption forte. |
| UV-Vis 300-1000 nm | Red-edge, position de maximum, ratios de bandes si végétal | Décalage biologique ou artefact optique | Aide à distinguer changement réel et problème d'acquisition. |
| UV-Vis 300-1000 nm | Smoothness / roughness index | Bruit haute fréquence | Souvent plus informatif que le SNR seul. |
| MIR / ATR-FTIR | ATR contact quality index: intensité globale, aire totale, profondeur des bandes clés | Mauvais contact cristal-échantillon | Crucial: beaucoup d'anomalies viennent du contact ATR. |
| MIR / ATR-FTIR | CO2 / H2O atmospheric bands | Mauvaise correction atmosphérique | Pics parasites fréquents. |
| MIR / ATR-FTIR | Baseline curvature / rubber-band residual | Diffusion, contact, dérive baseline | Très utile avant PCA. |
| MIR / ATR-FTIR | Peak position shift | Mauvais alignement spectral / calibration | Important en FTIR car de petits shifts comptent. |
| MIR / ATR-FTIR | Band area ratios sur bandes connues | Spectre chimiquement incohérent | À adapter par matrice: polysaccharides, protéines, lipides, etc. |
| HS-MS | Total Ion Current (TIC), Base Peak Intensity (BPI) | Injection faible, ionisation instable | Équivalent MS du niveau global spectral. |
| HS-MS | Nombre de pics détectés | Spectre pauvre ou trop bruité | Trop peu = mauvais signal; trop = bruit/contamination. |
| HS-MS | Mass accuracy / m/z drift | Problème calibration masse | Fondamental en HRMS. |
| HS-MS | Retention time drift si LC/GC-MS | Dérive chromatographique | À suivre sur standards/QC pools. |
| HS-MS | Blank contamination score | Contaminants / carry-over | Comparer échantillons vs blancs. |
| HS-MS | Internal standard CV | Variabilité instrumentale | Très robuste si standards disponibles. |
| HS-MS | Missingness par feature | Instabilité de détection | Crucial pour filtrer les variables. |
| Avec répétitions | RMS intra-échantillon | Répétabilité globale | Applicable à toutes les technologies. |
| Avec répétitions | SAM / corrélation intra-échantillon | Répétabilité de forme | Très utile pour spectres. |
| Avec répétitions | CV intra-échantillon par bande / feature | Répétabilité locale | Détecte les zones instables. |
| Avec répétitions | ICC ou variance components | Part variance échantillon vs technique | Très utile si plusieurs répétitions par sample. |
| Avec répétitions | Distance au centroïde intra-ID | Répétition aberrante | Permet de flagger la mauvaise répétition plutôt que le sample entier. |
| Famille de bug potentiel | Méthodes à ajouter | Ce que ça détecte | État dans l’explorateur |
|---|---|---|---|
| Shift spectral global | Corrélation spectre moyen inter-dataset, DTW, cross-correlation, comparaison positions de pics | Décalage en longueur d'onde, mauvais alignement, interpolation différente | Partiellement calculé: cross-correlation lag et dispersion des positions de pics vs spectre moyen. |
| Baseline / offset / gain | Régression chaque spectre vs spectre moyen: x = a + b ref + residual; suivi de a, b, RMS résiduel | Offset additif, effet multiplicatif, dérive de baseline | Calculé dans reference.affine_*. |
| Mélange de lignes / mauvais appariement X-M-Y | Vérification index, hash des lignes, duplication ID, distance spectrale intra-ID, labels incohérents | Lignes mélangées, metadata mal alignées, Y attribué au mauvais spectre | Partiellement couvert par répétabilité intra-ID; checks index/hash à ajouter au pipeline canonical. |
| Fuite d'information / répétitions mal splitées | GroupKFold par sample_id vs StratifiedKFold random; audit des partitions par sample_id | Performance artificiellement bonne due aux répétitions | Nécessite splits et benchmark modèle; non calculé par la carte descriptive. |
| Label bugs | Échantillons proches en X mais Y différents, confident learning, erreurs systématiques FP/FN | Y inversés, erreurs de saisie, classes ambiguës | Nécessite Y et/ou modèle; recommandé pour l'explorateur supervisé. |
| Sous-domaines cachés | PCA/UMAP/t-SNE + clustering non supervisé + association avec dataset/Y/date/operator | Lots, campagnes, sondes, backgrounds non renseignés | Partiellement calculé par structure PCA/LOF; UMAP/t-SNE hors carte statique. |
| Artefacts localisés inconnus | Carte wavelength x dataset: différence moyenne, différence variance, KS par longueur d'onde | Régions spectrales anormales non anticipées | À calculer au niveau banque quand plusieurs datasets partagent un axe spectral. |
| Ruptures instrumentales | Discontinuités dans dérivées, changepoint detection | Splice, raccord détecteur, saut local non prévu | Calculé par jump/spike rates; changepoint plus avancé à ajouter. |
| Mélange / contamination spectrale | NMF / unmixing / reconstruction par convex hull | Composante externe: fond, plastique, sol | Non calculé automatiquement; nécessite hypothèses de composants ou grande bibliothèque. |
| Features instables mais prédictives | Importance modèle vs instabilité QC par variable | Modèle qui apprend un artefact plutôt qu'un signal biologique | Nécessite modèle supervisé; recommandé pour rapports de benchmark. |
| n / missing | 500 / 0 |
|---|---|
| Classes | 500 |
| Balance (entropy) | 1 |
| Imbalance ratio | 1 |
| Top class | 18/11/23 @ 11:36:37 (1) |
| n / missing | 500 / 0 |
|---|---|
| Mean ± SD | 33.74 ± 2.24 |
| Median | 34.23 |
| Range | 29 – 36.81 |
| CV | 0.0665 |
| Skew / kurtosis | -0.47 / -0.95 |
| Normal? | no |
| n / missing | 500 / 0 |
|---|---|
| Mean ± SD | 29.14 ± 2.78 |
| Median | 29.27 |
| Range | 24.1 – 33.44 |
| CV | 0.0954 |
| Skew / kurtosis | -0.049 / -1.4 |
| Normal? | no |
| n / missing | 500 / 0 |
|---|---|
| Mean ± SD | 22.75 ± 3.66 |
| Median | 22.07 |
| Range | 17.92 – 30.45 |
| CV | 0.161 |
| Skew / kurtosis | 0.53 / -0.89 |
| Normal? | no |
| n / missing | 500 / 0 |
|---|---|
| Mean ± SD | 3772 ± 2.86 |
| Median | 3,771 |
| Range | 3,767 – 3,780 |
| CV | 0.000758 |
| Skew / kurtosis | 0.64 / -0.34 |
| Normal? | no |
| n / missing | 500 / 0 |
|---|---|
| Mean ± SD | 1.608 ± 0.00391 |
| Median | 1.61 |
| Range | 1.6 – 1.611 |
| CV | 0.00243 |
| Skew / kurtosis | -1.6 / 0.57 |
| Normal? | no |
| n / missing | 500 / 0 |
|---|---|
| Mean ± SD | 0.628 ± 0.836 |
| Median | 0 |
| Range | 0 – 5 |
| CV | 1.33 |
| Skew / kurtosis | 1.4 / 2.1 |
| Normal? | no |
| Alignment level | sample |
|---|---|
| Sample id available | yes |
| Samples | 500 |
| Observations (total) | 1,500 |
| Reps per sample | min 1 · mean 1 · max 1 |
| Contributor | Nirpy Research NIR_black_foam_nirpy.zip |
|---|---|
| Origin · url [open] | https://github.com/nevernervous78/nirpyresearch/blob/master/data/NIR_black_foam_nirpy.zip — GitHub |
| Origin · url [open] | https://nirpyresearch.com/spectra-smoothing-based-on-information-entropy/ |
| Origin · url [open] | https://raw.githubusercontent.com/nevernervous78/nirpyresearch/master/LICENSE |
| Origin · script [manual] | source_to_standard.py — standardization script (maintainer-only) |
| Tier | private |
|---|---|
| License | LicenseRef-not-cleared |
| Permitted use | Research and benchmarking. |
| Access policy | Manual download / private-use-only per source. |
| Redistribution | MIT license permits use, copy, modification, publication, distribution, sublicensing and sale with copyright/license notice. |
| Content version | 1.0.0 |
| Schema / protocol | 2.0 |
| Content hash | 7114e671401fd219… |
| Processing hash | 31101e0c352e83ba… |
| Metadata hash | 451c6a3cea91d570… |
# pip install nirs4all-datasets from nirs4all_datasets import get # private dataset — export requires a Dataverse token ds = get("nirpy_black_foam_entropy_nir", token="…") X, y = ds.x(), ds.y() print(X.shape, y.shape)
Metadata downloads are available for public datasets only. The dataset bytes are never served here — fetch them from the origin / DOI above.